Мәтіннен бейнеге генерациялау

Жасанды интеллект - жаттығу модельдерін жасауға мүмкіндік беретін қозғалыстағы физика заңдарын тануға және қайталауға үйренеді. Бұл модельдер нақты өзара әрекеттесуді қамтитын міндеттерді шешудің маңызды құралдарына айналады.

Сорамен таныстырамыз - мәтіннен бейнеге жаңа модель. Sora визуалды сапаны сақтай отырып және пайдаланушы нұсқауларымен теңестіруді сақтай отырып, ұзындығы бір минутқа дейін бейнелерді жасай алады.

Сора бірнеше кейіпкерлермен, қозғалыстың нақты түрлерімен және объектілер мен фондардың нақты мәліметтерімен күрделі көріністерді жасай алады. Модель пайдаланушы нұсқаулықта сипаттаған нәрсені ғана емес, сонымен қатар сол элементтердің физикалық әлемде қалай бар екенін түсінеді.

Модель тілді терең түсінеді, бұл нұсқауларды дәл түсіндіруге және жарқын эмоцияларды білдіретін тартымды кейіпкерлерді жасауға мүмкіндік береді. Сондай-ақ, Sora таңбалар мен көрнекі стильді дәйекті көрсететін бір бейне ішінде бірнеше кадрларды жасай алады.

Қазіргі модельде шектеулер бар. Ол күрделі көріністердің физикасын дәл модельдеумен және нақты себеп-салдар байланыстарын түсінумен күресуі мүмкін. Мысалы, адам печенье тістеуі мүмкін, бірақ куки визуалды түрде өзгеріссіз қалуы мүмкін.

Модель сонымен қатар сол және оңды араластыру сияқты нұсқауларда кеңістіктік бөлшектерді шатастыруы мүмкін және белгілі бір камера траекториясын ұстану сияқты уақыт өте келе пайда болатын оқиғаларды дәл көрсетуге қиындық тудыруы мүмкін.

Қауіпсіздік

Sora OpenAI өнімдерінде қол жетімді болмай тұрып, бірнеше маңызды қауіпсіздік шаралары жүзеге асырылады.

Модель қызыл командалардың қатаң сынақтарынан өтеді - жалған ақпарат, жек көретін мазмұн және қиянат сияқты салалардағы сарапшылар.
Анықтау құралдары да әзірленуде, соның ішінде Sora арқылы бейненің қашан жасалғанын анықтай алатын анықтау классификаторы. Болашақта, егер Sora OpenAI өніміне біріктірілсе, C2PA метадеректерін қосымша қадағалану үшін қосу жоспарлануда.

Орналастырудың жаңа қорғаныстарынан басқа, DALL · E 3 сияқты өнімдердің қолданыстағы қауіпсіздік механизмдері де Sora компаниясына қолданылады.
Мысалы, егер OpenAI өніміне біріктірілсе, мәтіндік классификатор пайдалану саясатын бұзатын нұсқауларды автоматты түрде экранға шығарады және қабылдамайды, соның ішінде төтенше зорлық-зомбылық, жыныстық мазмұн, жек көретін суреттер немесе атақты адамдар немесе авторлық құқықпен қорғалған IP-ті ұқсайтын мазмұнды.
Пайдаланушыға көрсетілмес бұрын пайдалану саясатына сәйкес келуін қамтамасыз ету үшін әрбір жасалынған бейненің кадрларын қарап шығу үшін берік кескін классификаторлары да бар.

OpenAI сонымен қатар бүкіл әлемдегі саясаткерлермен, тәрбиешілермен және суретшілермен олардың алаңдаушылықтарын жақсы түсіну және осы жаңа технологияны оң пайдалану жағдайларын зерттеу үшін араласады.
Кең ауқымды зерттеулер мен тестілеулерге қарамастан, әрбір пайдалы немесе зиянды пайдалану жағдайын болжау мүмкін емес. Сондықтан нақты қолданудан үйрену уақыт өте келе барған сайын қауіпсіз AI жүйелерін дамыту мен шығарудың негізгі бөлігі ретінде қарастырылады.

Зерттеу әдістері

Sora статикалық шуылға ұқсайтын кадрдан бастап және оны көптеген қадамдар бойынша бірте-бірте нақтылау арқылы бейнелерді жасайтын диффузиялық модель болып табылады.
‍
Ол бірден бүкіл бейнелерді жасай алады немесе оларды ұзағырақ ету үшін қолданыстағы ұзартуға болады. Модельге бір мезгілде бірнеше кадрды болжауға мүмкіндік беру арқылы біз объектілерді кадрдан уақытша шыққан кезде де тұрақты ұстау мәселесін шешеміз.

GPT модельдері сияқты, Sora трансформаторға негізделген архитектураны пайдаланады, бұл күшті масштабтау өнімділігін ұсынады.
Ол DALL · E және GPT модельдерінің алдын-ала зерттеулеріне негізделген. Атап айтқанда, ол DALL · E 3-тің “қайта субтитрлеу” деп аталатын әдісін қолданады, ол визуалды оқыту деректері үшін егжей-тегжейлі тақырыптарды жасауды қамтиды, бұл модельге жасалған бейнеде пайдаланушының нұсқауларын дәлірек орындауға мүмкіндік береді.

Мәтіннен бейнеге генерациядан басқа, Sora суреттерді әсерлі егжей-тегжейлі және реализммен анимациялай алады немесе бар бейнені түсіріп, оны ұзарта алады немесе жетіспейтін кадрларды толтырады.
Біздің техникалық есептен көбірек біліңіз.

Сора физикалық әлемді түсінуге және модельдеуге болатын модельдердің негізін қалайды - AGI-ге жету жолындағы маңызды кезең.