Дослідники з Інституту інтелектуальних обчислень Alibaba розробили нову систему штучного інтелекту під назвою «EMO», скорочення від Emote Portrait Alive , яка може анімувати одну портретну фотографію та створювати відео людини, яка розмовляє або співає, у неймовірно реалістичний спосіб
Фото: freepik.com
Про це повідомляє VentureBeat.
Система здатна створювати плавні та виразні рухи обличчя та пози голови, надаючи їм реалістичну міміку та рухи голови, які точно відповідають емоційним відтінкам звукового супроводу.
«Традиційні методи часто не в змозі охопити повний спектр людських виразів і унікальність індивідуальних стилів обличчя. Щоб вирішити ці проблеми, ми пропонуємо EMO, нову структуру, яка використовує підхід прямого синтезу аудіо -відео, обходячи потребу в проміжних 3D-моделях або орієнтирах обличчя», — сказав провідний автор Лінруй Тянь у статті.
Вас може зацікавити: Samsung представила прототип гнучкого смартфона-браслета
На відміну від попередніх методів, які покладаються на 3D-моделі обличчя або змішують форми для апроксимації рухів обличчя, EMO безпосередньо перетворює аудіосигнал у відеокадри. Це дозволяє вловлювати ледве помітні рухи та специфічні особливості, пов’язані з природним мовленням.
Згідно з експериментами, описаними в статті, EMO значно перевершує існуючі найсучасніші методи за показниками вимірювання якості відео, збереження ідентичності та виразності. Дослідники також провели дослідження користувачів, яке виявило, що відео, згенеровані EMO, є більш природними та емоційними, ніж ті, які створюють інші системи.
Читайте популярне: Створено революційну систему розпізнавання емоцій: як працює
Окрім розмовних відео, EMO також може анімувати співаючі портрети з відповідною формою рота та виразом обличчя, синхронізованим із вокалом. Система підтримує створення відео довільної тривалості на основі тривалості вхідного аудіо.
Дослідження EMO натякає на майбутнє, де персоналізований відеоконтент можна буде синтезувати лише з фотографії та аудіокліпу. Однак залишаються етичні занепокоєння щодо можливого зловживання такою технологією для видавання себе за людей без згоди або поширення дезінформації. Дослідники кажуть, що планують вивчити методи виявлення синтетичного відео.
Нагадаємо, Samsung вперше представила робочий варіант Galaxy Ring на виставці техніки Mobile World Congress (MWC 2024) в іспанській Барселоні. Раніше ми писали, що офіційний запуск продукту планується на другу половину 2024 року. Попередньо відомо, що презентація відбудеться на заході Galaxy Unpacked у липні.
Ознайомтесь з іншими популярними матеріалами:
Вчені створили новий чип на світлових хвилях: як він змінить комп’ютери
Meta створить пристрої, які дозволять керувати ШІ силою думки
Вчені створюють технологію, яка значно прискорить космічні польоти
