Техногигант Google представил новый инструмент Lumiere на базе искусственного интеллекта (ИИ), который может создать изображение или видео с помощью текста, а также исправить его
Фото: freepik.com
Так, Lumiere способен создавать движение, которое выглядит реалистично и не имеет прерывистости. Это возможно благодаря тому, что программа создает все видеокадры одновременно, а не использует ключевые кадры и изучает, каким должно быть движение.
Lumiere также использует диффузионные вероятностные модели, которые помогают генерировать изображение. Это сочетается с пространственно-временной сетью U-Net, которая служит архитектурой, обеспечивающей временное масштабирование вверх и вниз, а также «блоки внимания», которые добавляются к изображениям.
Новый инструмент генеративного ИИ можно использовать со многими другими моделями, что поможет создавать изображения и видео, которые будут выглядеть гораздо реалистичнее.
Читайте также: Samsung презентовала линейку смартфонов с ИИ на базе технологии Google
Как можно применять Lumiere
Синемаграфия. Когда делается анимация отдельного фрагмента изображения. Например, на картинке с костром можно сделать подвижным огонь. Или на картинке с чашкой кофе анимировать пар.
Рисование. Объект в видео заменяется на другой. Например, можно отредактировать одежду человека или добавить то, чего раньше в кадре не было.
Стилизованная генерация. Используя один эталонный пример, Lumiere может генерировать в этом же стиле.
Изображение в видео. Помогает превратить в видео любое нужное изображение.
Видео к видео. Позволяет пользователям создавать видеозапись в другом художественном стиле.
Текст в видео. Создание видео из текстового описания.
Стилизация видео. Здесь Google показывает в качестве примера видео с женщиной, которую ИИ редактирует, чтобы придать ей разный вид — будто она сделана из бумаги, цветов, конструктора.
Дорисовка. Можно заполнить недостающий фрагмент с учетом соседних областей на видео. Например, в центре кадра есть какая-то преграда, которую надо удалить, или сбоку пустая черная область. ИИ анализирует картинку и дорисовывает, как будто все так и было.
Вас может заинтересовать: Mastercard создала собственную модель генеративного ИИ
Сейчас можно создавать видео продолжительностью не более 5 секунд. Также нет возможности делать видеопереходы и несколько ракурсов съемки. Однако, скорее всего, функционал со временем будет расширен.
Важно, что для использования Lumiere не подойдет обычный графический процессор. Нужно иметь что-то мощное, что управляет графической мощностью вашего компьютера, иначе инструмент просто не будет работать.
Напомним, Google внедрила два инструмента на базе искусственного интеллекта (ИИ), которые сделают поиск более быстрым и удобным.
Компания тестирует новые инструменты, чтобы понять, как генеративный ИИ делает поиск более персонализированным и интуитивно понятным. Недавно Google проверяла, как способность ИИ понимать естественный язык позволяет задавать вопросы в Поиске более естественным способом.
Ознакомьтесь с другими популярными материалами:
Интернет-магазины получат новые услуги Google Cloud
Google признался в нарушении прав пользователей: что произошло
Отслеживать пользователей по Google Maps станет невозможно: анонсировано обновление
