Стартап Runway, который разработал популярную нейросеть для генерации изображений по текстовому описанию Stable Diffusion, представил новую языковую модель Gen-1, которая умеет преобразовывать существующие видео в новые, меняя стиль и композицию кадра.

В качестве исходных данных выступает картинка или текстовое описание. В качестве примера авторы показали ролик, где стопка книг становится ночным мегаполисом, а модель пловца — настоящим пловцом.

Выглядит это так:

Пока что не сообщается, когда появится готовая версия, будет ли она бесплатной подобно Stable Diffusion или нет.

Сами авторы полагают, что новая нейросеть станет столь же популярной, как и Stable Diffusion в генерации изображений. Также они считают, что в скором будущем ИИ будет генерировать значительную часть видеоконтента.

Ранее сообщалось, что Google представила нейросеть Dreamix, которая создаёт и редактирует видео по тексту, изображениям и другим видео.