Text-to-video — это направление генеративного ИИ, которое создаёт видео по текстовому запросу. Получив предложение вроде «щенок корги бежит по солнечной поляне», модель выдаёт короткий ролик, соответствующий описанию. Оно развивает ту же идею, что лежит в основе систем text-to-image, но добавляет более сложную задачу — генерацию движения, согласованного между кадрами.
Как работает text-to-video
Большинство современных моделей text-to-video построены на трёхэтапном конвейере. Сначала текстовый кодировщик — обычно большая языковая модель или контрастный кодировщик в стиле CLIP — преобразует запрос в числовое представление, отражающее его смысл. Затем генеративная модель, как правило, видео-диффузионная модель или трансформер, обученный на парах «текст — видео», удаляет шум из случайных латентных кадров, формируя последовательность, согласованную с этим представлением. Диффузионные модели обучаются путём постепенного удаления шума из случайных тензоров и стали доминирующим подходом, поскольку дают чёткие и связные результаты.
На третьем этапе обеспечивается временна́я согласованность — свойство, при котором объекты, освещение и стиль остаются стабильными от кадра к кадру, а не мерцают и не искажаются. Здесь применяются 3D-свёртки, рассматривающие время как третье измерение, слои временно́го внимания, позволяющие последующим кадрам учитывать предыдущие, а также явные сигналы управления движением. Обучающие данные обширны и разнообразны: модели обучаются на наборах размеченных видео, таких как открытые коллекции видео с подписями, что позволяет системе обобщать запросы, которых она раньше не видела. Простой пример: ввод фразы «красный мяч катится по деревянному столу» заставляет модель распознать форму, цвет, поверхность и движение, а затем отрисовать несколько секунд видео, где мяч появляется слева, движется вправо и отбрасывает согласованную тень.
Почему это важно
Text-to-video снижает стоимость и порог входа в создание движущихся изображений. Кинематографисты, рекламисты, преподаватели и игровые студии используют её для прототипирования сцен, генерации B-roll и создания стоковых видео по запросу. Для небольших команд это заменяет необходимость в камерах, актёрах и монтажёрах в ряде задач. Для исследователей это benchmarks для мультимодального понимания: модель, способная синтезировать видео по предложению, должна неявно понимать, как движутся объекты, как ведёт себя свет и как строятся сцены. Технология также поднимает важные вопросы об авторском праве, дипфейках и маркировке синтетических медиа, поэтому платформы, распространяющие сгенерированное ИИ видео, всё чаще прикрепляют к результатам метаданные о происхождении.
Основные типы систем text-to-video
- Диффузионные модели, такие как Sora, Runway Gen-3 и Stable Video Diffusion, расширяют диффузию изображений на временну́ю ось и сегодня лидируют по качеству картинки.
- Трансформерные модели вроде MovieGen и Phenaki генерируют видео авторегрессионно или блоками токенов, часто поддерживая более длинные ролики и более точное следование запросу.
- Системы image-to-video начинают с опорного кадра и запроса, а затем анимируют его — это удобно для контролируемых правок и стилизованного движения.
- Открытые релизы, включая ModelScope, AnimateDiff и OpenSora, сделали технологию доступной для исследователей и энтузиастов, запускающих её на локальных GPU.
Text-to-video всё ещё молода: ролики обычно длятся несколько секунд, а модели могут спотыкаться на сложной физике или длинных причинно-следственных цепочках. Улучшение временно́й согласованности, управляемости и длительности — главный фронт исследований, и с каждым поколением результаты становится всё труднее отличить от реального видео. Для более глубокого технического обзора хорошей отправной точкой служит технический отчёт о Sora от OpenAI.