Text-zu-Video ist ein Bereich der generativen KI, der Videos aus einer geschriebenen Eingabe erzeugt. Bei einem Satz wie „ein Corgi-Welpe, der durch eine sonnige Wiese läuft" gibt das Modell einen kurzen Clip aus, der zur Beschreibung passt. Es erweitert die Idee hinter Text-zu-Bild-Systemen, fügt jedoch die schwierigere Herausforderung hinzu, eine Bewegung zu erzeugen, die über viele Frames hinweg konsistent ist.
Wie Text-zu-Video funktioniert
Die meisten aktuellen Text-zu-Video-Modelle basieren auf einer dreistufigen Pipeline. Zuerst wandelt ein Text-Encoder – meist ein großes Sprachmodell oder ein kontrastiver Encoder im CLIP-Stil – die Eingabe in eine numerische Darstellung um, die deren Bedeutung erfasst. Zweitens entrauscht ein generatives Modell, typischerweise ein Video-Diffusionsmodell oder ein Transformer, der auf Text-Video-Datenpaaren trainiert wurde, zufällige latente Frames zu einer Sequenz, die mit dieser Darstellung übereinstimmt. Diffusionsmodelle lernen, indem sie nach und nach Rauschen aus zufälligen Tensoren entfernen, und sie sind zum vorherrschenden Ansatz geworden, da sie scharfe, kohärente Ergebnisse liefern.
Die dritte Stufe erzwingt zeitliche Konsistenz, also die Eigenschaft, dass Objekte, Beleuchtung und Stil von Frame zu Frame stabil bleiben, statt zu flackern oder sich zu verformen. Zu den Techniken gehören 3D-Faltungen, die die Zeit als dritte Dimension behandeln, zeitliche Attention-Layer, die es späteren Frames ermöglichen, frühere zu beachten, sowie explizite Bewegungsbedingungssignale. Die Trainingsdaten sind umfangreich und vielfältig: Modelle lernen aus Datensätzen beschrifteter Videos wie öffentlichen Video-Caption-Korpora, sodass das System auf Eingaben verallgemeinern kann, die es nie gesehen hat. Ein einfaches Beispiel: Tippt man „ein roter Ball, der über einen Holztisch rollt", leitet das Modell Form, Farbe, Oberfläche und Bewegung ab und rendert dann mehrere Sekunden Filmmaterial, in dem der Ball von links einläuft, sich nach rechts bewegt und einen konsistenten Schatten wirft.
Warum es wichtig ist
Text-zu-Video senkt die Kosten und die Einstiegshürde für die Erstellung bewegter Bilder. Filmschaffende, Werbetreibende, Lehrkräfte und Spielestudios nutzen es, um Szenen zu prototypisieren, B-Roll zu erzeugen oder Stockmaterial auf Abruf zu erstellen. Für kleine Teams ersetzt es bei bestimmten Aufgaben den Bedarf an Kameras, Schauspielern und Schnitt. Für Forschende ist es ein Benchmark für multimodales Verständnis, denn ein Modell, das ein Video aus einem Satz synthetisieren kann, muss implizit wissen, wie sich Objekte bewegen, wie sich Licht verhält und wie Szenen komponiert sind. Die Technologie wirft zudem wichtige Fragen zu Urheberrecht, Deepfakes und der Kennzeichnung synthetischer Medien auf – weshalb Plattformen, die KI-generierte Videos verbreiten, ihren Ausgaben zunehmend Provenienz-Metadaten beifügen.
Wichtige Arten von Text-zu-Video-Systemen
- Diffusionsbasierte Modelle wie Sora, Runway Gen-3 und Stable Video Diffusion erweitern Bilddiffusion auf die Zeitachse und führen derzeit bei der visuellen Qualität.
- Transformer-basierte Modelle wie MovieGen und Phenaki erzeugen Videos autoregressiv oder in Token-Chunks und unterstützen oft längere Clips sowie eine stärkere Eingabetreue.
- Bild-zu-Video-Systeme starten mit einem Referenzframe plus einer Eingabe und animieren diesen – nützlich für kontrollierte Bearbeitungen und stilisierte Bewegungen.
- Open-Source-Veröffentlichungen wie ModelScope, AnimateDiff und OpenSora haben die Technologie für Forschende und Hobbyisten mit lokalen GPUs zugänglich gemacht.
Text-zu-Video steckt noch in den Kinderschuhen: Clips sind typischerweise nur wenige Sekunden lang, und die Modelle können bei komplexer Physik oder weitreichenden Ursache-Wirkungs-Zusammenhängen stolpern. Verbesserungen bei zeitlicher Konsistenz, Steuerbarkeit und Länge sind die wichtigsten Fronten, und die Ausgaben sind mit jeder Generation schwerer von echtem Filmmaterial zu unterscheiden. Für einen tieferen technischen Überblick ist der technische Bericht zu Sora von OpenAI ein guter Ausgangspunkt.