VideoPoet

VideoPoet représente une avancée majeure dans la génération vidéo pilotée par l'IA en exploitant des modèles de langage autorégressifs pour créer des vidéos dotées d'une cohérence temporelle et de mouvements naturels. Le système utilise des techniques de tokenisation avancées, notamment MAGVIT V2 pour la vidéo et SoundStream pour l'audio, afin de convertir le contenu visuel et audio en codes discrets au sein d'un vocabulaire unifié. Cette approche unifiée permet une intégration fluide entre plusieurs modalités — texte, images, vidéo et audio — autorisant le modèle de langage à comprendre et à générer du contenu dans tous les formats simultanément. L'outil excelle dans la gestion de tâches créatives variées au-delà de la simple génération vidéo. Les utilisateurs peuvent exploiter les capacités de texte-vers-vidéo, image-vers-vidéo, continuation d'images vidéo, inpainting, outpainting et stylisation. Le système apprend à travers toutes les modalités pendant l'entraînement, ce qui lui permet de produire des vidéos d'une cohérence et d'une qualité remarquables. De plus, VideoPoet peut générer de l'audio directement à partir d'une entrée vidéo, ce qui le rend précieux pour créer des bandes-son synchronisées et du contenu multimodal en un seul flux de travail. VideoPoet répond à la demande croissante de contenus au format court en prenant en charge les orientations carrée et portrait, ce qui le rend idéal pour les réseaux sociaux et les plateformes mobiles. La capacité du système à effectuer du montage et de la synthèse vidéo tout en maintenant la cohérence temporelle ouvre de nouvelles possibilités aux créateurs de contenu, cinéastes et chercheurs. En combinant plusieurs objectifs d'apprentissage génératif dans son cadre d'entraînement, VideoPoet démontre comment les modèles de langage peuvent devenir des outils polyvalents pour la création vidéo et audio, comblant le fossé entre l'IA textuelle et la production de médias visuels.