VideoPoet

VideoPoet rappresenta una svolta nella generazione video basata sull'IA, sfruttando modelli linguistici autoregressivi per creare video con coerenza temporale e movimento naturale. Il sistema utilizza tecniche di tokenizzazione avanzate, tra cui MAGVIT V2 per il video e SoundStream per l'audio, per convertire contenuti visivi e audio in codici discreti all'interno di un vocabolario unificato. Questo approccio unificato consente un'integrazione senza soluzione di continuità tra più modalità — testo, immagini, video e audio — permettendo al modello linguistico di comprendere e generare contenuti in tutti i formati contemporaneamente. Lo strumento eccelle nella gestione di diversi compiti creativi oltre la semplice generazione video. Gli utenti possono sfruttare funzionalità di testo-a-video, immagine-a-video, continuazione di fotogrammi video, inpainting, outpainting e stilizzazione. Il sistema apprende attraverso tutte le modalità durante l'addestramento, consentendogli di produrre video con notevole coerenza e qualità. Inoltre, VideoPoet può generare audio direttamente dall'input video, risultando prezioso per creare colonne sonore sincronizzate e contenuti multimodali in un unico flusso di lavoro. VideoPoet risponde alla crescente domanda di contenuti in formato breve supportando orientamenti quadrati e verticali, rendendolo ideale per social media e piattaforme mobili. La capacità del sistema di eseguire editing e sintesi video mantenendo la coerenza temporale apre nuove possibilità per creator di contenuti, filmmaker e ricercatori. Combinando molteplici obiettivi di apprendimento generativo nel proprio framework di addestramento, VideoPoet dimostra come i modelli linguistici possano diventare strumenti versatili per la creazione di video e audio, colmando il divario tra IA basata su testo e produzione di contenuti visivi.