OpenAI, seguendo le orme di startup come Runway e giganti della tecnologia come Google e Meta, si sta addentrando nella generazione di video.
OpenAI ha presentato sora, un modello GenAI che crea video dal testo. Data una descrizione breve (o dettagliata) o un'immagine fissa, Sora può generare scene simili a film a 1080p con più personaggi, diversi tipi di movimento e dettagli di sfondo, afferma OpenAI.
Sora può anche "ingrandire" i video clip esistenti, facendo del suo meglio per inserire i dettagli mancanti.
"Sora ha una profonda conoscenza del linguaggio, che gli consente di interpretare accuratamente i segnali e generare personaggi avvincenti che esprimono emozioni vibranti", scrive OpenAI in un post sul blog. "Il modello comprende non solo ciò che l'utente ha richiesto nel messaggio, ma anche come queste cose esistono nel mondo fisico."
Ora, c'è molta enfasi sulla pagina demo di OpenAI su Sora; La dichiarazione di cui sopra è un esempio. Ma campioni accuratamente selezionati di cosa fa il modello Sembrano piuttosto impressionanti, almeno rispetto alle altre tecnologie di conversione testo-video viste.
Per cominciare, Sora può generare video in una varietà di stili (ad esempio fotorealistico, animato, bianco e nero, ecc.) fino a un minuto, molto più a lungo della maggior parte. modelli di conversione del testo al video. E questi video rimangono ragionevolmente coerenti, nel senso che non sempre soccombono a quelle che potrebbero essere chiamate "stranezze dell'intelligenza artificiale", come oggetti che si muovono in direzioni fisicamente impossibili.
Ad esempio, questo tour di una galleria d'arte, tutto generato da Sora (ignora la granulosità e la compressione dello strumento di conversione video-GIF):
Crediti immagine: OpenAI
O questa animazione di un fiore:
Crediti immagine: OpenAI
Alcuni dei video di Sora con un soggetto umanoide (un robot in piedi di fronte a un paesaggio urbano, per esempio, o una persona che cammina lungo un sentiero innevato) hanno la qualità di un videogioco, forse perché non c'è molto da fare intorno a lui. Inoltre, la stranezza dell'intelligenza artificiale riesce a intrufolarsi in molte clip, come le auto che guidano in una direzione e poi improvvisamente fanno retromarcia o le braccia che si fondono in un copripiumino.
Crediti immagine: OpenAI
Gli esempi mostrati sono estratti di gif animate da video più lunghi. Un video completo potrebbe essere questa città occidentale
Crediti video: OpenAI
OpenAI, nonostante tutti i suoi superlativi, riconosce che il modello non è perfetto. Scrive:
“Sora potrebbe avere difficoltà a simulare accuratamente la fisica di una scena complessa e potrebbe non comprendere casi specifici di causa ed effetto. Ad esempio, una persona può dare un morso a un biscotto, ma in seguito il biscotto potrebbe non avere il segno del morso. Il modello può anche confondere i dettagli spaziali di un messaggio, ad esempio mescolando sinistra e destra, e potrebbe avere difficoltà con descrizioni accurate di eventi che si verificano nel tempo, come seguire uno specifico percorso della telecamera”.
OpenAI lo è posizionando Sora come un'anteprima della ricerca, rivelando poco sui dati utilizzati per addestrare il modello (meno di circa 10,000 ore di video di "alta qualità") e astenendosi dal rendere Sora ampiamente disponibile. Il suo fondamento è il potenziale di abuso; OpenAI sottolinea correttamente che i malintenzionati potrebbero abusare di un modello come Sora in innumerevoli modi.
OpenAI afferma che sta lavorando con esperti per testare il modello per usi impropri, abusi e creare strumenti per rilevare se il video è stato generato da Sora. L’azienda afferma inoltre che se deciderà di rendere il modello un prodotto pubblico, garantirà che i metadati di provenienza siano inclusi nei risultati generati.
“Coinvolgeremo politici, educatori e artisti di tutto il mondo per comprendere le loro preoccupazioni e identificare casi d’uso positivi per questa nuova tecnologia”, scrive OpenAI. “Nonostante ricerche e test approfonditi, non possiamo prevedere tutto modi utili che le persone utilizzeranno della nostra tecnologia, né di tutti i modi in cui verrà abusata. “Ecco perché crediamo che imparare dall’utilizzo nel mondo reale sia una componente fondamentale per costruire e lanciare nel tempo sistemi di IA sempre più sicuri”.
