Adobe afferma che sta costruendo un modello di intelligenza artificiale per generare video. Ma non rivela quando verrà rilasciato esattamente questo modello, o molto al riguardo, solo il “fatto” che esiste.
Offerto come una sorta di risposta a Sora di OpenAI, Image 2 di Google e ai modelli del crescente numero di startup nel nascente spazio video di intelligenza artificiale generativa, il modello di Adobe, parte della crescente famiglia Firefly di prodotti di intelligenza artificiale generativa dell'azienda, renderà si farà strada in Premiere Pro, la suite di editing video di punta di Adobe, e arriverà entro la fine dell'anno, afferma Adobe.
Come molti strumenti video AI generativi odierni, il modello di Adobe crea immagini da zero (un messaggio o immagini di riferimento) e alimenta tre nuove funzionalità in Premiere Pro: aggiunta di oggetti, rimozione di oggetti ed estensione generativa.
Queste funzionalità sono autoesplicative.
L'aggiunta di oggetti consente agli utenti di selezionare un segmento di un video clip (ad esempio, il terzo superiore o l'angolo inferiore sinistro) e immettere un messaggio per inserire oggetti all'interno di quel segmento. In un briefing, un portavoce di Adobe ha mostrato un'immagine fissa di una valigetta reale piena di diamanti generata dal modello di Adobe.
Immagine: Diamanti generati da AI, Adobe.
La rimozione degli oggetti rimuove elementi dai video, come i microfoni su una prolunga o un palo o tazze di caffè sullo sfondo di un video.
Rimozione di oggetti con AI. Si può notare che i risultati non sono del tutto perfetti. Immagine: Adobe
Per quanto riguarda l'estensione generativa, aggiunge alcuni fotogrammi all'inizio o alla fine di una clip (sfortunatamente Adobe non ha detto quanti fotogrammi). L'estensione generativa non ha lo scopo di creare intere scene, ma piuttosto di aggiungere fotogrammi intermedi da sincronizzare con una colonna sonora o di preservare una ripresa per darle ulteriore ritmo, ad esempio per aggiungere tono emotivo.
Immagine: Adobe
Per affrontare la paura di deepfakes che inevitabilmente nasce da strumenti di intelligenza artificiale generativa come questi, Adobe afferma che includerà le credenziali del contenuto (metadati per identificare i media generati dall'intelligenza artificiale) in Premiere. Le credenziali del contenuto, uno standard di provenienza multimediale che Adobe supporta attraverso la sua Content Authenticity Initiative, erano già in Photoshop ed erano un componente dei modelli di imaging Firefly di Adobe. In Premiere, indicheranno non solo quale contenuto è stato generato dall'intelligenza artificiale, ma anche quale modello di intelligenza artificiale è stato utilizzato per generarlo.
Ho chiesto ad Adobe quali dati (immagini, video, ecc.) sono stati utilizzati per addestrare il modello. La società non ha detto se o come (o se) compenserà i contributori al set di dati.
La scorsa settimana Bloomberg, citando fonti vicine alla questione, segnalato che Adobe paga fotografi e artisti sulla sua piattaforma multimediale stock, Adobe Stock, fino a $ 120 per l'invio di brevi videoclip per addestrare il suo modello di generazione video. Si dice che il pagamento vari da circa $ 2,62 al minuto di video a circa $ 7,25 al minuto, a seconda della presentazione, con immagini di qualità superiore che richiedono tariffe corrispondentemente più elevate.
Si tratterebbe di un allontanamento dall’attuale accordo di Adobe con artisti e fotografi Adobe Stock il cui lavoro viene utilizzato per addestrare i suoi modelli di generazione di immagini. L'azienda paga a questi contributori un bonus annuale, non una tariffa una tantum, a seconda del volume di contenuti che hanno in stock e di come vengono utilizzati, sebbene si tratti di un bonus soggetto a una formula opaca e non garantito di anno in anno.
Il rapporto di Bloomberg, se accurato, mostra un approccio in netto contrasto con quello dei rivali di video AI generativi come OpenAI, che ha ripetutamente è stato detto che ha estratto dati da siti Web disponibili al pubblico, inclusi video di YouTube, per addestrare i suoi modelli. Il CEO di YouTube Neal Mohan ha recentemente affermato che l'utilizzo di video di YouTube per addestrare il generatore di testo in video di OpenAI costituirebbe una violazione dei termini di servizio della piattaforma, evidenziando la debolezza legale dell'argomento del fair use di YouTube OpenAI et al.
Le aziende, inclusa OpenAI, lo sono essere citato in giudizio per le accuse di violazione della legge sul copyright addestrando la propria intelligenza artificiale su contenuti protetti da copyright senza fornire credito o pagare i proprietari. Adobe sembra intenzionata a evitare questa circostanza, come la sua concorrenza che a volte genera intelligenza artificiale, Shutterstock e Getty Images (che hanno anche accordi per concedere in licenza i dati di addestramento del modello) e, con la sua politica di compensazione della proprietà intellettuale, posizionandosi come un'opzione verificabilmente "sicura" per i clienti aziendali.
Per quanto riguarda il pagamento, Adobe non dice quanto costerà ai clienti utilizzare le prossime funzionalità di rendering video in Premiere; I prezzi sono presumibilmente ancora in discussione, ma l'azienda rivelato che lo schema di pagamento seguirà il sistema di credito generativo stabilito con i suoi primi modelli Firefly.
Per i clienti con un abbonamento Adobe Creative Cloud a pagamento, i crediti generativi si rinnovano ogni mese, con allocazioni che vanno da 25 a 1000 al mese, a seconda del piano. Carichi di lavoro più complessi (ad esempio, immagini generate a una risoluzione più elevata o più generazioni di immagini) richiedono, come regola generale, più crediti.
La grande domanda che viene posta è: le funzionalità video basate sull'intelligenza artificiale di Adobe saranno disponibili realmente contributi di valore differenziale in base al suo costo?
Finora sono stati utilizzati modelli di imaging Firefly ampiamente ridicolizzato come deludente e imperfetto rispetto a Midjourney, DALL-E 3 di OpenAI e altri strumenti concorrenti. La mancanza di una tempistica di rilascio del modello video non infonde molta fiducia nel fatto che lo stesso destino verrà evitato. Nemmeno il fatto che Adobe si sia rifiutata di mostrare dimostrazioni dal vivo di aggiunta e rimozione di oggetti ed estensioni generative, insistendo invece su un video preregistrato.
Forse per coprire le sue scommesse, Adobe dice che è in trattative con fornitori di terze parti per integrare i suoi modelli di generazione video in Premiere, oltre a potenziare strumenti come l'estensione generativa e altro ancora.
Uno di questi fornitori è OpenAI.
Adobe afferma che sta collaborando con OpenAI per trovare modi per incorporare Sora nel flusso di lavoro di Premiere. Una partnership con OpenAI ha senso date le capacità della startup AI nelle sue proposte a Hollywood di recente, è significativo che Mira Murati, CTO di OpenAI, quest'anno sarà presente al Festival di Cannes. Altri primi partner includono Pika, una startup che crea strumenti di intelligenza artificiale per generare e modificare video, e Runway, che è stato uno dei primi fornitori sul mercato con un modello video generativo. .
Un portavoce di Adobe ha affermato che l'azienda sarebbe disposta a collaborare con altri in futuro.
Ora, per essere molto chiari, al momento queste integrazioni sono più un esperimento mentale che un prodotto funzionante. Adobe ha ripetutamente sottolineato che si tratta di una "anteprima anticipata" e di una "ricerca" piuttosto che qualcosa con cui i clienti possono aspettarsi di giocare in tempi brevi.
E questo è il tono generale del prodotto video generativo di Adobe.
Adobe sta chiaramente cercando di segnalare con queste pubblicità che sta pensando al video generativo, anche se solo in senso preliminare. Sarebbe sciocco non farlo: farsi cogliere impreparati nella corsa all’intelligenza artificiale generativa significa rischiare di perdere un nuovo prezioso flusso di entrate potenziali, presupponendo che gli aspetti economici alla fine vadano a favore di Adobe. Dopotutto, i modelli di intelligenza artificiale sono costosi da addestrare, gestire e distribuire.
Ma, francamente, i concetti che mostra non sono molto convincenti. Con Sora in generale e sicuramente altre innovazioni in arrivo, l’azienda ha molto da dimostrare.
