OpenAI, suivant les traces de startups comme Runway et de géants de la technologie comme Google et Meta, se lance dans la génération vidéo.
OpenAI a présenté sora, un modèle GenAI qui crée des vidéos à partir de texte. À partir d'une description courte (ou détaillée) ou d'une image fixe, Sora peut générer des scènes de type film 1080p avec plusieurs personnages, différents types de mouvements et des détails d'arrière-plan, affirme OpenAI.
Sora peut également « zoomer » sur des clips vidéo existants, faisant de son mieux pour combler les détails manquants.
"Sora a une compréhension approfondie du langage, ce qui lui permet d'interpréter avec précision les signaux et de générer des personnages convaincants qui expriment des émotions vibrantes", écrit OpenAI dans un article de blog. "Le modèle comprend non seulement ce que l'utilisateur a demandé dans le message, mais aussi comment ces choses existent dans le monde physique."
Maintenant, il y a beaucoup de démagogie sur la page de démonstration d'OpenAI à propos de Sora ; La déclaration ci-dessus est un exemple. Mais des échantillons soigneusement sélectionnés de ce que fait le modèle Ils ont l'air assez impressionnants, du moins par rapport aux autres technologies de synthèse texte-vidéo vues.
Pour commencer, Sora peut générer des vidéos dans une variété de styles (par exemple photoréaliste, animé, noir et blanc, etc.) jusqu'à une minute, beaucoup plus longue que la plupart. modèles de conversion de texte à la vidéo. Et ces vidéos restent raisonnablement cohérentes dans le sens où elles ne succombent pas toujours à ce que l’on pourrait appeler des « bizarreries de l’IA », comme des objets se déplaçant dans des directions physiquement impossibles.
Par exemple, cette visite d'une galerie d'art, le tout généré par Sora (ignorer le grain, la compression de l'outil de conversion vidéo-GIF) :
Crédits images : OpenAI
Ou cette animation d'une fleur :
Crédits images : OpenAI
Certaines vidéos de Sora avec un sujet humanoïde (un robot debout devant un paysage urbain, par exemple, ou une personne marchant sur un chemin enneigé) ont une qualité de jeu vidéo, peut-être parce qu'il ne se passe pas grand-chose autour de lui. De plus, l'étrangeté de l'IA parvient à se faufiler dans de nombreux clips, comme des voitures roulant dans une direction puis reculant soudainement ou des bras fondant dans une housse de couette.
Crédits images : OpenAI
Les exemples présentés sont des extraits de gifs animés de vidéos plus longues. Une vidéo complète pourrait être cette ville occidentale
Crédits vidéo : OpenAI
OpenAI, malgré tous ses superlatifs, reconnaît que le modèle n'est pas parfait. Écrit :
« Sora peut avoir des difficultés à simuler avec précision la physique d'une scène complexe et peut ne pas comprendre des cas spécifiques de cause à effet. Par exemple, une personne peut prendre une bouchée dans un biscuit, mais par la suite, le biscuit peut ne plus porter la marque de morsure. Le modèle peut également confondre les détails spatiaux d’un message, par exemple en mélangeant la gauche et la droite, et peut avoir des difficultés à décrire avec précision les événements qui se déroulent au fil du temps, comme suivre un chemin de caméra spécifique.
OpenAI est positionner Sora comme un aperçu de la recherche, révélant peu de choses sur les données utilisées pour entraîner le modèle (moins d'environ 10,000 XNUMX heures de vidéo de « haute qualité ») et s'abstenant de rendre Sora largement disponible. Son fondement est le potentiel d’abus ; OpenAI souligne à juste titre que de mauvais acteurs pourraient abuser d'un modèle comme Sora de nombreuses manières.
OpenAI affirme travailler avec des experts pour tester le modèle en cas d'utilisation abusive, et créer des outils pour détecter si la vidéo a été générée par Sora. L'entreprise affirme également que si elle décide de faire du modèle un produit public, elle veillera à ce que les métadonnées de provenance soient incluses dans les résultats générés.
"Nous engagerons les décideurs politiques, les éducateurs et les artistes du monde entier pour comprendre leurs préoccupations et identifier des cas d'utilisation positifs de cette nouvelle technologie", écrit OpenAI. « Malgré des recherches et des tests approfondis, nous ne pouvons pas prédire tout façons bénéfiques que les gens utiliseront notre technologie, ni toutes les manières dont elle sera utilisée à mauvais escient. « C’est pourquoi nous pensons qu’apprendre de l’utilisation réelle est un élément essentiel pour créer et lancer des systèmes d’IA de plus en plus sûrs au fil du temps. »
