A OpenAI, seguindo os passos de startups como Runway e gigantes da tecnologia como Google e Meta, está se aprofundando na geração de vídeos.
OpenAI apresentou sora, um modelo GenAI que cria vídeos a partir de texto. Dada uma descrição curta (ou detalhada) ou imagem estática, Sora pode gerar cenas semelhantes a filmes em 1080p com vários personagens, diferentes tipos de movimento e detalhes de fundo, afirma a OpenAI.
Sora também pode “ampliar” os videoclipes existentes, fazendo o possível para preencher os detalhes que faltam.
“Sora tem um profundo conhecimento da linguagem, o que lhe permite interpretar pistas com precisão e gerar personagens atraentes que expressam emoções vibrantes”, escreve OpenAI em uma postagem no blog. “O modelo entende não apenas o que o usuário solicitou na mensagem, mas também como essas coisas existem no mundo físico.”
Agora, há muita arrogância na página de demonstração da OpenAI sobre Sora; A afirmação acima é um exemplo. Mas amostras cuidadosamente selecionadas do que faz o modelo Eles parecem bastante impressionantes, pelo menos em comparação com outras tecnologias de texto para vídeo vistas.
Para começar, Sora pode gerar vídeos em vários estilos (por exemplo, fotorrealista, animado, preto e branco, etc.) de até um minuto, muito mais longo do que a maioria. modelos de conversão de texto para vídeo. E esses vídeos permanecem razoavelmente consistentes no sentido de que nem sempre sucumbem ao que poderia ser chamado de “esquisitices da IA”, como objetos se movendo em direções fisicamente impossíveis.
Por exemplo, este tour por uma galeria de arte, tudo gerado pelo Sora (ignore a granulação e a compactação da ferramenta de conversão de vídeo-GIF):
Créditos da imagem: OpenAI
Ou esta animação de uma flor:
Créditos da imagem: OpenAI
Alguns dos vídeos de Sora com um sujeito humanóide (um robô parado na frente de uma paisagem urbana, por exemplo, ou uma pessoa caminhando por um caminho nevado) têm qualidade de videogame, talvez porque não haja muita coisa acontecendo ao seu redor. Além disso, a estranheza da IA consegue se infiltrar em muitos clipes, como carros dirigindo em uma direção e, de repente, dando ré ou braços derretendo em uma capa de edredom.
Créditos da imagem: OpenAI
Os exemplos mostrados são trechos de GIFs animados de vídeos mais longos. Um vídeo completo poderia ser esta cidade do oeste
Créditos do vídeo: OpenAI
A OpenAI, apesar de todos os seus superlativos, reconhece que o modelo não é perfeito. Escreve:
“Sora pode ter dificuldade em simular com precisão a física de uma cena complexa e pode não compreender casos específicos de causa e efeito. Por exemplo, uma pessoa pode dar uma mordida em um biscoito, mas depois o biscoito pode não ter a marca da mordida. O modelo também pode confundir os detalhes espaciais de uma mensagem, por exemplo, misturando esquerda e direita, e pode ter dificuldade com descrições precisas de eventos que ocorrem ao longo do tempo, como seguir um caminho específico da câmera.”
OpenAI é posicionando Sora como uma prévia da pesquisa, revelando pouco sobre quais dados foram usados para treinar o modelo (menos de aproximadamente 10,000 horas de vídeo de “alta qualidade”) e evitando disponibilizar amplamente o Sora. A sua base é o potencial para abuso; A OpenAI aponta corretamente que maus atores podem usar indevidamente um modelo como Sora de inúmeras maneiras.
A OpenAI afirma que está trabalhando com especialistas para testar o modelo quanto a uso indevido e abuso e criar ferramentas para detectar se o vídeo foi gerado por Sora. A empresa afirma ainda que caso decida tornar o modelo um produto público, garantirá que os metadados de procedência sejam incluídos nos resultados gerados.
“Envolveremos decisores políticos, educadores e artistas de todo o mundo para compreender as suas preocupações e identificar casos de utilização positivos para esta nova tecnologia”, escreve OpenAI. “Apesar da extensa pesquisa e testes, não podemos prever todos maneiras benéficas que as pessoas usarão nossa tecnologia, nem todas as maneiras pelas quais ela será abusada. “É por isso que acreditamos que aprender com o uso no mundo real é um componente crítico para construir e lançar sistemas de IA cada vez mais seguros ao longo do tempo.”
