A Adobe afirma que está construindo um modelo de inteligência artificial para gerar vídeos. Mas não revela quando exatamente esse modelo será lançado, nem muito sobre ele, apenas o “fato” de que ele existe.
Oferecido como uma espécie de resposta ao Sora da OpenAI, à Imagem 2 do Google e aos modelos do número crescente de startups no espaço nascente de vídeo de IA generativa, o modelo da Adobe, parte da crescente família Firefly de produtos de IA generativa da empresa, fará está chegando ao Premiere Pro, o principal pacote de edição de vídeo da Adobe, e chega ainda este ano, diz a Adobe.
Como muitas ferramentas generativas de vídeo de IA hoje, o modelo da Adobe cria imagens do zero (seja uma mensagem ou imagens de referência) e potencializa três novos recursos no Premiere Pro: adição de objetos, remoção de objetos e extensão generativa.
Esses recursos são autoexplicativos.
Adicionar objetos permite que os usuários selecionem um segmento de um videoclipe (por exemplo, o terço superior ou o canto inferior esquerdo) e insiram um prompt para inserir objetos nesse segmento. Em um briefing, um porta-voz da Adobe mostrou uma imagem estática de uma pasta do mundo real cheia de diamantes gerados pelo modelo da Adobe.
Imagem: Diamantes gerados por IA, Adobe.
A remoção de objetos remove elementos dos vídeos, como microfones em uma extensão ou poste ou xícaras de café no fundo de um vídeo.
Remoção de objetos com IA. Percebe-se que os resultados não são totalmente perfeitos. Imagem: adobe
Quanto à extensão generativa, ela adiciona alguns quadros ao início ou ao final de um clipe (infelizmente, a Adobe não informou quantos quadros). A extensão generativa não se destina a criar cenas inteiras, mas sim a adicionar quadros intermediários para sincronizar com uma trilha sonora ou preservar uma cena para dar-lhe ritmo adicional, por exemplo, para adicionar um tom emocional.
Imagem: adobe
Para enfrentar o medo de deepfakes que inevitavelmente surge em torno de ferramentas generativas de IA como essas, a Adobe diz que incluirá credenciais de conteúdo (metadados para identificar mídia gerada por IA) no Premiere. As credenciais de conteúdo, um padrão de origem de mídia que a Adobe suporta por meio de sua Iniciativa de Autenticidade de Conteúdo, já estavam no Photoshop e eram um componente dos modelos de imagem Firefly da Adobe. No Premiere, eles indicarão não apenas qual conteúdo foi gerado pela IA, mas também qual modelo de IA foi usado para gerá-lo.
Perguntei à Adobe quais dados (imagens, vídeos, etc.) foram usados para treinar o modelo. A empresa não disse se ou como (ou se) está compensando os contribuidores do conjunto de dados.
Na semana passada, a Bloomberg, citando fontes familiarizadas com o assunto, relatado que a Adobe paga a fotógrafos e artistas em sua plataforma de mídia de estoque, Adobe Stock, até US$ 120 pelo envio de videoclipes curtos para treinar seu modelo de geração de vídeo. Diz-se que o pagamento varia de cerca de US$ 2,62 por minuto de vídeo a cerca de US$ 7,25 por minuto, dependendo da apresentação, com imagens de maior qualidade gerando taxas correspondentemente mais altas.
Isso seria um desvio do acordo atual da Adobe com artistas e fotógrafos do Adobe Stock cujo trabalho ela usa para treinar seus modelos de geração de imagens. A empresa paga a esses contribuidores um bónus anual, e não uma taxa única, dependendo do volume de conteúdo que têm em stock e da forma como é utilizado, embora seja um bónus sujeito a uma fórmula opaca e não garantido ano a ano.
Os relatórios da Bloomberg, se forem precisos, mostram uma abordagem que contrasta fortemente com a dos rivais de vídeo de IA generativa, como a OpenAI, que tem repetidamente Tem sido dito que extraiu dados de sites publicamente disponíveis, incluindo vídeos do YouTube, para treinar seus modelos. O CEO do YouTube, Neal Mohan, disse recentemente que usar vídeos do YouTube para treinar o gerador de texto para vídeo da OpenAI seria uma violação dos termos de serviço da plataforma, destacando a fraqueza legal do argumento de uso justo do YouTube OpenAI et al.
As empresas, incluindo a OpenAI, estão sendo processado sobre alegações de que eles estão violando a lei de direitos autorais ao treinar sua IA em conteúdo protegido por direitos autorais sem fornecer crédito ou pagar aos proprietários. A Adobe parece ter a intenção de evitar essa circunstância, como seus concorrentes que às vezes geram IA, Shutterstock e Getty Images (que também têm acordos para licenciar dados de treinamento de modelos) e, com sua política de compensação de propriedade intelectual, posicionar-se como uma opção comprovadamente “segura” para clientes corporativos.
Quanto ao pagamento, a Adobe não informa quanto custará aos clientes o uso dos próximos recursos de renderização de vídeo no Premiere; Os preços provavelmente ainda estão sendo discutidos, mas a empresa revelado que o esquema de pagamento seguirá o sistema de crédito generativo estabelecido com seus primeiros modelos Firefly.
Para clientes com assinatura paga da Adobe Creative Cloud, os créditos generativos são renovados a cada mês, com alocações que variam de 25 a 1000 por mês, dependendo do plano. Cargas de trabalho mais complexas (por exemplo, imagens geradas em resoluções mais altas ou múltiplas gerações de imagens) exigem mais créditos, como regra geral.
A grande questão que se faz é: os recursos de vídeo com tecnologia de IA da Adobe serão realmente contribuições de valor diferencial de acordo com seu custo?
Os modelos de imagem Firefly até agora foram largamente ridicularizado tão decepcionante e falho em comparação com Midjourney, DALL-E 3 da OpenAI e outras ferramentas concorrentes. A falta de um cronograma de lançamento do modelo de vídeo não inspira muita confiança de que o mesmo destino será evitado. Nem o fato de a Adobe ter se recusado a mostrar demonstrações ao vivo de adição e remoção de objetos e extensão generativa, insistindo em vez disso em um vídeo pré-gravado.
Talvez para proteger suas apostas, a Adobe diz que está conversando com fornecedores terceirizados sobre a integração de seus modelos de geração de vídeo no Premiere, bem como ferramentas poderosas como a extensão generativa e muito mais.
Um desses provedores é o OpenAI.
A Adobe afirma que está colaborando com a OpenAI para encontrar maneiras de incorporar o Sora ao fluxo de trabalho do Premiere. Uma parceria com a OpenAI faz sentido dadas as capacidades da startup de IA em suas propostas para Hollywood recentemente, é revelador que Mira Murati, CTO da OpenAI, estará presente no Festival de Cinema de Cannes este ano. Outros parceiros iniciais incluem a Pika, uma startup que cria ferramentas de IA para geração e edição de vídeos, e a Runway, que foi um dos primeiros fornecedores do mercado com um modelo de vídeo generativo. .
Um porta-voz da Adobe disse que a empresa estaria aberta para trabalhar com outras pessoas no futuro.
Agora, para ser bem claro, essas integrações são mais um experimento mental do que um produto funcional no momento. A Adobe enfatizou repetidamente que eles estão em uma “prévia” e “pesquisa”, em vez de algo que os clientes possam esperar jogar em breve.
E esse é o tom geral do produto de vídeo generativo da Adobe.
A Adobe está claramente tentando sinalizar com esses anúncios que está pensando em vídeo generativo, mesmo que apenas no sentido preliminar. Seria tolice não o fazer: ser apanhado desprevenido na corrida da IA generativa é correr o risco de perder um novo e valioso fluxo de receitas potencial, assumindo que a economia acabará por funcionar a favor da Adobe. Afinal, os modelos de IA são caros para treinar, executar e distribuir.
Mas, francamente, os conceitos que mostra não são muito convincentes. Com Sora em liberdade e certamente mais inovações a caminho, a empresa tem muito a provar.
