Adobe dice que está construyendo un modelo de inteligencia artificial para generar videos. Pero no revela cuándo se lanzará exactamente este modelo, ni mucho sobre él, sólo el «hecho» de que existe.
Ofrecido como una especie de respuesta a Sora de OpenAI, Imagen 2 de Google y modelos del creciente número de nuevas empresas en el naciente espacio de video de IA generativa, el modelo de Adobe, una parte de la creciente familia Firefly de productos de IA generativa de la compañía, se abrirá paso en Premiere Pro, la suite de edición de video insignia de Adobe, y llegará a finales de este año, dice Adobe.
Como muchas herramientas de video de IA generativa actuales, el modelo de Adobe crea imágenes desde cero (ya sea un mensaje o imágenes de referencia) y potencia tres nuevas características en Premiere Pro: adición de objetos, eliminación de objetos y extensión generativa.
Estas funciones se explican por sí solas.
La adición de objetos permite a los usuarios seleccionar un segmento de un clip de vídeo (por ejemplo, el tercio superior o la esquina inferior izquierda) e ingresar un mensaje para insertar objetos dentro de ese segmento. En una sesión informativa, un portavoz de Adobe mostró una imagen fija de un maletín del mundo real lleno de diamantes generado por el modelo de Adobe.
Imagen: Diamantes generados por IA, Adobe.
La eliminación de objetos elimina elementos de los videos, como micrófonos sobre una extensión o vara o tazas de café en el fondo de un video.
Eliminación de objetos con IA. Se puede observar que los resultados no son del todo perfectos. Imagen: Adobe
En cuanto a la extensión generativa, agrega algunos fotogramas al principio o al final de un clip (desafortunadamente, Adobe no indicó cuántos fotogramas). La extensión generativa no pretende crear escenas completas, sino más bien agregar fotogramas intermedios para sincronizarlos con una banda sonora o conservar una toma para darle un ritmo adicional, por ejemplo, para agregar tono emocional.
Imagen: Adobe
Para abordar el miedo a los deepfakes que inevitablemente surge en torno a herramientas de inteligencia artificial generativa como éstas, Adobe dice que incluirá credenciales de contenido (metadatos para identificar medios generados por inteligencia artificial) a Premiere. Las credenciales de contenido, un estándar de procedencia de medios que Adobe respalda a través de su Iniciativa de Autenticidad de Contenido, ya estaban en Photoshop y eran un componente de los modelos Firefly de generación de imágenes de Adobe. En Premiere, indicarán no solo qué contenido fue generado por IA sino también qué modelo de IA se utilizó para generarlo.
Le pregunté a Adobe qué datos (imágenes, videos, etc.) se utilizaron para entrenar el modelo. La compañía no lo dijo ni cómo (o si) está compensando a los contribuyentes del conjunto de datos.
La semana pasada, Bloomberg, citando fuentes familiarizadas con el asunto, informó que Adobe paga a fotógrafos y artistas en su plataforma de medios de stock, Adobe Stock, hasta 120 dólares por enviar clips de vídeo cortos para entrenar su modelo de generación de vídeo. Se dice que el pago oscila entre alrededor de $ 2,62 por minuto de video y alrededor de $ 7,25 por minuto, dependiendo de la presentación, y las imágenes de mayor calidad exigen tarifas correspondientemente más altas.
Eso sería una desviación del acuerdo actual de Adobe con los artistas y fotógrafos de Adobe Stock cuyo trabajo está utilizando para entrenar sus modelos de generación de imágenes. La compañía paga a esos contribuyentes una bonificación anual, no una tarifa única, dependiendo del volumen de contenido que tienen en stock y cómo se utiliza, aunque es una bonificación sujeta a una fórmula opaca y no garantizada de año en año.
Los informes de Bloomberg, si son precisos, muestran un enfoque en marcado contraste con el de rivales de vídeo con IA generativa como OpenAI, que varias ocasiones se ha dicho que ha extraído datos de webs disponibles públicamente, incluidos videos de YouTube, para entrenar sus modelos. El director ejecutivo de YouTube, Neal Mohan, dijo recientemente que el uso de videos de YouTube para entrenar el generador de texto a video de OpenAI sería una infracción de los términos de servicio de la plataforma, destacando la debilidad legal del argumento de uso justo de OpenAI y otros.
Las empresas, incluida OpenAI, están siendo demandadas por acusaciones de que están violando la ley de propiedad intelectual al entrenar su IA en contenido protegido por derechos de autor sin proporcionar crédito ni pagar a los propietarios. Adobe parece tener la intención de evitar esta circunstancia, como su competencia en algún momento generativa de IA, Shutterstock y Getty Images (que también tienen acuerdos para licenciar datos de entrenamiento de modelos) y, con su política de indemnización de propiedad intelectual, posicionándose como una opción verificablemente “segura” para clientes empresariales.
En cuanto al pago, Adobe no dice cuánto les costará a los clientes utilizar las próximas funciones de generación de video en Premiere; presumiblemente, todavía se están debatiendo los precios, pero la empresa reveló que el esquema de pago seguirá el sistema de créditos generativos establecido con sus primeros modelos Firefly.
Para los clientes con una suscripción de pago de Adobe Creative Cloud, los créditos generativos se renuevan a partir de cada mes, con asignaciones que van de 25 a 1000 por mes, según el plan. Las cargas de trabajo más complejas (por ejemplo, imágenes generadas con mayor resolución o generaciones de imágenes múltiples) requieren más créditos, como regla general.
La gran pregunta que se plantea es: ¿las funciones de video impulsadas por IA de Adobe serán realmente aportaciones de valor diferencial acordes a su coste?
Los modelos de generación de imágenes de Firefly hasta ahora han sido ampliamente ridiculizadas como decepcionantes y defectuosos en comparación con Midjourney, DALL-E 3 de OpenAI y otras herramientas de la competencia. La falta de un plazo de lanzamiento en el modelo de video no infunde mucha confianza de que se evitará el mismo destino. Tampoco lo hace el hecho de que Adobe se negó a mostrar demostraciones en vivo de adición y eliminación de objetos y extensión generativa, insistiendo en cambio en un video pregrabado.
Quizás para cubrir sus apuestas, Adobe dice que está en conversaciones con proveedores externos sobre la integración de sus modelos de generación de video en Premiere, así como para potenciar herramientas como la extensión generativa y más.
Uno de esos proveedores es OpenAI.
Adobe dice que está colaborando con OpenAI para encontrar formas de incorporar a Sora al flujo de trabajo de Premiere. Una alianza con OpenAI tiene sentido dada la capacidad de la startup de IA en sus propuestas a Hollywood recientemente, es revelador que la CTO de OpenAI, Mira Murati, asistirá al Festival de Cine de Cannes este año. Otros socios iniciales incluyen Pika, una startup que crea herramientas de inteligencia artificial para generar y editar videos, y Runway, que fue uno de los primeros proveedores del mercado con un modelo de video generativo. .
Un portavoz de Adobe dijo que la empresa estaría abierta a trabajar con otros en el futuro.
Ahora bien, para ser muy claro, estas integraciones son más un experimento mental que un producto funcional en la actualidad. Adobe recalcó repetidamente que están en una “vista previa anticipada” y en una “investigación” en lugar de algo con lo que los clientes puedan esperar jugar en el corto plazo.
Y ese es el tono general del producto de video generativo de Adobe.
Adobe claramente está tratando de señalar con estos anuncios que está pensando en video generativo, aunque sólo sea en el sentido preliminar. Sería una tontería no hacerlo: quedar atrapado desprevenido en la carrera generativa de la IA es correr el riesgo de perder una nueva y valiosa fuente de ingresos potencial, suponiendo que la economía finalmente funcione a favor de Adobe. Después de todo, los modelos de IA son caros de entrenar, ejecutar y distribuir.
Pero, francamente, los conceptos que muestra no son muy convincente. Con Sora en libertad y seguramente más innovaciones en camino, la compañía tiene mucho que demostrar.
