Firefly, la familia de modelos de IA generativa de Adobe, no tiene la mejor reputación entre los creativos.
El modelo de generación de imágenes Firefly en particular ha sido ridiculizado como decepcionante y defectuoso en comparación con Midjourney, DALL-E 3 de OpenAI y otros rivales, con una tendencia a distorsionar las extremidades y los paisajes y perder los matices en las indicaciones. Pero Adobe está tratando de enderezar el barco con su modelo de tercera generación, Firefly Image 3, lanzado durante la conferencia Max London.
El modelo, disponible en Photoshop (beta) y la aplicación web Firefly de Adobe, produce imágenes más «realistas» que su predecesor (Image 2) y el motor anterior (Image 1) gracias a la capacidad de comprender indicaciones y escenas más largas y complejas. así como capacidades mejoradas de iluminación y generación de texto. Debería representar con mayor precisión aspectos como la tipografía, iconografía, imágenes rasterizadas y arte lineal, dice Adobe, y es «significativamente» más hábil para representar multitudes densas y personas con «características detalladas» y «una variedad de estados de ánimo y expresiones».
Las pruebas enviadas en Image 3 parecen ser un paso adelante con respecto a Imagen 2.
No se puede probar Image 3. Pero Adobe PR envió algunos resultados y mensajes del modelo, y ejecutando esos mismos mensajes a través de Image 2 en la web para obtener muestras con las que comparar los resultados con Image 3. Hay que tener en cuenta que los resultados de la Image 3 podrían haber sido seleccionados cuidadosamente.
Se puede observar la iluminación en la foto de Image 3 en comparación con la que está debajo, de Image 2:
De Image 3. Mensaje: «Retrato de estudio de una mujer joven».
El mismo comentario que el anterior, de la Image 2.
La salida de Image 3 parece más detallada y realista a mis ojos, con sombras y contraste que están en gran medida ausentes en la muestra de Image 2.
Aquí hay un conjunto de imágenes que muestran la comprensión de la escena de Image 3:
De Image 3. Mensaje: «Una artista en su estudio sentada en un escritorio luciendo pensativa con toneladas de pinturas y etérea».
El mismo mensaje que el anterior de Image 2.
Hay que tener en cuenta que la muestra de Image 2 es bastante básica en comparación con el resultado de Image 3 en términos de nivel de detalle y expresividad general. Hay confusión con el sujeto en la camisa de la muestra de Image 3 (alrededor del área de la cintura), pero la pose es más compleja que la del sujeto de Image 2, y la ropa de Image 2 también está un poco fuera de lugar.
Sin duda, algunas de las mejoras de Image 3 se pueden atribuir a un conjunto de datos de entrenamiento más grande y diverso.
Al igual que Image 2 y Imagen 1, Image 3 está entrenada para cargas en Adobe Stock, la biblioteca multimedia libre de derechos de autor de Adobe, junto con contenido de dominio público y con licencia cuyos derechos de autor han expirado. Adobe Stock crece todo el tiempo y, en consecuencia, también lo hace el conjunto de datos de entrenamiento disponible.
En un esfuerzo por evitar demandas y posicionarse como una alternativa más “ética” a los proveedores de IA generativa que entrenan con imágenes indiscriminadamente (por ejemplo, OpenAI, Midjourney), Adobe tiene un programa para pagar a los contribuyentes de Adobe Stock por el conjunto de datos de entrenamiento. Sin embargo, los términos del programa son bastante opacos. De manera controvertida, Adobe también entrena modelos de Firefly en imágenes generadas por IA, lo que algunos consideran una forma de lavado de datos.
Bloomberg reciente informó que las imágenes reveladas generadas por IA en Adobe Stock no están excluidas de los datos de entrenamiento de los modelos de generación de imágenes de Firefly, una perspectiva preocupante considerando que esas imágenes podrían contener material con derechos de autor. Adobe ha defendido la práctica, afirmando que las imágenes generadas por IA constituyen sólo una pequeña parte de sus datos de entrenamiento y pasan por un proceso de moderación para garantizar que no representen marcas comerciales, personajes reconocibles o nombres de artistas de referencia.
Por supuesto, ni los datos de capacitación diversos y de origen más «ético» ni los filtros de contenido y otras salvaguardas garantizan una experiencia perfectamente libre de fallas: por ejemplo, usuarios manifestando su descontento respecto Image 2. La verdadera prueba de fuego de Image 3 llegará una vez que la comunidad la tenga en sus manos.
Nuevas funciones impulsadas por IA
Image 3 potencia varias características nuevas en Photoshop más allá de la conversión de texto a imagen mejorada.
Un nuevo «motor de estilo» en Image 3, junto con una nueva opción de estilización automática, permite al modelo generar una gama más amplia de colores, fondos y poses de los sujetos. Se alimentan de Reference Image, una opción que permite a los usuarios condicionar el modelo a una imagen con cuyos colores o tono desean que se alinee su contenido generado en el futuro.
Tres nuevas herramientas generativas (Generar Fondo, Generar Similar y Mejorar Detalles) aprovechan Image 3 para realizar ediciones de precisión en las imágenes. Generar Fondo (autodescriptivo) reemplaza un fondo con uno generado que se combina con la imagen existente, mientras que Generar Similar ofrece variaciones en una parte seleccionada de una foto (una persona o un objeto, por ejemplo). En cuanto a Mejorar Detalle, “afina” las imágenes para mejorar la nitidez y la claridad.
Si estas características suenan familiares, es porque han estado en versión beta en la aplicación web Firefly durante al menos un mes (y Midjourney durante mucho más tiempo). Esto marca su debut en Photoshop, en versión beta.
Hablando de la aplicación web, Adobe no descuida esta ruta alternativa hacia sus herramientas de inteligencia artificial.
Coincidiendo con el lanzamiento de la Image 3, la aplicación web Firefly recibirá Structure Reference y Style Reference, que Adobe presenta como nuevas formas de «avanzar en el control creativo». Ambas fueron anunciadas en marzo, pero ahora están ampliamente disponibles. Con Structure Reference, los usuarios pueden generar nuevas imágenes que coincidan con la “estructura” de una imagen de referencia, por ejemplo, una vista frontal de un auto de carreras. La Style Reference es esencialmente una transferencia de estilo con otro nombre, que preserva el contenido de una imagen (por ejemplo, elefantes en el safari africano) mientras imita el estilo (por ejemplo, un boceto a lápiz) de una imagen de destino.
Aquí está la Structure Reference en acción:
Imagen original.
Transformado con Structure Reference.
Y Style Reference:
Imagen original.
Transformado con Style Reference.
Se consultó a Adobe si, con todas las actualizaciones, el precio de generación de imágenes de Firefly cambiaría. Actualmente, el plan premium más barato de Firefly cuesta $ 4,99 por mes, lo que socava la competencia como Midjourney, $10 por mes, y OpenAI, que ofrece DALL-E 3 detrás de una suscripción ChatGPT Plus de $ 20 por mes.
Adobe dijo que sus niveles actuales permanecerán vigentes por ahora, junto con su sistema de crédito generativo. También dijo que su política de indemnización, que establece que Adobe pagará las reclamaciones de derechos de autor relacionadas con las obras generadas en Firefly, tampoco cambiará, ni su enfoque para marcar el contenido generado por IA. Las credenciales de contenido (metadatos para identificar medios generados por IA) seguirán adjuntándose automáticamente a todas las generaciones de imágenes de Firefly en la web y en Photoshop, ya sea que se generen desde cero o se editen parcialmente mediante funciones generativas.
