La explosión masiva actual de modelos generativos de IA para texto e imagen ha sido inevitable. A medida que estos modelos se vuelven cada vez más capaces, el “modelo de base” es un término relativamente nuevo que se está utilizando. Entonces, ¿qué es un modelo de base?
El término sigue siendo algo vago. Algunos lo definen por la cantidad de parámetros y, por lo tanto, qué tan grande es una red neuronal, y otros por la cantidad de tareas únicas y difíciles que puede realizar el modelo. ¿Es realmente tan emocionante hacer modelos de IA cada vez más grandes y la capacidad del modelo para abordar múltiples tareas? Si se quita todo el bombo publicitario y el lenguaje de marketing, lo que es realmente retador acerca de estas nuevas generaciones de modelos de IA es que cambia fundamentalmente la forma en que interactuamos con las computadoras y los datos. Se puede pensar en empresas como Cohere, Covariant, Hebbia y You.com.
Ahora hemos entrado en una fase crítica de la IA en la que quién puede construir y servir estos modelos poderosos se ha convertido en un punto de discusión importante, particularmente a medida que comienzan a surgir cuestiones éticas, como quién tiene derecho a qué datos, si los modelos violan suposiciones razonables de privacidad, si el consentimiento para el uso de datos es un factor, qué constituye un “comportamiento inapropiado” y mucho punto grises adicionales que necesitan luz. Con preguntas como estas sobre la mesa, es razonable suponer que aquellos que controlan los modelos de IA serán quizás los más importantes en la toma de decisiones de nuestro tiempo.
¿Hay un juego para los modelos de base de código abierto?
Debido a los problemas éticos asociados con la IA, la atención a los modelos básicos de código abierto está cobrando impulso. Pero construir modelos básicos no es barato. Requieren decenas de miles de GPU (Graphics Processing Units) de última generación y muchos ingenieros y científicos de aprendizaje automático. El ámbito de la construcción de modelos básicos hasta la fecha solo ha sido accesible para los gigantes de la nube y las nuevas empresas extremadamente bien financiadas que se encuentran con un potencial cientos de millones de dólares potencial de retorno.
Casi todos los modelos y servicios creados por estas pocas empresas han sido de código cerrado. Aún así, el código cerrado confía una gran cantidad de poder y decisiones a un número limitado de empresas que definirán nuestro futuro, lo que puede ser bastante inquietante.
Hemos entrado en una fase crítica de la IA en la que quién puede construir y servir estos modelos poderosos se ha convertido en un punto de discusión importante
El mayor obstáculo para los modelos básicos de código abierto sigue siendo el dinero. Para que los sistemas de IA de código abierto sean rentables y sostenibles, aún requieren decenas de millones de dólares para funcionar y administrarse adecuadamente. Aunque esto es una fracción de lo que las grandes empresas están invirtiendo en sus esfuerzos, sigue siendo bastante significativo para una startup.
Podemos ver como el intento de Stability AI de abrir Neo-GPT y convertirlo en un negocio real fracasó, ya que fue superado por compañías como Open AI y Cohere. La empresa ahora tiene que enfrentarse a la demanda de Getty Images, que amenaza con distraer a la empresa de sus objetivos y agotar aún más los recursos, tanto financieros como humanos. La oposición de Meta a los sistemas de código cerrado a través de LLaMA ha echado gasolina al movimiento de código abierto, pero aún es demasiado pronto para saber si seguirán cumpliendo con su compromiso.
La buena noticia es que los modelos se están volviendo más pequeños con técnicas muy recientes como la adaptación de bajo rango (LoRa, Low-Rank Adaptation) y la incitación de la cadena de pensamientos (CoT, Chain-of-Thought Prompting). Pero aún requieren muchas iteraciones para que sean comercialmente viables, lo que naturalmente implica millones de dólares y mucha potencia informática.
En este momento, la mayoría de las empresas de IA generativa de código abierto fracasan, y no tenemos puntos de datos sobre cuán “grandes” y exitosos podrían llegar a ser los proyectos de IA de código abierto. Eso dificulta que los capitalistas de riesgo escriban el tipo de cheques que necesitan tales proyectos, particularmente en un momento en que el sistema bancario es tan frágil. Si bien esto podría mejorar en el futuro, actualmente se traduce en inversiones estratégicas, lo que vuelve de nuevo a las empresas Big Tech.
Independientemente de dónde provengan potencialmente los fondos, debemos enfrentar la realidad de que después de que desaparece la exageración y los mensajes de marketing se desvanecen, los desafíos permanecen en los frentes de sostenibilidad, relación riesgo-éxito y rentabilidad, además de mantener la calidad y la precisión para garantizar el valor. . En resumen, las empresas de IA de código abierto deben descubrir cómo convertirse en negocios reales, lo que ha sido durante mucho tiempo el mayor impedimento.
Implicaciones para las startups
Como hemos visto con la proliferación masiva de ChatGPT, los modelos básicos son el futuro, pero aún está por verse cómo influirán en él. Está surgiendo una nueva generación de nuevas empresas para hacer todo tipo de cosas increíbles, ya sea que se construyan como código cerrado o abierto. En un esfuerzo por decidir cuál es el mejor camino a seguir, los fundadores pueden hacerse preguntas difíciles relacionadas con todos los aspectos de su negocio. Por ejemplo:
Financiación
¿De dónde viene el dinero? ¿Tendrán los bolsillos lo suficientemente profundos como para hacerlo solo como una empresa de código cerrado? Si no, ¿qué tipo de pareja se buscará? ¿Se puede mantener el control del proyecto? Si se opta por la ruta del código abierto, ¿cómo se financiará?Equipo
¿El proyecto se presta al aporte y desarrollo de la comunidad, o requiere estrictos controles de calidad? ¿Cómo se podrá atraer al mejor talento para desarrollar el proyecto?Experimentación
¿Cómo podrán las personas experimentar el proyecto para aprender sobre él y probarlo? ¿Se abrirá pruebas y a un marketing extensivo? ¿Estará abierto un entorno de pruebas (sandbox) para los desarrolladores? ¿Se generar entusiasmo a través de redes comunitarias de código abierto?Fidelización
¿Cómo se crea la propia comunidad de usuarios? ¿Qué sucede si se cambia de enfoque, es decir, cuánto se puede perderen reputación y en términos de usuarios si comienza como un proyecto de código abierto y luego se debe ir en la dirección opuesta si un socio con recursos lo exige?Ética y educación
¿Cuáles son sus responsabilidades cuando se trata de cómo se utiliza el proyecto? ¿Qué hacer si se coopta para fines no deseados y dañinos? ¿Hay intervención si aprecia un "comportamiento inapropiado" y, de ser así, en qué medida? ¿Cómo se monitorea el proyecto y transmitirá las políticas a los clientes/usuarios? En resumen, ¿dónde están los límites de seguridad?Esto es solo un comienzo. Hay muchas más preguntas que respuestas en este momento.
Determinando el éxito futuro
A medida que las nuevas empresas avanzan en la construcción de modelos básicos para un nicho en particular, es importante que reconozcan que se requerirán nuevos hitos para evaluar su relevancia y valor final. Como señaló recientemente Ryan Shannon de Radical Ventures:
A diferencia de una startup tradicional, que simplemente puede escribir código, enviar un producto e iterar los comentarios de los clientes, las empresas de Foundation Model necesitan dedicar más tiempo a construir y entrenar sus modelos para llevar un producto a una posición en la que sea viable y esté listo para ser usado. A menudo, esto puede llevar varios años, millones de dólares (o… cientos de millones de dólares) y varias iteraciones antes de que los productos sean lo suficientemente buenos para que las empresas cobren a los clientes por usarlos.
Esta es una tarea difícil, y puede requerir un acto de fe de los inversores o miembros de una comunidad más grande. La inversión inicial en modelos de base es sustancialmente más alta que la que necesitan otras nuevas empresas, pero la adopción en el back-end puede no tener precedentes. Estas son tecnologías de transformación diferentes a todo lo que se ha visto antes.
Con la cantidad adecuada de tiempo, dinero y talento, los modelos fundamentales, ya sean abiertos o cerrados, no solo marcarán el comienzo del futuro, sino que lo controlarán hasta cierto punto. Los modelos básicos guiarán la forma en que consumimos la información que da forma a nuestras perspectivas y decisiones, lo que tendrá un profundo impacto en la forma en que la sociedad se comunica, aprende, comprende y crea.
Las apuestas son increíblemente altas. Los modelos de código abierto deben encontrar un modelo comercial que funcione a largo plazo, mientras que los modelos cerrados deben abordar las preocupaciones éticas inicialmente, con controles de comportamiento y supervisión establecidos. No ha surgido una solución perfecta en este panorama desordenado y en rápida evolución, pero enfrentar las grandes preguntas y examinar nuestras responsabilidades es esencial para la innovación. Cuando consideramos todo lo que es posible, tanto para bien como para mal, se descubren protecciones y se produce un progreso real.
