L'explosion massive actuelle de modèles d'IA génératifs pour le texte et l'image est inévitable. Au fur et à mesure que ces modèles deviennent de plus en plus performants, "modèle de base" est un terme relativement nouveau qui est utilisé. Qu'est-ce qu'un modèle de base ?
Le terme est encore un peu flou. Certains le définissent par le nombre de paramètres et donc la taille d'un réseau de neurones, et d'autres par le nombre de tâches uniques et difficiles que le modèle peut effectuer. Est-ce vraiment excitant de créer des modèles d'IA de plus en plus gros et la capacité du modèle à s'attaquer à plusieurs tâches ? Débarrassez-vous de tout le battage médiatique et du langage marketing, ce qui est vraiment difficile avec ces nouvelles générations de modèles d'IA, c'est qu'ils changent fondamentalement la façon dont nous interagissons avec les ordinateurs et les données. Vous pouvez penser à des entreprises comme Cohere, Covariant, Hebbia et You.com.
Nous sommes maintenant entrés dans une phase critique de l'IA dans laquelle qui peut construire et servir ces modèles puissants est devenu un point de discorde majeur, en particulier alors que des questions éthiques commencent à émerger, telles que qui a droit à quelles données, si les modèles violent des hypothèses raisonnables de la vie privée, si le consentement à l'utilisation des données est un facteur, ce qui constitue un "comportement inapproprié" et de nombreux points gris supplémentaires qui ont besoin de lumière. Avec des questions comme celles-ci sur la table, il est raisonnable de supposer que ceux qui contrôlent les modèles d'IA seront peut-être les décideurs les plus importants de notre époque.
Existe-t-il un jeu pour les modèles de base open source ?
En raison des problèmes éthiques associés à l'IA, l'attention portée aux modèles de base open source gagne du terrain. Mais construire des modèles de base n'est pas bon marché. Ils nécessitent des dizaines de milliers de GPU (unités de traitement graphique) à la pointe de la technologie et de nombreux ingénieurs et scientifiques en apprentissage automatique. Jusqu'à présent, le domaine de la construction de modèles de base n'a été accessible qu'aux géants du cloud et aux startups extrêmement bien financées qui se retrouvent avec des centaines de millions de dollars de potentiel de retour.
Presque tous les modèles et services créés par ces quelques entreprises ont été fermés. Pourtant, les sources fermées confient une grande partie du pouvoir et des décisions à un nombre limité d'entreprises qui définiront notre avenir, ce qui peut être assez déstabilisant.
Nous sommes entrés dans une phase critique de l'IA où qui peut construire et servir ces modèles puissants est devenu un point de discorde majeur.
Le plus grand obstacle aux modèles open source de base restes l'argent. Pour que les systèmes d'IA open source soient rentables et durables, ils nécessitent encore des dizaines de millions de dollars pour fonctionner et être correctement gérés. Bien que ce ne soit qu'une fraction de ce que les grandes entreprises investissent dans leurs efforts, cela reste assez important pour une startup.
Nous pouvons voir comment la tentative de Stability AI d'ouvrir Neo-GPT et d'en faire une véritable entreprise a échoué, car elle a été dépassée par des entreprises comme Open AI et Cohere. La société doit maintenant faire face à un procès de Getty Images, qui menace de détourner l'entreprise de ses objectifs et de solliciter davantage ses ressources, tant financières qu'humaines. L'opposition de Meta aux systèmes à source fermée via LLaMA a alimenté le mouvement open source, mais il est encore trop tôt pour dire s'ils continueront à honorer leur engagement.
La bonne nouvelle est que les modèles deviennent de plus en plus petits avec des techniques très récentes telles que l'adaptation de bas rang (LoRa) et l'incitation à la chaîne de pensée (CoT). Mais ils nécessitent encore de nombreuses itérations pour les rendre commercialement viables, ce qui implique naturellement des millions de dollars et beaucoup de puissance de calcul.
À l'heure actuelle, la plupart des entreprises d'IA générative open source échouent, et nous n'avons aucun point de données sur la façon dont les projets d'IA open source «grands» et réussis pourraient devenir. Il est donc difficile pour les investisseurs en capital-risque de rédiger le type de chèques dont ces projets ont besoin, en particulier à une époque où le système bancaire est si fragile. Bien que cela puisse s'améliorer à l'avenir, cela se traduit actuellement par des investissements stratégiques, qui reviennent aux entreprises Big Tech.
Quelle que soit l'origine potentielle des fonds, nous devons faire face à la réalité qu'après la fin du battage médiatique et la disparition des messages marketing, des défis subsistent sur les fronts de la durabilité, du risque-récompense et de la rentabilité, ainsi que du maintien de la qualité et de la précision pour garantir la valeur. . . En bref, les entreprises d'IA open source doivent trouver comment devenir de véritables entreprises, ce qui a longtemps été le plus grand obstacle.
Implications pour les startups
Comme nous l'avons vu avec la prolifération massive de ChatGPT, les modèles de base sont l'avenir, mais il reste à voir comment ils l'influenceront. Une nouvelle génération de startups émerge pour faire toutes sortes de choses incroyables, qu'elles soient construites en source fermée ou en open source. Afin de décider de la meilleure voie à suivre, les fondateurs peuvent se poser des questions difficiles liées à tous les aspects de leur entreprise. Par exemple:
Financiación
¿De dónde viene el dinero? ¿Tendrán los bolsillos lo suficientemente profundos como para hacerlo solo como una empresa de código cerrado? Si no, ¿qué tipo de pareja se buscará? ¿Se puede mantener el control del proyecto? Si se opta por la ruta del código abierto, ¿cómo se financiará?Equipo
¿El proyecto se presta al aporte y desarrollo de la comunidad, o requiere estrictos controles de calidad? ¿Cómo se podrá atraer al mejor talento para desarrollar el proyecto?Experimentación
¿Cómo podrán las personas experimentar el proyecto para aprender sobre él y probarlo? ¿Se abrirá pruebas y a un marketing extensivo? ¿Estará abierto un entorno de pruebas (sandbox) para los desarrolladores? ¿Se generar entusiasmo a través de redes comunitarias de código abierto?Fidelización
¿Cómo se crea la propia comunidad de usuarios? ¿Qué sucede si se cambia de enfoque, es decir, cuánto se puede perderen reputación y en términos de usuarios si comienza como un proyecto de código abierto y luego se debe ir en la dirección opuesta si un socio con recursos lo exige?Ética y educación
¿Cuáles son sus responsabilidades cuando se trata de cómo se utiliza el proyecto? ¿Qué hacer si se coopta para fines no deseados y dañinos? ¿Hay intervención si aprecia un "comportamiento inapropiado" y, de ser así, en qué medida? ¿Cómo se monitorea el proyecto y transmitirá las políticas a los clientes/usuarios? En resumen, ¿dónde están los límites de seguridad?Ce n'est qu'un début. Il y a beaucoup plus de questions que de réponses en ce moment.
Déterminer le succès futur
Alors que les startups s'orientent vers la construction de modèles de base pour un créneau particulier, il est important pour elles de reconnaître que de nouvelles étapes seront nécessaires pour évaluer leur pertinence et leur valeur ultime. Comme Ryan Shannon de Radical Ventures l'a récemment noté :
Contrairement à une startup traditionnelle, qui peut simplement écrire du code, expédier un produit et itérer sur les commentaires des clients, les entreprises Foundation Model doivent passer plus de temps à construire et à former leurs modèles pour amener un produit à une position où il est viable et prêt à l'emploi. Cela peut souvent prendre plusieurs années, des millions de dollars (ou… des centaines de millions de dollars) et plusieurs itérations avant que les produits soient assez bons pour que les entreprises facturent les clients pour leur utilisation.
Il s'agit d'un défi de taille qui peut nécessiter un acte de foi de la part des investisseurs ou des membres d'une communauté plus large. L'investissement initial dans les modèles de base est considérablement plus élevé que ce dont les autres startups ont besoin, mais l'adoption par le back-end peut être sans précédent. Ce sont des technologies de transformation sans précédent.
Avec la bonne quantité de temps, d'argent et de talent, les modèles fondamentaux, qu'ils soient ouverts ou fermés, non seulement inaugureront l'avenir, mais ils le contrôleront dans une certaine mesure. Les modèles de base guideront la façon dont nous consommons l'information qui façonne nos perspectives et nos décisions, ce qui aura un impact profond sur la façon dont la société communique, apprend, comprend et crée.
Les enjeux sont incroyablement élevés. Les modèles open source doivent trouver un modèle commercial qui fonctionne à long terme, tandis que les modèles fermés doivent d'abord répondre aux préoccupations éthiques, avec des contrôles comportementaux et une surveillance en place. Aucune solution parfaite n'a émergé dans ce paysage désordonné et en évolution rapide, mais faire face aux grandes questions et examiner nos responsabilités est essentiel à l'innovation. Quand on considère tout ce qui est possible, tant pour le meilleur que pour le pire, des garde-fous sont découverts et de réels progrès se produisent.
