Appeler ChatGPT, l'IA de génération de texte gratuite développée par la startup OpenAI basée à San Francisco, un succès est un euphémisme.
En décembre, ChatGPT a eu un estimation plus de 100 millions d'utilisateurs actifs mensuels. Il a attiré l'attention des médias grand public et a engendré d'innombrables mèmes sur les réseaux sociaux. a été utilisé pour Écrire des centaines de livres électroniques dans la boutique Kindle d'Amazon. Et il est crédité d'avoir co-écrit au moins un article scientifique.
Mais OpenAI, étant une entreprise, bien qu'avec des bénéfices limités, devait monétiser ChatGPT d'une manière ou d'une autre, afin que les investisseurs ne soient pas nerveux. Il a fait un pas dans cette direction avec le lancement d'un service premium, ChatGPT Plus, en février. En introduisant une API qui permettra à toute entreprise d'intégrer la technologie ChatGPT dans ses applications, sites Web, produits et services, elle est devenue beaucoup plus importante.
Une API a toujours été le plan. C'est selon Greg Brockman, président et président d'OpenAI (et également l'un des co-fondateurs).
"Il nous faut un certain temps pour amener ces API à un certain niveau de qualité", a déclaré Brockman. "Je pense que c'est un peu comme être capable de répondre à la demande et à l'échelle."
Brockman dit que l'API ChatGPT est alimentée par le même modèle d'IA derrière le populaire ChatGPT d'OpenAI, surnommé "gpt-3.5-turbo". GPT-3.5 est le modèle de génération de texte le plus puissant qu'OpenAI propose aujourd'hui via son ensemble d'API ; le surnom "turbo" fait référence à un modèle plus optimisé, plus réactif de GPT-3.5 qu'OpenAI a discrètement testé pour ChatGPT.
Au prix de 0.002 $ pour 1000 750 jetons, soit environ XNUMX mots, Brockman affirme que l'API peut alimenter une variété d'expériences, y compris des applications "sans chat". Snap, Quizlet, Instacart et Shopify font partie des premiers utilisateurs.
La motivation initiale derrière le développement de gpt-3.5-turbo aurait pu être de réduire les énormes coûts informatiques de ChatGPT. Le PDG d'OpenAI, Sam Altman, a un jour qualifié les dépenses de ChatGPT de "époustouflantes". les estimer à quelques centimes par chat en coût informatique. (Avec plus d'un million d'utilisateurs, cela s'additionne probablement rapidement.)
Mais Brockman dit que gpt-3.5-turbo est amélioré d'autres manières.
"Si vous construisez un tuteur alimenté par l'IA, vous ne voulez jamais que le tuteur donne simplement une réponse à l'étudiant. Vous voulez que je l'explique toujours et que je les aide à apprendre - c'est un exemple du type de système que vous devriez être capable de construire [avec l'API] », a déclaré Brockman. "Nous pensons que cela va rendre l'API beaucoup plus utile et accessible."
L'API ChatGPT est la base de My AI, le chatbot récemment annoncé par Snap pour les abonnés Snapchat+ et la nouvelle fonctionnalité de tuteur virtuel Q-Chat de Quizlet. Shopify a utilisé l'API ChatGPT pour créer un assistant personnalisé pour les recommandations d'achat, tandis qu'Instacart en a profité pour créer Ask Instacart, un outil à venir qui permettra aux clients d'Instacart de poser des questions sur la nourriture et d'obtenir des réponses "achetables" informées par les données produit du commerce de détail de l'entreprise. magasin. les partenaires.
"Les courses à l'épicerie peuvent être très exigeantes mentalement, avec de nombreux facteurs en jeu, notamment le budget, la santé et la nutrition, les goûts personnels, la saisonnalité, les compétences culinaires, le temps de préparation et l'inspiration des recettes", a déclaré l'architecte en chef d'Instacart, JJ Zhuang. "Et si l'IA pouvait prendre en charge cette charge cérébrale et que nous pouvions aider les chefs de famille qui sont généralement responsables de l'épicerie, de la planification des repas et de la mise de la nourriture sur la table, et faire en sorte que l'épicerie soit vraiment drôle ? Le système d'intelligence artificielle d'Instacart, lorsqu'il est intégré au ChatGPT d'OpenAI, nous permettra de faire exactement cela, et nous sommes ravis de commencer à expérimenter ce qui est possible dans l'application Instacart."
Crédits image: Instacart
Cependant, ceux qui ont suivi de près la saga ChatGPT pourraient se demander s'il est prêt à être publié, et avec raison.
Au début, les utilisateurs pouvaient demander à ChatGPT de répondre à des questions biaisées raciste et sexiste, un reflet des données sur lesquelles ChatGPT a été initialement formé. (Les données de formation ChatGPT incluent un large éventail de contenus Internet, à savoir des livres électroniques, des publications Reddit et des articles Wikipédia.) ChatGPT invente également des faits sans divulguer ce qu'il fait, un phénomène de l'IA connu sous le nom de hallucination.
ChatGPT et les systèmes similaires sont également sensibles aux attaques basées sur la publicité ou aux publicités contradictoires malveillantes qui les obligent à effectuer des tâches qui ne faisaient pas partie de leurs cibles d'origine. des communautés entières sur Reddit, ils se sont formés pour trouver des moyens de jailbreaker ChatGPT et de contourner la protection mise en place par OpenAI. Dans l'un des exemples les moins offensants, un membre du personnel de la startup Scale AI a pu créer ChatGPT divulguer informations sur son fonctionnement technique interne.
Les marques ne voudraient certainement pas être prises dans le collimateur. Brockman est convaincu qu'ils ne le seront pas. Parce que? L'une des raisons, dit-il, est la poursuite des améliorations d'arrière-plan, dans certains cas aux dépens des travailleurs contractuels kenyans. Mais Brockman a mis l'accent sur une nouvelle approche (et résolument moins controversée) qu'OpenAI appelle le Chat Markup Language, ou ChatML. ChatML envoie du texte à l'API ChatGPT sous forme de flux de messages avec des métadonnées. C'est l'opposé du ChatGPT standard, qui consomme du texte brut représenté par une série de jetons. (Le mot "fantastique" serait décomposé en "fan", "tas" et "tico", par exemple.)
Par exemple, lorsqu'on lui a demandé "Quelles sont les idées de fête sympas pour mon 30e anniversaire ?" un développeur peut choisir d'ajouter ce message avec un message supplémentaire tel que "Vous êtes un chatbot conversationnel amusant conçu pour aider les utilisateurs avec les questions qu'ils posent. Vous devez répondre honnêtement et de manière amusante ! ou "Vous êtes un bot" avant que l'API ChatGPT ne le traite. Ces instructions permettent de mieux adapter et filtrer les réponses du modèle ChatGPT, selon Brockman.
"Nous passons à une API de niveau supérieur. Si vous avez une manière plus structurée de représenter l'entrée, où il est écrit "cela vient du développeur" ou "cela vient de l'utilisateur". Je dois espérer qu'en tant que développeur, il peut en fait être plus robuste. [using ChatML] contre ces types d'attaques rapides », a déclaré Brockman.
Un autre changement qui empêchera (espérons-le) le comportement indésirable de ChatGPT est la mise à jour plus fréquente des modèles. Avec la sortie de gpt-3.5-turbo, les développeurs passeront automatiquement au dernier modèle stable OpenAI par défaut, a déclaré Brockman, en commençant par gpt-3.5-turbo-0301 (publié aujourd'hui). Cependant, les développeurs auront la possibilité de s'en tenir à un modèle plus ancien s'ils le souhaitent, ce qui pourrait annuler un peu l'avantage.
Qu'ils choisissent ou non de passer au nouveau modèle, Brockman note que certains clients, principalement de grandes entreprises avec des budgets conséquents, auront un contrôle plus approfondi sur les performances du système avec l'introduction de plans de capacité dédiés. D'abord détaillés dans la documentation divulguée plus tôt ce mois-ci, les plans de capacité dédiée OpenAI, publiés aujourd'hui, permettent aux clients de payer une allocation d'infrastructure de calcul pour exécuter un modèle OpenAI, par exemple gpt-3.5-Turbo. (Au fait, c'est Azure sur le back-end.)
En plus du "contrôle total" sur la charge de l'instance (les appels d'API OpenAI sont généralement effectués sur des ressources de calcul partagées), la capacité dédiée donne aux clients la possibilité d'activer des fonctionnalités telles que des limites de contexte plus longues. Les limites de contexte font référence au texte que le modèle considère avant de générer du texte supplémentaire ; des limites de contexte plus longues permettent au modèle de "mémoriser" essentiellement plus de texte. Bien que des limites de contexte plus élevées ne résolvent pas tous les problèmes de biais et de toxicité, elles pourraient conduire des modèles comme gpt-3.5-turbo à halluciner moins.
Brockman dit que les clients à capacité dédiée peuvent s'attendre à des modèles gpt-3.5-turbo avec une fenêtre de contexte allant jusqu'à 16k, ce qui signifie qu'ils peuvent accepter quatre fois plus de jetons que le modèle ChatGPT standard. Cela pourrait permettre à quelqu'un de coller des pages et des pages du code des impôts et d'obtenir des réponses raisonnables du modèle, dirons-nous, un exploit impossible aujourd'hui.
Brockman a fait allusion à une sortie générale dans le futur, mais pas de si tôt.
"Les fenêtres contextuelles commencent à s'agrandir, et une partie de la raison pour laquelle nous ne sommes désormais que des clients de capacité dédiée est qu'il y a beaucoup de compromis de performance de notre côté", a déclaré Brockman. "Nous pourrions éventuellement proposer une version à la demande de la même chose."
Compte tenu de la pression croissante exercée sur OpenAI pour réaliser des bénéfices après un investissement de plusieurs milliards de dollars de Microsoft, cela ne serait pas très surprenant.
