Depuis le lancement de ChatGPT, chaque client se demande comment tirer parti de l'IA générative pour son entreprise. De l’efficacité et de la productivité internes aux produits et services externes, les entreprises se précipitent pour déployer des technologies d’IA générative dans tous les secteurs de l’économie.
Bien que GenAI en soit encore à ses balbutiements, ses capacités se développent rapidement : de la recherche verticale à la retouche photo en passant par les assistants d'écriture, le fil conducteur est d'exploiter les interfaces conversationnelles pour rendre les logiciels plus accessibles et plus puissants. Les chatbots, désormais rebaptisés « copilotes » et « assistants », sont à nouveau à la mode, et si un ensemble de les meilleures pratiques, L'étape 1 du développement d'un chatbot consiste à analyser le problème et à commencer petit.
Un copilote est un orchestrateur qui aide l'utilisateur à effectuer de nombreuses tâches différentes via une interface en texte libre. Il existe un nombre infini de signaux d’entrée possibles et ils doivent tous être traités avec élégance et sécurité. Au lieu de chercher à résoudre chaque tâche et de risquer de ne pas répondre aux attentes des utilisateurs, les développeurs devraient commencer par très bien résoudre une seule tâche et apprendre en cours de route.
Développement LLM : ouvert ou fermé ?
Début 2023, le classement des performances en LLM était clair : OpenAI était en avance avec GPT-4, mais des concurrents bien capitalisés comme Anthropic et Google étaient déterminés à rattraper leur retard. L'open source offrait des idées prometteuses, mais les performances sur les tâches de génération de texte n'étaient pas compétitives par rapport aux modèles fermés.
L’expérience de l’IA au cours de la dernière décennie laisse penser que l’open source reviendrait en force et c’est exactement ce qui s’est produit. La communauté open source a augmenté ses performances tout en réduisant les coûts et la latence. LLaMA, Mistral et d'autres modèles offrent des bases solides pour l'innovation, et les principaux fournisseurs de cloud tels qu'Amazon, Google et Microsoft adoptent largement une approche multifournisseur, notamment en prenant en charge et en amplifiant l'open source.
Bien que l'open source n'ait pas atteint les critères de performances publiés, il a clairement surpassé les modèles fermés dans l'ensemble des compromis que tout développeur doit faire lorsqu'il introduit un produit dans le monde réel. Le 5 S de sélection du modèle Ils peuvent aider les développeurs à décider quel type de modèle leur convient :
- Intelligence (intelligence)- Grâce à un réglage fin, les modèles open source peuvent absolument surpasser les modèles fermés sur des tâches limitées. Cela a été démontré à plusieurs reprises.
- Dépenser- L'Open Source est gratuit en dehors du temps GPU fixe et des opérations d'ingénierie. À des volumes raisonnables, cette solution évoluera toujours plus efficacement que la tarification basée sur l’utilisation.
- Vitesse- En possédant l'ensemble complet, les développeurs peuvent optimiser continuellement la latence et la communauté open source produit chaque jour de nouvelles idées. La formation de petits modèles avec la connaissance des grands modèles peut réduire la latence de quelques secondes à quelques millisecondes.
- La stabilité: Un dérivé de performant C’est inhérent aux modèles fermés. Lorsque le seul levier de contrôle est l’ingénierie rapide, ce changement sapera inévitablement l’expérience produit. D'un autre côté, la collecte de données d'entraînement et le recyclage périodique d'une référence de modèle fixe permettent une évaluation systématique des performances du modèle au fil du temps. Des mises à niveau plus importantes peuvent également être planifiées et évaluées avec de nouveaux modèles open source, comme n'importe quelle version majeure de produit.
- Sécurité- La livraison du modèle peut garantir un contrôle des données de bout en bout. Pour aller plus loin, la sécurité de l’IA en général est mieux servie par une communauté open source forte et prospère.
Les modèles fermés joueront un rôle important dans les cas d’utilisation métier personnalisés et pour le prototypage de nouveaux cas d’utilisation qui repoussent les limites des capacités de l’IA et de son contenu ou domaines spécifiques. Cependant, l’open source constituera la base de tous les principaux produits pour lesquels GenAI est essentiel à l’expérience de l’utilisateur final.
Développement LLM : formation du modèle
Le développement d'un LLM performant nécessite un engagement à créer le meilleur ensemble de données au monde pour la tâche à accomplir. Cela peut paraître intimidant, mais deux faits doivent être pris en compte : Premièrement, mieux ne veut pas dire plus grand. Des performances de pointe sur des tâches spécifiques peuvent souvent être obtenues grâce à des centaines d’exemples de haute qualité. Deuxièmement, pour de nombreuses tâches dans le contexte commercial ou produit, des actifs de données uniques et une compréhension des problèmes offrent un avantage aux fournisseurs de modèles fermés pour collecter des données de formation afin de servir des milliers de clients et de cas d'utilisation.
La distillation est un outil essentiel pour optimiser cet investissement dans des données d’entraînement de haute qualité. Les modèles open source sont disponibles en différentes tailles, allant de plus de 70 milliards de paramètres à 34 milliards, 13 milliards, 7 milliards, 3 milliards et moins. Pour de nombreuses tâches spécifiques, les modèles plus petits peuvent atteindre une « intelligence » suffisante avec des « dépenses » et une « vitesse » nettement meilleures. La distillation est le processus consistant à entraîner un grand modèle avec des données d'entraînement générées par l'homme de haute qualité, puis à demander à ce modèle de générer des ordres de grandeur supplémentaires de données synthétiques pour entraîner des modèles plus petits. Plusieurs modèles avec différentes caractéristiques de performances, de coût et de latence offrent une grande flexibilité pour optimiser l’expérience utilisateur en production.
RGA : Récupération de génération augmentée
Lors du développement de produits avec LLM, les développeurs apprennent rapidement que le résultat de ces systèmes est aussi bon que la qualité de l'entrée. ChatGPT, qui s'étend sur l'ensemble de l'Internet, conserve tous les avantages (accès à toutes les connaissances humaines publiées) et les inconvénients (contenu trompeur, protégé par le droit d'auteur et non sécurisé) de l'Internet ouvert.
Dans un contexte d'entreprise, ce niveau de risque peut ne pas être acceptable pour les clients qui prennent des décisions critiques chaque jour, auquel cas les développeurs peuvent se tourner vers la génération augmentée par récupération, ou RGA. RGA fonde le LLM sur un contenu faisant autorité en vous demandant de raisonner uniquement sur les informations extraites d'une base de données plutôt que de reproduire les connaissances de votre ensemble de données de formation. Les LLM actuels peuvent traiter efficacement des milliers de mots comme contexte d'entrée pour RGA, mais presque toutes les applications réelles doivent traiter plusieurs ordres de grandeur de contenu supérieur à cela. En conséquence, la tâche de récupérer le contexte approprié pour alimenter le LLM est une étape critique.
On investit davantage dans la construction du système de recherche d'informations que dans la formation LLM. Étant donné que les systèmes de récupération basés sur des mots clés et les systèmes de récupération basés sur des vecteurs présentent actuellement des limites, une approche hybride est préférable pour la plupart des cas d'utilisation. Le LLM sera le domaine de recherche GenAI le plus dynamique dans les années à venir.
Expérience utilisateur et design : intégrez le chat sans barrières
Du point de vue de la conception, les chatbots doivent s’intégrer parfaitement au reste d’une plateforme existante et ne doivent pas ressembler à un module complémentaire. Il doit ajouter une valeur unique et exploiter les modèles de conception existants là où ils ont du sens. Les garde-corps doivent aider l'utilisateur à comprendre comment utiliser le système et ses limites, doivent gérer les entrées de l'utilisateur auxquelles il ne peut pas ou ne doit pas répondre et doivent permettre l'injection automatique du contexte de l'application. Voici trois points d’intégration clés à considérer :
- Chat contre interface graphique : Pour les flux de travail les plus courants, les utilisateurs préfèrent ne pas discuter. Les interfaces utilisateur graphiques ont été inventées car elles constituent un excellent moyen de guider les utilisateurs dans des flux de travail complexes. Le chat est une solution fantastique lorsqu'un utilisateur doit fournir un contexte difficile à anticiper pour résoudre son problème. Réfléchissez à quand et où activer le chat dans une application.
- Définir le contexte : Comme mentionné ci-dessus, une limitation des LLM aujourd'hui est la capacité à maintenir le contexte. Une conversation basée sur la récupération peut rapidement atteindre des millions de mots. Les contrôles et filtres de recherche traditionnels sont une solution fantastique à ce problème. Les utilisateurs peuvent définir le contexte d'une conversation et savoir qu'elle se résout d'elle-même au fil du temps ou l'ajuste en cours de route. Cela peut réduire la charge cognitive tout en augmentant la probabilité de fournir des réponses précises et utiles dans la conversation.
- Auditabilité- Assurez-vous que tous les résultats GenAI sont cités dans les documents sources originaux et sont vérifiables dans leur contexte. La vitesse de vérification est un obstacle majeur à la confiance et à l'adoption des systèmes GenAI dans un contexte d'entreprise, alors investissez dans ce flux de travail.
Le lancement de ChatGPT a alerté le monde de l'arrivée de GenAI et démontré le potentiel de la prochaine génération d'applications basées sur l'IA. Alors que de plus en plus d'entreprises et de développeurs créent, font évoluer et déploient des applications de chat IA, il est important de garder ces bonnes pratiques à l'esprit et de se concentrer sur l'alignement entre votre technologie et vos stratégies commerciales pour créer un produit innovant avec un impact et une valeur réels à long terme. Se concentrer sur la bonne exécution d'une tâche tout en recherchant des opportunités d'étendre les fonctionnalités d'un chatbot aidera un développeur à réussir.
