Best Practices für die Entwicklung eines generativen KI-Co-Piloten für Unternehmen

Seit der Einführung von ChatGPT fragt sich jeder Kunde, wie er generative KI für sein Unternehmen nutzen kann. Von interner Effizienz und Produktivität bis hin zu externen Produkten und Dienstleistungen drängen Unternehmen darauf, generative KI-Technologien in allen Wirtschaftszweigen einzusetzen.

Während GenAI noch in den Kinderschuhen steckt, erweitern sich seine Fähigkeiten rasant: Von der vertikalen Suche über die Fotobearbeitung bis hin zu Schreibassistenten besteht der rote Faden darin, Konversationsschnittstellen zu nutzen, um Software zugänglicher und leistungsfähiger zu machen. Chatbots, die jetzt in „Copiloten“ und „Assistenten“ umbenannt werden, sind wieder in Mode, und das noch lange nicht Best Practices, Schritt 1 bei der Entwicklung eines Chatbots besteht darin, das Problem zu analysieren und klein anzufangen.

Ein Co-Pilot ist ein Orchestrator, der dem Benutzer über eine Freitextschnittstelle hilft, viele verschiedene Aufgaben zu erledigen. Es gibt unendlich viele mögliche Eingabehinweise und alle müssen mit Eleganz und Sicherheit gehandhabt werden. Anstatt jede Aufgabe zu lösen und dabei das Risiko einzugehen, dass die Erwartungen der Benutzer nicht erfüllt werden, sollten Entwickler zunächst eine einzelne Aufgabe wirklich gut lösen und dabei lernen.

LLM-Entwicklung: offen oder geschlossen?

Anfang 2023 war die Leistungsbestenliste im LLM klar: OpenAI lag mit GPT-4 vorne, aber gut kapitalisierte Konkurrenten wie Anthropic und Google waren entschlossen, aufzuholen. Open Source bot vielversprechende Ideen, aber die Leistung bei Textgenerierungsaufgaben war mit geschlossenen Modellen nicht konkurrenzfähig.

Die Erfahrung mit KI im letzten Jahrzehnt lässt vermuten, dass Open Source mit aller Macht zurückkommen würde, und genau das ist passiert. Die Open-Source-Community hat die Leistung gesteigert und gleichzeitig Kosten und Latenz reduziert. LLaMA, Mistral und andere Modelle bieten leistungsstarke Grundlagen für Innovationen, und große Cloud-Anbieter wie Amazon, Google und Microsoft verfolgen größtenteils einen Multi-Vendor-Ansatz, einschließlich der Unterstützung und Erweiterung von Open Source.

Obwohl Open Source die veröffentlichten Leistungsbenchmarks nicht erfüllt hat, hat es geschlossene Modelle in Bezug auf die Kompromisse, die ein Entwickler eingehen muss, wenn er ein Produkt in die reale Welt bringt, deutlich übertroffen. Der 5 S der Modellauswahl Sie können Entwicklern bei der Entscheidung helfen, welcher Modelltyp für sie der richtige ist:

• Intelligenz (Smarts)- Durch Feinabstimmung können Open-Source-Modelle geschlossene Modelle bei begrenzten Aufgaben absolut übertreffen. Dies wurde mehrfach nachgewiesen.
• Ausgeben- Open Source ist außerhalb der festen GPU-Zeit und der Engineering-Vorgänge kostenlos. Bei angemessenen Volumina lässt sich dies immer effizienter skalieren als eine nutzungsbasierte Preisgestaltung.
• Geschwindigkeit– Durch den Besitz der vollständigen Suite können Entwickler die Latenz kontinuierlich optimieren und die Open-Source-Community bringt jeden Tag neue Ideen hervor. Durch das Training kleiner Modelle mit Kenntnissen großer Modelle kann die Latenz von Sekunden auf Millisekunden reduziert werden.
• Stabilität: Eine Ableitung von Leistung Es ist bei geschlossenen Modellen inhärent. Wenn der einzige Kontrollhebel das schnelle Engineering ist, wird diese Änderung unweigerlich das Produkterlebnis beeinträchtigen. Andererseits ermöglicht das Sammeln von Trainingsdaten und das regelmäßige Neutraining einer festen Modellbasislinie eine systematische Bewertung der Modellleistung im Zeitverlauf. Auch größere Upgrades können mit neuen Open-Source-Modellen geplant und evaluiert werden, wie bei jeder größeren Produktveröffentlichung.
• Sicherheit- Die Modellbereitstellung kann eine durchgängige Datenkontrolle gewährleisten. Darüber hinaus wird die KI-Sicherheit im Allgemeinen am besten durch eine starke und florierende Open-Source-Community gewährleistet.

Geschlossene Modelle werden eine wichtige Rolle bei maßgeschneiderten Geschäftsanwendungsfällen und beim Prototyping neuer Anwendungsfälle spielen, die die Grenzen der KI-Fähigkeit und ihrer spezifischen Inhalte oder Domänen erweitern. Open Source wird jedoch die Grundlage für alle wichtigen Produkte bilden, bei denen GenAI für das Endbenutzererlebnis von entscheidender Bedeutung ist.

LLM-Entwicklung: Training des Modells

Die Entwicklung eines leistungsstarken LLM erfordert die Verpflichtung, den weltweit besten Datensatz für die jeweilige Aufgabe zu erstellen. Das mag entmutigend erscheinen, aber zwei Tatsachen sollten berücksichtigt werden: Erstens bedeutet besser nicht gleich größer. Spitzenleistungen bei bestimmten Aufgaben lassen sich oft mit Hunderten von qualitativ hochwertigen Beispielen erzielen. Zweitens bieten einzigartige Datenbestände und Problemverständnis für viele Aufgaben im Geschäfts- oder Produktkontext einen Vorteil für Anbieter geschlossener Modelle, um Trainingsdaten zu sammeln, um Tausende von Kunden und Anwendungsfällen zu bedienen.

Die Destillation ist ein entscheidendes Instrument zur Optimierung dieser Investition in hochwertige Trainingsdaten. Open-Source-Modelle sind in verschiedenen Größen verfügbar, von über 70 Milliarden Parametern bis hin zu 34 Milliarden, 13 Milliarden, 7 Milliarden, 3 Milliarden und kleiner. Für viele spezifische Aufgaben können kleinere Modelle eine ausreichende „Intelligenz“ mit deutlich besseren „Ausgaben“ und „Geschwindigkeit“ erreichen. Bei der Destillation wird ein großes Modell mit qualitativ hochwertigen, von Menschen generierten Trainingsdaten trainiert und dann wird dieses Modell aufgefordert, um Größenordnungen mehr synthetische Daten zu generieren, um kleinere Modelle zu trainieren. Mehrere Modelle mit unterschiedlichen Leistungs-, Kosten- und Latenzmerkmalen bieten große Flexibilität zur Optimierung des Benutzererlebnisses in der Produktion.

RGA: Augmented Generation Recovery

Bei der Entwicklung von Produkten mit LLM lernen Entwickler schnell, dass der Output dieser Systeme nur so gut ist wie die Qualität des Inputs. ChatGPT ist auf das gesamte Internet ausgerichtet und behält alle Vorteile (Zugriff auf das gesamte veröffentlichte menschliche Wissen) und Nachteile (irreführende, urheberrechtlich geschützte und unsichere Inhalte) des offenen Internets bei.

Im Unternehmenskontext ist dieses Risikoniveau für Kunden, die jeden Tag wichtige Entscheidungen treffen, möglicherweise nicht akzeptabel. In diesem Fall können Entwickler auf Recovery-Augmented Generation (RGA) zurückgreifen. RGA begründet das LLM mit verbindlichen Inhalten, indem es Sie auffordert, nur über aus einer Datenbank abgerufene Informationen nachzudenken, anstatt Wissen aus Ihrem Trainingsdatensatz zu reproduzieren. Aktuelle LLMs können effektiv Tausende von Wörtern als Eingabekontext für RGA verarbeiten, aber fast alle realen Anwendungen müssen um viele Größenordnungen mehr Inhalte verarbeiten. Daher ist die Aufgabe, den geeigneten Kontext abzurufen, um das LLM zu versorgen, ein entscheidender Schritt.

In den Aufbau des Information Retrieval Systems wird mehr investiert als in die LLM-Ausbildung. Da derzeit sowohl schlüsselwortbasierte Retrievalsysteme als auch vektorbasierte Retrievalsysteme Einschränkungen aufweisen, ist ein hybrider Ansatz für die meisten Anwendungsfälle besser. LLM wird in den kommenden Jahren der dynamischste Bereich der GenAI-Forschung sein.

Benutzererfahrung und Design: Chat ohne Barrieren integrieren

Aus gestalterischer Sicht sollten sich Chatbots nahtlos in den Rest einer bestehenden Plattform einfügen und sich nicht wie ein Add-on anfühlen. Es sollte einen einzigartigen Mehrwert schaffen und vorhandene Designmuster dort nutzen, wo sie sinnvoll sind. Leitplanken sollten dem Benutzer helfen, die Verwendung des Systems und seine Einschränkungen zu verstehen, Benutzereingaben verarbeiten, auf die nicht reagiert werden kann oder sollte, und die automatische Injektion von Anwendungskontext ermöglichen. Hier sind drei wichtige Integrationspunkte zu berücksichtigen:

• Chat versus GUI: Bei den meisten gängigen Arbeitsabläufen möchten Benutzer lieber nicht chatten. Grafische Benutzeroberflächen wurden erfunden, weil sie eine großartige Möglichkeit sind, Benutzer durch komplexe Arbeitsabläufe zu führen. Chat ist eine fantastische Lösung, wenn ein Benutzer einen schwer vorhersehbaren Kontext bereitstellen muss, um sein Problem zu lösen. Überlegen Sie, wann und wo Sie den Chat in einer App aktivieren.
• Kontext festlegen: Wie oben erwähnt, besteht eine Einschränkung heutiger LLMs in der Fähigkeit, den Kontext aufrechtzuerhalten. Ein auf Genesung basierendes Gespräch kann schnell Millionen von Wörtern umfassen. Herkömmliche Suchsteuerungen und Filter sind eine fantastische Lösung für dieses Problem. Benutzer können den Kontext eines Gesprächs festlegen und wissen, dass es sich im Laufe der Zeit von selbst auflöst oder ihn im Laufe der Zeit anpasst. Dies kann die kognitive Belastung reduzieren und gleichzeitig die Wahrscheinlichkeit erhöhen, im Gespräch genaue und nützliche Antworten zu geben.
• Überprüfbarkeit- Stellen Sie sicher, dass alle GenAI-Ergebnisse in den Originalquelldokumenten zitiert werden und im Kontext überprüfbar sind. Die Verifizierungsgeschwindigkeit ist ein wesentliches Hindernis für das Vertrauen und die Einführung von GenAI-Systemen im Unternehmenskontext. Investieren Sie daher in diesen Workflow.

Der Start von ChatGPT machte die Welt auf die Ankunft von GenAI aufmerksam und demonstrierte das Potenzial der nächsten Generation KI-gestützter Anwendungen. Da immer mehr Unternehmen und Entwickler KI-Chat-Anwendungen entwickeln, skalieren und bereitstellen, ist es wichtig, diese Best Practices im Hinterkopf zu behalten und sich auf die Abstimmung zwischen Ihrer Technologie und Ihren Geschäftsstrategien zu konzentrieren, um ein innovatives Produkt mit echter langfristiger Wirkung und Wert zu schaffen. Die Konzentration auf die gute Erledigung einer Aufgabe und die gleichzeitige Suche nach Möglichkeiten zur Erweiterung der Funktionalität eines Chatbots werden einem Entwickler zum Erfolg verhelfen.