Migliori pratiche per lo sviluppo di un copilota di intelligenza artificiale generativa per le imprese

Dal lancio di ChatGPT, ogni cliente si chiede come sfruttare l'intelligenza artificiale generativa per la propria attività. Dall’efficienza e produttività interna ai prodotti e servizi esterni, le aziende si stanno affrettando a implementare tecnologie di intelligenza artificiale generativa in tutti i settori dell’economia.

Sebbene GenAI sia ancora agli inizi, le sue capacità si stanno espandendo rapidamente: dalla ricerca verticale al fotoritocco agli assistenti alla scrittura, il filo conduttore è sfruttare le interfacce conversazionali per rendere il software più accessibile e potente. I chatbot, ora ribattezzati “copiloti” e “assistenti”, sono tornati di moda, e mentre una serie di buone pratiche, Il primo passo nello sviluppo di un chatbot è analizzare il problema e iniziare in piccolo.

Un copilota è un orchestratore che aiuta l'utente a completare molte attività diverse tramite un'interfaccia di testo libero. Esistono un numero infinito di possibili segnali di input e tutti devono essere gestiti con eleganza e sicurezza. Invece di impegnarsi a risolvere ogni attività e rischiare di non soddisfare le aspettative degli utenti, gli sviluppatori dovrebbero iniziare risolvendo una singola attività molto bene e imparare lungo il percorso.

Sviluppo LLM: aperto o chiuso?

All’inizio del 2023, la classifica delle prestazioni nel LLM era chiara: OpenAI era in vantaggio con GPT-4, ma concorrenti ben capitalizzati come Anthropic e Google erano determinati a recuperare terreno. L’open source offriva idee promettenti, ma le prestazioni nelle attività di generazione del testo non erano competitive rispetto ai modelli chiusi.

L’esperienza con l’intelligenza artificiale nell’ultimo decennio porta a credere che l’open source tornerà con una vendetta e questo è esattamente quello che è successo. La comunità open source ha aumentato le prestazioni riducendo allo stesso tempo i costi e la latenza. LLaMA, Mistral e altri modelli offrono potenti basi per l’innovazione e i principali fornitori di cloud come Amazon, Google e Microsoft stanno adottando in gran parte un approccio multi-vendor, incluso il supporto e l’amplificazione dell’open source.

Anche se l’open source non ha soddisfatto i benchmark prestazionali pubblicati, ha chiaramente superato i modelli chiusi nell’insieme dei compromessi che ogni sviluppatore deve fare quando porta un prodotto nel mondo reale. IL 5 S di selezione del modello Possono aiutare gli sviluppatori a decidere quale tipo di modello è adatto a loro:

• Intelligenza (Intelligenza)- Attraverso la messa a punto, i modelli open source possono assolutamente sovraperformare i modelli chiusi su compiti limitati. Ciò è stato dimostrato più volte.
• Trascorrere- L'open source è gratuito al di fuori dei tempi fissi della GPU e delle operazioni di progettazione. A volumi ragionevoli, questo sarà sempre scalabile in modo più efficiente rispetto ai prezzi basati sull’utilizzo.
• Velocità– Possedendo il set completo, gli sviluppatori possono ottimizzare continuamente la latenza e la comunità open source produce nuove idee ogni giorno. L'addestramento di modelli piccoli con la conoscenza di modelli di grandi dimensioni può ridurre la latenza da secondi a millisecondi.
• Stabilità: Un derivato di performance È inerente ai modelli chiusi. Quando l’unica leva di controllo è la progettazione rapida, questo cambiamento minerà inevitabilmente l’esperienza del prodotto. D'altro canto, la raccolta dei dati di addestramento e il riaddestramento periodico di una base di riferimento del modello fisso consentono una valutazione sistematica delle prestazioni del modello nel tempo. È inoltre possibile pianificare e valutare aggiornamenti più ampi con nuovi modelli open source, come qualsiasi versione importante del prodotto.
• Sicurezza- La consegna del modello può garantire il controllo dei dati end-to-end. Andando oltre, la sicurezza dell’intelligenza artificiale in generale è meglio servita da una comunità open source forte e fiorente.

I modelli chiusi svolgeranno un ruolo importante nei casi d’uso aziendali personalizzati e per la prototipazione di nuovi casi d’uso che spingono i confini della capacità dell’intelligenza artificiale e dei suoi contenuti o domini specifici. Tuttavia, l’open source fornirà le basi per tutti i principali prodotti in cui GenAI è fondamentale per l’esperienza dell’utente finale.

Sviluppo LLM: formazione del modello

Lo sviluppo di un LLM ad alte prestazioni richiede l'impegno a creare il miglior set di dati al mondo per l'attività da svolgere. Ciò può sembrare scoraggiante, ma è necessario considerare due fatti: in primo luogo, migliore non significa più grande. Prestazioni all'avanguardia su compiti specifici possono spesso essere ottenute con centinaia di esempi di alta qualità. In secondo luogo, per molte attività nel contesto aziendale o di prodotto, risorse di dati univoche e la comprensione dei problemi offrono un vantaggio ai fornitori di modelli chiusi per raccogliere dati di formazione per servire migliaia di clienti e casi d'uso.

La distillazione è uno strumento fondamentale per ottimizzare questo investimento in dati di formazione di alta qualità. I modelli open source sono disponibili in varie dimensioni, da oltre 70 miliardi di parametri a 34 miliardi, 13 miliardi, 7 miliardi, 3 miliardi e inferiori. Per molti compiti specifici, i modelli più piccoli possono raggiungere una sufficiente “intelligenza” con una “spesa” e una “velocità” significativamente migliori. La distillazione è il processo di addestramento di un modello di grandi dimensioni con dati di addestramento di alta qualità generati dall'uomo e quindi di chiedere a quel modello di generare ordini di grandezza più dati sintetici per addestrare modelli più piccoli. Più modelli con diverse caratteristiche di prestazioni, costi e latenza offrono una grande flessibilità per ottimizzare l'esperienza dell'utente in produzione.

RGA: recupero della generazione aumentata

Quando sviluppano prodotti con LLM, gli sviluppatori apprendono rapidamente che l'output di questi sistemi è buono quanto la qualità dell'input. ChatGPT, che è addestrato su tutta Internet, mantiene tutti i vantaggi (accesso a tutta la conoscenza umana pubblicata) e gli svantaggi (contenuti fuorvianti, protetti da copyright e non sicuri) dell'Internet aperta.

In un contesto aziendale, tale livello di rischio potrebbe non essere accettabile per i clienti che prendono decisioni critiche ogni giorno, nel qual caso gli sviluppatori possono rivolgersi alla Recovery-Augmented Generation o RGA. RGA fonda il LLM su contenuti autorevoli chiedendoti di ragionare solo sulle informazioni recuperate da un database anziché riprodurre la conoscenza dal tuo set di dati di addestramento. Gli attuali LLM possono elaborare efficacemente migliaia di parole come contesto di input per RGA, ma quasi tutte le applicazioni della vita reale devono elaborare molti ordini di grandezza in più di contenuti. Di conseguenza, il compito di recuperare il contesto appropriato per alimentare il LLM è un passaggio fondamentale.

Si investe di più nella costruzione del sistema di recupero delle informazioni che nella formazione LLM. Poiché sia ​​i sistemi di recupero basati su parole chiave che i sistemi di recupero basati su vettori presentano attualmente dei limiti, un approccio ibrido è migliore per la maggior parte dei casi d’uso. LLM sarà l’area più dinamica della ricerca GenAI nei prossimi anni.

User experience e design: integra la chat senza barriere

Dal punto di vista del design, i chatbot dovrebbero integrarsi perfettamente con il resto di una piattaforma esistente e non dovrebbero sembrare un componente aggiuntivo. Dovrebbe aggiungere valore unico e sfruttare i modelli di progettazione esistenti laddove abbiano senso. I guardrail dovrebbero aiutare l'utente a comprendere come utilizzare il sistema e i suoi limiti, dovrebbero gestire l'input dell'utente a cui non si può o non si dovrebbe rispondere e dovrebbero consentire l'inserimento automatico del contesto dell'applicazione. Ecco tre punti chiave di integrazione da considerare:

• Chat contro GUI: Per i flussi di lavoro più comuni, gli utenti preferirebbero non chattare. Le interfacce utente grafiche sono state inventate perché rappresentano un ottimo modo per guidare gli utenti attraverso flussi di lavoro complessi. La chat è una soluzione fantastica quando un utente deve fornire un contesto difficile da anticipare per risolvere il problema. Considera quando e dove attivare la chat in un'app.
• Imposta contesto: Come accennato in precedenza, una limitazione degli LLM oggi è la capacità di mantenere il contesto. Una conversazione basata sul recupero può rapidamente raggiungere milioni di parole. I controlli e i filtri di ricerca tradizionali sono una soluzione fantastica a questo problema. Gli utenti possono impostare il contesto di una conversazione e sapere se si risolverà da sola nel tempo o si adatterà lungo il percorso. Ciò può ridurre il carico cognitivo aumentando la probabilità di fornire risposte accurate e utili nella conversazione.
• Verificabilità- Garantire che tutti i risultati GenAI siano citati nei documenti originali e siano verificabili nel contesto. La velocità di verifica è un ostacolo fondamentale alla fiducia e all'adozione dei sistemi GenAI in un contesto aziendale, quindi investi in questo flusso di lavoro.

Il lancio di ChatGPT ha avvisato il mondo dell’arrivo di GenAI e ha dimostrato il potenziale della prossima generazione di applicazioni basate sull’intelligenza artificiale. Man mano che sempre più aziende e sviluppatori creano, scalano e distribuiscono applicazioni di chat AI, è importante tenere a mente queste best practice e concentrarsi sull'allineamento tra la tecnologia e le strategie aziendali per creare un prodotto innovativo con un impatto e un valore reali a lungo termine. Concentrarsi sul completamento di un'attività e cercare opportunità per espandere le funzionalità di un chatbot aiuterà uno sviluppatore ad avere successo.