Melhores práticas para desenvolver um copiloto de IA generativa para empresas

Desde o lançamento do ChatGPT, todos os clientes estão se perguntando como podem aproveitar a IA generativa para seus negócios. Da eficiência e produtividade internas aos produtos e serviços externos, as empresas estão a apressar-se para implementar tecnologias generativas de IA em todos os setores da economia.

Embora o GenAI ainda esteja em sua infância, seus recursos estão se expandindo rapidamente: da pesquisa vertical à edição de fotos e aos assistentes de escrita, o traço comum é aproveitar interfaces de conversação para tornar o software mais acessível e poderoso. Os chatbots, agora renomeados como “copilotos” e “assistentes”, estão novamente na moda e, embora um conjunto de melhores práticas, O primeiro passo no desenvolvimento de um chatbot é analisar o problema e começar aos poucos.

Um copiloto é um orquestrador que ajuda o usuário a concluir muitas tarefas diferentes por meio de uma interface de texto livre. Há um número infinito de sugestões de entrada possíveis e todas elas precisam ser tratadas com elegância e segurança. Em vez de tentar resolver todas as tarefas e correr o risco de não atender às expectativas do usuário, os desenvolvedores devem começar resolvendo muito bem uma única tarefa e aprender ao longo do caminho.

Desenvolvimento LLM: aberto ou fechado?

No início de 2023, a tabela de classificação de desempenho no LLM era clara: a OpenAI estava à frente com o GPT-4, mas concorrentes bem capitalizados como a Anthropic e o Google estavam determinados a alcançá-la. O código aberto ofereceu ideias promissoras, mas o desempenho nas tarefas de geração de texto não era competitivo com os modelos fechados.

A experiência com IA na última década leva a acreditar que o código aberto voltaria com força total e foi exatamente isso que aconteceu. A comunidade de código aberto aumentou o desempenho e reduziu custos e latência. LLaMA, Mistral e outros modelos oferecem bases poderosas para a inovação, e os principais fornecedores de nuvem, como Amazon, Google e Microsoft, estão adotando, em grande parte, uma abordagem de vários fornecedores, incluindo o suporte e a ampliação do código aberto.

Embora o código aberto não tenha atendido aos benchmarks de desempenho publicados, ele superou claramente os modelos fechados no conjunto de compensações que qualquer desenvolvedor deve fazer ao trazer um produto para o mundo real. As 5 S de seleção de modelo Eles podem ajudar os desenvolvedores a decidir que tipo de modelo é certo para eles:

• Inteligência (inteligência)- Através do ajuste fino, os modelos de código aberto podem superar absolutamente os modelos fechados em tarefas limitadas. Isto foi demonstrado diversas vezes.
• Gastar- O código aberto é gratuito fora do tempo fixo da GPU e das operações de engenharia. Em volumes razoáveis, isso sempre será dimensionado de forma mais eficiente do que o preço baseado no uso.
• Velocidade– Ao possuir o conjunto completo, os desenvolvedores podem otimizar continuamente a latência e a comunidade de código aberto produz novas ideias todos os dias. Treinar modelos pequenos com conhecimento de modelos grandes pode reduzir a latência de segundos para milissegundos.
• Estabilidade: Uma derivada de atuação É inerente aos modelos fechados. Quando a única alavanca de controle é a engenharia rápida, essa mudança inevitavelmente prejudicará a experiência do produto. Por outro lado, a coleta de dados de treinamento e o retreinamento periódico de uma linha de base fixa do modelo permitem a avaliação sistemática do desempenho do modelo ao longo do tempo. Atualizações maiores também podem ser planejadas e avaliadas com novos modelos de código aberto, como qualquer lançamento importante de produto.
• Segurança- A entrega do modelo pode garantir o controle de dados ponta a ponta. Indo além, a segurança da IA ​​em geral é melhor atendida por uma comunidade de código aberto forte e próspera.

Os modelos fechados desempenharão um papel importante em casos de uso de negócios personalizados e na criação de protótipos de novos casos de uso que expandam os limites da capacidade de IA e de seu conteúdo ou domínios específicos. No entanto, o código aberto fornecerá a base para todos os principais produtos onde o GenAI é fundamental para a experiência do usuário final.

Desenvolvimento LLM: treinando o modelo

O desenvolvimento de um LLM de alto desempenho requer o compromisso de criar o melhor conjunto de dados do mundo para a tarefa em questão. Isto pode parecer assustador, mas dois factos devem ser considerados: Primeiro, melhor não significa maior. Muitas vezes, um desempenho de ponta em tarefas específicas pode ser alcançado com centenas de exemplos de alta qualidade. Em segundo lugar, para muitas tarefas no contexto de negócios ou produtos, ativos de dados exclusivos e compreensão de problemas oferecem uma vantagem para os fornecedores de modelos fechados coletarem dados de treinamento para atender milhares de clientes e casos de uso.

A destilação é uma ferramenta crítica para otimizar esse investimento em dados de treinamento de alta qualidade. Os modelos de código aberto estão disponíveis em vários tamanhos, desde mais de 70 bilhões de parâmetros até 34 bilhões, 13 bilhões, 7 bilhões, 3 bilhões e menores. Para muitas tarefas específicas, modelos menores podem alcançar “inteligência” suficiente com “gasto” e “velocidade” significativamente melhores. A destilação é o processo de treinar um modelo grande com dados de treinamento gerados por humanos de alta qualidade e, em seguida, solicitar que esse modelo gere ordens de magnitude mais dados sintéticos para treinar modelos menores. Vários modelos com diferentes características de desempenho, custo e latência proporcionam grande flexibilidade para otimizar a experiência do usuário na produção.

RGA: Recuperação de Geração Aumentada

Ao desenvolver produtos com LLM, os desenvolvedores aprendem rapidamente que o resultado desses sistemas é tão bom quanto a qualidade da entrada. O ChatGPT, que é treinado em toda a Internet, mantém todos os benefícios (acesso a todo o conhecimento humano publicado) e desvantagens (conteúdo enganoso, protegido por direitos autorais e inseguro) da Internet aberta.

Num contexto empresarial, esse nível de risco pode não ser aceitável para clientes que tomam decisões críticas todos os dias, caso em que os desenvolvedores podem recorrer à geração aumentada de recuperação, ou RGA. A RGA fundamenta o LLM em conteúdo confiável, solicitando que você raciocine apenas sobre as informações recuperadas de um banco de dados, em vez de reproduzir o conhecimento do seu conjunto de dados de treinamento. Os LLMs atuais podem processar efetivamente milhares de palavras como contexto de entrada para RGA, mas quase todas as aplicações da vida real devem processar muito mais conteúdo do que isso. Como resultado, a tarefa de recuperar o contexto apropriado para alimentar o LLM é um passo crítico.

Investe-se mais na construção do sistema de recuperação de informações do que no treinamento LLM. Como atualmente os sistemas de recuperação baseados em palavras-chave e os sistemas de recuperação baseados em vetores têm limitações, uma abordagem híbrida é melhor para a maioria dos casos de uso. O LLM será a área de pesquisa GenAI mais dinâmica nos próximos anos.

Experiência do usuário e design: integre o chat sem barreiras

Do ponto de vista do design, os chatbots devem se adequar perfeitamente ao restante de uma plataforma existente e não devem parecer um complemento. Deve agregar valor único e aproveitar os padrões de design existentes onde eles fizerem sentido. Os Guardrails devem ajudar o usuário a entender como usar o sistema e suas limitações, devem lidar com as entradas do usuário que não podem ou não devem ser respondidas e devem permitir a injeção automática do contexto do aplicativo. Aqui estão três pontos principais de integração a serem considerados:

• Bate-papo versus GUI: Para os fluxos de trabalho mais comuns, os usuários preferem não conversar. As interfaces gráficas de usuário foram inventadas porque são uma ótima maneira de orientar os usuários em fluxos de trabalho complexos. O bate-papo é uma solução fantástica quando um usuário precisa fornecer um contexto difícil de prever para resolver seu problema. Considere quando e onde ativar o chat em um aplicativo.
• Definir contexto: Conforme mencionado acima, uma limitação dos LLMs hoje é a capacidade de manter o contexto. Uma conversa baseada em recuperação pode crescer rapidamente para milhões de palavras. Os controles e filtros de pesquisa tradicionais são uma solução fantástica para esse problema. Os usuários podem definir o contexto de uma conversa e saber que ela se resolve com o tempo ou se ajusta ao longo do caminho. Isso pode reduzir a carga cognitiva e, ao mesmo tempo, aumentar a probabilidade de fornecer respostas precisas e úteis na conversa.
• Auditabilidade- Certifique-se de que quaisquer resultados do GenAI sejam citados nos documentos originais e sejam auditáveis ​​no contexto. A velocidade de verificação é uma barreira importante à confiança e à adoção de sistemas GenAI em um contexto empresarial, portanto, invista nesse fluxo de trabalho.

O lançamento do ChatGPT alertou o mundo para a chegada do GenAI e demonstrou o potencial da próxima geração de aplicações alimentadas por IA. À medida que mais empresas e desenvolvedores criam, dimensionam e implantam aplicativos de chat de IA, é importante manter essas práticas recomendadas em mente e focar no alinhamento entre sua tecnologia e estratégias de negócios para criar um produto inovador com impacto e valor reais a longo prazo. Concentrar-se em concluir bem uma tarefa enquanto procura oportunidades para expandir a funcionalidade de um chatbot ajudará o desenvolvedor a ter sucesso.