Desde el lanzamiento de ChatGPT, todos los clientes se preguntan cómo pueden aprovechar la IA generativa para su negocio. Desde la eficiencia y la productividad internas hasta los productos y servicios externos, las empresas se apresuran a implementar tecnologías de IA generativa en todos los sectores de la economía.
Si bien GenAI aún está en sus inicios, sus capacidades se están expandiendo rápidamente: desde la búsqueda vertical hasta la edición de fotografías y los asistentes de escritura, el hilo común es aprovechar las interfaces conversacionales para hacer que el software sea más accesible y poderoso. Los chatbots, ahora rebautizados como “copilotos” y “asistentes”, están de moda una vez más, y si bien está comenzando a surgir un conjunto de mejores prácticas, el paso 1 en el desarrollo de un chatbot es analizar el problema y comenzar poco a poco.
Un copiloto es un orquestador que ayuda al usuario a completar muchas tareas diferentes a través de una interfaz de texto libre. Hay una cantidad infinita de posibles indicaciones de entrada y todas deben manejarse con elegancia y seguridad. En lugar de proponerse resolver todas las tareas y correr el riesgo de no cumplir con las expectativas del usuario, los desarrolladores deberían comenzar resolviendo realmente bien una sola tarea y aprender durante el proceso.
Desarrollo LLM: ¿abierto o cerrado?
A principios de 2023, la tabla de clasificación de desempeño en LLM era clara: OpenAI estaba por delante con GPT-4, pero competidores bien capitalizados como Anthropic y Google estaban decididos a ponerse al día. El código abierto ofrecía ideas prometedoras, pero el rendimiento en las tareas de generación de texto no era competitivo con los modelos cerrados.
La experiencia con la IA durante la última década hace creer que el código abierto regresaría con furia y eso es exactamente lo que sucedió. La comunidad de código abierto ha aumentado el rendimiento y al mismo tiempo ha reducido los costes y la latencia. LLaMA, Mistral y otros modelos ofrecen bases poderosas para la innovación, y los principales proveedores de nube como Amazon, Google y Microsoft están adoptando en gran medida un enfoque de múltiples proveedores, incluido el soporte y la amplificación del código abierto.
Si bien el código abierto no ha alcanzado los puntos de referencia de rendimiento publicados, claramente ha superado los modelos cerrados en el conjunto de compensaciones que cualquier desarrollador tiene que hacer al llevar un producto al mundo real. Las 5 S de la selección de modelos pueden ayudar a los desarrolladores a decidir qué tipo de modelo es el adecuado para ellos:
- Inteligencia (Smarts): mediante ajustes finos, los modelos de código abierto pueden superar absolutamente a los modelos cerrados en tareas limitadas. Esto se ha demostrado varias veces.
- Gasto (Spend): el código abierto es gratuito fuera del tiempo fijo de GPU y las operaciones de ingeniería. En volúmenes razonables, esto siempre escalará de manera más eficiente que los precios basados en el uso.
- Velocidad (Speed): al poseer la conjunto completo, los desarrolladores pueden optimizar continuamente la latencia y la comunidad de código abierto produce nuevas ideas todos los días. Entrenar modelos pequeños con el conocimiento de modelos grandes puede reducir la latencia de segundos a milisegundos.
- Estabilidad (Stability): Una deriva del performance es inherente a los modelos cerrados. Cuando la única palanca de control es la ingeniería rápida, este cambio inevitablemente perjudicará una experiencia de producto. Por otro lado, recopilar datos de entrenamiento y volver a entrenar periódicamente una línea base de modelo fija permite una evaluación sistemática del desempeño del modelo a lo largo del tiempo. También se pueden planificar y evaluar actualizaciones más importantes con nuevos modelos de código abierto, como cualquier lanzamiento importante de producto.
- Seguridad: la entrega del modelo puede garantizar el control de los datos de un extremo a otro. Yendo más allá, la seguridad de la IA en general se beneficia mejor con una comunidad de código abierto sólida y próspera.
Los modelos cerrados desempeñarán un papel importante en los casos de uso empresarial personalizados y para la creación de prototipos de nuevos casos de uso que traspasen los límites de la capacidad de la IA y sus contenidos o ámbitos específicos. Sin embargo, el código abierto proporcionará la base para todos los productos importantes en los que GenAI sea fundamental para la experiencia del usuario final.
Desarrollo LLM: entrenando el modelo
Para desarrollar un LLM de alto rendimiento, se requiere compromiso para a crear el mejor conjunto de datos del mundo para la tarea en cuestión. Esto puede parecer desalentador, pero se deben considerar dos hechos: primero, mejor no significa más grande. A menudo, se puede lograr un rendimiento de vanguardia en tareas específicas con cientos de ejemplos de alta calidad. En segundo lugar, para muchas tareas en el contexto de la empresa o producto, los activos de datos únicos y la comprensión del problema ofrecen una ventaja para que los proveedores de modelos cerrados recopilen datos de capacitación para atender a miles de clientes y casos de uso.
La destilación es una herramienta fundamental para optimizar esta inversión en datos de entrenamiento de alta calidad. Los modelos de código abierto están disponibles en varios tamaños, desde más de 70 mil millones de parámetros hasta 34 mil millones, 13 mil millones, 7 mil millones, 3 mil millones y más pequeños. Para muchas tareas específicas, los modelos más pequeños pueden lograr suficiente “inteligencia” con un “gasto” y una “velocidad” significativamente mejores. La destilación es el proceso de entrenar un modelo grande con datos de entrenamiento generados por humanos de alta calidad y luego pedirle a ese modelo que genere órdenes de magnitud de más datos sintéticos para entrenar modelos más pequeños. Múltiples modelos con diferentes características de rendimiento, coste y latencia brindan una gran flexibilidad para optimizar la experiencia del usuario en producción.
RGA: Recuperación de Generación Aumentada
Al desarrollar productos con LLM, los desarrolladores aprenden rápidamente que el resultado de estos sistemas es tan bueno como la calidad de la entrada. ChatGPT, que está capacitado en toda Internet, mantiene todos los beneficios (acceso a todo el conocimiento humano publicado) y desventajas (contenido engañoso, protegido por derechos de autor e inseguro) de la Internet abierta.
En un contexto empresarial, ese nivel de riesgo puede no ser aceptable para los clientes que toman decisiones críticas todos los días, en cuyo caso los desarrolladores pueden recurrir a la generación con recuperación aumentada o RGA. RGA fundamenta el LLM en contenido autorizado al pedirle que solo razone sobre la información recuperada de una base de datos en lugar de reproducir el conocimiento de su conjunto de datos de entrenamiento. Los LLM actuales pueden procesar eficazmente miles de palabras como contexto de entrada para RGA, pero casi todas las aplicaciones de la vida real deben procesar muchos órdenes de magnitud más de contenido que eso. Como resultado, la tarea de recuperar el contexto adecuado para alimentar el LLM es un paso crítico.
Se invierte más en la construcción del sistema de recuperación de información que en la capacitación del LLM. Dado que tanto los sistemas de recuperación basados en palabras clave como los sistemas de recuperación basados en vectores tienen limitaciones en la actualidad, un enfoque híbrido es mejor para la mayoría de los casos de uso. LLM será el área más dinámica de la investigación sobre GenAI en los próximos años.
Experiencia de usuario y diseño: integrar el chat sin barreras
Desde una perspectiva de diseño, los chatbots deberían encajar perfectamente con el resto de una plataforma existente y no deberían parecer un complemento. Debería agregar valor único y aprovechar los patrones de diseño existentes cuando tengan sentido. Las barreras de seguridad deben ayudar al usuario a comprender cómo usar el sistema y sus limitaciones, deben manejar las entradas del usuario que no pueden o no deben ser respondidas y deben permitir la inyección automática del contexto de la aplicación. Aquí hay tres puntos clave de integración a considerar:
- Chat versus GUI: para los flujos de trabajo más comunes, los usuarios preferirían no chatear. Las interfaces gráficas de usuario se inventaron porque son una excelente manera de guiar a los usuarios a través de flujos de trabajo complejos. El chat es una solución fantástica cuando un usuario necesita proporcionar un contexto difícil de anticipar para resolver su problema. Considere cuándo y dónde activar el chat en una aplicación.
- Establecer contexto: como se mencionó anteriormente, una limitación de los LLM en la actualidad es la capacidad de mantener el contexto. Una conversación basada en la recuperación puede crecer rápidamente hasta alcanzar millones de palabras. Los controles y filtros de búsqueda tradicionales son una solución fantástica a este problema. Los usuarios pueden establecer el contexto de una conversación y saber que se soluciona con el tiempo o ajustarlo a lo largo del camino. Esto puede reducir la carga cognitiva y al mismo tiempo aumentar la probabilidad de brindar respuestas precisas y útiles en la conversación.
- Auditabilidad: asegurar de que cualquier resultado de GenAI se cite en los documentos fuente originales y sea auditable en contexto. La velocidad de verificación es una barrera clave para la confianza y la adopción de los sistemas GenAI en un contexto empresarial, así que invierta en este flujo de trabajo.
El lanzamiento de ChatGPT alertó al mundo sobre la llegada de GenAI y demostró el potencial de la próxima generación de aplicaciones impulsadas por IA. A medida que más empresas y desarrolladores crean, escalan e implementan aplicaciones de chat de IA, es importante tener en cuenta estas mejores prácticas y centrarse en la alineación entre sus estrategias tecnológicas y comerciales para crear un producto innovador con impacto y valor real a largo plazo. Centrarse en completar bien una tarea mientras se buscan oportunidades para ampliar la funcionalidad de un chatbot ayudará a que el desarrollador tenga éxito.
