Inteligencia Artificial
Llamar a ChatGPT, la IA gratuita de generación de texto desarrollada por la startup OpenAI con sede en San Francisco, un éxito es quedarse corto.
En diciembre, ChatGPT tenía una estimación más de 100 millones de usuarios activos mensuales. Atrajo la atención de los principales medios y generó innumerables memes en las redes sociales. Ha sido usada para escribir cientos de libros electrónicos en la tienda Kindle de Amazon. Y se le atribuye la coautoría al menos un artículo científico.
Pero OpenAI, al ser un negocio, aunque con ganancias limitadas, tenía que monetizar ChatGPT de alguna manera, para que los inversores no se pusieran nerviosos. Dio un paso hacia esto con el lanzamiento de un servicio premium, ChatGPT Plus, en febrero. Al presentar una API que permitirá a cualquier empresa incorporar la tecnología ChatGPT en sus aplicaciones, sitios web, productos y servicios se ha hecho mucho más grande.
Una API siempre fue el plan. Eso es según Greg Brockman, presidente y presidente de OpenAI (y también uno de los cofundadores).
“Nos toma un tiempo lograr que estas API alcancen cierto nivel de calidad”, dijo Brockman. “Creo que es algo así como simplemente poder satisfacer la demanda y la escala”.
Brockman dice que la API de ChatGPT funciona con el mismo modelo de IA detrás del popular ChatGPT de OpenAI, denominado «gpt-3.5-turbo». GPT-3.5 es el modelo de generación de texto más poderoso que OpenAI ofrece hoy a través de su conjunto de API; el apodo «turbo» se refiere a un modelo más optimizado, más receptivo de GPT-3.5 que OpenAI ha estado probando silenciosamente para ChatGPT.
Con un precio de $0.002 por 1000 tokens, o alrededor de 750 palabras, Brockman afirma que la API puede impulsar una variedad de experiencias, incluidas las aplicaciones «no de chat». Snap, Quizlet, Instacart y Shopify se encuentran entre los primeros en adoptarlo.
La motivación inicial detrás del desarrollo de gpt-3.5-turbo podría haber sido reducir los gigantescos costes informáticos de ChatGPT. El CEO de OpenAI, Sam Altman, calificó una vez los gastos de ChatGPT como «alucinantes», estimándolos a unos pocos centavos por chat en coste de cómputo. (Con más de un millón de usuarios, presumiblemente eso se acumula rápidamente).
Pero Brockman dice que gpt-3.5-turbo se mejora de otras maneras.
“Si está creando un tutor impulsado por IA, nunca querrá que el tutor solo le dé una respuesta al estudiante. Desea que siempre lo explique y les ayude a aprender: ese es un ejemplo del tipo de sistema que debería poder construir [con el API]”, dijo Brockman. “Creemos que esto será algo que simplemente hará que la API sea mucho más útil y accesible”.
La API de ChatGPT es la base de My AI, el chatbot recientemente anunciado por Snap para los suscriptores de Snapchat+ y la nueva función de tutor virtual Q-Chat de Quizlet. Shopify usó la API de ChatGPT para crear un asistente personalizado para recomendaciones de compras, mientras que Instacart la aprovechó para crear Ask Instacart, una próxima herramienta que permitirá a los clientes de Instacart preguntar sobre alimentos y obtener respuestas «comprables» informadas por datos de productos de la tienda minorista de la empresa. socios.
«Comprar comestibles puede requerir una gran carga mental, con muchos factores en juego, como el presupuesto, la salud y la nutrición, los gustos personales, la estacionalidad, las habilidades culinarias, el tiempo de preparación y la inspiración de recetas», dijo el arquitecto jefe de Instacart, JJ Zhuang. “¿Qué pasaría si la IA pudiera asumir esa carga mental y pudiéramos ayudar a los líderes del hogar que son comúnmente responsables de las compras de comestibles, la planificación de comidas y poner comida en la mesa, y en realidad hacer que las compras de comestibles sean realmente divertidas? El sistema de inteligencia artificial de Instacart, cuando se integre con ChatGPT de OpenAI, nos permitirá hacer exactamente eso, y estamos encantados de comenzar a experimentar con lo que es posible en la aplicación Instacart”.
Créditos de la imagen: Instacart
Sin embargo, aquellos que han estado siguiendo de cerca la saga ChatGPT, podrían preguntarse si está listo para su lanzamiento, y con razón.
Al principio, los usuarios podían solicitar a ChatGPT que respondiera preguntas con sesgos racistas y sexistas, un reflejo de los datos con los que se entrenó inicialmente ChatGPT. (Los datos de capacitación de ChatGPT incluyen una amplia franja de contenido de Internet, a saber, libros electrónicos, publicaciones de Reddit y artículos de Wikipedia). ChatGPT también inventa hechos sin revelar que lo está haciendo, un fenómeno en IA conocido como alucinación.
ChatGPT, y sistemas similares, también son susceptibles a ataques basados en avisos, o avisos adversarios maliciosos que les obligan a realizar tareas que no formaban parte de sus objetivos originales. Comunidades enteras en Reddit se han formado en torno a encontrar formas de hacer un «jailbreak» ChatGPT y eludir cualquier protección que haya implementado OpenAI. En uno de los ejemplos menos ofensivos, un miembro del personal de la startup Scale AI pudo hacer que ChatGPT divulgar información sobre su funcionamiento técnico interno.
Las marcas, sin duda, no querrían quedar atrapadas en el punto de mira. Brockman está convencido de que no lo serán. ¿Porque? Una de las razones, dice, son las continuas mejoras en el back-end, en algunos casos a expensas de los trabajadores contratados de Kenia. Pero Brockman enfatizó un enfoque nuevo (y decididamente menos controvertido) que OpenAI llama Chat Markup Language o ChatML. ChatML envía texto a la API de ChatGPT como una secuencia de mensajes junto con metadatos. Eso es lo opuesto al ChatGPT estándar, que consume texto sin procesar representado como una serie de tokens. (La palabra «fantástico» se dividiría en las fichas «fan», «tas» y «tico», por ejemplo).
Por ejemplo, ante la pregunta «¿Cuáles son algunas ideas interesantes para una fiesta para mi 30 cumpleaños?» un desarrollador puede optar por agregar ese mensaje con un mensaje adicional como “Eres un chatbot conversacional divertido diseñado para ayudar a los usuarios con las preguntas que hacen. ¡Debes responder con sinceridad y de una manera divertida!” o «Eres un bot» antes de que la API de ChatGPT lo procese. Estas instrucciones ayudan a adaptar y filtrar mejor las respuestas del modelo ChatGPT, según Brockman.
“Nos estamos moviendo a una API de nivel superior. Si tiene una forma más estructurada de representar la entrada al sistema, donde dice, ‘esto es del desarrollador’ o ‘esto es del usuario’. Debo esperar que, como desarrollador, en realidad pueda ser más sólido. [usando ChatML] contra este tipo de ataques rápidos”, dijo Brockman.
Otro cambio que (con suerte) evitará el comportamiento no deseado de ChatGPT son las actualizaciones de modelos más frecuentes. Con el lanzamiento de gpt-3.5-turbo, los desarrolladores se actualizarán automáticamente de forma predeterminada al último modelo estable de OpenAI, dice Brockman, comenzando con gpt-3.5-turbo-0301 (lanzado hoy). Sin embargo, los desarrolladores tendrán la opción de quedarse con un modelo más antiguo si así lo desean, lo que podría anular un poco el beneficio.
Ya sea que opten por actualizar al modelo más nuevo o no, Brockman señala que algunos clientes, principalmente grandes empresas con presupuestos correspondientemente grandes, tendrán un control más profundo sobre el rendimiento del sistema con la introducción de planes de capacidad dedicados. Detallados por primera vez en la documentación filtrada a principios de este mes, los planes de capacidad dedicados de OpenAI, lanzados hoy, permiten a los clientes pagar por una asignación de infraestructura informática para ejecutar un modelo de OpenAI, por ejemplo, gpt-3.5-turbo. (Es Azure en el back-end, por cierto).
Además del «control total» sobre la carga de la instancia (normalmente, las llamadas a la API de OpenAI se realizan en recursos informáticos compartidos), la capacidad dedicada brinda a los clientes la capacidad de habilitar funciones como límites de contexto más largos. Los límites de contexto se refieren al texto que el modelo considera antes de generar texto adicional; los límites de contexto más largos permiten que el modelo «recuerde» más texto esencialmente. Si bien es posible que los límites de contexto más altos no resuelvan todos los problemas de sesgo y toxicidad, podrían llevar a modelos como gpt-3.5-turbo a alucinar menos.
Brockman dice que los clientes de capacidad dedicada pueden esperar modelos gpt-3.5-turbo con una ventana de contexto de hasta 16k, lo que significa que pueden aceptar cuatro veces más tokens que el modelo ChatGPT estándar. Eso podría permitir que alguien pegue páginas y págias del código fiscal y obtenga respuestas razonables del modelo, digamos, una hazaña que no es posible hoy en día.
Brockman aludió a un lanzamiento general en el futuro, pero no en el corto plazo.
“Las ventanas de contexto están comenzando a aumentar, y parte de la razón por la que ahora solo somos clientes de capacidad dedicada es porque hay muchas compensaciones de rendimiento de nuestro lado”, dijo Brockman. “Eventualmente podríamos ofrecer una versión bajo demanda de lo mismo”.
Dada la creciente presión de OpenAI para obtener ganancias después de una inversión multimillonaria de Microsoft, eso no sería terriblemente sorprendente.
