Nvidia, siempre interesada en incentivar las compras de sus últimas GPU, está lanzando una herramienta que permite a los propietarios de tarjetas GeForce RTX Serie 30 y Serie 40 ejecutar un chatbot con tecnología de inteligencia artificial sin conexión en un PC con Windows.
Llamada Chat with RTX, la herramienta permite a los usuarios personalizar un modelo GenAI similar al ChatGPT de OpenAI conectándolo a documentos, archivos y notas que luego puede consultar.
«En lugar de buscar notas o contenido guardado, los usuarios pueden simplemente escribir consultas», escribe Nvidia en una publicación de blog. “Por ejemplo, uno podría preguntar: ‘¿Cuál fue el restaurante que me recomendó mi pareja mientras estuvo en Las Vegas?’ y Chat with RTX escaneará los archivos locales a los que el usuario apunta y proporcionará la respuesta con contexto”.
Chat with RTX utiliza de forma predeterminada el modelo de código abierto de Mistral, la startup de IA, pero admite otros modelos basados en texto, incluido el de Meta, Llama 2. Nvidia advierte que la descarga de todos los archivos necesarios consumirá una buena cantidad de almacenamiento: de 50 GB a 100 GB, según el modelo seleccionado.
Actualmente, Chat with RTX funciona con formatos de texto, PDF, .doc y .docx y .xml. Apuntar la aplicación a una carpeta que contenga archivos compatibles, se cargarán los archivos en el conjunto de datos de ajuste fino del modelo. Además, Chat with RTX puede tomar la URL de una lista de reproducción de YouTube para cargar transcripciones de los videos en la lista de reproducción, lo que permite que cualquier modelo seleccionado consulte su contenido.
Ahora bien, hay ciertas limitaciones a tener en cuenta, que Nvidia, para su crédito y transparencia, describe en una guía práctica.
Créditos de imagen: NVIDIA
El Chat with RTX no recuerda el contexto, lo que significa que la aplicación no tendrá en cuenta ninguna pregunta anterior al responder preguntas de seguimiento. Por ejemplo, si preguntas «¿Cuál es un ave común en América del Norte?» y continúa con “¿Cuáles son sus colores?” Chat with RTX no sabrá que estás hablando de pájaros.
Nvidia también reconoce que la relevancia de las respuestas de la aplicación puede verse afectada por una variedad de factores, algunos más fáciles de controlar que otros, incluida la redacción de la pregunta, el rendimiento del modelo seleccionado y el tamaño del conjunto de datos de ajuste. Es probable que pedir datos cubiertos en un par de documentos produzca mejores resultados que pedir un resumen de un documento o conjunto de documentos. Y la calidad de la respuesta generalmente mejorará con conjuntos de datos más grandes, al igual que apuntar con Chat with RTX a un contenido sobre un tema específico, dice Nvidia.
Entonces Chat with RTX es más un juguete que cualquier otra cosa para usar en producción. Aún así, es un gran punto sobre las aplicaciones que facilitan la ejecución de modelos de IA localmente, lo cual es una tendencia creciente.
En un informe reciente, el Foro Económico Mundial predijo un crecimiento “dramático” de dispositivos asequibles que pueden ejecutar modelos GenAI sin conexión, incluidos PC, teléfonos inteligentes, dispositivos de Internet de las cosas y equipos de red. Las razones, dijo el WEF, son los claros beneficios: no sólo los modelos fuera de línea son inherentemente más privados (los datos que procesan nunca salen del dispositivo en el que se ejecutan), sino que también tienen una latencia más baja y son más rentables que los modelos alojados en la nube.
Por supuesto, la democratización de las herramientas para ejecutar y entrenar modelos abre la puerta a actores maliciosos: una búsqueda superficial en Google arroja muchos listados de modelos ajustados a contenido tóxico de rincones sin escrúpulos de la web. Pero los defensores de aplicaciones como Chat with RTX argumentan que los beneficios superan los daños. Habrá que esperar y ver.
