A Nvidia, sempre disposta a incentivar a compra de suas GPUs mais recentes, está lançando uma ferramenta que permite aos proprietários de placas GeForce RTX Série 30 e Série 40 executar um chatbot com tecnologia de IA offline em um PC com Windows.
Ligar Conversar com RTX, a ferramenta permite que os usuários personalizem um modelo GenAI semelhante ao ChatGPT da OpenAI, conectando-o a documentos, arquivos e notas que você pode consultar.
“Em vez de procurar notas ou conteúdo salvo, os usuários podem simplesmente digitar consultas”, escreve a Nvidia em um blog. “Por exemplo, alguém pode perguntar: 'Qual foi o restaurante que meu parceiro me recomendou enquanto estava em Las Vegas?' e o Chat with RTX verificará os arquivos locais para os quais o usuário aponta e fornecerá a resposta com contexto.”
O Chat com RTX usa o modelo de código aberto da startup Mistral por padrão, mas suporta outros modelos baseados em texto, incluindo o próprio Meta, Llama 2. A Nvidia alerta que baixar todos os arquivos necessários consumirá uma boa quantidade de armazenamento: 50 GB a 100 GB, dependendo do modelo selecionado.
O Chat com RTX atualmente funciona com formatos de texto, PDF, .doc e .docx e .xml. Apontar o aplicativo para uma pasta contendo arquivos suportados carregará os arquivos no conjunto de dados de ajuste fino do modelo. Além disso, o Chat with RTX pode usar o URL de uma playlist do YouTube para enviar transcrições dos vídeos da playlist, permitindo que qualquer modelo selecionado visualize seu conteúdo.
Agora, há certas limitações a serem lembradas, que a Nvidia, para seu crédito e transparência, descreve em um guia prático.
Créditos da imagem: NVIDIA
O bate-papo com RTX não lembra o contexto, o que significa que o aplicativo não levará em consideração nenhuma pergunta anterior ao responder perguntas de acompanhamento. Por exemplo, se você perguntar "Qual é a ave comum na América do Norte?" e continua com “Quais são as suas cores?” Converse com RTX e você não saberá que está falando de pássaros.
A Nvidia também reconhece que a relevância das respostas do aplicativo pode ser afetada por vários fatores, alguns mais fáceis de controlar do que outros, incluindo o texto da pergunta, o desempenho do modelo selecionado e o tamanho do conjunto de dados de ajuste. É provável que solicitar dados abrangidos por alguns documentos produza melhores resultados do que solicitar um resumo de um documento ou conjunto de documentos. E a qualidade da resposta geralmente melhorará com conjuntos de dados maiores, assim como direcionar o Chat com RTX para conteúdo sobre um tópico específico, diz a Nvidia.
Portanto, o Chat with RTX é mais um brinquedo do que qualquer outra coisa para usar na produção. Ainda assim, é importante ressaltar que os aplicativos facilitam a execução local de modelos de IA, o que é uma tendência crescente.
Num relatório recente, o Fórum Económico Mundial previu um crescimento “dramático” em dispositivos acessíveis que podem executar modelos GenAI offline, incluindo PCs, smartphones, dispositivos de Internet das Coisas e equipamentos de rede. As razões, disse o WEF, são os benefícios claros: não só os modelos offline são inerentemente mais privados (os dados que processam nunca saem do dispositivo em que são executados), mas também têm menor latência e são mais económicos do que os hospedados na nuvem. modelos.
É claro que a democratização das ferramentas para execução e treino de modelos abre a porta a intervenientes maliciosos: uma pesquisa superficial no Google revela muitas listagens de modelos equipados com conteúdo tóxico provenientes de cantos inescrupulosos da Internet. Mas os defensores de aplicativos como o Chat with RTX argumentam que os benefícios superam os danos. Teremos que esperar para ver.
