Nvidia, sempre pronta a incentivare l'acquisto delle sue ultime GPU, sta lanciando uno strumento che consente ai possessori di schede GeForce RTX Serie 30 e Serie 40 di eseguire offline un chatbot basato sull'intelligenza artificiale su un PC Windows.
chiamata Chatta con RTX, lo strumento consente agli utenti di personalizzare un modello GenAI simile al ChatGPT di OpenAI collegandolo a documenti, file e note a cui è possibile fare riferimento.
"Invece di cercare note o contenuti salvati, gli utenti possono semplicemente digitare query", scrive Nvidia in un post sul blog. "Ad esempio, ci si potrebbe chiedere: 'Qual è il ristorante che mi ha consigliato il mio partner mentre era a Las Vegas?' e Chat con RTX eseguirà la scansione dei file locali a cui punta l'utente e fornirà la risposta con il contesto.
Chat con RTX utilizza per impostazione predefinita il modello open source dell'avvio AI Mistral, ma supporta altri modelli basati su testo, incluso quello di Meta, Llama 2. Nvidia avverte che il download di tutti i file necessari consumerà una buona quantità di spazio di archiviazione: da 50 GB a 100 GB, a seconda del modello selezionato.
Chat con RTX attualmente funziona con i formati testo, PDF, .doc e .docx e .xml. Puntando l'applicazione su una cartella contenente i file supportati verranno caricati i file nel set di dati di fine tuning del modello. Inoltre, Chat con RTX può prendere l'URL di una playlist di YouTube per caricare le trascrizioni dei video nella playlist, consentendo a qualsiasi modello selezionato di visualizzarne il contenuto.
Ora, ci sono alcune limitazioni da tenere a mente, che Nvidia, a suo merito e trasparenza, delinea in una guida pratica.
Crediti immagine: NVIDIA
La chat con RTX non ricorda il contesto, il che significa che l'app non terrà conto delle domande precedenti quando risponderà alle domande successive. Ad esempio, se chiedi "Cos'è un uccello comune nel Nord America?" e continua con “Quali sono i tuoi colori?” Chatta con RTX non saprà che stai parlando di uccelli.
Nvidia riconosce inoltre che la pertinenza delle risposte dell'app può essere influenzata da una serie di fattori, alcuni più facili da controllare rispetto ad altri, tra cui la formulazione della domanda, le prestazioni del modello selezionato e la dimensione del set di dati di ottimizzazione. Richiedere i dati contenuti in un paio di documenti probabilmente produrrà risultati migliori rispetto alla richiesta di un riepilogo di un documento o di una serie di documenti. E la qualità della risposta generalmente migliorerà con set di dati più grandi, così come il targeting di Chat with RTX su contenuti su un argomento specifico, afferma Nvidia.
Quindi Chat con RTX è più un giocattolo che altro da utilizzare in produzione. Tuttavia, è un ottimo punto il fatto che le app semplifichino l’esecuzione locale dei modelli di intelligenza artificiale, che è una tendenza in crescita.
In un recente rapporto, il World Economic Forum ha previsto una crescita “drammatica” di dispositivi convenienti in grado di eseguire modelli GenAI offline, inclusi PC, smartphone, dispositivi Internet of Things e apparecchiature di rete. Le ragioni, afferma il WEF, sono i chiari vantaggi: non solo i modelli offline sono intrinsecamente più privati (i dati che elaborano non lasciano mai il dispositivo su cui vengono eseguiti), ma hanno anche una latenza inferiore e sono più convenienti rispetto a quelli ospitati nel cloud. Modelli.
Naturalmente, la democratizzazione degli strumenti per la gestione e la formazione dei modelli apre le porte ad attori malintenzionati: una rapida ricerca su Google rivela numerosi elenchi di modelli dotati di contenuti tossici provenienti da angoli senza scrupoli del web. Ma i sostenitori di app come Chat with RTX sostengono che i benefici superano i danni. Dovremo aspettare e vedere.
