Nvidia, das stets darauf bedacht ist, Anreize für den Kauf seiner neuesten GPUs zu schaffen, bringt ein Tool auf den Markt, das es Besitzern von GeForce-RTX-Karten der Serien 30 und 40 ermöglicht, einen KI-gestützten Chatbot offline auf einem Windows-PC auszuführen.
Rufen Sie an Chatten Sie mit RTXMit dem Tool können Benutzer ein GenAI-Modell ähnlich dem ChatGPT von OpenAI anpassen, indem sie es mit Dokumenten, Dateien und Notizen verbinden, auf die sie dann verweisen können.
„Anstatt nach Notizen oder gespeicherten Inhalten zu suchen, können Benutzer einfach Abfragen eingeben“, schreibt Nvidia in einem Blogbeitrag. „Zum Beispiel könnte man fragen: ‚Welches Restaurant hat mir mein Partner empfohlen, als er in Las Vegas war?‘ und Chat mit RTX scannt die lokalen Dateien, auf die der Benutzer verweist, und stellt die Antwort mit Kontext bereit.“
Chat with RTX verwendet standardmäßig das Open-Source-Modell des KI-Startups Mistral, unterstützt aber auch andere textbasierte Modelle, darunter Metas eigenes Modell Llama 2. Nvidia warnt davor, dass das Herunterladen aller erforderlichen Dateien viel Speicherplatz verbrauchen wird: 50 GB bis 100 GB. abhängig vom gewählten Modell.
Chat mit RTX funktioniert derzeit mit den Formaten Text, PDF, .doc sowie .docx und .xml. Wenn Sie die Anwendung auf einen Ordner verweisen, der unterstützte Dateien enthält, werden die Dateien in den Modell-Feinabstimmungsdatensatz geladen. Darüber hinaus kann Chat with RTX die URL einer YouTube-Playlist nutzen, um Transkripte der Videos in der Playlist hochzuladen, sodass jedes ausgewählte Model deren Inhalte ansehen kann.
Nun gilt es, bestimmte Einschränkungen zu beachten, die Nvidia der Dankbarkeit und Transparenz halber in einer Anleitung erläutert.
Bildnachweis: NVIDIA
Chat mit RTX merkt sich keinen Kontext, was bedeutet, dass die App bei der Beantwortung von Folgefragen keine vorherigen Fragen berücksichtigt. Wenn Sie beispielsweise fragen: „Was ist ein in Nordamerika verbreiteter Vogel?“ und fährt fort mit „Was sind deine Farben?“ Wenn Sie mit RTX chatten, wissen Sie nicht, dass Sie über Vögel sprechen.
Nvidia ist sich auch bewusst, dass die Relevanz von App-Antworten durch eine Vielzahl von Faktoren beeinflusst werden kann, von denen einige leichter zu kontrollieren sind als andere, einschließlich der Formulierung der Frage, der Leistung des ausgewählten Modells und der Größe des Tuning-Datensatzes. Die Abfrage von Daten, die in mehreren Dokumenten enthalten sind, führt wahrscheinlich zu besseren Ergebnissen als die Abfrage einer Zusammenfassung eines Dokuments oder einer Reihe von Dokumenten. Und die Antwortqualität wird sich im Allgemeinen mit größeren Datensätzen verbessern, ebenso wie die gezielte Ausrichtung von Chat mit RTX auf Inhalte zu einem bestimmten Thema, sagt Nvidia.
Daher ist Chat mit RTX eher ein Spielzeug als alles andere, was man in der Produktion verwenden kann. Dennoch ist es ein toller Punkt, dass Apps die lokale Ausführung von KI-Modellen erleichtern, was ein wachsender Trend ist.
In einem aktuellen Bericht prognostizierte das Weltwirtschaftsforum ein „dramatisches“ Wachstum bei erschwinglichen Geräten, die Offline-GenAI-Modelle ausführen können, darunter PCs, Smartphones, Geräte für das Internet der Dinge und Netzwerkgeräte. Die Gründe liegen laut WEF in den klaren Vorteilen: Offline-Modelle sind nicht nur von Natur aus privater (die Daten, die sie verarbeiten, verlassen nie das Gerät, auf dem sie ausgeführt werden), sondern sie haben auch eine geringere Latenz und sind kostengünstiger als in der Cloud gehostete Modelle Modelle.
Natürlich öffnet die Demokratisierung von Tools zum Laufen und Trainieren von Models böswilligen Akteuren Tür und Tor: Eine oberflächliche Google-Suche führt zu zahlreichen Einträgen von Models, die mit toxischen Inhalten aus skrupellosen Ecken des Internets versehen sind. Befürworter von Apps wie Chat with RTX argumentieren jedoch, dass die Vorteile die Nachteile überwiegen. Es muss abwarten und sehen.
