Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
Chat With RTX: Ab sofort in einer frühen Beta verfügbar
NVIDIA hat soeben Chat With RTX, eine Demo für das lokale Ausführen von KI-Anwendungen in einer frühen Beta freigegeben. Damit lässt sich ein Sprachmodell nicht nur lokal ausführen, sondern theoretisch auch mit eigenen Daten füttern. Man könnte hier von einer Art Technologie-Demo sprechen, denn Chat With RTX greift natürlich auf viele von NVIDIA entwickelte Hard- und Software-Techniken zurück. ... weiterlesen
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Kann mir noch mal jemand erklären, was der Unterschied ist zwischen Chat with RTX und einem LLM. dass ich so oder so brauche und auch lokal auf dem PC ausführe? 🤔
Kann das Teil dann auch deutsch? Auf der NVIDIA Seite habe ich dazu nichts gefunden, da steht nur, dass er mir Fragen beantworten kann. Aber wenn ich ihn mit eigenen Daten füttern kann, sollte auch deutsch gehen?
Aber ich lade es einfach mal runter.
EDIT:
Lustiges teil... scheinbar versteht er deutsch, antwortet aber nur in englisch... um nicht direkt verklagt zu werden habe ich pflichtgemäß gefragt was er/sie/es ist
I am an artificial intelligence and do not have a gender.
Und auf die Frage wie "es" nun angesprochen werden will
I am an AI language model and do not have a specific name or title. I am here to assist you with any questions or tasks you may have. How can I help you today?
Kann das Teil dann auch deutsch? Auf der NVIDIA Seite habe ich dazu nichts gefunden, da steht nur, dass er mir Fragen beantworten kann. Aber wenn ich ihn mit eigenen Daten füttern kann, sollte auch deutsch gehen?
Aber ich lade es einfach mal runter.
EDIT:
Lustiges teil... scheinbar versteht er deutsch, antwortet aber nur in englisch... um nicht direkt verklagt zu werden habe ich pflichtgemäß gefragt was er/sie/es ist
Und auf die Frage wie "es" nun angesprochen werden will
Tja, nun muss ich mir überlegen wobei es helfen kann
Ok, aber wo liegt jetzt der Unterschied zu dem, wenn du direkt Mistral benutzt hättest?
Also ich meine was added Chat RTX zu Mistral hinzu? Außer der schlechten GUI.
Keine Ahnung da gibt es noch einen Punkt, wo ein NVIDIA Dokument angegeben ist. Wenn ich das auswähle und frage, wobei er mir helfen kann, dann kommt er mit NVIDIA Themen wie DLSS und wie ich das in meinem Spiel integrieren kann. Außerdem meint er, er kann mir bei anderen Sachen wie irgendwelche Modelle erstellen helfen... ich kenne Mistral direkt auch nicht. Ich kann auch URLs angeben, die er absuchen soll und dann Fragen stellen, die er angeblich beantworten kann.
Keine Ahnung da gibt es noch einen Punkt, wo ein NVIDIA Dokument angegeben ist. Wenn ich das auswähle und frage, wobei er mir helfen kann, dann kommt er mit NVIDIA Themen wie DLSS und wie ich das in meinem Spiel integrieren kann. Außerdem meint er, er kann mir bei anderen Sachen wie irgendwelche Modelle erstellen helfen... ich kenne Mistral direkt auch nicht. Ich kann auch URLs angeben, die er absuchen soll und dann Fragen stellen, die er angeblich beantworten kann.
Auf der NVIDIA Seite stand z.B. auch. dass eine YouTube Playlist oder auch ein einzelnes YouTube Video angegeben werden kann. Er schaut sich das an und ich kann dann fragen zu dem Video stellen, die er angeblich beantwortet. Und zwar anhand des Videos. Aber so weit bin ich beim Testen noch nicht.
Also genau das was Llama und Mistral vorher auch gemacht haben, oder nicht?
Ich habs noch nicht verstanden. Ich habe versucht die Nvidia "Doku" von Chat RTX zu lesen. Bin aber auch nicht schlauer geworden. Das einzige was ich verstanden habe: Es macht das Gleiche, aber in einer beschissen UI und "schneller" weil... irgendwas mit RT Cores.
Ich habe mir irgend etwas mit Substanz erhofft, aber ich werde direkt zweifelnd, wenn es keine anständige Doku gibt, keine Messungen, keine Referenzwerte und wenn man näher nachschaut es kaum Informationen gibt außer verweise auf andere fancy Produkte. Unter erfahre mehr besteht 2 / 3 der Informationen aus: so cool ist die 4080 Super und andere Softwarelösungen.
Mistral und Llama haben begrenzte Kontextfenster. Die wird es auch mit Chat RTX haben, da das Model sich nicht ändert. Folglich kann ich so viel PDF reinklatschen wie ich will. Wenn das Kontextfenster voll ist, ist es voll. Wenn Nvidia jetzt behauptet, ihr ChatRTX , falls sie das behaupten, ändert das jetzt, würde ich gerne wissen wie.
Kann ich nicht beantworten, weil ich die beiden Sachen noch nie benutzt habe. Deswegen weiß ich nicht, was die können und was nicht. So generell weiß er aber scheinbar erstmal kaum bis gar nichts. Ich hatte gefragt, was die beste CPU ist... als Antwort bekam ich nun:
I'm sorry, I didn't understand your question. Could you please provide more context or clarify what you are asking?
Nun habe ich mal bei YouTube einfach nach CPU-Test gesucht und hab die URL dort eingefügt damit er sich das angucken kann. Wenn ich jetzt die Frage stelle, sagt er mir:
The best CPU of 2023, according to the video, is the Intel Core i9-12900K.
Reference files:
Ich habe grade noch ein kleines Werbevideo von NVIDIA dazu gesehen. Dort wird als Vorteil angepriesen, dass es Offline funktioniert und dass deine Daten auch deine Daten bleiben, weil sie nirgends hochgeladen werden müssen.
Ich habe grade noch ein kleines Werbevideo von NVIDIA dazu gesehen. Dort wird als Vorteil angepriesen, dass es Offline funktioniert und dass deine Daten auch deine Daten bleiben, weil sie nirgends hochgeladen werden müssen.
Nicht falsch verstehen aber wo genau liegt jetzt der Sinn bei sowas bzw. was wäre ein sinnvoller Anwendungsbereich davon? Ich meine wirklich sinnvoll nicht mach mal Hausaufgaben von Kind 1 oder 2
Habs inzwischen auch ausprobiert wobei meine GPU leider nur für Mistral genug vram hat.
Das Lernen von einigen hundert Textdateien privaten Projektnotizen war in rund 10 Minuten erledigt.
Es ist definitiv kein chatbot - schon allein weil es zwischen 2 Fragen keinen Kontext behalten kann wie chatgpt. Dafür kann man es eben gut in den gelernten, eigenen Dateien suchen lassen (was bei ChatGPT kostenpflichtig und nicht privat ist). Leider hat es in meinem Fall immer nur eine Datei referenziert. Es scheint zwar den Inhalt verstehen, aber nicht wirklich viel Zusammenhang zwischen Inhalten herstellen zu können.
Als ich z.B. zu einem Thema das in mehreren Dateien ausführlich beschrieben wird, hat es nur den Inhalt aus einer einzigen wiedergegeben. Das ist etwas enttäuschend. So ist es "nur" eine Suchfunktion gewissermassen. Quasi ein Google für die Dokumente.
Vorallem da es blitzschnell funktioniert allerdings durchaus nützlich und vielleicht ist die Llama version (braucht 16gb vram) auch besser.
Jedenfalls cool dass NV ein so leicht zu nutzendes System anbietet.
Nicht falsch verstehen aber wo genau liegt jetzt der Sinn bei sowas bzw. was wäre ein sinnvoller Anwendungsbereich davon? Ich meine wirklich sinnvoll nicht mach mal Hausaufgaben von Kind 1 oder 2
Wenn du z.B. ein Storywriter bist, kannst du dem deine vielen unsortierten Notizen geben und dann auf Nachfrage fakten über deine Charactere, Orte und Situationen abrufen lassen.
Wenn du ein Software entwickler in einem großen Projekt bist, kannst du die Dokumentation geben und bei Bedarf infos abrufen (das macht mein Arbeitgeber, allerdings mit einem Service eines gewissen AI Unternehmens).
Habs inzwischen auch ausprobiert wobei meine GPU leider nur für Mistral genug vram hat.
Das Lernen von einigen hundert Textdateien privaten Projektnotizen war in rund 10 Minuten erledigt.
Es ist definitiv kein chatbot - schon allein weil es zwischen 2 Fragen keinen Kontext behalten kann wie chatgpt. Dafür kann man es eben gut in den gelernten, eigenen Dateien suchen lassen (was bei ChatGPT kostenpflichtig und nicht privat ist). Leider hat es in meinem Fall immer nur eine Datei referenziert. Es scheint zwar den Inhalt verstehen, aber nicht wirklich viel Zusammenhang zwischen Inhalten herstellen zu können.
Als ich z.B. zu einem Thema das in mehreren Dateien ausführlich beschrieben wird, hat es nur den Inhalt aus einer einzigen wiedergegeben. Das ist etwas enttäuschend. So ist es "nur" eine Suchfunktion gewissermassen. Quasi ein Google für die Dokumente.
Vorallem da es blitzschnell funktioniert allerdings durchaus nützlich und vielleicht ist die Llama version (braucht 16gb vram) auch besser.
Jedenfalls cool dass NV ein so leicht zu nutzendes System anbietet.
Beitrag automatisch zusammengeführt:
Wenn du z.B. ein Storywriter bist, kannst du dem deine vielen unsortierten Notizen geben und dann auf Nachfrage fakten über deine Charactere, Orte und Situationen abrufen lassen.
Wenn du ein Software entwickler in einem großen Projekt bist, kannst du die Dokumentation geben und bei Bedarf infos abrufen (das macht mein Arbeitgeber, allerdings mit einem Service eines gewissen AI Unternehmens).
Aber wo genau liegt der Unterschied zu einem nativen, lokalen LLM? Llama hat doch auch schon vorher Dokumente durchsucht. Bei Mistral weiß ich es nicht.
Also ich verstehe noch nicht so richtig, was der maninthemiddel jetzt genau für einen Mehrwert bringt.
Aber wo genau liegt der Unterschied zu einem nativen, lokalen LLM? Llama hat doch auch schon vorher Dokumente durchsucht. Bei Mistral weiß ich es nicht.
Also ich verstehe noch nicht so richtig, was der maninthemiddel jetzt genau für einen Mehrwert bringt
Achso, denke NV hat das einfach etwas komfortabler gemacht. Halt mehr Usability. Und ist ja keine Software für die sie Geld verlangen (dann wäre das in der Tat wohl sinnlos).
Könnte mir vorstellen sie benutzen es als Framework für eigene Modelle später.
Denke ich auch. Alphaphase, um kommende GPU-Gamerhardwaregenerationen und deren Rechenleistung für KI als (Fremd-)Anwendung an sich zu optimieren. Ob es was bringen wird? Keine Ahnung. Ich sehe jetzt keinen wirklichen Nutzen, eher Spielerei, was mit mehr Recheneinheiten möglich ist, bzw. beschleunigt wird. Was man auch bedenken muss, je mehr Speicherplatz das System hat, umso mehr kann sich der Algorithmus nach dem Lernen merken, vergleichen und Verknüpfungen erstellen. PC Games Hardware hat es mal getestet und kam zu einem nüchternen Ergebnis. Das braucht Zeit
Wenn AMD eine Software so rausgehauen hätte die man offline trainieren, erweitern und natürlich dann hardware beschleunigen kann würden die Fanboys über 100 Seiten Purzelbäume machen.
