Framework Desktop Mainboard: Cluster-Aufbau für KI-Forscher möglich

[HWL News Bot]

Das für den Framework Desktop gestern vorgestellte und mit den Ryzen-AI-Max-Prozessoren ausgestattete Mainboard kann natürlich auch einzeln bestellt und verwendet werden. Als Mini-ITX-Mainboard kann es demnach in einem beliebigen Gehäuse untergebracht werden, der Kühlkörper ist direkt montiert und kann mit einem ebenso beliebigen Lüfter bestückt werden. Wird noch eine NVMe-SSD in einem der beiden M.2-Slots montiert und ein Netzteil angeschlossen, kann es sofort losgehen.
... weiterlesen

 

[Shutterfly]

Sind nicht-nvidia-GPUs in der heutigen Zeit eigentlich ein nutzbares Gut bzgl. AI? Vor einigen Jahren, wo ich mich mehr damit beschäftigen musste, stand man immer vor dem Problem, dass man nvidia GPUs brauchte, weil eigentlich alles an CUDA angepasst war. AMD bzw. andere Hersteller waren oft schlecht, wenn überhaupt nutzbar.

Hat sich heute diesbezüglich was geändert? Es klingt für mich so, wenn ich den Artikel lese.

 

[Darkestnoir]

500€ Aufpreis für 64GB RAM, ist ja wie bei Apple, nein Danke 🤣

Davon abgesehen ist er fürs Gaming einfach zu teuer und für AI/LLMs kein Nvidia, viel Spaß mit AI Kram auf AMD 🤣

 

[Shutterfly]

500€ Aufpreis für 64GB RAM, ist ja wie bei Apple, nein Danke 🤣

Nur das bei Apple 64 GB extra nicht 500 sondern 1500 kosten würden.

Davon abgesehen ist er fürs Gaming einfach zu teuer

Ist er auch nicht gemacht, also wieso darüber beschweren?

 

[mikefize]

Hat sich heute diesbezüglich was geändert? Es klingt für mich so, wenn ich den Artikel lese.

Es hat sich deutlich gebessert in den letzten ~18 Monaten. Ganz generell ist es immer noch am einfachsten über CUDA, aber es gibt auch viele Builds für AMD. Denke, dass sich das gerade im Bereich LLM und auch T2I mit Strix Halo weiter verbessern könnte.

 

[Shutterfly]

Danke für die Info @mikefize

 

[ZelA1874]

Ist er auch nicht gemacht, also wieso darüber beschweren?

Auch nicht für LLM, bei einem 70B Modell limitiert die Speicheranbindung und kommt damit kaum über 3,8 T/s raus.

Dabei ist es am Ende egal mit 3,8 T/s kann man nur im Hintergrund arbeiten mit Echtzeit hat das nichts mehr zu tun,
dennoch kann man sich das Geld sparen und einen Ryzen 5 oder I5 mit 96GB RAM kaufen und man kommt auch auf 1,8 T/s für 1/3 des Preises den das Max Board mit 128GB kostet.

Für den Preis von 2000€ kann man sich ein System mit 4677 Xeon Bronze zusammenstellen und ist am Ende mit 4,5T/s schneller weil auch hier die Speicherbandbreiter limitert,
die CPU langweilt sich.

 

[spyfly]

126 TOPS macht die Ryzen AI CPU, dann lieber das Geld in ne 5090 stecken.

https://www.amd.com/en/products/processors/laptop/ryzen/ai-300-series/amd-ryzen-ai-max-plus-395.html

 

[Shutterfly]

126 TOPS macht die Ryzen AI CPU, dann lieber das Geld in ne 5090 stecken.

Die hat dann aber keine 110 GB Speicher und kostet bissl mehr.

 

[mikefize]

Die hat dann aber keine 110 GB Speicher und kostet bissl mehr.

Eben. Interessant ist Strix Halo halt durch die Kombination aus viel Speicher, ordentlicher GPU Leistung und einigermaßen dicker Speicheranbindung.

Ist natürlich trotzdem eher für den Hobby-User interessant, aber ich denke da finden sich schon viele Fans.

 

[Krümel]

500€ Aufpreis für 64GB RAM, ist ja wie bei Apple,

Abgesehen davon, dass es gar kein 64 GB Kit mit 8.000 MT/s gibt (zumindest auf Geizhals) und ein 7.000er Kit schon 300,- € kostet, finde ich den Aufpreis nicht Apple-Like.
Ist halt verlöteter LP-RAM mit sehr hoher Taktrate, also nicht gerade Ware "von der Stange".

 

[janos66]

Sind nicht-nvidia-GPUs in der heutigen Zeit eigentlich ein nutzbares Gut bzgl. AI? Vor einigen Jahren, wo ich mich mehr damit beschäftigen musste, stand man immer vor dem Problem, dass man nvidia GPUs brauchte, weil eigentlich alles an CUDA angepasst war. AMD bzw. andere Hersteller waren oft schlecht, wenn überhaupt nutzbar.

Hat sich heute diesbezüglich was geändert? Es klingt für mich so, wenn ich den Artikel lese.

When compared to the RTX 4080 SUPER, the RX 7900 XTX posts up to 34% higher performance with DeepSeek-R1-Distill-Qwen-7B, up to 27% higher performance with DeepSeek-R1-Distill-Llama-8B, and up to 22% higher performance with DeepSeek-R1-Distill-Qwen-14B. Next up, the big face-off between the RX 7900 XTX and the GeForce RTX 4090 with its 24 GB of memory. The RX 7900 XTX is shown to prevail in 3 out of 4 tests, posting up to 13% higher performance with DeepSeek-R1-Distill-Qwen-7B, up to 11% higher performance with DeepSeek-R1-Distill-Llama-8B, and up to 2% higher performance with DeepSeek-R1-Distill-Qwen-14B. It only falls behind the RTX 4090 by 4% with the larger DeepSeek-R1-Distill-Qwen-32B model.

AMD Details DeepSeek R1 Performance on Radeon RX 7900 XTX, Confirms Ryzen AI Max Memory Sizes

AMD today put out detailed guides on how to get DeepSeek R1 distilled reasoning models to run on Radeon RX graphics cards and Ryzen AI processors. The guide confirms that the new Ryzen AI Max "Strix Halo" processors come in hardwired to LPCAMM2 memory configurations of 32 GB, 64 GB, and 128 GB...

www.techpowerup.com

 

[Darkestnoir]

Abgesehen davon, dass es gar kein 64 GB Kit mit 8.000 MT/s gibt (zumindest auf Geizhals) und ein 7.000er Kit schon 300,- € kostet, finde ich den Aufpreis nicht Apple-Like.
Ist halt verlöteter LP-RAM mit sehr hoher Taktrate, also nicht gerade Ware "von der Stange".

Ist doch nix besonderes, LPDDR5X mit 8000 bzw. 8533 MT/s gibts schon länger, natürlich nicht im normalen PC Bereich, da weder AMD noch Intel Desktop CPUs solche Geschwindigkeiten gut vertragen.
Es gibt mittlerweile sogar welche mit weit über 9000 MT/s.
Ein 8GB IC mit 7500MT/s kostet um die 30€ für den Endverbraucher, kannste dir denken was so etwas im EK für eine Firma kostet die mehrere hundert oder mehr abnimmt 😉

 

[Martin Preiß]

Davon abgesehen ist er fürs Gaming einfach zu teuer und für AI/LLMs kein Nvidia, viel Spaß mit AI Kram auf AMD 🤣

Fürs Gaming würde ich bei einem Notebook oder Mini-PC auf jeden Fall lieber (falls die CPU von AMD sein soll, Intel wäre ja auch gleichwertig) auf Ryzen 5 8640U / Ryzen 5 8640HS / Ryzen 7 8840U / Ryzen 7 8840HS x GeForce RTX 4050 Mobile / GeForce RTX 4060 Mobile / GeForce RTX 4070 Mobile setzen.

Bei KI ist natürlich Nvidia die Referenz, allerdings ist auch KI durchaus auch auf AMD und Intel Hardware möglich. Aber Strix Halo halte ich dafür trotzdem für ungeeignet.

Ganz generell ist es immer noch am einfachsten über CUDA, aber es gibt auch viele Builds für AMD. Denke, dass sich das gerade im Bereich LLM und auch T2I mit Strix Halo weiter verbessern könnte.

Klar gibt es auch etliche KI Konzepte für AMD und ebenso auch Intel.

Aber da kommen dann eher Server-Mainboards mit irgendeinem AMD Epyc oder Intel Xeon und dann zwei Radeon RX 7800 XT oder zwei Arc A750 / A770 zum Einsatz. Die können dann schon wesentlich mehr Tops liefern.