Framework Desktop Mainboard: Cluster-Aufbau für KI-Forscher möglich

[HWL News Bot]

Das für den Framework Desktop gestern vorgestellte und mit den Ryzen-AI-Max-Prozessoren ausgestattete Mainboard kann natürlich auch einzeln bestellt und verwendet werden. Als Mini-ITX-Mainboard kann es demnach in einem beliebigen Gehäuse untergebracht werden, der Kühlkörper ist direkt montiert und kann mit einem ebenso beliebigen Lüfter bestückt werden. Wird noch eine NVMe-SSD in einem der beiden M.2-Slots montiert und ein Netzteil angeschlossen, kann es sofort losgehen.
... weiterlesen

 

[Shutterfly]

Sind nicht-nvidia-GPUs in der heutigen Zeit eigentlich ein nutzbares Gut bzgl. AI? Vor einigen Jahren, wo ich mich mehr damit beschäftigen musste, stand man immer vor dem Problem, dass man nvidia GPUs brauchte, weil eigentlich alles an CUDA angepasst war. AMD bzw. andere Hersteller waren oft schlecht, wenn überhaupt nutzbar.

Hat sich heute diesbezüglich was geändert? Es klingt für mich so, wenn ich den Artikel lese.

 

[Darkestnoir]

500€ Aufpreis für 64GB RAM, ist ja wie bei Apple, nein Danke 🤣

Davon abgesehen ist er fürs Gaming einfach zu teuer und für AI/LLMs kein Nvidia, viel Spaß mit AI Kram auf AMD 🤣

 

[Shutterfly]

500€ Aufpreis für 64GB RAM, ist ja wie bei Apple, nein Danke 🤣

Nur das bei Apple 64 GB extra nicht 500 sondern 1500 kosten würden.

Davon abgesehen ist er fürs Gaming einfach zu teuer

Ist er auch nicht gemacht, also wieso darüber beschweren?

 

[mikefize]

Hat sich heute diesbezüglich was geändert? Es klingt für mich so, wenn ich den Artikel lese.

Es hat sich deutlich gebessert in den letzten ~18 Monaten. Ganz generell ist es immer noch am einfachsten über CUDA, aber es gibt auch viele Builds für AMD. Denke, dass sich das gerade im Bereich LLM und auch T2I mit Strix Halo weiter verbessern könnte.

 

[Shutterfly]

Danke für die Info @mikefize

 

[ZelA1874]

Ist er auch nicht gemacht, also wieso darüber beschweren?

Auch nicht für LLM, bei einem 70B Modell limitiert die Speicheranbindung und kommt damit kaum über 3,8 T/s raus.

Dabei ist es am Ende egal mit 3,8 T/s kann man nur im Hintergrund arbeiten mit Echtzeit hat das nichts mehr zu tun,
dennoch kann man sich das Geld sparen und einen Ryzen 5 oder I5 mit 96GB RAM kaufen und man kommt auch auf 1,8 T/s für 1/3 des Preises den das Max Board mit 128GB kostet.

Für den Preis von 2000€ kann man sich ein System mit 4677 Xeon Bronze zusammenstellen und ist am Ende mit 4,5T/s schneller weil auch hier die Speicherbandbreiter limitert,
die CPU langweilt sich.

 

[spyfly]

126 TOPS macht die Ryzen AI CPU, dann lieber das Geld in ne 5090 stecken.

https://www.amd.com/en/products/processors/laptop/ryzen/ai-300-series/amd-ryzen-ai-max-plus-395.html

 

[Shutterfly]

126 TOPS macht die Ryzen AI CPU, dann lieber das Geld in ne 5090 stecken.

Die hat dann aber keine 110 GB Speicher und kostet bissl mehr.

 

[mikefize]

Die hat dann aber keine 110 GB Speicher und kostet bissl mehr.

Eben. Interessant ist Strix Halo halt durch die Kombination aus viel Speicher, ordentlicher GPU Leistung und einigermaßen dicker Speicheranbindung.

Ist natürlich trotzdem eher für den Hobby-User interessant, aber ich denke da finden sich schon viele Fans.