[Kaufberatung] Kaufberatung mit vorhandenen AM4 Komponenten für Talos/ProxMox Server

[rStorms]

Moin ihr,

ich betreibe aktuell einen K3s Cluster auf 3 RPI5 (2*8Gi, 1*4Gi). Das Setup läuft gut und performant, nur der 4Gi macht mir manchmal Probleme. Ich habe noch einen mITX Computer rumstehen, auf dem ich Arch Linux betreibe, der aber viel zu selten an ist, da ich von der Arbeit noch ein Macbook habe, was ich auch privat nutzen darf. Die Komponenten hiervon sind:

1. GIGABYTE B550I AORUS PRO AX
2. 8GB XFX Radeon RX 6600 Speedster SWFT 210 Aktiv PCIe 4.0 x16
3. AMD Ryzen 7 5700X 8x 3.40GHz So.AM4 WOF
4. 1TB KIOXIA Exceria M.2 PCIe 3.1a x4 3D-NAND TLC (LRC20Z001TG8)
5. 500 Watt be quiet! SFX-L Power Modular 80+ Gold
6. Noctua NH-L12S
7. Memoria GSKILL DDR4 3200 32GB C16 AEGIS K2 2X16GB 1,35V
8. Fractal Design Terra

Ich will nun auf ProxMox und Talos umsteigen, d.h. ich benötige einen Server der:
- max. 30Watt idle verbraucht
- mind 2,5 Gbit LAN
- Genug Power für 5 VMs für meinen K8s Cluster hat und ggf. mal 1-2 zum rumspielen
- Upgradebar ist, bzw. auch mal erlaubt Festplatten ein- und auszubauen
- Relativ leise im Idle
- Platz für eine Grafikkarte um mal eine LLM für Home Assistant Voice selber zu betreiben.

Wenn ich meine RPIs verkaufe habe ich auch noch die 3 NVMes über, d.h. die können auch verteilt werden.

Theoretisch könnte ich meinen Server von oben benutzen, das Gehäuse ist aber nicht ideal als Server. Ich frage mich daher, ob ich die Komponenten von oben in ein neues besser geeignetes Gehäuse einbaue, wo passend und den Rest entweder verkaufe oder irgendwann einen neuen PC auf AM5 Basis mit besserer Grafikarte umbaue...Da ich aber NIE spiele und überhaupt wenig dran bin, wäre es wohl besser das Terra zu verkaufen und den neuen Server in einen Schrank zu stellen beim Router. Dann einen RPI an meinen Monitor am Arbeitsplatz und per Remote Desktop einfach an den Server FALLS ich mal einen Desktop brauche

Habt ihr Meinungen oder Tipps? Ob 100€ mehr oder weniger ist erstmal egal, soll lange halten und upgradebar sein...

 

[Supaman]

https://www.amazon.de/dp/B0C8J32CRV

Die beste Option wäre so eine ChinaBox als Ablösung für deine RPIs. Das Ding hat deutlich mehr Wumms wie Dein Rpi-Cluster, ist vollständig passiv und läuft im Idle mit ~10w. Da kann man bis 48GB Ram reinpacken, Proxmox drauf und 2x m2 SSD und 1x 2.5" SATA anschliessen. Wieviele VMs man da sinnvoll draufpacken kann, hängt wie bei jedem Setup davon ab, wieviele Ressoucen die verbrauchen.

Den mATX würde ich als erstmal als dedizierte Maschine für die LLM verwenden bis das alles rund läuft, und mir dann Gedanken über das finale Setup machen, wenn man auch weis viele Ressoucen man bei CPU, Grafik etc benötigt.

 

[pwnbert]

Supamans Rat kann man schon mal beherzigen.

Als AM4/B550 Dude kann ich dir aber was erzählen, sofern du das lieber hast als den China-Intel (welcher schon nice ist).

Leider ist alles, was du hier hast, wenig ideal, selbst das Mainboard (weil so klein und daher wenig PCIe und so).
- 5700x verkaufen
- 6600 verkaufen
+ 5700G/5655G/5755G kaufen (letztere 2 können ECC, wofür du den RAM tauschen müsstest, das Gigabyte kanns wohl)
+ nanoKVM/JetKVM bei Bedarf
Damit hättest mal die Cezenne CPU die schwächeres PCIe (PCIe 3.0 statt 4.0, gleich viele Lanes) hat und ein anderes Chipdesign (Mobile) und weniger Strom im Idle braucht, trotzdem gut power hat.
Alternativ ein gebrauchtes MC12LE0 Mainboard holen für den 5700x, macht aber auch Sorgen und ist wsl. nicht die bessere Lösung.

iGPU wirst du "brauchen" damit du die GPU an ne VM geben kannst für deine LLM Spielerei.
GPU wird man wsl. eine Nvidia wollen, oder tut das auch mit AMD?

Alles in allem ist dein AM4 Konvolut eher meh für den Zweck.

 

[BobbyD]

Talos

🤔

 

[Supaman]

Ich hab heute mal eine Docker Installation auf einem Raspberry 4 gegen den Intel n1000 laufen lassen... das sind Welten, was die Performance angeht. Was der n100 mal so eben wegknuspert, dauert beim RPI teilweise solange, das man denkt, der hat sich jetzt weggehängt. Ne, hat er nicht, dauert nur... wenn das dann erstmal installiert ist, geht es.

/edit:
Kein Wunder, der RPI hat auch nur ca. 20% der CPU Power vom n100, und einer deutlich langsamere SD Karte im Vergleich zur m.2 SSD.

 

[Haldi]

- max. 30Watt idle verbraucht
- Platz für eine Grafikkarte um mal eine LLM für Home Assistant Voice selber zu betreiben.

So was geht?

 

[rStorms]

https://www.amazon.de/dp/B0C8J32CRV

Die beste Option wäre so eine ChinaBox als Ablösung für deine RPIs. Das Ding hat deutlich mehr Wumms wie Dein Rpi-Cluster, ist vollständig passiv und läuft im Idle mit ~10w. Da kann man bis 48GB Ram reinpacken, Proxmox drauf und 2x m2 SSD und 1x 2.5" SATA anschliessen. Wieviele VMs man da sinnvoll draufpacken kann, hängt wie bei jedem Setup davon ab, wieviele Ressoucen die verbrauchen.

Den mATX würde ich als erstmal als dedizierte Maschine für die LLM verwenden bis das alles rund läuft, und mir dann Gedanken über das finale Setup machen, wenn man auch weis viele Ressoucen man bei CPU, Grafik etc benötigt.

Klingt ziemlich nice und pragmatisch, will aber tatsächlich eher in Richtung Selbstbau gehen, sodass ich alle Komponenten tauschen könnte.

Supamans Rat kann man schon mal beherzigen.

Als AM4/B550 Dude kann ich dir aber was erzählen, sofern du das lieber hast als den China-Intel (welcher schon nice ist).

Leider ist alles, was du hier hast, wenig ideal, selbst das Mainboard (weil so klein und daher wenig PCIe und so).
- 5700x verkaufen
- 6600 verkaufen
+ 5700G/5655G/5755G kaufen (letztere 2 können ECC, wofür du den RAM tauschen müsstest, das Gigabyte kanns wohl)
+ nanoKVM/JetKVM bei Bedarf
Damit hättest mal die Cezenne CPU die schwächeres PCIe (PCIe 3.0 statt 4.0, gleich viele Lanes) hat und ein anderes Chipdesign (Mobile) und weniger Strom im Idle braucht, trotzdem gut power hat.
Alternativ ein gebrauchtes MC12LE0 Mainboard holen für den 5700x, macht aber auch Sorgen und ist wsl. nicht die bessere Lösung.

iGPU wirst du "brauchen" damit du die GPU an ne VM geben kannst für deine LLM Spielerei.
GPU wird man wsl. eine Nvidia wollen, oder tut das auch mit AMD?

Alles in allem ist dein AM4 Konvolut eher meh für den Zweck.

Richtige gute Tipps dabei, danke! Musste auch über AM4 Konvolut lachen Wenn ich das AM4 zeugs eh verkaufe, könnte ich doch gleich auf AM5 gehen und hätte dann Ruhe für die nächsten Jahre? Dann verkaufe ich das meiste von meinem Zeugs einfach. Die meisten AMD Intel haben mittlerweile AMD‐V / Intel VT‐x an Bord, oder?

> + 5700G/5655G/5755G kaufen (letztere 2 können ECC, wofür du den RAM tauschen müsstest, das Gigabyte kanns wohl)

Brauche ich eine iGPU wenn ich an dem Rechner eh nur über Terminal oder Weboberfläche dran bin? Klappt sonst das Durchreichen nicht wenn ich mal eine dedicated GPU nachrüste? AMD kann mittlerweile z.b. auch OLLAMA

🤔

Talos Linux

…

www.talos.dev

Ich hab heute mal eine Docker Installation auf einem Raspberry 4 gegen den Intel n1000 laufen lassen... das sind Welten, was die Performance angeht. Was der n100 mal so eben wegknuspert, dauert beim RPI teilweise solange, das man denkt, der hat sich jetzt weggehängt. Ne, hat er nicht, dauert nur... wenn das dann erstmal installiert ist, geht es.

/edit:
Kein Wunder, der RPI hat auch nur ca. 20% der CPU Power vom n100, und einer deutlich langsamere SD Karte im Vergleich zur m.2 SSD.

Meine RPI5 laufen mit nvme und es sind halt 3 die sich dank K3S (https://github.com/k3s-io/k3s/) die Workloads frei aufteilen. So ganz kann man das also nicht vergleichen. War aber eher weil ich die eh da hatte und Lust hatte das mal zu probieren...

 

[pwnbert]

Brauche ich eine iGPU wenn ich an dem Rechner eh nur über Terminal oder Weboberfläche dran bin? Klappt sonst das Durchreichen nicht wenn ich mal eine dedicated GPU nachrüste? AMD kann mittlerweile z.b. auch OLLAMA

Vermutlich ist das das Problem.
Vor allem greifst du eben nicht nur über Terminal drauf zu. Wie änderst du denn BIOS Settings z.B.? Wie installierst du was, geht das rein übers Netz so ganz ohne GPU? Manche Bretter wollen wohl ohne GPU gar nicht starten (manche schon). Wie dieses AMD/Intel Fernwartungszeug wirklich funktioniert, keine Ahnung.

Und ja, das System wird die GPU eventuell nicht so einfach "hergeben"... wobei das auch so ne Sache ist und evtl. schon gehen kann.

könnte ich doch gleich auf AM5 gehen und hätte dann Ruhe für die nächsten Jahre?

Wird halt weder billiger (vor allem wenn man DDR5 ECC UDIMM will) noch sparsamer (weil der schnelle PCIe einfach Strom braucht).
Ich hab für AM5 aber ein sehr vielversprechendes Konzept theroetisch ausgearbeitet:

AM5 ECC-Server – Erfahrungen auch ggf. im Vergleich zu AM4/Intel

Hmmmw was micht am B650M-CT etwas stört ist dass es im BIOS so weit ich das im Handbuch gesehen habe kein SMI gibt und auch die Event Logs wohl auch keine ECC Fehler protokollieren - da hätte ich den grossen :D Verdacht, dass in dem Boards zwar ECC Rams laufen aber die ECC Funktionalität nicht...

www.hardwareluxx.de

Praktisch leider nicht getestet, da meine AM4 Hardware (5750G/128gb ECC) so overpowered ist, dass sie mir noch für Jahre reichen wird.

Der Theorie nach würde das B850 Livemixer mit einer Zen 5 CPU eine richtig mächtige Plattform mit verhältnismäßig viel PCIe / M.2 abgeben.