[Kaufberatung] Feedback zu meiner Konfiguration

[n3]

Hallo Zusammen,

meine Konfiguration ist nun fertig und ich würde mich über ein Feedback freuen

Ziel des Systems

• Virtualisierung von HomeAssistent, Windows mit ETS, Sophos, WireGuard, Tails, NextCloud
• Zentrales und einfaches Backup

Hinweise

• Zum Backup: Geplant ist, dass die Snapshots der VMs ins Netz gesichert werden inkl. des Datenvolumens der NextCloud
• Proxmox als Hypervisor welches von einer SSD, oder einem USB Stick bootet
• 2x M.2 SSD für die VMs
• 5x 4TB für ein Raid-Z2 für Storage (eigentlich nur für NextCloud)

CPU	Ryzen 7 Pro 5750G	Was wäre eine günstigere Alternative?
Kühler	be quiet! Shadow Rock TF2 (Topblow)	Oder doch lieber als Tower?
Mainboard	ASRock X570 Pro4 AMD X570 So.AM4 Dual Channel DDR4 ATX	Häufig lese ich vom Asus B550, aber da ich ECC verwenden will, brauche ich das den X570
Arbeitsspeicher	4x Samsung 16GB M391A2K43BB1-CTD DDR4-2666 ECC DIMM CL19 Single	Gegebenenfalls am Anfang nur 2x
Storage - Boot Proxmox	SSD 500GB Crucial MX500 2.5"	Ggf. einfach einen USB-Stick, oder SD Karte, falls kein SATA übrig sein sollte
Storage - VMs	2x 1000GB Samsung PM991a M.2 (Mirror)	Ggf. nur 1x
Storage - Data	5x 4000GB WD Red Plus WD40EFZX 128MB 3.5"	Ggf. nur 3x mit einem Raid-Z1
Netzteil	400 Watt be quiet! Pure Power 11 CM Modular 80+ Gold

In der maximalen Ausbaustufe bin ich bei ca. 2.000€, was eigentlich nicht geplant war. Streiche ich den Ram auf 32GB, die VMs nicht im Mirror und nur 3 Platten für RAID-Z1 und ein günstigeres Gehäuse, komme ich auf 1.500€.

Zwei Fragen:

1. Was sagt ihr zur Konfig? Habe ich irgendwelche Fehler, oder sollte ich Komponenten tauschen?
2. Wo könnte man noch sparen? Mir würde nur noch die CPU einfallen.

Danke schon einmal

 

[Trambahner]

Nein zur PM991; das ist eine auf günstig getrimmte SSD ohne Dram-Cache. Nimm, wenn Samsung, die 970 Evo Plus, 980 Pro oder die PM9A1 (die aber nur wenn Firmwarefix möglich ist!) . Beachte, dass die OEM-SSDs von Samsung keine Herstellergarantie haben und Du nur die Gewährleistung vom Händler hast. Ferner meistens keine Firmwareupdates (Ausnahme z.B. hier und da bei der PM9A1 bei offensichtlichen Fehlern, Du hast aber keinen rechtlichen Anspruch drauf).
Oder besser gleich Datacenter-SSDs (dann wirds aber teurer).

Ram ist generell i.o. , diesen 2666er Samsung hab ich selber im Einsatz, der läuft bei 2 Modulen auf meinem B550M Tuf mit 1.37V auch mit 3200 CL18. bei Vollbestückung mit 4 Modulen nur noch 2933-3000 CL20-22.
=> wenn 64GB, würde ich mittlerweile eher zu 3200er CL22 @ 1.2V mit 32GB pro Modul raten; ist kaum teurer. Es gibt durchaus Boards, die nur 1.2V können (X570D4U (-2L2T) z.B.).
Bei Einstellung auf 2666 nützt Du die Performance der Zen2+Zen3 nicht aus, Ist aber als Serverbetrieb von eher zweiter Priorität; ich würde neu halt 2666 nicht mehr kaufen, wenn preislich ähnlich wie 3200er.

Board: ECC hat nichts mit B550 oder X570 zu tun. Obs läuft, hängt vom genauen Board und Bios ab. B550M Tuf Gaming kann es z.b (hat aber nur 4x Sata). Achtung immer, was an Sata und PCIe-/m.2 Slots shared ist.

Storage-Data: Bedenke, dass Du ZFS-Raid nicht um einzelne HDD erweitern kannst, sondern immer auf die Redundanz aufpassen musst, wie man erweitert. Plane den Pool daher vorausschauend und nicht nur für 6-12 Monate. Raid-Z2 übrigens idealerweise mit 6 HDD (ist v.a. dann wichtig, wenn Du keine LZ4-Kompression an hast bzw. nicht komprimierbare Dateien (Medienfiles) hast). Warum 6? Weil Datenblöcke immer 2er Potenzen sind und die sich nicht sauber auf 3 HDD aufteilen lassen, auf 4 HDD aber schon; die 2 HDD anderen dienen ja für Parität.
=> ideal für Z1 sind 5 HDD, Z2 mit 6 HDD. Eine Migration ohne Datenverlust zwischen Z1 und Z2 wenn der Pool eingerichtet ist, ist nicht möglich !

Kühler: Falls genug Platz: Thermalright Aro M14 und so ausrichten, dass die warme Luft gleich hinten aus dem Gehäuse raus gepustet wird.

NT: Generell gute Wahl, ich würde mir aber kein (teil-)modulares nehmen sondern das normale. Warum? Weil Du modular mehr Steckverbinder hast, die ggf. korrodieren oder sich lockern können und damit mehr potentielle Fehlerquellen.

 

[n3]

Nein zur PM991; das ist eine auf günstig getrimmte SSD ohne Dram-Cache. Nimm, wenn Samsung, die 970 Evo Plus, 980 Pro oder die PM9A1 (die aber nur wenn Firmwarefix möglich ist!) . Beachte, dass die OEM-SSDs von Samsung keine Herstellergarantie haben und Du nur die Gewährleistung vom Händler hast. Ferner meistens keine Firmwareupdates (Ausnahme z.B. hier und da bei der PM9A1 bei offensichtlichen Fehlern, Du hast aber keinen rechtlichen Anspruch drauf).
Oder besser gleich Datacenter-SSDs (dann wirds aber teurer).

Muss nicht Samsung werden, nutze aber selber eine und bisher lese ich auch nie etwas negatives. Bis auf diesen einen 2000er Bug. Würde dann zur 970 Evo Plus greifen. Datacenter-SSDs wird zu teuer.

Ram ist generell i.o. , diesen 2666er Samsung hab ich selber im Einsatz, der läuft bei 2 Modulen auf meinem B550M Tuf mit 1.37V auch mit 3200 CL18. bei Vollbestückung mit 4 Modulen nur noch 2933-3000 CL20-22.
=> wenn 64GB, würde ich mittlerweile eher zu 3200er CL22 @ 1.2V mit 32GB pro Modul raten; ist kaum teurer. Es gibt durchaus Boards, die nur 1.2V können (X570D4U (-2L2T) z.B.).
Bei Einstellung auf 2666 nützt Du die Performance der Zen2+Zen3 nicht aus, Ist aber als Serverbetrieb von eher zweiter Priorität; ich würde neu halt 2666 nicht mehr kaufen, wenn preislich ähnlich wie 3200er.

Hatte den 2666er genommen, weil beim 3200er war ich mir nicht sicher, ob ECC geht. 64GB werde ich wohl nicht brauchen und ich habe 4 Slots, daher jetzt liebe 2x 16GB und wenn das eng wird, kann ich nochmal 2x 16GB nachrüsten. Beim 16GB 3200er steht in der Beschreibung "reg ECC". Wenn ich es richtig verstehe, dann können beide beide Riegel ECC. Einmal "ECC" als "unbufferd ECC" und "reg ECC" als "registerd ECC", was aber nicht viel mit ECC zu tun hat. Beide können ECC. Richtig? Was würdest du empfehlen, bei einem aktuell Neukauf mit 32GB mit Option auf 64GB?

Board: ECC hat nichts mit B550 oder X570 zu tun. Obs läuft, hängt vom genauen Board und Bios ab. B550M Tuf Gaming kann es z.b (hat aber nur 4x Sata). Achtung immer, was an Sata und PCIe-/m.2 Slots shared ist.

Ja, das B550M Tuf Gaming hatte ich mir auch angeschaut und schon überlegt, was ich bzgl. der 4x Sata mache. Hatte überlegt hier weitere Karte einzubauen, dann bin ich aber auf das ASRock gestoßen. Zwar etwas teurer, aber dafür ausreichend SATA Anschlüsse.
Was meinst du mit "Achtung immer, was an Sata und PCIe-/m.2 Slots shared ist."? Meinst du damit, dass sich SATA und M.2 die Bandbreite teilen? Sollte man dann lieber eine separate SATA Karte für PCIe und die M.2 nutzen? Also kein onboard SATA und M.2?
Du hast zwar das Asus B550M, aber würdest du das in meinem Fall ebenfalls holen, dass ASRock X570, oder etwas anderes?

Storage-Data: Bedenke, dass Du ZFS-Raid nicht um einzelne HDD erweitern kannst, sondern immer auf die Redundanz aufpassen musst, wie man erweitert. Plane den Pool daher vorausschauend und nicht nur für 6-12 Monate. Raid-Z2 übrigens idealerweise mit 6 HDD (ist v.a. dann wichtig, wenn Du keine LZ4-Kompression an hast bzw. nicht komprimierbare Dateien (Medienfiles) hast). Warum 6? Weil Datenblöcke immer 2er Potenzen sind und die sich nicht sauber auf 3 HDD aufteilen lassen, auf 4 HDD aber schon; die 2 HDD anderen dienen ja für Parität.
=> ideal für Z1 sind 5 HDD, Z2 mit 6 HDD. Eine Migration ohne Datenverlust zwischen Z1 und Z2 wenn der Pool eingerichtet ist, ist nicht möglich !

Ich werde auf dem Pool ja fast nur Mediendateien (RAW und Photoshop) haben. Würde dann auf Z1 mit 5 HDDs gehen. Die Wahrscheinlichkeit, dass zwei Platten kaputt gehen ist ja gering und notfalls habe ich ja dann das Backup.

Kühler: Falls genug Platz: Thermalright Aro M14 und so ausrichten, dass die warme Luft gleich hinten aus dem Gehäuse raus gepustet wird.

NT: Generell gute Wahl, ich würde mir aber kein (teil-)modulares nehmen sondern das normale. Warum? Weil Du modular mehr Steckverbinder hast, die ggf. korrodieren oder sich lockern können und damit mehr potentielle Fehlerquellen.

THX

 

[Trambahner]

Bei AM4 niemals "reg. ECC" kaufen => generell nicht auf dem Sockel lauffähig . Du brauchst "unbuffered ECC". => Der da für 32er Module läuft.
Willst Du erst längerfristig auf 64, kannst mit 2x16 gut anfangen. Soll nur eine kurze Zeit überbrückt werden und bald auf 64: 32er Modul nehmen und dann zeitnah ein zweites. Vollbestückung mit 4 Dualrank-Riegeln eher vermeiden.

Shared Sata/M.2 : Aufgrund der knappen PCIe-Lanes schalten viele Boards manche Sata-Ports ab, wenn z.b. ein zweiter M.2-Slot (hängt am Chipsatz) benutzt wird. Oder umgekehrt. Bei B550 fast immer, bei X570 eher weniger.
=> immer für jedes Board im Handbuch die genauen Spezifikationen nachlesen. Handbuch, nicht Webseite, nicht Geizhals !
=> für viel In/Output zu Speichermedien oder an Chipsatz hängenden Anschlüssen: X570 nehmen. Achtung: APUs haben nur PCIE 3.0 und limitieren den Durchsatz entsprechend zwischen CPU und Chipsatz auf in Summe etwa 3.5GB/s. Willst Du mehr, brauchst Du die normalen AM4-CPUs (3000er ohne "G", 5000er ohne "G"); dort gehen dann etwa 7 GB/s.

Brauchst Du mehr Sata-Ports, dann ist ein LSI/Avago/Broadcom Hostbusadapter die erste Wahl für Proxmox/ZFS. Damit bekommst Du problemfrei 8 oder 16 Ports je Karte dazu. Typische halbwegs aktuelle Modelle sind z.B. ein 9300-8i, 9400-8i oder 9400-16i. Für HDD-Arrays kannst Du auch ältere (9207-8i oder gar 9211-8i/M1015) nehmen. (keine LSI 1068/1078 mehr kaufen).

B550+5750G hab ich am Desktop (damit im Idle auch schön sparsam), im Server hab ich ein X570D4U-2L2T mit 5600X (um eben genug I/O-Power zu haben, ausserdem hats gleich 2x10Gbit Intel-Lan und IPMI onboard).

Bei 4TB-Disks kann man Z1 noch vertreten, wenn permanent Backups da sind; bei den großen Multi-TB-Platten eher nicht mehr; drum hab ich Z2. Bedenke dabei, dass nicht nur ein HDD-Defekt auftreten kann, sondern bei größeren Resilver-Aktionen die restlichen HDD viel Stress bekommen. Fällt währenddessen eine weitere HDD aus, wars das.

Bzgl. Kühler: Falls der Platz (v.a. Bauhöhe) limitiert ist, kann man auf den APUs auch gut den Noctua NH-D9L nutzen. Das ist im Prinzip die 92mm-Version des NH-D15.
Den Freezer 34 eSports hat der Bastelnerd auf Twitch auch schon verbaut, der hat auch einen 5800X (als Duo-Variante) brauchbar gebändigt.

 

[n3]

Bei AM4 niemals "reg. ECC" kaufen => generell nicht auf dem Sockel lauffähig . Du brauchst "unbuffered ECC". => Der da für 32er Module läuft.
Willst Du erst längerfristig auf 64, kannst mit 2x16 gut anfangen. Soll nur eine kurze Zeit überbrückt werden und bald auf 64: 32er Modul nehmen und dann zeitnah ein zweites. Vollbestückung mit 4 Dualrank-Riegeln eher vermeiden.

Vielen Dank für den Tipp! Ich denke ich werde mit 32GB erst einmal lange auskommen. Ich sollte da sicherlich 8 VM laufen lassen können und so viele habe ich aktuell gar nicht in Planung. Werde daher die 16GB Version nehmen.

Shared Sata/M.2 : Aufgrund der knappen PCIe-Lanes schalten viele Boards manche Sata-Ports ab, wenn z.b. ein zweiter M.2-Slot (hängt am Chipsatz) benutzt wird. Oder umgekehrt. Bei B550 fast immer, bei X570 eher weniger.
=> immer für jedes Board im Handbuch die genauen Spezifikationen nachlesen. Handbuch, nicht Webseite, nicht Geizhals !
=> für viel In/Output zu Speichermedien oder an Chipsatz hängenden Anschlüssen: X570 nehmen. Achtung: APUs haben nur PCIE 3.0 und limitieren den Durchsatz entsprechend zwischen CPU und Chipsatz auf in Summe etwa 3.5GB/s. Willst Du mehr, brauchst Du die normalen AM4-CPUs (3000er ohne "G", 5000er ohne "G"); dort gehen dann etwa 7 GB/s.

Danke für die Info. Muss mich da noch einmal schlau machen.

Brauchst Du mehr Sata-Ports, dann ist ein LSI/Avago/Broadcom Hostbusadapter die erste Wahl für Proxmox/ZFS. Damit bekommst Du problemfrei 8 oder 16 Ports je Karte dazu. Typische halbwegs aktuelle Modelle sind z.B. ein 9300-8i, 9400-8i oder 9400-16i. Für HDD-Arrays kannst Du auch ältere (9207-8i oder gar 9211-8i/M1015) nehmen. (keine LSI 1068/1078 mehr kaufen).

THX. Würden dann noch einmal 215€ ausmachen. Würde dann lieber zum ASRock X570 greifen, der ja eh mehr SATA Ports hat und könnte das Geld sparen, wenn es nur dieser Vorteil ist.

B550+5750G hab ich am Desktop (damit im Idle auch schön sparsam), im Server hab ich ein X570D4U-2L2T mit 5600X (um eben genug I/O-Power zu haben, ausserdem hats gleich 2x10Gbit Intel-Lan und IPMI onboard).

Uff, dass Board ist natürlich ein Brett... muss gerade mal vieles editieren, was ich bisher hier in der Antwort geschrieben habe. Das Board löst einige "Probleme" wie onboard Grafik, mehrere Netzwerkkarten, wobei die 10Gbit Karten mir erstmal nicht weiterhelfen, da mein Zyxel GS1920 kein 10Gbit hat und ausreichend SATA Anschlüsse. Somit kann ich mir die 9300-8i sparen kann. Nur der Preis... Ich wollte doch eher schauen wo ich ggf. sparen kann und jetzt wird es immer mehr 😭 Der Preisunterschied zum normalen X570 liegt bei 300€.

Wieso hast du den 5600X und nicht den Pro 3700? Hätte noch einmal 2 Kerne mehr und als Pro. Ich vermute mal wegen dem Durchsatz, da die Pros nur PCIe 3.0 und nicht PCIe 4.0 können, richtig? Mit 65W TDP gibt es da keine Alternative mehr. Sprich entweder Pro mit 8/16 Kernen, oder 105W TDP. Mich würde der Verbrauch bei 50% Last mal interessieren. Ist es dann 30W zu 50W so ganz grob über den Daumen gepeilt?

Bei 4TB-Disks kann man Z1 noch vertreten, wenn permanent Backups da sind; bei den großen Multi-TB-Platten eher nicht mehr; drum hab ich Z2. Bedenke dabei, dass nicht nur ein HDD-Defekt auftreten kann, sondern bei größeren Resilver-Aktionen die restlichen HDD viel Stress bekommen. Fällt währenddessen eine weitere HDD aus, wars das.

Der Server wird ja kein Backup machen, sondern dient eher als NAS und das Backup wird über die Snapshots der VMs ins Netz gemacht. Mit 4TB Platten komme ich auf 16TB und das reicht vorerst länger.

Bzgl. Kühler: Falls der Platz (v.a. Bauhöhe) limitiert ist, kann man auf den APUs auch gut den Noctua NH-D9L nutzen. Das ist im Prinzip die 92mm-Version des NH-D15.
Den Freezer 34 eSports hat der Bastelnerd auf Twitch auch schon verbaut, der hat auch einen 5800X (als Duo-Variante) brauchbar gebändigt.

Ich plane mit einem 4HE bzw. 3HE Gehäuse und da sollte der Tower passen.

Ich bin jetzt wieder bei knapp 2k, aber dafür mit dem neuen Board, 5600X und 5x 4TB für Z1

 

[Trambahner]

Der 5600X kann alles was ich brauch. Ist der kleinste Zen3 mit PCIe 4.0, kann ECC, hat ggü Zen2 etwa 20% stärkere IPC (somit sind die 6 Kerne des 5600X in Summe knapp so stark wie die 8 Kerne eines 3700X bei eben deutlich stärkerer Singlethread-Performance) und ist Idle relativ sparsam. Falls ich mehr Kerne bräuchte, kann ich immer noch bis zum 5950X gehen bzw. vermutlich dann auch die mit Vcache.
Ausserdem kann man ihn ggf. OCen.
Pro-CPU ausserhalb der APUs = überflüssig für mich. Bei den APUs für mich ist "Pro" nur wichtig wg. ECC-Support. Die normalen 5x00X können ECC auch ohne "Pro".

Das X570D4U gibts ohne "-2L2T" auch nur mit 1G-Ports. Btw, der HDMI-Port dieser beiden Boards geht nur mit APUs; die Onboard-Grafik geht nur auf den VGA-Port aber reicht zum installieren.
Sofern man aber 10G will (wie ich), hat das -2L2T ein ziemlich gutes Preisleistungs-Verhältnis. Billig ist es natürlich nicht. Willst Du Richtung 10G via Kupfer, macht es Sinn die Ports "mitzunehmen", denn dann belegt es Dir schon mal keinen PCIe-Slot und es ist billiger als eine authentische X550-T2 dazuzukaufen.

Meine Konfig (X570D4U-2L2T, 5600X, 64GB Ram, 9400-16i, 6xDatacenter HDD, 6xDatacenter SSD, 2x consumer SSD, eine Handvoll Lüfter, BQ 400W Gold) braucht Idle bei stehenden Platten grob etwa 50W.
Davon gehen etwa 10-12W auf den 9400, 7W auf die IPMI, 6W auf die SSDs at Idle (die Datacenter SSD ziehen je ~1W Idle), wenn nur die 1G-Lan online sind. Sind die 10G Links aufgeschaltet, + 3-4W per Port.
=> Du siehst, Board+CPU sind recht sparsam für X570-Verhältnisse. Drehen die Datacenter-HDD im Idle, kommen etwa 30W dazu
Läuft der 5600X @ full load, dann kommen etwa 80-90W dazu. Der NH-D15 dreht dabei nie schneller als 900rpm
So mal als grobe Anhaltswerte.

Das ganze Zeugs ist in einem Fractal Define R4 verbaut.

 

[n3]

Der 5600X kann alles was ich brauch. Ist der kleinste Zen3 mit PCIe 4.0, kann ECC, hat ggü Zen2 etwa 20% stärkere IPC (somit sind die 6 Kerne des 5600X in Summe knapp so stark wie die 8 Kerne eines 3700X bei eben deutlich stärkerer Singlethread-Performance) und ist Idle relativ sparsam. Falls ich mehr Kerne bräuchte, kann ich immer noch bis zum 5950X gehen bzw. vermutlich dann auch die mit Vcache.
Ausserdem kann man ihn ggf. OCen.
Pro-CPU ausserhalb der APUs = überflüssig für mich. Bei den APUs für mich ist "Pro" nur wichtig wg. ECC-Support. Die normalen 5x00X können ECC auch ohne "Pro".

Danke für die Erläuterung. Ich ging davon aus, dass bei vielen VMs/Containern mehr Kerne besser sind, als eine Singethrea-Performance. Wie sich hier jetzt Zen3 zu Zen2 auswirkt, kann ich überhaupt nicht einschätzen.

Das X570D4U gibts ohne "-2L2T" auch nur mit 1G-Ports. Btw, der HDMI-Port dieser beiden Boards geht nur mit APUs; die Onboard-Grafik geht nur auf den VGA-Port aber reicht zum installieren.
Sofern man aber 10G will (wie ich), hat das -2L2T ein ziemlich gutes Preisleistungs-Verhältnis. Billig ist es natürlich nicht. Willst Du Richtung 10G via Kupfer, macht es Sinn die Ports "mitzunehmen", denn dann belegt es Dir schon mal keinen PCIe-Slot und es ist billiger als eine authentische X550-T2 dazuzukaufen.

Die -2L2T Version ist "nur" 100€ günstiger, wenn man die 10G nutzen kann. Ich bin noch am schauen, wie ich die 10G nutzen kann. Die einzige Lösung ist, dass ich meinen relativ neuen GS1920 verkaufe und einen mit 10G Anschluss kaufe, oder? Somit kann der Switch mit dem Server über 10G kommunizieren und die Client mit 1G mit dem Switch. Oder gibt es noch andere Optionen für 10G?

Meine Konfig (X570D4U-2L2T, 5600X, 64GB Ram, 9400-16i, 6xDatacenter HDD, 6xDatacenter SSD, 2x consumer SSD, eine Handvoll Lüfter, BQ 400W Gold) braucht Idle bei stehenden Platten grob etwa 50W.
Davon gehen etwa 10-12W auf den 9400, 7W auf die IPMI, 6W auf die SSDs at Idle (die Datacenter SSD ziehen je ~1W Idle), wenn nur die 1G-Lan online sind. Sind die 10G Links aufgeschaltet, + 3-4W per Port.
=> Du siehst, Board+CPU sind recht sparsam für X570-Verhältnisse. Drehen die Datacenter-HDD im Idle, kommen etwa 30W dazu
Läuft der 5600X @ full load, dann kommen etwa 80-90W dazu. Der NH-D15 dreht dabei nie schneller als 900rpm
So mal als grobe Anhaltswerte.

Danke für die Werte, hilft schon mal das ganze Einzuschätzen. Was ich nicht verstehe ist, wieso du die 9400-16i hast. Wegen den den zwei 2x zusätzlichen SATA Ports? Dann würde ja auch der 9400-8i reichen, also gehe ich davon aus, dass du alle Platten am 9400-16i hängen hast und die 12 SATA Anschlüsse vom Board nicht nutzt. War die Überlegung, dass wenn du eh eine Karte brauchst, dann nimmst du gleich die große und hängst alles dran, oder gab es noch andere Vorteile?

Das ganze Zeugs ist in einem Fractal Define R4 verbaut.

Ja, mein Gehäuse ist etwas kompliziert, da ich das ganze in einen Netzwerkschrank packen will. Entweder nehme ich das RM41-H08, habe dann aber hinten nur 5cm Platz (sollte für Strom und Netzwerk vollkommen ausreichen, aber Abluft könnte kritisch sein), oder das Ultron RPS19-G3380. Das hat hinten dann 10cm, dafür aber nur 3HE. Ich tendiere ja zum RM41-H08, aber da gibt es ja einen anderen Thread dazu.

 

[Trambahner]

Ich nutze ESXI als Hypervisor mit einer Storage VM. Der 9400-16i ist dort hinein per PCIe-Passthrough durchgereicht, damit ZFS die 12 Disks/SSD nativ ansprechen kann.

Den Onboard Sata-Controller bei AMD kann man in der Regel, anders als bei vielen Intel-Plattformen, nicht an eine VM durchreichen. Damit sind sie bis auf die Scratch-Disks für mich quasi nutzlos.
Sind übrigens nur 8, nicht 12, Standard Sata-Ports. Die anderen 4 wären nur statt einer M.2-SSD mit 4 Lanes (=wäre schlechter "Deal", ich tausche bestimmt nicht einen PCIE4.0x4 Anschluss gegen 4 Sata (die ich in meinem Fall eh nicht nutzen könnte) ).
Nutzt Du ZFS in Proxmox direkt am Blech, hast Du das Problem nicht, dann kannst die Onboard-Sata normal nutzen. Würdest Du dort eine eigene VM für die Storage nutzen, vermutlich gleiches Problem bzgl. PCIe-Passthrough des Sata-Controllers in die VM.

Den 9400-16i konnt ich recht günstig erwerben. So nebenbei ist die Verkabelung mit den SFF-Kabeln einfach angenehmer. Ausserdem könnte der 9400 auch statt Sata/SAS auch NVME-Disks dranhängen, falls mir die Slots ausgehen. Da pro NVME dann 4 Sata/Sas-Ports wegfielen, bietet sich auch hier an, den großen zu nehmen. Ausserdem könnte man bei SAS/Sata-Bedarf noch nen Port-Expander dranhängen, an dem dann nochmal ne Menge HDD quasi ohne ernstes Bandbreitenlimit installierbar wären. Mit dem 16er hat man einfach viel mehr Optionen, aus einem PCIe-Slot was zu machen.
=> Du siehst, ich plane grundsätzlich immer mit Reserve für Ausbauoptionen, ganz besonders bei den kleinen Sockeln wo PCIe-Lanes/Slots halt Mangelware sind.

Bzgl. 10G: Du brauchst nicht zwangsweise einen Switch, sofern Du nur 1 Client dranhängen willst. Den kannst ja direkt verbinden. Musst nur die entsprechenden IP-Adressen/Routings einstellen.
Ich hab natürlich nen Switch.

 

[n3]

Hm, verstehe ich dich richtig, dass wenn ich ZFS verwenden will, ich ebenfalls den 9300-8i verwenden muss, weil ich die onboard SATA dafür nicht nutzen kann? Ich plane zwar mir Proxmox, aber ist ja unabhängig davon sein.

Welchen Switch hast du?

 

[Trambahner]

Nur, wenn Du die Storage als VM betreibst. Installierst Du ein OS direkt am Blech (also wie es z.B. Proxmox, Ubuntu, FreeBSD standardmässig tun) , hast Du die Sata-Ports ja zur Verfügung.
ESXI kann halt kein ZFS, für Storage sieht Vmware andere Lösungen vor. Im Datacenter, was ja die eigentliche ESXI-Zielgruppe ist, hast ja normal extra Storageserver.
Die VM-Lösung im Homelab simuliert das quasi eben als VM, womit man dann mit einer einzigen Kiste auskommt. Drum der Name AIO-Box (All-in-One); hat Forumuser "gea" ausgearbeitet.

Netgear XS716T, die vorinstallierten Lüfter ausgetauscht gegen Noctua 40er PWM.

 

[n3]

Ah ok, ESXI kann kein ZFS und daher musst du eine VM aufsetzten und darin dann dein ZFS einrichten. Proxmox kann die Platten direkt als RAID-Z2 erstellen und die VMs können dann darauf zugreifen.

Du hast einen reinen 10G Switch... Mir reicht ein 24 Port (1G) PoE Switch mit einem 10G Port, sodass ich z.B. den Server mit den Switch über 10G anbinden kann und die Client gehen über 1G. Hatte gedacht, dass ich hierfür den Uplink verwenden kann, aber das geht scheinbar nicht.