Ryzen 3700X mit ASRock X470D4U als ESXi-Virtualisierungshost

[Ceiber3]

Recht hast du natürlich mit dem was du schreibst, die Frage ist ob der User das alles braucht, ich denke eher nein.
Und zukunftssicher gibt es nicht, es kommt immer was neues besseres. Kann er auch gleich X670 und AM5 CPU kaufen.
Gibt da glaube nur noch kein Server Board.

 

[Nieter]

Moin,

also: Der HP Microserver Gen 8 muss eigentlich nur weichen, da nicht mehr als 16 GB RAM, der kleine Xeon 1240 langweilt sich ziemlich.

Das einzige was ich mir künftig noch vorstellen könnte ist, dass Foto- und Videobearbeitung intensiviert wird und dann wären 10G Base T natürlich schon cool, nun aber das Aber:
Mit einem X470 Board wäre 10G Base T ja nicht unmöglich sondern es wird vermutlich dazu kommen, dass ich die theoretisch verfügbare Bandbreite nicht voll ausnutzen kann, da der X470 Chipsatz bzw. die Anbindungen zu gering dimensioniert sind und das System im Anschlag ist.

Nun ist die Frage: Welche Auswirkungen hat das?

Werden aus theoretisch möglichen 1,2 GByte / sec. nur noch 0,5 GByte / sec. oder gar nur 0,125 GByte / sec. wie aktuell mit 1GBit LAN.
Kann man das überhaupt grob einschätzen oder ist das zu sehr vom Anwendungsfall abhängig (ob ich 1000 RAW-Fotodateien einzeln lade oder 5 Videodateien in 4K ist ja schon etwas anderes)...

Wie passt denn sonst die Hardwareauswahl (der CPU Kühler scheint nicht gut verfügbar zu sein).

Danke und Gruß,
Moritz

 

[smoothwater]

Es geht hier eher um die gleichzeitige Nutzung. Wenn der Bus nur halb so groß ist muss irgendwann was warten. Eine Intel x540-T2 hat zB auch nur nen PCIe 2 Interface. Reicht halt gerade so. Eine Intel x550 hat PCIe 3, weil dann 4 Ports möglich sind (also vom Chip her). Wenn du dann massiv in den Cache schreibst, nebenher noch der SATA/SAS-Controller nen entsprechend großen Verbund beackert, kommt schon was an Daten zusammen, wo mehr Bus-Bandbreite einfach besser ist.

Schau dir mal meinen Server 2 in der Signatur an. Man hat zwar den IPMI-Chip nicht, kann aber auch ganz gut damit fahren. Aktuell 8x SATA, davon 4 über eine PCIe x1 KArte mit ASMedia-Chip ans TrueNAS durchgereicht, Grafikkarte mit PCIe x1 Interface und somit war der x16 Slot noch für ne I350-T4 frei. Bifurcation geht zwar nur auf x8x8 einzustellen, aber man könnte hier noch mit nem entsprechenden Käbelchen eine weitere Karte hinzufügen; eine Dual M.2 zB.

 

[Nieter]

Moin,

eine Frage noch: Würdet ihr auf ZFS als Filesystem setzen (dann sollte ich vermutlich auch noch Enterprise SSD's für die OS-Platten nutzen) oder würdet ihr auf LVM / LVM Thin gehen?

Das wichtigste was auf dem Server liegen sind irgendwelche Dokumente und Bilder sowie Filme der Familie (da die Filme da aber z.T. schon seit 6 Jahren auf meinem HP Microserver Gen 8 liegen, kann ich einen BitRot natürlich nicht mehr ausschließen, so oft schaut man die ja auch nicht an).

 

[smoothwater]

Ich glaube du machst dir zuviele Gedanken um das Ringsum. Enterprise-Platten machen genau dort Sinn: im Enterprisemarkt. Nimm wenn, dann 24/7 freigegebene NAS-Platten bzw. SSDs. Die sind günstiger oder wenigsten einfacher mit dem Support bei Problemen (Schlagwort Toshiba MG-Reihe). Einzig aufpassen, dass die kein SMR haben (WD Red ohne Pro sind da negative Kandidaten). Im Enterprise-Umfeld ist zudem U.2 und SAS statt M.2 und SATA Standard.

Bei mir kommt, was Daten anbelangt, nur noch ZFS und BTRFS ins Haus, denn die bringen alles Wichtige an Tools bereits mit. Den Pool erweitern kann man nachträglich auch, wenn eben anders (Anfügen eines weiteren Pools oder Plattentausch zu größeren Exemplaren und Pool erweitern).
Gegen blöd gefallene Bits auf der Platte kannst du auch bei ZFS/BTRFS nicht viel machen, außer es von vornherein mehrfach zu haben (Mirror/Raid5|6 bzw RaidZx oder direkt mehrfach auf eine Platte speichern [copies=2 oder mehr] bei entsprechender Kapazitätseinschränkung. Wenn du nen Backup hast und beim Microserver ext4 als Dateisystem, kannst du auch auf BTRFS "upgraden".

Die Frage die sich mir stellt: Warum nicht Daten und Server trennen und den Microserver zum simplen Filer mit degradieren, der nur zu den Zeiten an ist, wenn die Daten gebraucht werden? Alles andere dann im neuen Server virtualisiert. So kommt man notfalls auch unabhägig an die Daten, wenn der Host hängt.

 

[myBerg]

Das einzige was ich mir künftig noch vorstellen könnte ist, dass Foto- und Videobearbeitung intensiviert wird und dann wären 10G Base T natürlich schon cool, nun aber das Aber:
Mit einem X470 Board wäre 10G Base T ja nicht unmöglich sondern es wird vermutlich dazu kommen, dass ich die theoretisch verfügbare Bandbreite nicht voll ausnutzen kann, da der X470 Chipsatz bzw. die Anbindungen zu gering dimensioniert sind und das System im Anschlag ist.

Nun ist die Frage: Welche Auswirkungen hat das?

Werden aus theoretisch möglichen 1,2 GByte / sec. nur noch 0,5 GByte / sec. oder gar nur 0,125 GByte / sec. wie aktuell mit 1GBit LAN.
Kann man das überhaupt grob einschätzen oder ist das zu sehr vom Anwendungsfall abhängig (ob ich 1000 RAW-Fotodateien einzeln lade oder 5 Videodateien in 4K ist ja schon etwas anderes)...

Die PCGH hat dazu einen sehr schönen Artikel, wo man die Unterschiede zwischen X470 und X570 sehr schön sehen kann: Sockel 1200: Intels Comet-Lake-Plattform mit Z490, B460 & Co. Und zwar die ersten beiden Bilder, die die I/O-Ports zeigen, jeweils die letzte Zeile "AMD AM4".

Man sieht dort einmal das Upgrade von PCI-E 2.0 auf PCI-E 4.0 (jeweils ganz rechts). Und auch, dass bei X570 mehr Lanes von SATA auf heute sinnvollere Dinge umkonfiguriert werden können. Das ist schon ein schönes Upgrade.

Statt mindestens vier 2.0 Lanes beim X470 reicht dann eine einzige 4.0 Lane des X570, um einen 10Gbps Netzerwerkadapter anzubinden. Die notwendigen 16Gbps kriegt man auf dem X470 nur unter größeren Schmerzen (nvme oder PCIe Slot opfern). Siehe auch https://download.asrock.com/Manual/X470D4U.pdf S.14. Da gibt es nicht viele Möglichkeiten. Entsprechend hat das X470D4U2-2T nur zwei Slots mit PCI 3.0. (https://download.asrock.com/Manual/X470D4U2-2T.pdf S.12). Und auch da müssen sich die beiden Adapter die 16Gbps Burst teilen. Das sieht beim X570D4U-2L2TBCM (https://download.asrock.com/Manual/X570D4U-2L2TBCM.pdf S.14 ff) ganz anders aus. Allerdings kriegt man da bei den aktuellen Preisen Schnappatmung. Man ist dann in Regionen, wo man ggf. mit Epyc-Boards Zen2 besser fährt.

Ich würde als Option nochmal das ASUS ProArt B550-Creator in den Ring werfen. Also AM4-Platform, um den Preis niedig zu halten. Eins der wenigen AMD Boards mit 2xIntel 2,5 LAN.

Pro:
- mit 240€ vergleichsweise günstig
- Zen3
- Niedrige TDP
- für den Preis ein relativ gutes I/O Layout (2x PCIe 4.0 x16 (1x x16, 1x x8), 1x PCIe 3.0 x16 (x4), 2x PCIe 3.0 x1).
- 2 x Intel 2,5 GBase-T LAN, was für einen kleinen Heimserver ideal ist und auf AM4 leider eher rar.
- Da man Video und Netz schon Onboard abdecken kann, sind Steckplätze für andere Dinge frei: HBA, TV-Karte, nVME-Karte, ...
- Im Vergleich zu DDR5 günstiger DDR4 ECC RAM kann eingesetzt werden
- für Desktop wenig Bling-Bling.

Contra:
- kein Server-Board. Eigentlich für Workstaition gedacht
- ECC wird unterstützt, aber ob es wirklich funktioniert? Wie kriegt man das raus?
- Kein IPMI. Kann man bei Bedarf nachrüsten mit BliKVM.

Bauvorschlag Desktop4Homeserver:
- ASUS ProArt B550-Creator (90MB17L0-M0EAY0) : 250€
- AMD Ryzen 5 PRO 5650G, 6C/12T, 3.90-4.40GHz, tray (100-000000255): 280€
- 2 x Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC (KSM32ED8/32HC): 210€
- Crucial P3 Plus SSD 4TB, M.2 (CT4000P3PSSD8) : 300€
- Fractal Design Pop Air Black Solid (FD-C-POA1A-01): 95€
- be quiet! Straight Power 11 450W ATX 2.4 (BN280): 90€
Summe: 1220€ + noch ein CPU-Kühler

Im Prinzip hast Du damit alle guten Dinge, die ein Homeserver braucht: Performance und Effizienz durch eine aktuell Plattform, ECC, schnelles hochwertiges Netzwerk, ausreichend IO Optionen.

 

[smoothwater]

Unter Proxmox auf die shell, dort "sudo dmidecode" eintippen und zum RAM scrollen. Da steht dann, bei Total width 72 Bit, wenn ECC verbaut ist. Dazu sollte im Passus "Error Correction Type" ECC stehen. Je nach Board sagt er dir auch gleich, ob Single-bit ECC oder Multi-bit ECC.
Setzt natürlich voraus, dass vorher im UEFI ECC aktiviert wurde, denn nicht jedes Board macht das automatisch.

 

[BobbyD]

Mir ist mit dem X470D4U2-2T und einem Ryzen 5 5500 nun folgendes aufgefallen:

Keine Ahnung, ob das neu ist. Lt Geizhals hat die CPU im Vergleich zu meiner vorherigen die gleiche Anzahl an Lanes.

AMD Ryzen 9 3900X	AMD Ryzen 5 5500
24x PCIe 4.0	24x PCIe 3.0 (16+4+4)

Und so sieht es auf dem Board aus:

BIOS-Bug?

 

[tolga9009]

Ryzen 5500 ist Cezanne, Ryzen 5600 wäre Vermeer gewesen.

 

[myBerg]

Mir ist mit dem X470D4U2-2T und einem Ryzen 5 5500 nun folgendes aufgefallen:

Anhang anzeigen 840309

Keine Ahnung, ob das neu ist. Lt Geizhals hat die CPU im Vergleich zu meiner vorherigen die gleiche Anzahl an Lanes.

AMD Ryzen 9 3900X	AMD Ryzen 5 5500
24x PCIe 4.0	24x PCIe 3.0 (16+4+4)

BIOS-Bug?

Warum Bug? Es stimmt doch. PCIe 3.0x4 reicht nicht für 20Gbps. Die Meldung kommt vom X550-AT2 Treiber und ist bei Steckkarten durchaus sinnvoll.
Die CPU dürfte gar keine Rolle spielen, da die X470 Plattform PCIe 3.0 ist. Siehe https://www.amd.com/de/products/chipsets-am4 . Die CPU muss ohnehin runter auf PCIe 3.0.

 

[BobbyD]

Warum Bug? Es stimmt doch. PCIe 3.0x4 reicht nicht für 20Gbps. Die Meldung kommt vom X550-AT2 Treiber und ist bei Steckkarten durchaus sinnvoll.
Die CPU dürfte gar keine Rolle spielen, da die X470 Plattform PCIe 3.0 ist. Siehe https://www.amd.com/de/products/chipsets-am4 . Die CPU muss ohnehin runter auf PCIe 3.0.

Also müsste die Warnung bei jedem Windows User erscheinen, hat hier noch wer das Brett unter Windows? lt. Wikipedia wären 3.938 GB/s möglich, es fehlt also eine Winzigkeit.

 

[smoothwater]

Naja, ist beim x570 genauso angebunden. Wenn man bedenkt, dass der eine Port mit dem IPMI geshared ist, würde da, je nach Anwendungsfall, eh nicht dauerhaft 2,5 GB/s laufen. Da ist also noch gut Luft.

 

[Knogle]

Hey Freunde. Ich habe mit meinem verbleibenden X470D4U von libvirt nun auf Proxmox gewechselt. Ein echt tolles System. Habe einen Ryzen 5500 drauf, der bekommt bald noch mehr Aufgaben.
Aber habt ihr auch das Problem, dass euch die Kiste in der Nacht irgendwann einfach so rebootet? Ich habe festgestellt, wenn ich AMD PBS und CBS ausschalte, dann klappt's und die Kiste raucht Nachts nicht ab.
Hat jemand auch Ryzen 5000er und das Board im Einsatz mit Proxmox?

 

[Trambahner]

PCIe ist vollduplex, d.h. die Transferraten der Lanes stehen >gleichzeitig< für beide Richtungen zur Verfügung.
PCIe3x4 reicht also mehr als aus für eine X550-T2, da es jeweils ~3,6 GB/s gleichzeitig erlaubt.

Insofern ist die Meldung des X550-Treibers NICHT erklärlich. Denn auch X550-T2 Steckkarten haben ja einen gen3x4 Steckanschluss und der X550-AT2 hängt hier lt Blockschaltbild an den vier gen3 Lanes, wo in Consumerboards üblicherweise der M.2-Sockel angebunden ist.
Die Meldung von BobbyD wäre nur erklärlich, wenn der X550-AT2 hier mit PCIe gen1 oder gen2 oder aber nur mit weniger als 4 Lanes angesprochen würde. mit #lspci unter Linux/Proxmox wäre das easy prüfbar. Wenn das so wäre, dann wäre das eine Bios-Einstellung (üblicherweise kann man die maximale PCI gen ja einstellen) oder aber in der Tat ein Bug. Oder aber an der CPU stimmt was nicht.

Der Engpass im Durchsatz kommt, wenn die X550-T2 am Chipsatz hängt und gleichzeitig dadrüber auch andere Datenströme laufen (z.B. Sata-Ports, USB, Chipsatz-Slots etc) und das 3,6 GB pro Richtung überschreitet.
Genau hier hilft der X570, wenn eine PCIe gen4 fähige CPU im Sockel steckt, weil dann über 7GB/s pro Richtung zwischen Chipsatz und CPU gehen.
Ein 5500 hilft hier wie oben erwähnt nicht, weil der auf der APU-Linie ohne aktive Grafik basiert, also quasi ein 5600G ohne Grafik ist. PCIe gen4 gibts erst ab dem 5600 non-G (oder halt den vergleichbaren 3000ern).
Und, nur der Vollständigkeit halber, APUs und damit der 5500 können PCIe-Bifurcation nur mit x8x8 und x8x4x4 , x4x4x4x4 können nur die Non-APUs.

@BobbyD die nutzbare Bandbreite liegt zwischen 3,5 und 3,6 GB/s, nicht bei 3,938 GB/s.

 

[smoothwater]

@ Knogle:
Stell mal im Bios "Power Supply Idle Control" auf "Typical Current Idle".
"Low Current Idle" und PBO vertragen sich irgendwie nicht.

 

[Knogle]

Das mache ich mal, sorry nochmal wegen der Nachfrage, aber wo finde ich das genau?

 

[BobbyD]

die nutzbare Bandbreite liegt zwischen 3,5 und 3,6 GB/s, nicht bei 3,938 GB/s.

Wundert mich insofern, dachte ich hätte schon 1 GB/s Filecopy gesehen. Vielleicht war es auch nur Wunschdenken.
Aber wer noch Windows hat, mal bitte drauf gucken.

 

[Trambahner]

Die Anzeige des Windows-Explorer beim Kopieren ist da annähernd unbrauchbar, weil Windows Teile des RAM auch als Schreibcache nutzt und nicht die Datenrate anzeigt,
die pro Zeit über die PCIe-Lanes selber geht.

 

[smoothwater]

Redet ihr an einander vorbei? GByte und GBit? Man bekommt pro Port ziemlich genau 1,25 GByte/s hin. Zwei Ports also 2,5 GByte/s.

 

[Trambahner]

Maybe, da könntest Du recht haben. Ich referenzierte auf PCIe-Lane Durchsatz , nicht auf Netzwerk.

Und PCIe kann bei gen3x4 gleichzeitig pro Richtung etwa 3,5 bis 3,6 Gbyte/s. Ist also bei weitem kein Bottleneck für eine Anbindung des X550-T2, selbst wenn Up- und Download bei beiden 10G-Ports gleichzeitig voll genutzt werden.

Gen3x2 oder Gen2x4 wäre ein gewisser Engpass in so einem Fall, das würde auf ~1,7 Gbyte/s up+down limitieren; gen1x4 sogar auf ~900 Mbyte/s. Nur so könnte ich mir die Treibermeldung erklären bzw. würde sie Sinn machen.
Ich habe z.B. aktuell das Problem bei einem T20 mit T1700-Crossflash, dass der Gen3x16 Slot , sobald ich eine SSD anspreche die da per Adapter steckt, von Gen3x4 auf PCIe Gen1x4 runterschaltet. Beides via #lspci geprüft. Keine Ahnung warum. Graka oder HBA hab ich noch nicht geschaut, was er da macht. CPU schon getauscht, anderer Adapter getestet, Bioseinstellung geprüft. Spannend.

Drum liegt bei mir die Vermutung nahe, dasss der X550 von Bobby vielleicht auch nicht mit gen3x4 angesprochen werden könnte (warum auch immer) und daher diese Treibermeldung in Windows auftaucht.

 

[BobbyD]

Zwei Ports also 2,5 GByte/s.

Aber einfache Richtung, bei Full Duplex wäre es doch wieder zu wenig.

 

[Trambahner]

Aber einfache Richtung, bei Full Duplex wäre es doch wieder zu wenig.

Nein, eben nicht. 4 Lanes PCIe gen3 können >gleichzeitig jeweils< 3,6 GByte in beide Richtungen übertragen. Denn PCIe ist auch vollduplex !

D.h. wenn die NIC volllduplex vollausgelastet ist, dann werden 2,5 Gbyte von 3,6 Bandbreite sendend genutzt und getrennt davon nochmal 2,5 Gbyte von 3,6 empfangend.

 

[BobbyD]

Okay, also andere Windowsnutzer mal bitte nachgucken. Überlege aber gerade 10G generell aufzugeben wegen Stromkosten.

 

[ludwinator]

Die Diskussion scheint mir arg akademisch zu werden.

 

[BobbyD]

Die Diskussion scheint mir arg akademisch zu werden.

Nö, wenn sich die NIC vermeintlich ohne Grund beschwert, dann ist was im Busch.

 

[smoothwater]

@Knogle
UEFI->Advynced->AMD CBS-> CPU Common Options->Power Supply Idle Control

 

[myBerg]

PCIe3x4 reicht also mehr als aus für eine X550-T2, da es jeweils ~3,6 GB/s gleichzeitig erlaubt.

Insofern ist die Meldung des X550-Treibers NICHT erklärlich.

Du hast völlig recht. PCIe 3.0 x4 = 32 Gbit/s burst. Irgendwie war ich bei PCIe 2.0 gelandet. Sorry für die Verwirrung.

 

[ludwinator]

ja wegen "optimal performance". Obs jemand merkt?

 

[wddn]

Statt mindestens vier 2.0 Lanes beim X470 reicht dann eine einzige 4.0 Lane des X570, um einen 10Gbps Netzerwerkadapter anzubinden.

Wenn du einfach und günstig NICs mit PCIe 4.0 finde nwürdest wäre deine Aussage korrekt.

die ganzen X520, X710 10GBe NICs haben PCIe2.0 und 3.0

Ich habe ein Asrock X470D4U und würde absolut 0 Vorteile aus dem x570 rausholen können, da meine NVME SSDs auf Hyper M.2 nur PCIe 3.0 können und meine X710 NIC ebenfalls nur 3.0.
Das Problem ist aktuell nicht die max Bandbreite mit PCIe 4.0/5.0 sondern die Anzahl der Lanes...

Ich kann mir ein neues AM5 Mainboard kaufen mit massiver Bandbreite, welche leider verpufft, wenn ich PCIe3.0 Karten habe.
Immmer veruschen eine maximal hohe PCIe Version der NICs zu kaufen, aber auch schauen dass du viele Lanes hast. 3x PCIe mit 1x16 lanes & 2x >4 lanes (mechanisch x16) würde mir reichen - auf Geizhals findest du eine Handvoll von Mainboard die dies können...

 

[danielmayer]

Ich kann mir ein neues AM5 Mainboard kaufen mit massiver Bandbreite, welche leider verpufft, wenn ich PCIe3.0 Karten habe.

Jaein. Für die Anbindung CPU<->Chipsatz wird dennoch PCIe 4.0 verwendet, was den über selbigen bereitgestellten Slots/chips mehr Bandbreite(nreserve) in der Summe gibt.