[Kaufberatung] PCIe Karte für 4 NVMEs

[myBerg]

Die Aufteilung x4x4x4x4 geht auf Sockel 1700 nicht. Egal welche CPU der Generation 12/13/14 oder Board. Nur mit aktiver Controllerkarte mit PLX-Chip oder vergleichbar.
Kostet mehrere hundert Euro und zieht nicht wenig Idle-Power.

Willst Du x4x4x4x4 im 16er Sockel ohne PLX-Chip, bleibt Dir aktuell nur der Weg: AM4 mit Ryzen 5600 oder besser oder AM5.

Bevor man in einen teuren und energiehungrigen Controller investiert, würde ich noch schauen, ob es nicht sinnvoll ist, den Sprung in die Enterprisewelt zu gehen.

Bei einem Supermicro H12SSL (Epyc) beispielsweise kann man die Bifurcation bei allen Slots einstellen.

Sieht dann so aus:

Kostet grob: Board ~550€, 16C/32T Zen2 CPU ~450€, 128GB 3200 DDR4-ECC-RAM ~240€.
Dafür hat man einerseits Ruhe was den Leistungsbedarf angeht und andererseits viel mehr Optionen bezüglich IO.

 

[Holt]

Dann ist man aber auch bei der Idle Leistungsaufnahme, vor allem im Idle in einer ganz anderen Liga.

 

[Spieluhr]

Ohne dedizierte Grafikkarte, da als CPU eine i5 13500 mit iGPU gewählt, hat der TE ja bei einen MSI Pro B760M quasi nur den ersten und einzigen PCIe 4.0 x16 Slot zur Wahl für eine Controllerkarte.
Wenn ihm 4 SSDs Sata-III reichen, er diese meinetwegen je 2TB wählt, dann reicht auch eine kleine, ältere LSI SAS9212-4i die vier fertige Sata-III Schnittstellen auf der Karte hat und eine Bandbreite von bis zu 4000MB/s (PCIe 2.0 x8) mit max. Kapazität von 8TB je Port unterstützt. Die Dinger gibts bei Amazon ab 22€ im IT Mode und sind gar nicht mal so schlecht für so etwas. Hatte ich auch mal für ein paar Samsung EVO's und die liefen einwandfrei mit höchsten Datentransferraten.

Theoretisch könnte er also -ohne viel Aufwand, da plug & play- bis zu 4x EVO 870 QVO 8TB Sata-III ohne jegliche Limitierungen an dieser Karte über den PCIe4.0 x16 Port des gewählten MSI Boards nutzen.

ps: Es gibt zwar auch neuere Karten die höhere Bandbreiten von PCIe3.0/4.0 unterstützen (und ein zigfaches kosten) aber hey, bleiben wir mal auf den Teppich, selbst PCIe2.0x8 ist schon oversized für 4x Sata-III.

 

[myBerg]

Dann ist man aber auch bei der Idle Leistungsaufnahme, vor allem im Idle in einer ganz anderen Liga.

Mir fehlen da wirklich mal aussagekräftige Messungen. Ich denke der Unterschied ist bei gleicher Beanspruchung weitaus geringer als man gemeinhin denkt.

Vor allem wie energieeffizient das PCIe-Geraffel funktioniert wäre mal interessant. Bei Epyc ist das alles in der CPU und kann daher von geringen Strukturbreiten und entsprechend hoher Energieeffizienz profitieren. Auf den Desktopplatformen gilt das nur für einen Teil der Lanes.

Ich hab zwei Epyc Systeme jeweils mit 7282 16-Kerner sowie 128 GB.
Idle-Verbrauch System 1 bei Testinstallation mit Win10 und ruhendem Desktop: 37 W inkl BMC.
Idle-Verbrauch System 2 bei Testinstallation mit Win10 und ruhendem Desktop: 49 W inkl BMC und 2 x Broadcom 10GBase-T (~14W)

Wenn die tiefen Schlafzustände erreicht werden, dann ist das durchaus ok. Leider ist das bei Serversystemen ja in der Regel nicht der Fall und man kommt dann im Echtbetrieb nicht so weit runter, aber das gilt sowohl für Desktop- als auch für Server-CPUs.

 

[Spieluhr]

Vor allem wie energieeffizient das PCIe-Geraffel funktioniert wäre mal interessant.

Was meinst du damit?

 

[myBerg]

Was meinst du damit?

Die Chipsätze sind in der Regel nicht in der gleichen Strukturbreite gefertigt wie die CPUs und daher weniger energieeffizient. Ein PCIe-Controller der in einem 7nm-Schaltkreis in einem Epyc läuft dürfte sparsamer sein als in einem Z790 Chipsatz. Außerdem muss man die Kopplung zwischen Chipsatz und CPU über das Board zusätzlich betreiben. Das ist bei Epyc alles in der CPU und profitiert von kleinen Strukturen.

Der Controller für den 1. 16er Slot und den eine oder andere M.2-Slot sind aber auch bei Desktop-Systemen in der CPU.

 

[Holt]

Es hängt wohl sehr vom Modell ab und sicher auch vom Mainboard, aber 37W für alle an der Steckdose erscheint mir unglaubwürdig, wenn ich die Idle Leistungsaufnahmen in den Reviews bei Anandtech sehe:

AMD’s New EPYC 7F52 Reviewed: The F is for ᴴᴵᴳᴴ Frequency

www.anandtech.com

AMD 3rd Gen EPYC Milan Review: A Peak vs Per Core Performance Balance

www.anandtech.com

Modelle mit mehr CPU Chiplets brauchen generell mehr im Idle, die IF um diese an den I/O Die anzubinden kann offenbar nicht wirklich schlafen gelegt werden. Im Serverbereich ist die Idle Leistungsaufnahme auch eher nebensächlich, da Server i.d.R. kein Geld verdienen wenn sie Idle sind und daher sind die meisten Server selten Idle.

Außerdem muss man die Kopplung zwischen Chipsatz und CPU über das Board zusätzlich betreiben.

Dafür sind im Desktop aber meist Energiesparmaßnahmen aktiv, so takten die PCIe Lanes dann eben auf 2.5GT/s (PCIe 1.x Geschwindigkeit) runter, wenn sie keine oder nur wenige Daten übertragen müssen.

Das ist bei Epyc alles in der CPU und profitiert von kleinen Strukturen.

Aber da müssen eben die ganzen Chiplet ständig über die IF mit der CPU verbunden werden. Für den 3950X hat Anandtech im Idle 14,16W Leistungsaufnahme ermittelt, von denen nur 0,38W auf die Kerne entfallen. Dieser dürfte Deinem EYPC am nächsten kommen, wenn der auch nur zwei CPU Chiplets hat.

 

[Spieluhr]

@myBerg : Ja, dass ist schon klar.
Aber das vom TE gewählte Mobo unterstützt halt kein Bifurcation und ich denke, er möchte relativ günstig viel Storage generieren.
Daher bietet das vom TE gewählte HW.Setup (i5 13500 + MSI B760M) auch keine Möglichkeit so etwas über eine M2 Multiplier Karte zu realisieren.

Alternativ zieht er darauf dann halt für sich noch diese Lösung in Betracht:

Es gibt evtl. noch eine weitere Option, anstatt eine Adapterkarte mit 4x NVMe einzubauen, wäre eine Adapterkarte mit mehreren zusätzlichen SATA Ports für viele 2,5" SDDs möglich, dann wäre ich weiterhin mit Sockel 1700 unterwegs. Im Kern will ich viele non-mechanic HDDs für VMs einbauen und genug Puffer für Storage haben. Welche Karte/Setup würdet ihr dann empfehlen?

..das kann man dann halt tatsächlich, so wie ich in Post #33 schon geschrieben habe, recht preiswert, inkl. UEFI Storage Support (auch bootfähig) und Broadcom Storage Console (Software) zu realisieren.
Kostet u.U. keine 30€ ohne Satakabel und Storage und ist via Sata-III bis zu 32TB ausbaubar.

 

[myBerg]

Es hängt wohl sehr vom Modell ab und sicher auch vom Mainboard, aber 37W für alle an der Steckdose erscheint mir unglaubwürdig, wenn ich die Idle Leistungsaufnahmen in den Reviews bei Anandtech sehe:

AMD’s New EPYC 7F52 Reviewed: The F is for ᴴᴵᴳᴴ Frequency

www.anandtech.com

AMD 3rd Gen EPYC Milan Review: A Peak vs Per Core Performance Balance

www.anandtech.com

Das sind schon so High-End-Geschichten. Die erste CPU ist auf hohe Single-Thread-Leistung getrimmt. Die zweite hat 64 Kerne.

So habe ich das damals gemessen: Asus KRPA-U16, Epyc 7282 16C/32T, 128 GB, 1 SSD. Fliegender Aufbau. Windows 10.

Mit allem Tralala liege ich am Ende unter ESX bei 95 bis 110 W, aber da sind dann auch RAID-Controller, 2 x 40GBit SFP+, TV-Karte, HDDs, SSDs und diverse Lüfter dabei.

Das ist das H12SSL-NT (mit 2 x 10GBase-T), Epyc 7282 16C/32T, 128 GB, 1 SSD. Fliegender Aufbau. Windows 10:

 

[proxi532]

Guten Abend zusammen,

bevor ich in die Details/Fragen eingehe, muss ich meine groben Rahmenbedingungen angeben.

Servergehäuse
Es darf maximal ein Servergehäuse mit einer Tiefe von 55cm im Rack verbaut werden, alles drüber passt nicht. Die beiden anfangs erwähnten Gehäuse haben eine Tiefe von ~53cm, somit könnte das 3HE oder 4HE Gehäuse reinpassen, hier stehe ich nun vor der ersten Frage, nehme ich das 3HE oder 4HE Gehäuse? Optisch gefällt mir eher das kleinere 3HE, da ich bereits in Storage Server mit 4HE habe, würde das im Kontrast nicht so auffallen. Falls ich in Zukunft eine Erweiterungskarte einbauen sollte z.B. 10GBit LAN oder die erwähnte Broadcom Storage Karte von @Spieluhr würden die vermutlich in ein 3HE nicht mehr passen oder? Auch das ATX Netzteil beachten, meist passen die nur in 4HE.
Hersteller Specs:
3HE: https://www.inter-tech.de/produktdetails-18/3U_3098-S.html
4HE: https://www.inter-tech.de/produktdetails-17/4U_4098-S.html

Proxmox Boot Disks:
Ich würde wie meist empfohlen, dass reine Proxmox OS auf eine "kleine" NVMe installieren, hier denke ich über 2 solcher gleichen NVMEs nach, damit es als ZFS Raid 1 läuft, dann wäre das Thema OS zumindest abgesichert, die VMs nutzen ihren eigenen Speicher.

Kernthema VM Storage mit Erweiterung:
Aufgrund des Kernthemas und mit der Problematik der ASUS Adapterkarte & Bitfurcation mit dem Intel Sockel 1700, lasse ich es erstmal weg.
(Ich habe auch schon überlegt, ob man das OS nicht lieber auf eine SSD installiert, damit man die freien M.2 Ports für die VMs nutzt, da die viel mehr Zugriffe verursachen als Proxmox.)
Wie @Spieluhr schon angedeutet hat, reichen mir aktuell eine Handvoll der etwas langsameren SSD gegenüber NVMEs, aber ein Ausbau sollte möglich sein. Was ich charmant finde sind solche 5,25 Zoll Wechselrahmen die bis zu 8x 2,5 SSDs aufnehmen können:
6x 2,5 SSDs https://geizhals.de/icy-dock-expresscage-mb326sp-b-a1531981.html
8x 2,5 SSDs https://geizhals.de/fantec-mr-sa1082-2196-a2240617.html

Glaub das waren grob meine Details/Eckpunkte/Ausbaustufen.

Wenn ich nun den Zwischenstand als vorläufige Einkaufsliste formulieren würde, dann wären es folgende Komponenten, die sich noch ändern können:

Servergehäuse:
3HE: https://geizhals.de/inter-tech-ipc-3u-3098-s-88887176-a1271454.html
oder 4HE: https://geizhals.de/inter-tech-ipc-4u-4098-s-88887177-a1271457.html

Mainboard:

MSI PRO B760M-P ab € 125,93 (2023) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für MSI PRO B760M-P ✔ Produktinfo ⇒ Formfaktor: µATX • Sockel: Intel 1700 • Chipsatz: Intel B760 • CPU-Kompatibilität: Core i-13000 , Core i-… ✔ Intel Sockel 1700 ✔ Testberichte ✔ Günstig kaufen

geizhals.de

CPU:

Intel Core i5-13500, 6C+8c/20T, 2.50-4.80GHz, boxed ab € 228,99 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Intel Core i5-13500, 6C+8c/20T, 2.50-4.80GHz, boxed ✔ Bewertungen ✔ Produktinfo ⇒ Kerne: 14 (6C+8c) • Threads: 20 (12+8) • Turbotakt: 4.80GHz (Turbo Boost 2.0), 4.80GHz (P-Core), 3.50GHz … ✔ Intel ✔ Testberichte ✔ Günstig kaufen

geizhals.de

RAM: 4x32GB https://geizhals.de/crucial-ddr5-dimm-32gb-ct32g48c40u5-a2627504.html
BOOT NVMe: 2x500GB: https://geizhals.de/kioxia-exceria-ssd-500gb-lrc10z500gg8-a2273341.html
VM Storage: 2x SATA SSDs: https://geizhals.de/samsung-ssd-870-evo-2tb-mz-77e2t0b-a2458802.html
Optional: Wechselrahmen für 6x 2,5" SSDs: https://geizhals.de/icy-dock-expresscage-mb326sp-b-a1531981.html

Zwischensumme: ~1000€

Das wären grob die Komponenten, es fehlt noch ein passendes Netzteil, welches effizientes ATX Netzteil und in welche Leistungsdimension würdet ihr mir raten?
Was bei dem Mainboard evtl. später beim Aufrüsten zu Problemen führt, ist eine Storage Karte (Broadcom LSI) die einen PCIe Slot belegt, dann kann ich keine 10GBit LAN Karte mehr einbauen?

Die Konfiguration hat schon dank euren Input viel verändert.