10G + ECC + ZFS | Xeon-E/W vs. Ryzen

[supernode]

Hallo,

seit einigen Wochen sitze ich nun an den Vorüberlegungen für einen leistungsstarken Homeserver.
Leider bin ich in dem Server-Hardware-Sektor weniger aktiv weshalb ich euch um Hilfe bitten möchte.
Speziell bei den Mainboards und Storage Controllern fehlt mir der Einblick welche Modelle und welche Hersteller hier zu empfehlen sind.

Primäres Ziel ist die Schaffung einer zentralen Datenablage mit automatischer Sicherung.
Aufgrund der Bitrot-Gefahr sehe ich aktuell die Verwendung von ZFS als gesetzt an. Das hätte ich dann, wie oft hier zu lesen, virtualisiert.
Dazu kommen dann noch einige VMs und typische Heimautomations-Tasks. Da ich Datenbankabfragen beschleunigen möchte soll die Leistung auch nicht zu gering ausfallen.
Die Ressourcenausstattung sollte so gewählt werden dass der Einsatz für 5 bis 8 Jahre möglich ist.
Den Satz "lieber haben als brauchen" hört man hier ja doch häufiger

Anforderungen
- Virtualisierungs-Host: Proxmox / ESXi
- Storage VM für ZFS
- VM für Docker (Heimautomatisierung, DNS Filter ...)
- 3 VMs für Windows
- Hardware Dekodierung aktuell nicht geplant
- CPU mind mind. 4 Cores, Fokus auf Single-Core Performance
- CPU mit iGPU wird bevorzugt, sollte durchgereicht werden können
- IPMI wäre schön (ohne Probleme mit der iGPU)
- RAM: 64GB mit ECC
- Dedizierte Grafikkarte soll nachgerüstet und durchgereich werden können, d.h. ein PCIe x16 Slot sollte frei bleiben
- Pool aus 6 - 8 SATA HDDs im Mirror-Pool (Seagate Exos X X18 18TB)
- Pool aus 2 NVMe/SATA SSDs
- HBA falls nötig -> PCIe x8 Slot?
- 10G Ethernet (Kupfer oder SFP+) -> Onboard oder PCIe x4 SLot?
- 19 Zoll oder Desktop Gehäuse wäre erst mal egal
- Strombedarf sollte im Rahmen sein
- Preis bis 2000€ ohne Platten

Zunächst stellt sich mir die Frage nach der CPU und darauf aufbauend dann das Mainboard.
Hier bietet sich meiner Meinung nach Folgendes an:

1) Intel Xeon E - Chipsatz C246 (bspw. E-2286G)
(+) ECC Support
(+) iGPU
(+) Server Platform
(o) max. 8 Cores

2) Intel Xeon W - Chipsatz W480 (bspw. W-1270P)
(+) ECC Support
(+) iGPU
(+) +2 Cores gegenüber Xeon E
(+) günstiger als Xeon E (ca. 100€ bei 8 Cores)
(o) Workstation Platform
(o) max. 10 Cores
(-) Strombedarf gegenüber Xeon E

3) AMD Ryzen 3000er / 5000er Serie - Chipsatz X570
(+) Multi-Bit ECC Support
(+) Preis
(o) max. 16 Cores
(-) Consumer Platform (mit weniger Server-Software-Support?)
(-) Strombedarf gegenüber Intel

4) Epyc
(+) Multi-Bit ECC Support
(+) Server Platform
(+) viel mehr PCIe Lanes -> Erweiterbarkeit, mehr NVMe SSDs
(-) Preis
(-) Single-Core-Performance
(-) Strombedarf

5) Xeon Scalable: zu teuer / single-core performance

Lassen sich bei all diesen Plattformen eigentlich die SATA Ports einzeln durchreichen?
Falls möglich würde ich gerne (zumindest vorerst) auf einen HBA verzichten.

Was meint ihr wäre bei meinen Anforderungen die beste Wahl?

 

[Trambahner]

X570D4U-2L2T mit 5600X ?

+ sparsam für X570, kein aktiver Lüfter verbaut (wenngleich sich ein kleiner leiser Propeller anbietet, der auch für etwas Luftstrom über den M.2 Slots sorgen kann)
+ 2*10Gbit X550, 2*1Gbit , 1*IPMI Port onboard
+ 2 NVME-Slots (1* CPU, 1* via X570)
+ gute Ausnutzung der knappen PCIe-Lanes , durch die PCIe 4.0 Anbindung des Chipsatz ist für Geräte, die über diesen laufen, nicht so schnell ein Bottleneck; PCIe-Bifurcation wird unterstützt.
+ erlaubt OC in Maßen, auch beim Ram. 65W TDP CPU, die man aber nach oben etwas "aufmachen kann". Das X570D4U-Bios erlaubt das.
=> 5600X anspruchslos bzgl. Kühlung (sehr leise auch unter Volllast bei gutem Kühler möglich!) und sehr hohe Leistung pro Core.
+ IPMI für Fernüberwachung/-bedieunung
- eher kleine Nutzerbasis, unübliche Plattform in der Serverwelt
- kein offizieller ESXI-Support. 7.0 läuft aber out-of-the-box.
- Passthrough des Sata-Controller in eine VM klappt nicht bei ESXI (wie bei den meisten AMD), d.h. HBA notwendig für eine Storage-VM (oder notfalls per Disk-RDM).
- max. 128GB Ram (unregistered ECC)

Die Kiste zieht, mit zusätzlichem 9400-16i da kein HBA onboard, Idle kaum mehr als mein vorheriger Skylake-Xeon (1240v5) mit X11SSH-CTF. Bei massiv besserer Performance, merk ich selbst bei ZFS send/receive.
Wenn beide großen Slots belegt sind, dann arbeiten die jeweils 4.0x8 (ist das wirklich ein Engpass für GPU? Ich denke eher nicht).

Und bei Bedarf für Kerne kann man halt nen 5950X draufpacken. Dat sollte ne weile für Home reichen.
Die 4000er APUs sollten auch damit laufen und damit ein paar Watt ggü 3000er/5000er sparen, aber die haben dann halt keine PCIe 4.0-Anbindung des Chipsatzes und der Slots.
Gerade die Chipsatz-Anbindung mit 4.0 halte ich wichtig, da dann ja der 10Gbit-Traffic plus Sata plus 1 NVME drüber geht. PCIe 3.0 zwischen CPU und Chipsatz könnte da evtl. zum Engpass werden, wenn viele Transfers laufen.

Unterm Strich halte ich die Plattform für Homeserver, wo eher consumer-typische und weniger Datacenter-Lasten anfallen, ziemlich interessant.
Btw, steht bei mir im Abstellraum als Homeserver. Im ZFS AIO-Setup mit ESXI.


Ebenso könnte man noch an einen Threadripper/Threadripper Pro denken. Dann wirds aber teuer und die Leistungsaufnahme zieht a la Epyc hoch.
Die großen Sockel, egal Intel oder AMD, halte ich im obigen Szenario aber für überkandidelt.

 

[Digi-Quick]

Das Board hört sich von der Ausattung Lekker an, hat nur einen Nachteil: "Es ist von AsrockRack"
Meine Erfahrungen mit den Board von AsrockRack sind leider extrem geteilter Natur!
https://www.hardwareluxx.de/communi...0-e3-1220lv2-microserver.963207/post-28152199

 

[ludwinator]

Pauschales Bashing ist immer unfair, das Problem bei solchen Meinungsäusserungen ist immer, das alle zufriedenen Nutzer sich hier nicht melden.
Aber du kriegst ja wohl auch Supermicro Boards klein, nicht war?


cu

 

[gea]

Im Prinzip stellte sich bei mir die Frage ähnlich. Ich hatte bisher Xeon Systeme in der 2k Preisklasse und untersuchte Epyc als Nachfolgesystem. Bei mir war ZFS Verschlüssellung noch ein Extra Thema. Ich habe mich bereits für Epyc entschieden, https://napp-it.org/doc/downloads/epyc_performance.pdf

 

[v3nom]

Wofür die iGPU? Die schränkt dich leider echt ein...

 

[gea]

Das sind bei mir Server mit ipmi und Consoleausgabe allenfalls für OmniOS oder ESXi und keine Gaming Workstations.
Die PCI Slots kann man zwar mit Grafikkarten füllen, ich denke da aber eher an 1..24 NVMe mit jeweils 4x

 

[supernode]

Vielen Dank für eure Beiträge.

Bei Ryzen hätte ich auch das X570D4U-2L2T ausgewählt.
Es hat zwar einen stolzen Preis bietet dafür aber 10G und ist dann schon in Ordnung. Den Thread dazu hatte ich schon durchgelesen und bin aufgrund der Meldungen dass einige Passthrough Dinge nicht gehen stutzig geworden.
Auch das Thema Support hatte eher negativ gewirkt. Da man solche Boards ja im Privatumfeld einige Jahre im Betrieb hat sollte das Thema Treibersupport + Updates nicht unter den Tisch gekehrt werden.

@Trambahner
Vielen Dank für deinen ausführlichen Bericht. Kannst du noch was zum Stromverbrauch des Grundsystems sagen?
Zudem wäre interessant welchen Kühler in welchem Gehäuse du hast.

Abseits des X570D4U-2L2T sieht es natürlich mau aus. Sofern man auf ECC und viele PCIe Slots achtet wären da noch
- Gigabyte B550 Vision D
- ASUS ROG Strix B550-A Gaming
in meiner engeren Auswahl. Seitens SW-Support aufgrund des Consumer Chipsatzes aber auch nicht besser.
Trotz der Warnung von @Digi-Quick würde ich wohl zum AsrockRack greifen.


@gea
Kannst du sagen welches Setup du dann anstrebst? Bei den EPYCs stört mich die vergleichsweise geringe Single-Core-Performance aufgrund der geringen Taktfrequenzen.
Ein Xeon @ 3.8 GHz ist da halt rund 50% schneller. Oder übersehe ich da etwas?

Ich hab das von dir verlinkte PDF kurz durchgesehen. Ja, der EPYC ist schneller aber wenn ich mir die Specs der verwendeten CPUs ansehe war das auch zu erwarten.

AMD EPYC 7302 vs [Dual CPU] Intel Xeon Silver 4110 vs Xeon W-1270P [cpubenchmark.net] by PassMark Software

Die vielen PCIe Slots sind natürlich toll.
Bei den C246 und auch den X570 Boards kommt man mit HBA, 10G LAN und einer potentiellen Grafikkarte schon schnell an die Grenze.
Bei mir sollten die zwei NVMe Slots erst mal ausreichen, verstehe aber dass man hier schnell ans Limit stößt. Hast du wirklich so viele SSDs?


@v3nom
Die iGPU würde ich durchreichen falls später mal benötigt. Falls es eine Variante mit und ohne iGPU gäbe würd ichs mitnehmen, falls nicht eben nicht.
Hab bei Geizhals gerade mal die Xeons ohne iGPU durchgesehen. Teils sind die mit iGPU sogar billiger als die ohne.
Was würdest du denn noch als Alterantive sehen?


Was haltet ihr denn vom Xeon-W mit W480 Chipsatz als Server? Ist das ein gangbarer Weg oder sollte man das besser gleich lassen.
Vorteil wär der leicht bessere Preis und die Möglichkeit von 10 Cores, wenn man den Aufpreis zu zahlen bereit ist.


Aktuell tendiere ich zu nem Xeon-E da ich damit keinen Sonderweg einschlage und vermutlich mehr Hinweise und Lösungen im Netz finde.
Was für ein Board könntet ihr da empfehlen? Von Supermicro gibts ja einige die sich sehr ähneln (X11SCH-F & co) ...

Wie ist das eigentlich beim C246, kann man da die einzelnen SATA Ports in der Storage VM nutzen oder sollte man auch hier einen HBA einsetzen?
Vermutlich macht es aber sowieso Sinn einen HBA einzusetzen wenn es dann noch mehr Platten / SSDs werden?!

 

[gea]

@gea
Kannst du sagen welches Setup du dann anstrebst? Bei den EPYCs stört mich die vergleichsweise geringe Single-Core-Performance aufgrund der geringen Taktfrequenzen.
Ein Xeon @ 3.8 GHz ist da halt rund 50% schneller. Oder übersehe ich da etwas?

Mir gehts um Universalität (Anwendung ist verschlüsseltes Storage oder ESXi/AiO) und Preis/Leistung in der 2k Euro Region. Dazu möglichst viele Slotes/Lanes und ich möchte immer die gleiche Plattform für die nächsten 2 Jahre (die letzten 2 Jahre waren das Xeon Systeme).

 

[thb]

Was haltet ihr denn vom Xeon-W mit W480 Chipsatz als Server? Ist das ein gangbarer Weg oder sollte man das besser gleich lassen.
Vorteil wär der leicht bessere Preis und die Möglichkeit von 10 Cores, wenn man den Aufpreis zu zahlen bereit ist.

Auch wenn mit dem W(orkstation) in der Chipsatzbezeichnung eine bestimmte Verwendung suggeriert wird, kannst Du die W480 Boards genauso für einen Server einsetzen.
Ich habe seit einigen Wochen das Supermicro X12SCA-F mit einem Xeon W-1250 im Homeserver laufen und bisher keine Probleme.
Schlecht sieht es allerdings mit der Verfügbarkeit der Sockel 1200 Xeon aus. Waren anfangs noch alle Modelle vom 1250 bis zum 1290P gelistet, ist die Auswahl mittlerweile sehr dürftig:

heise online

News und Foren zu Computer, IT, Wissenschaft, Medien und Politik. Preisvergleich von Hardware und Software sowie Downloads bei Heise Medien.

www.heise.de

 

[supernode]

@gea Soweit verständlich und nachvollziehbar. Die Epycs sind für deinen Anwendungsfall sicher nicht falsch.
Meinen Anwendungsfall mit paar VMs die bei Bedarf auf wenigen Cores hohe Leistung fordern tritt das nicht so ganz. Damit ist der Epyc wohl raus.

@thb Stimmt, die Auswahl ist nicht gerade berauschend aber dann kann man ja auch zu nem Xeon-E greifen.
Magst du noch verraten warum du dann einen Xeon-W genommen hast? Ich seh einzig den leicht geringeren Preis als wirklichen Vorteil.
Das Board wäre übrigens auch mein Favorit bei Sockel 1200.


Für 10G LAN hätte ich auf SFP+ gesetzt wegen der geringeren Verlustleistung.
Diese würde ich über PCIe 3.0 x4 betreiben. Von der Bandbreite sollte das ja ausreichend sein...

Intel X710-DA2 LAN-Adapter, 2x SFP+, PCIe 3.0 x8, retail ab € 179,00 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Intel X710-DA2 LAN-Adapter, 2x SFP+, PCIe 3.0 x8, retail ✔ Bewertungen ✔ Produktinfo ⇒ Typ: LAN-Adapter • Bauform: 1x PCIe-Karte (wechselbare Blende: full height und low profile Blende im Lief… ✔ Adapter & Hubs ✔ Testberichte ✔ Günstig kaufen

geizhals.de

 

[thb]

Ich habe Anfang Februar gekauft. Der W-1250 kostete da rund 270,- Euro. Der vergleichbare Vorgänger (E3-2246G) lag bei rund 320,- Euro.

 

[Digi-Quick]

Pauschales Bashing ist immer unfair, das Problem bei solchen Meinungsäusserungen ist immer, das alle zufriedenen Nutzer sich hier nicht melden.
Aber du kriegst ja wohl auch Supermicro Boards klein, nicht war?


cu

Nunja, ich habe mittlerweile deutlich mehr Mainboards von SM verbaut als von AsRockRack, und da hat jetzt tatsächlich genau 1 Board innerhalb von 14 Tagen nach Inbetriebnahme die Grätsche gemacht - ging einfach reproduzierbar innerhalb von Minuten aus und das war keine Thermische Notabschaltung von der CPU initiiert - egal Ob BIOS Screen oder Setup-screen von Windows.

 

[v3nom]

Die iGPU würde ich durchreichen falls später mal benötigt. Falls es eine Variante mit und ohne iGPU gäbe würd ichs mitnehmen, falls nicht eben nicht.
Hab bei Geizhals gerade mal die Xeons ohne iGPU durchgesehen. Teils sind die mit iGPU sogar billiger als die ohne.
Was würdest du denn noch als Alterantive sehen?

Ich verstehe noch immer nicht wofür durchreichen...? Transcoding/Plex? An eine VM, wenn du per RDP drauf gehtst ist das unnötig.
Ich hab in meinem Server 2x Quadro P400 drin, das sind sparsame Karten die man auch durchreichen kann...

 

[supernode]

Danke euch für das Feedback.

Nachdem ich erst mal mit der Virtualisierung anfange möchte ich die Möglichkeit einer Grafikbeschleunigung mitnehmen.
Bspw. beim Xeon E sehe ich da auch keine große Einschränkung in der Auswahl und der Preis ist auch sehr ähnlich. Auch der Stromverbrauch ist nach allem was ich gelesen habe nicht viel höher.
Was wäre denn aus deiner Sicht eine CPU / Plattform die interessant wäre und keine GPU Variante bietet? AMD Ryzen ist ja auch noch im Topf.

Danke für den Tipp mit den Quadros. Die sind sicher keine schlechte Nachrüstlösung, benötigen aber auch wieder einen PCIe x16 Slot.
Aktuell sehe ich einen HBA und eine SFP+ Karte, d.h. zwei Slots (2x PCIe 3.0 x8 (mechanisch)) sind schon belegt.
Nur wenige Boards bieten überhaupt einen weiteren Slot. Eine spätere Erweiterung ist dann also quasi nicht mehr möglich.
Das ist auch der Grund warum mir die Mainboardauswahl sehr schwer fällt. Mit 10G Onboard wären mehr Slots über, aber das gibts eigentlich nur bei Asrock Rack.

Vielleicht findet sich ja noch wer der meine obigen Fragen zum C246 / HBA beantworten kann. Da fehlt mir für beides noch ne konkrete Entscheidung bzw. ein Produktvorschlag.

 

[maxblank]

HBA LSI3008

 

[tar]

Wofür brauchst du die (durchgereichte) Grafikkarte genau? Erst die RTX 2080 reizt PCIe 3.0 x8 übrigens aus (mit 2 % Verlust ggü. x16) - das hilft dir vielleicht bei der Auswahl bzgl. x16-Lane.

 

[danielmayer]

Asrockrack-Bashing ist völlig unangebracht. Ich hatte mehr Probleme mit dem (nicht-)Support von SM als je mit technischen Problemen mit Asrockrack. Mich ärgert bei denen eher die miesen Verfügbarkeiten...
Wie gea sagte: Flexibilität gibt's mit Epyc: 128 Lanes, sieben Slots auf ATX, vier fett angebundene bei mATX, häufig zusätzlich 2x10G onboard. Und nicht zu verachten: ich hatte noch nie Passthrough-Probleme bei Epyc! Ich ärgere mich dagegen ganz aktuell wieder über i3 und Celeron und deren nicht änderbare iommu-Gruppen.
Ich habe in Deinen Anforderungen keine VM gesehen, die speziell von hohen MHz profitiert statt mehr Kernen?

 

[b99]

Warum eigentlich ein HBA, wenn Proxmox verwendet werden soll? ZFS kann Proxmox von sich aus sehr gut. Da erspart man sich doch die Storage-VM

 

[supernode]

Wofür brauchst du die (durchgereichte) Grafikkarte genau?

Ehrlich gesagt hab ich zumindest aktuell noch keinen konkreten Anwendungsfall. Beim nem virtualisierten Windows könnte ich mir aber schon vorstellen dass die HW-Beschleunigung sinnvoll ist. Rein für Word & Excel natürlich nicht. ;-)

Die Anbindung und möglicherweise marginal geringere Leistung bei x8 wären mir eigenltich egal. Die x16 Bauform muss halt mechanisch passen.
Bei ner Dual-Slot-GraKa muss man dann schon wiederaufpassen wie das mit den anderen Karten kombiniert werden kann.

Ich habe in Deinen Anforderungen keine VM gesehen, die speziell von hohen MHz profitiert statt mehr Kernen?

Ich zeichne viele Sensordaten in einer InfluxDB auf, die Darstellung ist dann in Grafana.
Aktuell ist der Datenumfang noch moderat aber selbst jetzt merkt man schon eine deutliche Wartezeit wenn man mal einen längeren Zeitraum anzeigt.
Die Anzeige und Verarbeitung möchte ich gerne optimieren und sehe da in erster Linie Single-Thread-Performance.

Ich sehe die Vorteile hinsichtlich Flexibilität eines EPYC Systems durchaus. Der Preisunterschied zwischen modernem ZEN3 Ryzen und EPYC ist aber heftig.

Mit den AMD Consumer CPUs oder auch kleinen Xeons komme ich wohl noch gerade so mit den PCIe Lanes hin.
1x PCIe x16 -> Graka
1x PCIe x8 -> HBA (wenn nötig)
1x PCIe x4 -> SFP+ (wenn nicht onboard)
Dazu noch 2 NVMe PCIe x4 Slots für schnelle SSDs
max. 8 SATA Ports für SSDs oder Datengrab

Damit ist das Maximum in diese Klasse aber sowieso schon erreicht.

HBA LSI3008

Danke! Der Chip wird ja oft verbaut.
Gibts da bestimmte Hersteller auf die man schauen sollte?

ZFS kann Proxmox von sich aus sehr gut. Da erspart man sich doch die Storage-VM

Danke für den Hinweis, war mir bis jetzt nicht klar.

Das heißt ich kann die Onboard SATA Ports direkt verwenden? Das wär ja klasse.
Wenn dann im Vollausbau dann mehr Platten nötig werden könnte man ja immernoch einen HBA nachrüsten.

Das schau ich mir an sobald der Osterhase wieder für ein Jahr in seinem Bau verschwunden ist.




Nur mal ne weitere Idee: Macht es eigentliche Sinn Storage von der Virtualisierung, Docker & Co zu trennen? Sprich zwei separate Kisten...
Der Virtualisierungshost mit einigen schnellen Kernen und vielleicht zwei NVMe SSDs für den lokalen Speicher und 10G-Verbindung zum Storage.
Im Storage-System könnte man ggf. ohne Virtualisierung direkt auf alle Boardressourcen zugreifen. Letzterer könnte dann ja auch ein wenig langsamer sein, vielleicht sogar ein kleiner 8C EPYC 7252.

 

[tar]

Mit Ryzen wird es so oder so ein Kompromiss. Da kannst du dir im Vergleich zum AsRock Rack auch mal das ASUS Pro WS X570-Ace ansehen.

Da hättest du 3x PCIe 4.0 x16 mechanisch mit x16/-/x8 bzw. x8/x8/x8 elektrisch und 1x PCIe 4.0 x1. Der untere Slot wird über'n Chipsatz zur CPU dann zwar auf PCIe 4.0 x4 (= PCIe 3.0 x8) gedrosselt - für die Grafikkarte reicht das aber aus. Der Rest kann dann in die oberen Slots.

Allerdings sehe ich hier momentan keinen richtigen Sinn, eine dedizierte Grafikkarte einzubauen. Wenn, dann
- entweder (insofern das Board auch gänzlich ohne Grafikkarte bootet) die Grafikkarte nach Einrichtung wieder ausbauen, um den Slot anderweitig zu nutzen und den Server dann eben über's Netzwerk per Weboberfläche zu warten
- oder (falls das Board ohne Grafikkarte nicht bootet) direkt zum Ryzen Pro greifen und die iGPU nutzen oder eine kleine Grafikkarte in den x1-Slot einbauen

Einen HBA brauchst du auch erst, wenn du mehr als 8x SATA anschließen möchtest (bei dem Asus-Board mit 4x SATA-Slots onboard und einem U.2-auf-4fach-SATA-Adapterkabel) und selbst dann könntest du, wenn du bspw. den unteren M.2-PCIe 3.0 x4-Slot nicht nutzt, eine M.2-auf-5fach-SATA-Karte nutzen und könntest auf 13x SATA erweitern.

 

[underclocker2k4]

Es gibt keine U.2 auf 4x SATA Kabel.
U.2 ist der Anschluss an einer NVMe SSD mit U.2 Anschluss.
Dieser basiert auf SFF-8639, der wiederum auf SFF-8482 wie bei SAS-HDDs/SSDs basiert, und bei U.3 SSDs auch zum Einsatz kommt.

Das verlinkte Kabel ist ein SFF-8643 (aka mini SAS HD) auf SATA.

Für mehr Auswahl:

Festplatten & SSDs Festplattenkabel mit Anschlusstyp: SATA/SFF-8643 Preisvergleich Geizhals Deutschland

Preisvergleich und Bewertungen für Festplatten & SSDs Festplattenkabel mit Anschlusstyp: SATA/SFF-8643

geizhals.de

 

[maxblank]

Danke! Der Chip wird ja oft verbaut.
Gibts da bestimmte Hersteller auf die man schauen sollte?

https://www.broadcom.com/products/storage/host-bus-adapters/sas-9300-8i als Beispiel.
Denk dran, dass die im IT-Mode geflasht sein sollten, wenn du die durchreichen willst.

 

[tar]

Es gibt keine U.2 auf 4x SATA Kabel.
U.2 ist der Anschluss an einer NVMe SSD mit U.2 Anschluss.
Dieser basiert auf SFF-8639, der wiederum auf SFF-8482 wie bei SAS-HDDs/SSDs basiert, und bei U.3 SSDs auch zum Einsatz kommt.

Das verlinkte Kabel ist ein SFF-8643 (aka mini SAS HD) auf SATA.

Für mehr Auswahl:

Festplatten & SSDs Festplattenkabel mit Anschlusstyp: SATA/SFF-8643 Preisvergleich Geizhals Deutschland

Preisvergleich und Bewertungen für Festplatten & SSDs Festplattenkabel mit Anschlusstyp: SATA/SFF-8643

geizhals.de

Aus dem zugehörigen Handbuch, Seite 14:

Das Kabel sollte hoffentlich passen:

Werde berichten, wenn endlich mal das Board eintrudelt.

 

[underclocker2k4]

@tar
Und da steht geschrieben:

Der Mini-SAS-HD-Anschluss ermöglicht Ihnen, über ein Mini-SAS-HD-Kabel U.2-Geräte oder vier SATA-Geräte zu verbinden.

Man kann also mit einem Mini-SAS-HD-Kabel (ein Kabel für den Mini-SAS-HD-Anschluss) entweder U.2 Geräte oder SATA-Geräte anschließen.

Man braucht also ein Mini-SAS-HD auf 4x SATA Kabel . Daraus wird aber kein U.2 auf SATA Kabel, weil es ein Mini-SAS-HD auf 4x SATA Kabel ist und auch bleibt.
Als Pendent dazu gibt es auch ein Mini-SAS-HD auf U.2 Kabel.

DeLOCK U.2 miniSAS HD -> U.2 2.5

✔ Preisvergleich für DeLOCK U.2 miniSAS HD -> U.2 2.5

geizhals.at

Es gibt also zwei verschiedene Kabel für den SFF-8643-Anschluss, sofern er eben SAS/SATA bzw. auch NVMe auf dem Port zur Verfügung stellt.
Die Wahl des jeweiligen Kabels hängt vom Zielgerät ab.

 

[tar]

@underclocker2k4
Also nutzen Asus, Delock und Geizhals ungenaue Bezeichnungen/Erklärungen? Es ist ein SFF-8643-Port. Fertsch.

 

[supernode]

Mit Ryzen wird es so oder so ein Kompromiss.

Wie meinst du das? Aus Sicht der Leistung sehe ich AMD aktuell, speziell wegen PCIe 4.0, vorne.

Da kannst du dir im Vergleich zum AsRock Rack auch mal das ASUS Pro WS X570-Ace ansehen.

Das steht schon auf der Liste und wäre mein Ersatz.
AsRockRack bietet für 190€ mehr 2x10G und IPMI aber dafür einen PCIe weniger. Schaut man sich die Preise für Intel X550-T2 an so geht das schon in Ordnung.
Mit dem ASUS ist man wohl aber etwas flexibler, da hast du Recht. Speziell die Anordnung der PCIe Slots ist beim ASUS besser.

Einen HBA brauchst du auch erst, wenn du mehr als 8x SATA anschließen möchtest

Super, auf die Aussage habe ich gewartet. Dann könnte ich ja erst mal ohne starten und dann bei drohendem Speicherplatzmangel aufrüsten.
Gilt das dann auch für die C246 Plattform?

https://www.broadcom.com/products/storage/host-bus-adapters/sas-9300-8i als Beispiel

Danke!



Hatte mir heute auch nochmal die Epycs angesehen. Die Preise der CPUs gehen ja recht schnell in exorbitante Regionen daher hatte ich mich auf Zen 2 beschränkt und das untere Preisende betrachtet.
Mal im Vergleich zu nem 5800X (8C/16T @ 3.8GHZ, 420€) hatte ich einen Epyc 7232P (8C/16T @ 3.1 GHz, 380€) herangezogen. Gemessen an den Benchmarks gewinnt der AM4 deutlich (+72% Single Thread).

AMD EPYC 7232P vs Ryzen 7 5800X vs Ryzen 7 3800X [cpubenchmark.net] by PassMark Software

Die 16 Core Varianten wären Preislich auch nahe einem 5950X aber hinsichtlich Performance ist das sicher auch nicht viel anders. Leider, denn das passende Board Supermicro H12SSL-CT finge ich hingegen durchaus in Ordnung.
Für 566€ (+80€ mehr als das x570D4U-2L2T): 2x 10G, 8x SATA + 8x via SAS3008 und massig PCIe Slots.

 

[tar]

Wie meinst du das? Aus Sicht der Leistung sehe ich AMD aktuell, speziell wegen PCIe 4.0, vorne.

AMD ist vorne, aber mit Ryzen musst du mit Kompromissen ggü. einem Threadripper bzgl. der verfügbaren PCIe-Lanes leben. Dafür wirds halt günstiger (auch beim Stromverbrauch).

Das steht schon auf der Liste und wäre mein Ersatz.
AsRockRack bietet für 190€ mehr 2x10G und IPMI aber dafür einen PCIe weniger. Schaut man sich die Preise für Intel X550-T2 an so geht das schon in Ordnung.
Mit dem ASUS ist man wohl aber etwas flexibler, da hast du Recht. Speziell die Anordnung der PCIe Slots ist beim ASUS besser.

Ich habe auch überlegt, aber IPMI brauche ich nicht wirklich... wie oft geht man zu Hause schon ins BIOS oder installiert den Hypervisor neu - und tut es dafür dann nicht auch der kurze Weg zum Server? 10G wäre dann der einzig verbliebene Pluspunkt, den man im Asus aber nachrüsten kann.

Super, auf die Aussage habe ich gewartet. Dann könnte ich ja erst mal ohne starten und dann bei drohendem Speicherplatzmangel aufrüsten.
Gilt das dann auch für die C246 Plattform?

Du kannst bei ESXi die einzelnen Platten mittels RDM und auch ganze Controller mittels /etc/vmware/passthru.map an die VMs durchreichen (hab ich beides gerade mal getestet und funktioniert - mit ESXi v6.7.0 selbst als VM unter Windows mit Xeon 1245v3). Das gilt übergreifend auch für andere Chipsets.

 

[underclocker2k4]

@underclocker2k4
Also nutzen Asus, Delock und Geizhals ungenaue Bezeichnungen/Erklärungen? Es ist ein SFF-8643-Port. Fertsch.

Nein, wieso.

Asus schreibt doch, dass man ein SFF-8643 auf SATA für SATA-Geräte oder SFF-8643 auf U.2 (SFF-8639) für U.2 Geräte braucht.

Auch das von dir verlinkte Kabel bei Geizhals schreibt:

CableCreation Interner HD Mini SAS (SFF-8643-Host) zu 4X SATA (Ziel) Winkelkabel, SFF-8643 für Controller, 4 Sata-Verbindung zur Festplatte, 0,5M / 1,6FT

Und auch Delock schreibt in ihrem Dokument:

Die Konverter haben eine SFF-8643 Buchse; zum Anschluss muss ein passendes U.2 Kabel mit SFF-8639 oder SFF-8643 Stecker verwendet werden.

Das heißt, um ein U.2 Gerät anzuschließen braucht man ein passendes Kabel, welches Entweder (SFF-8643 auf) U.2 (SFF-8639) für SSD Direktanschluss oder Mini-SAS-HD (SFF-8643) für Backplanes, die dann U.2 SSDs aufnehmen, hat.

Nirgendwo steht, dass man ein U.2 auf SATA Kabel braucht, noch dass es sowas gibt.
Da du an dem Port auf dem ASUS-MB SATA-Geräte anschließen willst, braucht du ein Mini-SAS-HD (SFF-8643) auf SATA Kabel, so schreibt es ja auch Asus.
Du hast jetzt ein solches Kabel, mit genau dieser angegebenen Benamung für die Stecker, gekauft.

Das mit dem U.2 auf SATA hast du dir irgendwie selber ausgedacht, weil es wirklich nirgends so steht.

 

[supernode]

AMD ist vorne, aber mit Ryzen musst du mit Kompromissen ggü. einem Threadripper bzgl. der verfügbaren PCIe-Lanes leben.

Im Vergleich zu den kleinen Xeons stehen die Ryzen aber eigentlich sogar besser da (PCIe 4.0 vs. 3.0).

Ich plane aktuell mit IPMI, schaue mir aber auch Boards ohne an und setze sie auf die Liste . Dein ASUS stand übrigends auch schon drauf ;-)
Letztich muss das Gesamtpaket passen.

Bei C246 gibts auch viele Boards mit/ohne IPMI. Da muss ich mich noch auf eins festlegen bzw. hab noch nicht das perfekte entdeckt.
Tendenziell ist es da mit den PCIe Slots noch schlechter als bei den AM4 Boards.

Du kannst bei ESXi die einzelnen Platten mittels RDM und auch ganze Controller mittels /etc/vmware/passthru.map an die VMs durchreichen

Super, dann bin ich da ja recht flexibel. Wenn ich neben einem allg. Storage noch eine separate SSD für andere Zwecke einsetzen möchte, sollte das ja dann auch gehen.

Aktuell tendiere ich zu nem Ryzen System weil da P/L am besten erscheint. Dann könnte man später noch auf einen 16 Kerner upgraden.
Bei Xeon hätte ich eine in die Jahre gekommene Server Plattform und wohl besseren Software Support - wie lange steht auf nem anderen Blatt.