ASRock-Rack X570D4U : meine - etwas spezielleren - Erfahrungen....

Digi-Quick

Urgestein
Thread Starter
Mitglied seit
02.09.2009
Beiträge
7.082
ACHTUNG: "Wall of Text" folgt 8-)

Ein Neuer Terminalserver soll gebaut werden, auf dem auch eine recht anspruchsvolle Anwendung läuft (Agenda).

Nachdem die Hardware für die ursprünglich geplante Intel Plattform zur Zeit überhaupt nicht lieferbar ist bin ich kurzfristig zu AMD umgeschwenkt.

„Kernkomponenten“:
Mainboard: ASRock-Rack X570D4U
CPU: AMD Ryzen 9 5900X
RAM: 2x Micron DIMM 32GB, DDR4-3200
CPU Kühler: Ben Nevis Advanced

Als Speichersubsystem soll ein Raid 1 aus 2 NVME SSDs zum Einsatz kommen (Der Hersteller von Agenda gibt für eine optimal Performance ein SSD-Raid10 vor, geht hier allerdings „nur“ von SAS/SATA 6G aus).

Ursprünglich wollte ich 2 Samsung PM9A3 960GB an einem „HighPoint SSD7505 NVMe Raid Controller, PCIe 4.0 x4“ einsetzen, da das Thema bifurcation bei den kleineren Entry-Server / Workstation Plattformen von Intel eher Keines ist.

Da das ASRock-Rack Mainboard bis zu x4x4x4x4 bifurcation kann wurde der „ASUS HYPER M.2 X16 GEN 4“ bestellt – zum Bestellzeitpunkt noch ab Lager lieferbar. Dieser unterstützt laut ASUS Webseite auch die x590 Plattform. Aber nix war mit lieferbar – Lieferung auf unbestimmte Zeit verschoben. AAARGGH!

Was nun? Aaah, da gibt es ja auch was von Asrock - „ASRock Hyper Quad M.2“, sieht genau so aus und kann eigentlich auch alles was ich brauche! Ergo bestellt!

Zwischenzeitlich habe ich mitbekommen, daß es NVME-SSDs auch mit U2 Anschluss gibt und diese noch eher dem Lager Enterprise/Datacenter zuzuordnen sind und Performancetechnisch wohl nochmals deutlich über der PM9A3 liegen – zumindest was die IOPS angeht. Die Adaption von U2 auf M2 soll nachdem was ich an diversen Stellen gelesen habe prinzipiell eigentlich kein Problem sein, da bei beiden „Stecksystemen“ ja PCIe3/4 X4 als Schnittstelle darunter liegt und NVME „nur“ das Kommnikationsprotokoll ist.

Damit wurde die „Kingston DC1500M Data Center Series Mixed-Use SSD - 960GB, U.2“
interessant und 2x bestellt. Dazu (sollte eigentlich passen) 2x https://www.amazon.de/gp/product/B09DCXYMCZ/ref=ppx_yo_dt_b_asin_title_o01_s00?ie=UTF8&psc=1 , da mir hier die Kabelführung als besser passend zu der Asrock Karte schien.


Nu Gehts Los!!

Nachdem alles zusammengebaut war erstmal Pro Forma das BIOS und die BMC-Firmware aktualisiert.

Hmmmm….. - wieso sehe ich eigentlich im BIOS keines der beiden SSD Laufwerke – zumindest als Bootoption sollten die doch eigentlich auftauchen. Auch nach Umstellen auf NVME Raid kann RaidXpert keine Laufwerke sehen. Bifurcation hatte ich bereits auf x4x4x4x4 umgestellt.
Shit, die „ASRock Hyper Quad M.2“ unterstützt die x590 Plattform gar nicht. Das hatte ich geflissentlich überlesen bzw. nicht registriert.
Erst einmal Abgehakt bzw. auf später verschoben.

Das Mainboard hat ja zwei M2 Steckplätze, die PCIe gen4 x4/NVME können. Aber auch hier werden die beiden angeschlossenen SSDs nicht im BIOS angezeigt. Sehr merkgewürzig.

Also erst mal eine SATA SSD angeschlossen um da Windows 10 zu installieren. In der Installationsroutine wurde neben dieser dann auch eine der U2 SSDs als Installationsziel angeboten – nur eine? *Kopfkratz *
Egal erstmal auf die SATA SSD installieren und weiterschauen.
Aber egal wie auch im Windows wir dann immer nur eine der beiden U2 SSDs im Gerätemanager angezeigt. Schließe ich nur eine an, ist es egal welchen der beiden M2 Steckplätze ich verwende, auch werden dann jeweils beide SSDs angezeigt – diese also in Ordnung. Auch die Schnittstellenadapter nebst der dazugehörigen Kabel kann dann ich durchtauschen – diese sind also scheinbar auch in Ordnung. Aber verflixt und zugenäht niemals beide zusammen, wenn beide angeschlossen sind.

Interessehalber habe ich dann W10 auch mal auf die angebotene U2 SSD installiert, und siehe da, die bootet sogar.

CDI meldet ordnungsgemäß NVME und PCI gen3 x4 für die jeweils eingebundene U2-SSD.
Der AS SSD Benchmark leifert allerdings nahezu „unterirdische“ Ergebnisse – ca. 700MB/s Seq. sind bei 10 GB Testgröße einfach zu wenig und weit weg von dem erwartbaren Ergebnis – ist doch gerade mal geringfügig besser als bei SATA 6G normal wäre.

Nach einem längeren Telefonat mit dem Techniker von CTT/Sona scheint die Adaption von U2 SSDs auf M2-PCIe/NVME wohl doch nicht so ganz trivial zu sein und es gibt hier wohl öfters Inkompatibilitäten als man von technischer Seite vermuten würde. Er empfahl mir hier Adapterkarten und Kabel von DeLock zu verwenden und somit über Occulink zu adaptieren – M2key auf Occulink und Kabel mit Occulink auf SFF-8639 Device.
Sind bestellt, mal schauen ob es damit besser passt.



Frage:

Hat schon mal jemand von euch U2 SSDs auf M2 Adaptiert und sind diese dann auch in der „Storage Abteilung“ und/oder den Bootdevices im BIOS aufgeführt worden – zumindest bei On-Board M2-PCIe/NVME Steckplätzen?
(M2 kann ja leider auch nur SATA bzw. AHCI sein.)



P.S.: ich habe einen „HighPoint RocketStore SSD7120, RAID-Karte“ bestellt nebst Kabel - mal schauen wie der so performt – wobei der scheinbar nicht booten kann.
Eine „ASUS HYPER M.2 X16 GEN 4“ konnte ich bei e-bay ergattern, mal schauen ob das auch wirklich eine ist und nicht die „ASUS HYPER M.2 X16 V2“

The Story continues…
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Also ich habe zwei WD Enterprise u.2 SSDs mit NVME in je einem PCIe Slot mit Adapterkarte.

Wurde auf dem X570 direkt im BIOS erkannt und der ML350 Gen9 erkennt die auch.

Aber wurde nicht als Boot Laufwerk eingerichtet.

Was mich gewundert hat, war der neue Punkt im BIOS des X570 Mainboards.

Energie Einstellung für die WD U.2 SSD.....5,7 oder 11 Watt

Adapter war ein 10 Euro u.2 auf PCIe Slot.



Du hast keine Grafikkarte eingebaut oder?
Nur der erste Slot sollte 16 Lanes haben.
Der zweite Slot darf dann aber nicht verwendet werden.



ASUS Quad M.2 PCIe 3.0 hat bei mir in richtigen Servern nicht funktioniert.(ältere)

(Dell T340, ML350gen9, DL180gen9)
 
Ein Problem bei der M.2 zu U.2 Adaptierung dürften die Kabel und Stecker sein, die evtl. gerade bei PCIe Gen4 ein Problem bei der Signalübertragung darstellen.
Das könnte z.B, die unterirdische Datenübertragung bei dem Iso-File erklären; das der Link einfach nicht sauber ist. Sowas sieht man auch gerne im Gaming-Bereich mit ungeeigneten Riserkabeln für Grafikkarten, dass die dann rumspucken.

Für die Funktion der Dual- und Quad-Karten kommt es natürlich stark auf die Lane-Konfiguration an. Viele Serverboards mit den kleinen Sockeln sind oft bereits bifurcated, um eben mehre x4 oder x8 Slots anzubieten oder Onboard 10G oder SAS-Chips. Das eine Quad-Karte dann oft nicht funktioniert oder man eine speziell angepasste Dual benötigt, erscheint recht logisch. Das Supermicro X11SSH-CTF ist z.B. so ein Board wo Bifurcation wie Slotkarten nicht funktioniert, während andere schwächer ausgestattete Boards der gleichen Serie z.B. teilw. Bifurcation unterstützen.

Die Oculink-Adapter dürften deswegen empfohlen worden sein, da Oculink eh für Datacenter designed worden ist. Wenngleich ich auch eher Supermicro den Delock-Teilen vorziehen würde.
Dieses Thema und Erfahrungen ist auch hochinteressant für mich, da ich auch zwei PM9A3 7.68 U.2 an die M.2-Slots des X570D4U-2L2T hängen will (die M.2 sind nur bis 3.84TB verfügbar und langsamer gerated).

@Digi-Quick : welches OS soll verwendet werden? Nachdem Du Raid-Adapter anführst, vermute ich mal Windows Server 2019 mit TS-Lizenzen? Denn bei Linux oder BSD würde ich nicht auf Hw-Raid gehen, sondern ZFS-Volumes. Eventuell würde sich ja Proxmox anbieten, um einen NVME-ZPool zu erzeugen und den Terminalserver als VM drauf? Der Ram-Cache sowie LZ4-Komprimierung von ZFS könnte ich mir vorstellen, wäre durchaus von Vorteil.
 
Zuletzt bearbeitet:
P.S.: ich habe einen „HighPoint RocketStore SSD7120, RAID-Karte“ bestellt nebst Kabel - mal schauen wie der so performt – wobei der scheinbar nicht booten kann.
Brauchst du das RAID?
z.B.:
 
Zum Thema ASUS Hyper M.2 X16 Gen 4 und X570: schau dir mal diesen Artikel an https://www.hardwareluxx.de/index.p...k-sn850-im-raid-an-die-grenzen-von-pcie4.html
Leider ist bei AMD die Onboard-RAID-Lösung dahingehend beschränkt, dass du dann das RAID als Bootlaufwerk verwenden musst.
Danke für den Link!
Da das ganze als Bootlaufwerk eingerichtet werden soll, wäre das - vorerst - unproblematisch

Also ich habe zwei WD Enterprise u.2 SSDs mit NVME in je einem PCIe Slot mit Adapterkarte.

Wurde auf dem X570 direkt im BIOS erkannt und der ML350 Gen9 erkennt die auch.

Aber wurde nicht als Boot Laufwerk eingerichtet.

Was mich gewundert hat, war der neue Punkt im BIOS des X570 Mainboards.

Energie Einstellung für die WD U.2 SSD.....5,7 oder 11 Watt

Adapter war ein 10 Euro u.2 auf PCIe Slot.
Danke, bestätigt im Prinzip die Theorie, daß das genau so auch mit M2-PCIe Gen3/4 X4 / NVME Adapterkarten funktionieren müßte

Du hast keine Grafikkarte eingebaut oder?
Nur der erste Slot sollte 16 Lanes haben.
Der zweite Slot darf dann aber nicht verwendet werden.
Nein, lokal reicht die ASPEED AST2500

ASUS Quad M.2 PCIe 3.0 hat bei mir in richtigen Servern nicht funktioniert.(ältere)

(Dell T340, ML350gen9, DL180gen9)
Das wird vermutlich daran liegen, daß diese allesamt kein bifurcation können
Beitrag automatisch zusammengeführt:

Ein Problem bei der M.2 zu U.2 Adaptierung dürften die Kabel und Stecker sein, die evtl. gerade bei PCIe Gen4 ein Problem bei der Signalübertragung darstellen.
Das könnte z.B, die unterirdische Datenübertragung bei dem Iso-File erklären; das der Link einfach nicht sauber ist. Sowas sieht man auch gerne im Gaming-Bereich mit ungeeigneten Riserkabeln für Grafikkarten, dass die dann rumspucken.
Genau in diese Richtung geht momentan mein Verdacht!

Für die Funktion der Dual- und Quad-Karten kommt es natürlich stark auf die Lane-Konfiguration an. Viele Serverboards mit den kleinen Sockeln sind oft bereits bifurcated, um eben mehre x4 oder x8 Slots anzubieten oder Onboard 10G oder SAS-Chips. Das eine Quad-Karte dann oft nicht funktioniert oder man eine speziell angepasste Dual benötigt, erscheint recht logisch. Das Supermicro X11SSH-CTF ist z.B. so ein Board wo Bifurcation wie Slotkarten nicht funktioniert, während andere schwächer ausgestattete Boards der gleichen Serie z.B. teilw. Bifurcation unterstützen.
Deswegen war die ASUS Karte im ursprünglich geplanten Intel System kein Thema.

Die Oculink-Adapter dürften deswegen empfohlen worden sein, da Oculink eh für Datacenter designed worden ist. Wenngleich ich auch eher Supermicro den Delock-Teilen vorziehen würde.
Dieses Thema und Erfahrungen ist auch hochinteressant für mich, da ich auch zwei PM9A3 7.68 U.2 an die M.2-Slots des X570D4U-2L2T hängen will (die M.2 sind nur bis 3.84TB verfügbar und langsamer gerated).
Dann sind wir ja schon Zwei 8-)

@Digi-Quick : welches OS soll verwendet werden? Nachdem Du Raid-Adapter anführst, vermute ich mal Windows Server 2019 mit TS-Lizenzen? Denn bei Linux oder BSD würde ich nicht auf Hw-Raid gehen, sondern ZFS-Volumes. Eventuell würde sich ja Proxmox anbieten, um einen NVME-ZPool zu erzeugen und den Terminalserver als VM drauf? Der Ram-Cache sowie LZ4-Komprimierung von ZFS könnte ich mir vorstellen, wäre durchaus von Vorteil.
Es soll W2K19 installiert werden.
An die VM Lösung mit ZFS darunter habe ich auch schon gedacht :-)
Da müßte ich aber aus Performancegründen auf Sync-Write verzichten - vermute ich mal stark.
 
Zuletzt bearbeitet:
Brauchst du das RAID?
z.B.:
Der ist Hostseitig nur mit PCIe Gen3.1 X8 angebunden >> für NVME SSDs steht folglich nur PCIe-X2 zur Verfügung

Für PCIe X16 (Gen.3-4) sieht es ziemlich Mau aus...
Für 4x U2: https://geizhals.de/?cat=iosasraid&...CIe+3.0+x16~614_PCIe+3.1+x16~614_PCIe+4.0+x16
gibt es nur einen Raidcontroller von Highpoint, ind 2 reine HBAs (Supermicro und LSI)

Für 4(8)xM2 https://geizhals.de/?cat=iosasraid&...CIe+3.0+x16~614_PCIe+3.1+x16~614_PCIe+4.0+x16
nur noch Highpoint


Insgesamt ist U2 hier deutlich unterrepräsentiert
Beitrag automatisch zusammengeführt:

Server 2022 ist schon offiziell raus.
Dürfte von Agenda noch nicht freigegeben sein...
 
Der ist Hostseitig nur mit PCIe Gen3.1 X8 angebunden >> für NVME SSDs steht folglich nur PCIe-X2 zur Verfügung
Wie kommst du auf das x2?
Die SSDs werden mit x4 angebunden. Dort ist quasi ein besserer "Switch" verbaut. Es wird kein Bifurcation eingesetzt!
Zwar kann man nicht die komplette Bandbreite aller SSDs zu gleichen Zeit ausnutzen, allerdings von 2 auf jeden Fall bzw. dann eine Summierung mit verschiedenen Anteilen aller SSDs.
(x2 ist bei Anbindung von 8 SSDs)

EDIT:
Es gibt auch Karten von z.B. QNAP, die über einen PLX verfügen. Auch dort wird kein Bifurcation eingesetzt. Dort kann man bis zu 4 M.2 SSDs einsetzen.

Wenn der Summenspeed dein Problem ist, dann
 
Zuletzt bearbeitet:
Wie kommst du auf das x2?
Die SSDs werden mit x4 angebunden. Dort ist quasi ein besserer "Switch" verbaut. Es wird kein Bifurcation eingesetzt!
Zwar kann man nicht die komplette Bandbreite aller SSDs zu gleichen Zeit ausnutzen, allerdings von 2 auf jeden Fall bzw. dann eine Summierung mit verschiedenen Anteilen aller SSDs.
(x2 ist bei Anbindung von 8 SSDs)
Spätestens wenn man auf 4 SSDs im Raid10 aufrüsten besteht hier ein Flaschenhals, die logisch/physikalische Anbindung der SSDs mag x4 sein, die Performance ist aber dann nur noch X2

EDIT:
Es gibt auch Karten von z.B. QNAP, die über einen PLX verfügen. Auch dort wird kein Bifurcation eingesetzt. Dort kann man bis zu 4 M.2 SSDs einsetzen.
Bei GH wird nur ein SAS Controller gelistet:

Wenn der Summenspeed dein Problem ist, dann
Der befindet sich in obiger Liste
 
Spätestens wenn man auf 4 SSDs im Raid10 aufrüsten besteht hier ein Flaschenhals,
Deswegen die Frage nach dem RAID. (indirekt, was hat man damit vor)
Man sollte nicht vergessen, dass dort Datenraten zusammenkommen, die schon einen sehr speziellen use case erfordern.

Ein "ja, aber im Summe ist das dann zu wenig" ist da nicht zielführend.

Hersteller können viel fordern. Sie haben aber eigentlich keinen Aufbau zu definieren, sondern einen Speedanforderung:
Wir brauchen min 500MB/s, besser 1GB/s.
Gerne hätten wir 20k IOPS.
Punkt.
Solche Vorgaben zeigen nur, dass die Leute keine Ahnung von Storage Subsystemen haben. Evtl. ist das auch ein Hinweis auf den Rest...

Was mache ich mit SAS SSDs? Was mache ich mit DualPort SAS-SSDs? Die machen auch ihre 2GB/s. Brauche ich dann auch 2 im RAID0, aber besten 7, weil die "Idee" aus einer Zeit von SSDs kam, als die noch mit SATA1 angebunden waren?

Da sollte man die Firma mal ein wenig Volley nehmen oder die korrekten Fragen stellen.


Dann selbe Diskussion wie oben.

EDIT:
Ich behaupte mal, dass ein klassisches RAID1 mit SAS SSDs an einem klassichen SAS-Controller deine ganzen Übungen oben völlig obselet gemacht hätten, mit ausreichend Speed.
Das ist btw. auch der Grund, warum ich selbst bei FertigServer noch nicht auf NVMe gehe. Es ist einfach, für mich, noch zu viel gebastel, auch bei den üblichen Verdächtigen.
Insbesondere dann, wenn man zwingend den Speed braucht.
 
Zuletzt bearbeitet:
Ich könnte mir vorstellen, dass die PM9A3 , insbesondere dann die größeren U.2, kein zu großes Problem mit Syncwrites haben dürften.
Aber vorstellen heisst nicht, es zu wissen, Leider gibts über die PM9A3 z.B. kein Review von Storagereview, Thessdreview oder Anandtech. HWL, wie wärs? 😁
Die Dinger würden mich schon anlachen, aber ich will halt nicht blind 2400 Euro zzgl. Adapter privat dafür ausgeben.

Man könnte könnte natürlich auch einen Mirror aus P5800X einsetzen. Dann gibts kein Latenzproblem mit Sync bei den SSDs, aber vmtl. gerät dann das Budget ausser Sync. :asthanos:

Mit ZFS könnte man halt auch gleich wunderbar Snaps von der W2K19-Umgebung machen für Desaster-Rollback und zur Sicherung auf eine Backupkiste.
 
Zuletzt bearbeitet:
@underclocker2k4
Deine Argumente sind sicherlich nicht ganz von der Hand zu weisen, mit 12G SAS wäre ich vermutlich auch zum Ziel gelangt.... - spätestens mit einem Raid 10. :-)
Auf der anderen Seite reizt es durchaus das technisch machbare auszuloten.

Kleines Update:
Ich habe vom Asrock Support eine Antwort erhalten!

Zitat:
"Theoretisch sollte es dennoch funktionieren, sobald der PCIE Slot von x16 auf x4x4x4x4 umgestellt wurde.
Und dort angeschlossene M2 Laufwerke dann in Windows erkannt werden. Da letztendlich ja nur die jeweiligen x4 Lanes direkt an den entsprechenden M2 Steckplatz geleitet wird. Es ist ja kein aktiver Controller dazwischen…
Hatten dieses damals mit dem X570M Pro4 getestet und konnten dann ein Raid erstellen. Siehe beigefügte Fotos."
RAID.JPGRAID1.jpg

Dies bestärkt mich abermals in meiner Vermutung, daß die Kombination aus Adapter und Kabel ungeeignet sind.
 
Dies bestärkt mich abermals in meiner Vermutung, daß die Kombination aus Adapter und Kabel ungeeignet sind.
Das ist tatsächlich ein Problem. Es sind keine Treiberstufen mehr vorhanden. Dann geht das über zig Adapter und Kabel und Stecker usw.
Das kann bei einem solchen empfindlichen System nur nach hingen losgehen. Am ehesten geht evtl. noch onboard M.2 Slot und das Kabel dann am besten aufgelötet.

Daher sind die HBAs schon nicht verkehrt.
Es hat schon nen Grund, warum beim HPE DL385 die "NVMe" Ports ganz vorne auf dem MB sind.
 
Noch ein Update!

Die DeLock M2 zu Occulink sowie die Kabel sind gekommen:
Beide SSDs an den OnBoard M2 Ports angeschlossen! Im Non Raid Modus werden beide an "unerwarteter" Stelle im BIOS angezeigt
image0044.jpg
In der Storage Configuration aber nach wie vor nicht:
image0042.jpg

Im Raid Modus (RaidXpert2) werden sie gar nicht angezeigt
image0043.jpg

Interessanterweise sieht RaidXpert2 zwei Controller, aber keine SSD....
image0045.jpg


Das gleiche "Bild" zeigt sich auch wenn die SSDs an dem heute eingetrudelten „ASUS HYPER M.2 X16 GEN 4“ via M2/Occulink/U2 2,5" angeschlossen sind.
Somit erscheint es unmöglich die Beiden SSDs im Raid1 via Chipsatz/RaidXpert2 u betreiben

Im Non Raid Modus bootet das bereits auf einer der SSDs installierte Windows nach wie vor!
Der MS-Bootmanager wird jetzt auch unter den Botoptionen im BIOS angezeigt, bei aktiviertem CSM sogar die SSD selbst!
Die Leistungsdaten (AS SSD und Crystal Disk Mark) sind jetzt auch schon mal auf einem deutlich besseren Niveau (ca. 1700 MB/s seq.)

Wir sind also schon mal weiter, aber leider nicht am Ziel (Raid 1, bootfähig).


Wie Befürchtet:
Der Highpoint ist nicht bootfähig bzw. nur eingeschränktt Bootfähig - es meldet sich kein BIOS/keine Firmware!!!!
Eine angeschlossene Non Raid SSD bootet allerdings ganz normal und wird in der Highpoint Verwaltungsoberfläche als "Legacy" angesehen
(Irgendwas ist halt immer!)


Leistung:
Raid 1 am Highpoint
image0048.jpg

Single Disk am Mainboard
image0049.jpg

Ich würde sagen, daß das Raid 1 insgesamt verliert, auch wenn die Sequentielle Leseleistung noch 'ne ordentliche Schippe drauflegt.

Gegenüber dem bisherigem Raid1 aus 2 Kingston SSDNow DC 400 sind das aber Welten, auch wenn die Messung etwas unfair ist (Laufendes System, belegte SSD, sprich nicht leer)!
image0046.jpg


FAZIT: Das Thema U2 an M2 ist offenbar deutlich diffiziler als angenommen und längst nicht so einfach, wie einige Artikel, die ich hierzu gelesen habe, dieses vermuten lassen.

Eigentlich ist das ja Alles NVME/PCIe, wobei NVME das Kommunikationsprotokoll ist und PCIe die physikalisch elektrische Schnittstelle ist.
M2, U2, SFF-xxxx, Occulink etc. sind "nur" die Mechanischen (Steck-)Verbindungen.
Hinzukommt, daß jede Steckverbindung die Signalqualität beeinträchtigt und die zusätzlichen Leitungslängen das ganze auch nicht gerade verbessern.

Hätte ich das ASRock Rack X570D4I-2T genommen, hätte ich 2x Occulink/PCIe X4 Ports gehabt, was vermutlich einfacher gewesen wäre - da wäre aber wieder das Problem mit der Verfügbarkeit / Lieferbarkeit gewesen.

Eigentlich widerstrebt es mir einen Server ohne redundantes Speichersubsystem aufzusetzen, hier sehe ich aber derzeit keine besser Alternative.
Allerdings kann ich wiederum mit 2 SSDs System/Programme und Nutz-Daten trennen, was eigentlich ein eventueller Upgrade Pfad war
Der Highpoint ist einfach zu "schlecht" insbesondere wenn ich die 4K Werte vergleiche und würde nur für ein reines "Datenlaufwerk" gehen

Schlußfrage: Ich habe gesehen, daß es wohl einige SAS-SSDs mit mit Sequentiellen Transferraten von >=2000 MB/s angegeben, was rein zufällig etwa das doppelte von 12 G ist. Bedeutet das, daß diese dann mit 2 SAS Anschlusskabeln am Controller angeschlossen werden, oder sind das wieder ganz andere Kabelpeitschen? Oder muß der Controller dafür geeignet sein?
Die Western Digital Ultrastar DC SS530 hatte ich nämlich durchaus auch als Alternative auf dem Radar.
 
Zuletzt bearbeitet:

Wäre ein Broadcom Raid Controller mit NVMe / U2 Unterstütztung eine Option?
 
Hast du mal versucht, nur den Bootloader auf z.B. USB zu legen und manuell das OS per DISM auf einen mirror-Pool zu ziehen? Alternativ mal mit VHDX auf dem mirror-Pool probiert? Dann hättest Du zumindest redundante Datenträger für die OS-„Partition“ und ein neuer USB-Stick mit Loader ist ja im Falle eines Falles schnell erstellt (oder bereits vom funktionierenden gecloned).
 
Schlußfrage: Ich habe gesehen, daß es wohl einige SAS-SSDs mit mit Sequentiellen Transferraten von >=2000 MB/s angegeben, was rein zufällig etwa das doppelte von 12 G ist. Bedeutet das, daß diese dann mit 2 SAS Anschlusskabeln am Controller angeschlossen werden, oder sind das wieder ganz andere Kabelpeitschen? Oder muß der Controller dafür geeignet sein?
Die Western Digital Ultrastar DC SS530 hatte ich nämlich durchaus auch als Alternative auf dem Radar.
Interface SAS 6/12Gb/s supports wide port @ 12Gb/s

Und ja, mehr Speed heißt, bei gleicher Technologie, auch mehr Signalpfade und damit mehr Drähtchen.
WLAN machen die nicht, das kann ich versprechen.

Aber sagen wir so, wenn du das mit U.2 schon "interessant" fandest, wird es bei dual Port SAS noch spannender.

Sowas wird normal über aktive Backplanes gemacht. Passive Backplanes haben sowas in aller Regel nicht implementiert. Und auch der Controller muss das können, daher auf den üblichen Verdächtigen setzen.

Ich hatte auch mal SFF-8482-SATA Kabel gesehen, aber welcher Controller, der das kann, hat das?
Einfachste Option:
Wohl auch am billigsten.

PS: Grundregel, man nimmt niemals nicht Highpoint Controller. Ich habe irgendwo ganz billige HBA für mehr Ports, die sind schon "interessant". Ich glaube, dafür gibt es nichtmal Linux-Treiber, sind glaube Marvell ICs drauf. Unter Windows ganz nett, aber mehr auch nicht.
Die Controller nimmt man, wenn man den Azubi ärgern will.
Für alles andere gibt es eigentlich nur einen Standard bzw. Hersteller. (vom Chip)
Beitrag automatisch zusammengeführt:

Hätte ich das ASRock Rack X570D4I-2T genommen, hätte ich 2x Occulink/PCIe X4 Ports gehabt, was vermutlich einfacher gewesen wäre - da wäre aber wieder das Problem mit der Verfügbarkeit / Lieferbarkeit gewesen.
Naja, einfach ist das schon, man braucht die richtige Infrastruktur.
Nimmt man sowas, ist alles easy.
Alles andere sollte eben mit direkten Anschlüssen gehen. Also M.2 SSD in ein M.2 Slot. U.2 SSD an einen SFF-8643 oder vergleichbar.
Von U.2 auf Schuko auf Gardena klappt, gerade bei PCIe 4.0, eigentlich nicht. Aber Versuch macht klug. Und ist sicherlich für andere User informativ.

Daher lasse ich @work im Moment auch die Finger davon, solange die Hersteller keine Full U.2/3 oder ähnlich Server anbieten.
SAS, auch mit nur 12GB/s, ist aktuell noch hinreichen schnell. Ich hatte mal gebencht, mit 8 Laufwerken kommst du im RAID5 auf irgendwas um 4GB/s.
Das ist oft hinreichend schnell. Da braucht es oftmals weder NVMe oder dual port SAS.
 
Zuletzt bearbeitet:
Hast du mal versucht, nur den Bootloader auf z.B. USB zu legen und manuell das OS per DISM auf einen mirror-Pool zu ziehen? Alternativ mal mit VHDX auf dem mirror-Pool probiert? Dann hättest Du zumindest redundante Datenträger für die OS-„Partition“ und ein neuer USB-Stick mit Loader ist ja im Falle eines Falles schnell erstellt (oder bereits vom funktionierenden gecloned).
Dafür müßte ja der Mirror trotzdem zum Bootzeitpunkt zur Verfügung stehen.... - und genau das klappt ja nicht.

In diesem Falle wäre die Lösung Proxmox mit einem ZFS-Mirror und dem OS als VM überlegenswert....
Oder auch Gea's " AIO Konzept

Da ich jetzt gerade "Aufschub" bekommen habe, kann ich mal ein wenig Testen :-)
(Ich habe einfach ein wenig Bauchschmerzen ohne Redundanz, auch wenn die Enterprise-/Datacenter-SSds als extrem robust gelten)
Beitrag automatisch zusammengeführt:



Und ja, mehr Speed heißt, bei gleicher Technologie, auch mehr Signalpfade und damit mehr Drähtchen.
WLAN machen die nicht, das kann ich versprechen.

Aber sagen wir so, wenn du das mit U.2 schon "interessant" fandest, wird es bei dual Port SAS noch spannender.

Sowas wird normal über aktive Backplanes gemacht. Passive Backplanes haben sowas in aller Regel nicht implementiert. Und auch der Controller muss das können, daher auf den üblichen Verdächtigen setzen.

Ich hatte auch mal SFF-8482-SATA Kabel gesehen, aber welcher Controller, der das kann, hat das?
Einfachste Option:
Wohl auch am billigsten.
Stützt meine Vermutung, daß es da keine direkten "Fanout"-Kabel für den direkten Anschluß gibt - also 4 SAS Lanes (Controllerseitig) auf 2 x 2 SAS Lanes, alles was ich da bisher gesehen habe ist immer 4 SAS Lanes (Controllerseitig) auf 4 x 1 SAS + Power oder 4 SAS Lanes (Controllerseitig) auf 4 x 1 SATA.

Ob dieser Adapter auch noch bei 2x12G mitspielt? Angegeben ist er jedenfalls nur für 6G.


PS: Grundregel, man nimmt niemals nicht Highpoint Controller. Ich habe irgendwo ganz billige HBA für mehr Ports, die sind schon "interessant". Ich glaube, dafür gibt es nichtmal Linux-Treiber, sind glaube Marvell ICs drauf. Unter Windows ganz nett, aber mehr auch nicht.
Die Controller nimmt man, wenn man den Azubi ärgern will.
Für alles andere gibt es eigentlich nur einen Standard bzw. Hersteller. (vom Chip)
Man sieht ja deutlich, daß der Performance-technisch deutlich einbricht..... - war jetzt eigentlich nur die Bestätigung meiner Erwartung.
Ich werde mir hier mal den Vergleich zu einem reinen Windows Mirror (via Datenträgerverwaltung) anschauen...


Naja, einfach ist das schon, man braucht die richtige Infrastruktur.
Nimmt man sowas, ist alles easy.
Nettes Teil, wäre halt leicht Überdimensioniert - und sicherlich nicht so Leise wie mein Build :-)

Alles andere sollte eben mit direkten Anschlüssen gehen. Also M.2 SSD in ein M.2 Slot. U.2 SSD an einen SFF-8643 oder vergleichbar
Von U.2 auf Schuko auf Gardena klappt, gerade bei PCIe 4.0, eigentlich nicht. Aber Versuch macht klug. Und ist sicherlich für andere User informativ..
Theorie & Praxis...
Oder wie ich auf der Technikerschule gelernt habe: "Der Techniker ist Derjenige, der dem Meister erklärt warum das, was der Ingenieur konstruiert hat, nicht funktioniert."

Daher lasse ich @work im Moment auch die Finger davon, solange die Hersteller keine Full U.2/3 oder ähnlich Server anbieten..
Das Thema U2/NVME scheint noch nicht wirklich angekommen / etabliert zu sein.

SAS, auch mit nur 12GB/s, ist aktuell noch hinreichen schnell. Ich hatte mal gebencht, mit 8 Laufwerken kommst du im RAID5 auf irgendwas um 4GB/s.
Das ist oft hinreichend schnell. Da braucht es oftmals weder NVMe oder dual port SAS.
Ich hatte gar nicht mal auf die maximale seq. Transferrate geschaut sondern explizit auf die IOPS schreibend.
 
Zuletzt bearbeitet:
@Digi-Quick ich meinte auch nicht, ein BIOS-RAID/Mirror sondern einen, den du als MS Storage Pool anlegst. Oder kommst du gar nicht so weit? Sieht denn ein Windows-Installer die Disks an den Adaptern? Oder zumindest diskpart (Shift+F10 im Installer)?
 
Ich hatte gar nicht mal auf die maximale seq. Transferrate geschaut sondern explizit auf die IOPS schreibend.
Dann geht das auch mit dual port SAS SSDs an einem Port.
Haben wir auch nur im Einsatz. Sind durch die Bank 1645a SSDs, immer mit nur einer Lane angebunden.
Wenn nur die IOPS interessant sind, dann geht das sofort.
 
An das AIO-Konzept mit ESXI und Storage-VM hab ich auch schon gedacht, aber dann musste ein paar Dinge beachten
- kommerziell nutzbare ESXI-Lizenz und garantierter Support für Patches
- das impliziert ESXI-zertifizierte Hardware
- Leute, die sich mit ESXI auskennen.
- wieviel IOPS/Durchsatz geht über NFS/iSCSI vom VM-Storage zu den Applikationen

Drum hatte ich oben eher erstmal Richtung Proxmox gedacht.
 
Das verstehe ich nicht.
Der free hypervisor ist kommerziell nutzbar. Auch dieser erhält Patches, analog zu den Vollversionen, ggf. etwas später.
Für ESX braucht man keine speziell zertifizierte HW. In großen Produktivumgebungen erstmal auch nicht. Erst dann, wenn man Support vom VMware will. Aber Support!=Patches.
Wenn man eh nen ESX hat, dann hat man eh die Leute. Und ja, ESX ist der Branchenstandard. Gibt es andere Lösungen? Klar. Sind die stellenweise besser? Ja. Sind sie Standard? Nein.
Auch für Proxmox brauchst du Leute, die sich auskennen. Gilt auch für Hyper-V und KVM und selbst für nen Syno als VM-Host.
Für alles braucht man Leute, die sich auskennen. Die Wahrscheinlichkeit, einen zu finden, ist bei ESX am größten, bei Hyper-V wirds dann weniger und je weiter man vom ESX weg kommt, desto weniger Leute findet man, die das können.
Das heißt, Schulen musst du die im Zweifel eh.
Also so abwegig ist ne StorageVM nicht. Wobei dann irgendwann Themen hochkommen wie Redundanz usw. Außerdem vermengt man Storage und V-Host, hmmm...
VSAN ist da ähnlich, Vorteil hier ist, dass alles in einem Guss ist, ist das besser, man wird sehen.
 
[blubb]Bei mir hat RAID immer mehr Probleme gemacht, als es gelöst hätte. Von daher für die Bootplatte ein Ersatz-Image und Drive bereithalten ist vielleicht eh die bessere Alternative. [/blubb]
Damit bist du wohl eher einer der Wenigen!
Ich hatte schon mehr als ein degradetes Raid wegen Plattenausfall, welches Problemlos weiter lief und die Zeit bis zum Austausch und Rebuild des Raids das jeweilieg System am Laufen hielt!

@Digi-Quick ich meinte auch nicht, ein BIOS-RAID/Mirror sondern einen, den du als MS Storage Pool anlegst. Oder kommst du gar nicht so weit? Sieht denn ein Windows-Installer die Disks an den Adaptern? Oder zumindest diskpart (Shift+F10 im Installer)?
Wie bereits oben beschrieben, werden die Disks vom Installer erkannt.

Ich hatte auch schon in der Datenträgerverwaltung geschaut, ob ich hier nachträglich einen Mirror einrichten kann. Dies scheint jedoch nur für die Installationspartition selbst zu gehen....

AHA!

geht also nur via DISKPART!
 
Zuletzt bearbeitet:
Ein weiteres Update!

mit aktiviertem CSM und Storage OpRom Policy auf legacy only werden alle SSDs erkannt - allerdings gibt es keinen Menupunkt für RaidXpert2 !
image50.jpg image51.jpg image52.jpg

mit aktiviertem CSM und Storage OpRom Policy auf UEFI wird nur noch die SATA SSD erkannt.
(darüber hinaus tauchen die U2 SSDs auch nicht mehr in der Advanced Sektion auf, wir auf dem Bild weiter oben erkennbar, wekches bei deaktiviertem CSM aufgenommen wurde.)
image53.jpg image54.jpg

Derzeit bin ich komplett unsicher, ob sich eine M2-NVME /PCIe SSD tatsächlich anders verhalten würde.....
 
Noch'n Update:
Eine Samsung SSD 980 MVMe M2 taucht im UEFI Modus ebenfalls nicht in der Storage Configuration auf, wird aber im RaidXpert2 als Laufwerk erkannt

@undervolter19
Danke für den Link, werde ich mal durchlesen - in der SSD Sektion habe ich mich bislang nicht so oft aufgehalten.
 
Frage:

Hat schon mal jemand von euch U2 SSDs auf M2 Adaptiert und sind diese dann auch in der „Storage Abteilung“ und/oder den Bootdevices im BIOS aufgeführt worden – zumindest bei On-Board M2-PCIe/NVME Steckplätzen?
(M2 kann ja leider auch nur SATA bzw. AHCI sein.)

Ja, mach ich hier so. Klappt wunderbar.

Ich habe allerdings ein TRX40 Board mit einem Threadripper 3960X. Das Board (Gigabyte TRX40 Aorus Xtreme) hat 4 M.2 Slots, zwei an der CPU und zwei am Chipsatz, alle 4 sind aber PCIe 4.0 (der Chipsatz ist ja mit PCIe 4.0 x8 angeschlossen). Im UEFI/BIOS ist CSM ausgeschaltet. Dieses AMD NVMe RAID Feature ist ebenfalls ausgeschaltet. Alle SSDs werden korrekt dort im BIOS korrekt angezeigt.

Ich habe als Boot-Platte eine Corsair MP600 PRO 2TB PCIe 4.0 an einem Delock M.2-Adapter (https://www.delock.de/produkte/G_62984/merkmale.html) und zusätzlich noch zwei Crucial P5 mit je 2TB (allerdings nur PCIe 3.0) an so China-Adaptern von AliExpress (ähnlich dem hier: https://de.aliexpress.com/item/33050933453.html), die sind aber recht vernünftig ausgeführt.

Ich habe auch zusätzlich noch einen Adapter mit Flachbandkabel von AliExpress hier rumkullern (https://de.aliexpress.com/item/4000459857767.html) mit 50cm Länge, an dem laufen zumindest die PCIe 3.0 SSDs auch problemlos. Das Handling mit dem Flachbandkabel ist nur nicht so schön, deswegen ist der erstmal nicht verbaut.

Die SSDs selbst sitzen dann in solchen ICY BOX U.2 2.5" Adaptern (https://www.amazon.de/gp/product/B08M3WT4WL), die sind auch für PCIe 4.0 spezifiziert und sind recht solide.

Ich habe mir jetzt mal so einen M.2-auf-SFF-8654 Adapter bei Amazon bestellt (https://www.amazon.de/gp/product/B09DCXYMCZ), den werde ich auch mal testen. Das kann ich aber erst berichten, wenn der auch angekommen ist.

Zu der Frage nach den verfügbaren PCIe-Adaptern fällt mir noch die Karte von Gigabyte ein (die bei meinem Board dabei lag, aber auch einzeln erhältlich sein soll): https://www.gigabyte.com/Solid-State-Drive/AORUS-Gen4-AIC-Adaptor
Dafür braucht man auch eine Bifurcation-Einstellung im UEFI. In einem x16-Slot eben x4x4x4x4 für 4 SSDs, wenn die Karte nur in einem x8-Slot steckt, gehen nur zwei der 4 Ports, aber auch der Slot muss natürlich auf x4x4 gestellt werden. Ich hab den Adapter noch nicht getestet, könnte ich aber sicher mal machen wenn es dich interessiert. Ich vermute aber das wird gehen und hilft dir sicher auch nicht so wirklich weiter. :sneaky:
 
Ja, mach ich hier so. Klappt wunderbar.

Ich habe allerdings ein TRX40 Board mit einem Threadripper 3960X. Das Board (Gigabyte TRX40 Aorus Xtreme) hat 4 M.2 Slots, zwei an der CPU und zwei am Chipsatz, alle 4 sind aber PCIe 4.0 (der Chipsatz ist ja mit PCIe 4.0 x8 angeschlossen). Im UEFI/BIOS ist CSM ausgeschaltet. Dieses AMD NVMe RAID Feature ist ebenfalls ausgeschaltet. Alle SSDs werden korrekt dort im BIOS korrekt angezeigt.
Bei mir werden die im Non Raid Modus halt an - für mich - ungewöhnlicher Stelle angezeigt, nicht in der Storage Sektion, wo man sie eigentlich erwarten würde
image0044.jpg image0042.jpg
Wobei der Raidmodus für mich wichtig wäre >> Raid 1 für's Bootlaufwerk!

[/QUOTE]
Die SSDs selbst sitzen dann in solchen ICY BOX U.2 2.5" Adaptern (https://www.amazon.de/gp/product/B08M3WT4WL), die sind auch für PCIe 4.0 spezifiziert und sind recht solide[/QUOTE]
Hmm, du adaptierst also M2 auf U2, um letztendlich wieder M2 zu betreiben - mit vermutlich deutlich besserer Kühlbarkeit


[/QUOTE]Ich habe mir jetzt mal so einen M.2-auf-SFF-8654 Adapter bei Amazon bestellt (https://www.amazon.de/gp/product/B09DCXYMCZ), den werde ich auch mal testen. Das kann ich aber erst berichten, wenn der auch angekommen ist.[/QUOTE]
Dann bekommst du hoffentlich nicht meine zurückgeschickten :-)

[/QUOTE]
Zu der Frage nach den verfügbaren PCIe-Adaptern fällt mir noch die Karte von Gigabyte ein (die bei meinem Board dabei lag, aber auch einzeln erhältlich sein soll): https://www.gigabyte.com/Solid-State-Drive/AORUS-Gen4-AIC-Adaptor
Dafür braucht man auch eine Bifurcation-Einstellung im UEFI. In einem x16-Slot eben x4x4x4x4 für 4 SSDs, wenn die Karte nur in einem x8-Slot steckt, gehen nur zwei der 4 Ports, aber auch der Slot muss natürlich auf x4x4 gestellt werden. Ich hab den Adapter noch nicht getestet, könnte ich aber sicher mal machen wenn es dich interessiert. Ich vermute aber das wird gehen und hilft dir sicher auch nicht so wirklich weiter. :sneaky:
[/QUOTE]
Da wird ja mal gar nichts angegeben, welche Chipsätze etc. unterstützt werden....
 
Zu den vielen Aspekten hier möchte ich nur meine persönlichen Best of anfügen

- Best of all Raid ist best of all NVMe Mirror (Intel Optane DC Mirror)
- Ein Raid-10 "schwächerer" NVMe ist unterlegen

NVMe hat viele Probleme wie Anzahl Platten oder Hotplug.
Oft ist 12G singlepath SAS oder 2 x 12G multipath SAS die bessere Alternative (2000MB/s)

All in One (ESXi + ZFS, single path) reicht problemlos für 10G Netzperformance - auch mit sicherem ZFS sync write
Mit Multipath SAS kommt man fast auf das Doppelte, http://napp-it.org/doc/downloads/sas.pdf

Singlepath Benchmark, SuperMicro X11SPH-NCTF, Xeon Silver 4110, 64 GB RAM, SAS 3008
WD SS530 -800 GB, 10 DWPD, Slog Intel Optane ist hier eigentlich unnötig (bringt nichts mehr, vielleicht sogar kontraproduktiv).

ps
Der 2 x Dreifach Mirror erlaubt den Ausfall von zwei beliebigen Platten je vdev und versechsfacht die Readperformance im Vergleich zu einer Platte. Den Benchmark habe ich "mal so" und "unter Last" gemacht.
 

Anhänge

  • sas.png
    sas.png
    20,2 KB · Aufrufe: 141
Zuletzt bearbeitet:
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh