Bootbares M.2 PCIe RAID-1 auf X99 möglich?

[Freeeezer]

Hallo,

ich plane den Aufbau eines Servers mit einer Hexa- oder Octa-Core CPU, somit bin ich auf Mainboards mit X99 Chipsatz festgelegt (richtig?).
Als performanten Speicher dachte ich an eine Samsung SSD 960 Evo (250GB), allerdings aus Sicherheitsgründen 2 davon als RAID-1.
Jetzt habe ich aber an diversen Stellen gelesen dass der X99 RAID nur im AHCI-Modus anbietet, und OS-seitige Lösungen wären ja nicht bootbar.
Gibt es denn eine Möglichkeit mein Vorhaben evtl. anderweitig zu realisieren, oder ggf. hardwareseitige Alternativen?

Danke & Grüße

 

[Holt]

Richtig, PCIe SSDs im RAID geht nur über SW RAID und davon kann Windows nicht booten und als HW RAID nur beim S.1151. Dafür musste Intel auch einen Trick anwenden.

With the release of Skylake processors and the 100-series chipsets, Intel brought support for NVMe RAID to RST version 15. This was not as straightforward to implement as RAID and SRT for SATA drives, owing to the fact that the SATA drives in a RST RAID or SRT volume are all conveniently connected through Intel's own SATA controller and managed by the same driver. NVMe SSDs by contrast each connect to the system through general-purpose PCIe lanes and can use either the operating system's NVMe driver or a driver provided by the SSD manufacturer. In order to bring NVMe devices under the purview of Intel's RST driver, 100-series chipsets have an unusual trick: when the SATA controller is put in RAID mode instead of plain AHCI mode, NVMe devices that are connected to the PCH have their PCI registers re-mapped to appear within the AHCI controller's register space and the NVMe devices are no longer detectable as PCIe devices in their own right. This makes the NVMe SSDs inaccessible to any driver other than Intel's RST. Intel has provided very little public documentation of this feature and its operation is usually very poorly described by the UEFI configuration interfaces on supporting machines. This has caused quite a few tech support headaches for machines that enable this feature by default as it is seldom obvious how to put the machine back into a mode where standard NVMe drivers can be used. Worse, some machines such as the Lenovo Yoga 900 and IdeaPad 710 shipped with the chipset locked in RAID mode despite only having a single SSD. After public outcry from would-be Linux users, Lenovo released firmware updates that added the option of using the standard AHCI mode that leaves NVMe devices alone.

Vergiss aber nicht, dass RAIDs keine Backups ersetzen und so viel schneller ist so eine PCIe SSDs bei der Nutzung als Bootlaufwerk nicht, die braucht schon I/O intensive Anwendungen um Sinn zu machen.

 

[Freeeezer]

Danke für deine Antwort.
Separate RAID-Controller scheint es für PCIe-SSDs auch nicht zu geben, so dass ich aktuell nur folgende drei Möglichkeiten sehe:

1.) Nur einen Quad-Core auf S1151-Basis nehmen
2.) Langsamere SATA-SSDs für RAID nehmen
3.) Verzicht auf RAID-1 riskieren

Oder sieht hier jemand für mein Szenario noch eine andere Option?

 

[h00bi]

Separate RAID-Controller scheint es für PCIe-SSDs auch nicht zu geben

Gibts von Supermicro, ist aber glaube ich U.2.
Allgemein findest du sowas nicht bei den üblichen Consumer Brands sondern eben im Enterprise-Segment.

Auf Fernando's Win-RAID Forum (Storage Drivers - BIOS Modding) wird spekuliert ob es möglich ist das RST15 auf andere Boards zu portieren.

Grundsätzlich ist das RAID1 wirklich nur eine Hilfe gegen Downtime beim Ausfall. Auf einem normalen Client macht das nur wenig Sinn, bei einem Server gibts nix besseres als das System auf NVMe RAID1.

 

[Holt]

Korrekt, mehr Optionen sehe ich auch nicht, eben auch weil es keine separaten RAID Controller für PCIe SSDs zu geben scheint. Die SAS 12Gb/s RAID Controller nutzen zwar auch den SFF-8643 Port den auch U.2 SSDs auf der Hostseite nutzt, nur liegen dann dort SAS statt PCIe Signale an und daran kann man keine PCIe SSDs betreiben. Dann gibt es noch Lösungen wie HPs Z Turbo Drive Quad, aber ich fürchte außer einem PLX Chip um die 16 PCIe Lanes auf die 4 M.2 Slots aufzuteilen, ist da auch nicht viel mehr drin und nichts um ein RAID zu verwalten, dies dürfte wohl nur über ein SW RAID laufen.

Zu Punkt 2 muss man aber mal klar sehen, dass solche PCIe SSDs eben bei Nutzung als OS Laufwerke kaum einen echten Vorteil haben, außer man macht Dinge wie Firefox mit 100 Offline Tabs zu starten und zu Punkt 3 sollte man bedenken, dass RAIDs keine Backups ersetzen, sondern nur im Falle des Ausfalls einer Platte das Weiterarbeiten ermöglichen. Du solltest Dir also vielleicht noch einmal gut überlegen warum Du einmal die schnelle PCIe SSD willst und dann auch ein RAID für das Bootlaufwerk. Da beides zusammen nicht geht, würde ich an einem der beiden Punkte Abstriche machen.

 

[Freeeezer]

Grundsätzlich ist das RAID1 wirklich nur eine Hilfe gegen Downtime beim Ausfall.

Das ist mir bekannt und auch der Grund, warum ich es einsetzen will.

Dann gibt es noch Lösungen wie HPs Z Turbo Drive Quad, aber ich fürchte außer einem PLX Chip um die 16 PCIe Lanes auf die 4 M.2 Slots aufzuteilen, ist da auch nicht viel mehr drin und nichts um ein RAID zu verwalten, dies dürfte wohl nur über ein SW RAID laufen.

Das Teil sah auf den ersten Blick interessant aus, aber auch da hast du Recht mit deiner Vermutung:

*RAID 1 can be set up, yet will not provide complete, redundant protection as the boot partition is not replicated on both drives.
An OS boot partition cannot be protected by software RAID 1

Du solltest Dir also vielleicht noch einmal gut überlegen warum Du einmal die schnelle PCIe SSD willst und dann auch ein RAID für das Bootlaufwerk. Da beides zusammen nicht geht, würde ich an einem der beiden Punkte Abstriche machen.

Ist vielleicht sinnvoll wenn ich ein paar Worte zum Anwendungsbereich des Servers schreibe:
Es soll ein Server werden, auf dem in der Regel 3 Benutzer (gleichzeitig) auf Windows Server 2016 per Remotedesktop arbeiten. Hauptanwendungen sind eine Kalkulationssoftware, die Daten hiervon werden danach in Access weiterverarbeitet und per Acrobat automatisiert als PDFs zusammengefügt.
Alles jetzt nicht wirklich rechenintensive Dinge, aber es soll halt die maximal mögliche Arbeitsgeschwindigkeit bieten. Aktuell (Xeon E3-1220, ältere SATA-SSD) braucht es z. B. schon ca. 20 Sekunden, um 30 Bilder zu einem PDF zusammenzufügen.

Zu Punkt 2 muss man aber mal klar sehen, dass solche PCIe SSDs eben bei Nutzung als OS Laufwerke kaum einen echten Vorteil haben, außer man macht Dinge wie Firefox mit 100 Offline Tabs zu starten

Das stimmt wohl schon, man neigt bei sowas gerne dazu, einfach das in der Theorie beste haben zu wollen. Wieviel sich davon als praktischer Nutzen bemerkbar macht ist wieder was anderes...

und zu Punkt 3 sollte man bedenken, dass RAIDs keine Backups ersetzen, sondern nur im Falle des Ausfalls einer Platte das Weiterarbeiten ermöglichen. Du solltest Dir also vielleicht noch einmal gut überlegen warum Du einmal die schnelle PCIe SSD willst und dann auch ein RAID für das Bootlaufwerk. Da beides zusammen nicht geht, würde ich an einem der beiden Punkte Abstriche machen.

Backup der reinen Daten ist kein Problem, aber bis dann im Falle eines System-Crashs wieder alles läuft ist eher das Problem.
Da muss ich mich mal genauer informieren, inwieweit evtl. komplette Systemabbild-Backups machbar wären.
Oder evtl. nen zweiten, einfacheren Server als Notlösung vorrätig halten, welcher mit den gesicherten Daten direkt einsatzbereit wäre...

 

[Holt]

Welche ältere SATA SSD hat der aktuelle Rechner denn und werden die Daten ggf. übers Netzwerk übertragen? Außerdem wäre es doch sicher möglich so eine schnelle PCIe SSD (bzw. 2 im SW-RAID) dann als Datenlaufwerk zu nehmen um von deren Performance zu profitieren, sofern die Anwendung dies denn auch wirklich macht. Dann könnte man zwei SATA SSDs im RAID 1 als Systemlaufwerk und zwei PCIe SSD im SW-RAID 1 als Datenlaufwerk einsetzen und hätte für die Daten die Geschwindigkeit und bei beiden die Sicherheit bei Ausfall einer SSD des RAID 1.

 

[Freeeezer]

Kann ich jetzt gerade garnicht sagen welche SSDs genau, da das ganze Windows in einer vmWare läuft sehe ich da nix und physikalischen Zugriff habe ich aktuell nicht.
Die Windows-Installation ist jedenfalls vom Januar 2014, sprich die SSDs sind mindestens 3 Jahre alt. Übers Netzwerk läuft (bei den oben beschriebenen, langsamen Prozessen) nichts.

Das mit den beiden (bzw. im RAID dann vier) SSDs wäre auch eine Option, danke für die Anregung.
Ich werde aber nun erstmal auf meinem Home-PC (i7-6700K, Samsung SM951-NVMe 256GB) testen, ob und wie stark besonders die Access-DB mit integrierter PDF-Erstellung von besserer Hardware profitiert...

 

[Holt]

Wenn Windows sowieso in einer VM läuft, dann könnte man ggf. über den Host eine RAID Lösung mit den NVMe SSDs machen, aber eigentlich braucht man das dann auch nicht, da reicht es wenn die Images der VMs auf der Datenplatte laufen und die kann eben problemlos als SW-RAID realisiert werden, wobei die Windows SW-RAIDs aber eben nicht sehr performant sind. Außerdem bleibt die Frage wie performant die SSDs dann bei der Virtualisierung noch sind, da gibt es auch unterschiedlich hohe Verluste, außer man reicht die PCIe Geräte direkt durch, nur geht dann wieder keine RAID1 über den Host.

 

[Freeeezer]

Die Virtualisierung war ursprünglich aus Backup-Gründen eingerichtet worden, aber nie wirklich dafür genutzt. Daher werde ich mich beim neuen Server auch davon verabschieden, da ich 1.) in der Hinsicht keine besonders weitreichenden Kenntnisse habe, und 2.) wie du schon sagtest es performance-technisch nur schlechter werden kann.

 

[TCS]

Wie Groß ist denn der Platzbedarf.

Mir scheint die Lösung ein klein wenig nach der Methode mit-Ressourcen-erschlagen zu laufen.
Gibts optimierungspotenzial bei der Software? in wie fern könnt ihr da Hand anlegen?
Ich kann mir eigentlich nicht vorstellen, das hier vom imensen Durchsatz von m.2 so stark profitiert wird.
Test halber in ne Ramdisk legen? nur um zu schauen, ob die IOPs wirklich der Flaschenhals sind.

Wenn wirklich nur die Hardwarelösung bleibt.
Raid 1 aus SATA SSDs fürs OS
m.2 als reinen workspace
oder ein gutes altes Raid10 aus SATA SSDs.
aktuell ist man mit den "alten" Schnittstellen einfach noch flexibler (gerade was Arrays anbelangt)

 

[Holt]

Zum HPs Z Turbo Drive Quad habe ich folgendes gefunden:

Raid Support
For RAID support, there are some specific differences and thus restrictions as compared to SATA/SAS HDDs or SSDs, because
software RAID is used.
 Windows® RAID with Boot Configuration: Limited support for RAID 1*, No support for RAID 0, 5, 10
 Windows® RAID with Data Configuration: Support for RAID 0, 1; No support for RAID 5, 10
 Linux® RAID with Boot Configuration: Functional for RAID 0, 1*; No support for RAID 5, 10
 Linux® RAID with Data Configuration: Functional for RAID 0, 1, 5, 10**
*RAID 1 can be set up, yet will not provide complete, redundant protection as the boot partition is not replicated on both drives. An
OS boot partition cannot be protected by software RAID 1.
** Limited testing has been done with Linux® to confirm RAID support and performance characteristics.

So ein SW RAID kann man sich dann natürlich auch ohne diese HP Karte mit zwei PCIe SSDs bauen, da dürften dann die gleichen Limitierungen gelten.