Server aus bestehendem Windows-RAID-Setup, für ZFS/Optane und 40 GbE klarmachen?

[JohnnyBGoode]

Ein vollkommener Plattformwechsel ginge mir dann doch etwas zu sehr ins Geld, denn die Epyc-Boards wollen ja ausschließlich RDIMM, d. h. ich könnte meine vorhandenen 128 GB UDIMM nicht mitnehmen (die Anfang 2016 zu ansprechenden Preisen gekauft wurden =)

 

[JohnnyBGoode]

Update: Kommende Woche wird etwas gebastelt

 

[JohnnyBGoode]

Weiteres kleines Update:

Der HBA 9400 8i8e funktioniert bei ersten Tests problemlos (aktuelle Firmware von Februar 2018).

- CrystalDiskInfo bekommt problemlos die SMART-Werte der angeschlossenen Laufwerke
- TRIM bei SSDs klappt sofort
- Leistung ist auch OK, konnte leider nur mit einem etwas arg heterogenen Mix an SSDs testen (2 x Samsung EVO 860 2 TB, 2 x Samsung EVO 850 500 GB, 2 x Samsung SM863a 960 GB, 2 x Crucial M500 480 GB), angehängt sind Screenshots von CrystalDiskMark, einmal wenn jedes Laufwerk einzeln ohne andere getestet, ein Gruppen-Screenshot, wenn alle 8 angeschlossenen SSDs gleichzeitig getestet werden und einmal ein "RAID0"-Test der 8 SSDs (als dynamischer Datenträger in Windows)



Im Vergleich zu beispielsweise den 8 PCH-SATA-Ports eines C236-Mainboards eine deutliche Steigerung, obwohl deren SATA-Controller über DMI 3.0 (also PCIe 3.0 x4) angebunden sind, gehen über alle Ports verteilt gleichzeitig nur etwa 2.200 MB/s.


Die 40 GbE-Karten liefern pro Port (Jumbo-Frames 9K aktiviert) etwas über 20 Gb/s bei (sehr) großen Dateien, etwa 30 Prozent schneller als ich es bisher mit Thunderbolt 2-Direktverbindung hatte.

Bei den kurzen Tests bestanden die Testsysteme aus:

System 1: E3-1275v5, 64 GB ECC UDIMM, Win 8.1

System 2 E3-1245v6, 64 GB ECC UDIMM, Win 10 1709, BIOS mit Spectre-Mikrocode-Update


Habe derzeit leider weniger Gelegenheit als erhofft, mit den Sachen zu experimentieren.

 

[danielmayer]

Interrupt Moderation ist abgeschaltet? Ich hätte mehr als 20Gbit erwartet. Was sagt ein iperf oder vergleichbares RAM-basiertes Netzwerkbenching?

 

[JohnnyBGoode]

Die hier genannten allerersten Testergebnisse waren richig schlecht - wahrscheinlich durch verkorkste Treiber-Installation. Habe dann auf beiden Systemen Windows frisch installiert (und nur das aktuellste Intel-Netzwerktreiber-Paket verwendet, vorher waren es im Laufe der Zeit aktualisierte Installationen), dann waren sie trotz identischer BIOS- und Treiber-Einstellungen wesentlich besser.

Hier eine Kopie des Postings aus dem 10 GbE-Heimnetzwerk-Thread:

Hatte mittlerweile etwas Gelegenheit, mit Dual Port-40 GbE-Karten zu spielen

Anhang anzeigen 431304

Die erste Zeile sind Benchmarks über Netzwerk zu einer RAMDisk (ImDisk), die zweite zu einem SSD-RAID über einen Broadcom HBA 9400 8i8e, Klient (E3-1275v5), Server (E3-1245v6). *Edit* D'oh, das erste Bild in der zweiten Zeile ist falsch, war ein wiederholter RAMDisk-Test.

Die Intel-Treiber sind mal wieder von gewohnter Qualität, unter Server 2016 lassen sich Jumbo Frames nicht nutzen (unter Win 8.1/10 schon), aktiviert man diese auf allen Adaptern, sowohl Klient- als auch Server-seitig, kann man keine Dateien mehr auf der SMB-Freigabe ändern, es kommt eine Fehlermeldung, dass der Ordner nicht erreichbar wäre (Pingen geht weiterhin).

Die Transfers lasten trotz RSS bei einer einfachen Verbindung einen Thread zu über 95 % aus, bei doppelter Verbindung und SMB MC zwei, wobei dann der Turbotakt niedriger ausfällt - die Q32T1-Tests sind wahrscheinlich CPU-limitiert. Habe leider keine Testsysteme, auf denen ich höhere Einkernleistung zur Verfügung hätte.

Gerade hadere ich am letzten Puzzle-Stück: Da ich sehr schlechte Erfahrungen auch mit eigentlich guten USB-Sticks (SanDisk Extreme Pro) im Dauerbetrieb gemacht habe, wollte ich für ESXi ein USB3-SATA-SSD-RAID1 als Installationsmedium und Datastore für die FreeNAS-VM verwenden (die dann Netzwerkkarten, HBA & Co. via VT-d bekommt).

Es ist dann dieses Produkt hier geworden, da es über USB mit Strom versorgt wird und kein separates Netzteil benötigt:
M.2 RAID Enclosure - Dual M.2 SATA USB 3.1 Gen 2 | HDD Enclosures | StarTech.com

Das Ganze ist dann intern verbaut:

PCH-USB 3.0-Controller -> SM22BU31C3R -> 2 x M.2 SATA zu 7-Pin-SATA-Adapter -> normale SATA-Kabel -> SATA-SSDs im Wechselrahmen mit eigener Stromversorgung

Auf den ersten Blick funktioniert es problemlos (SATA 6 Gb-Link, C7-SMART-Werte ändern sich nicht, maximale Temperatur des ASMedia ASM1352R-USB-SATA-Controller-Chips bei Dauerlast: Raumtemperatur + 10 K) - klar, die Leistung ist an USB 3.0 etwas gedrosselt, das ist für den Einsatzzweck aber wenig relevant, allerdings habe ich noch nicht herausgefunden, wie man anhand der "nackten" SM22BU31C3R-Platine sieht, welches der beiden Laufwerke im Fall der Fälle ausgefallen ist:

Insgesamt gibt es 3 LEDs, je eine direkt an den M.2 SATA-Slots und eine neben dem USB-Eingang: Nun hätte ich gedacht, dass wenn ein Laufwerk ausfällt, die entsprechende LED am M.2-Slot erlischt oder blinkt, aber hier gibt es aber keine Änderung, wenn ich zum Testen eine der beiden SSDs abschalte - nur die einzelne LED am USB-Eingang signalisiert einen Fehler, allerdings sieht man nicht, um welches Laufwerk es sich handelt.


Eine ordentliches Handbuch hat das Produkt leider nicht.

 

[JohnnyBGoode]

Nachtrag: Man kann es sich auch unnötig schwer machen: Habe zwei Stück der SM22BU31C3R (falls eines ausfallen sollte), bei dem einen, das ich bislang getestet habe, war die eigentlich vorhandene zweite LED neben dem USB-Eingang einfach defekt, es gibt also ein Paar von LEDs direkt nebeneinander im Abstand von ein paar Millimetern (links <-> rechts, analog zu der Position der M.2 SATA-Ports auf der Platine), die den tatsächlichen Zustand der angeschlossenen Laufwerke anzeigen.

Da es keine Dokumentation zu deren Funktion gibt, hier eine Beschreibung für Leute, die den Text hier eventuell per Google o. ä. finden:

- Zustand 1 (alles OK): Bei Zugriff auf die Laufwerke blinken schnell die zwei LEDs nebeneinander weiß.
- Zustand 2: (ein Laufwerk ausgefallen): Die LED auf der Seite des ausgefallenen Laufwerks blinkt schnell rot, die andere LED bleibt weiß blinkend, je nachdem, ob auf dem noch normal funktionierenden Laufwerk Aktivität herrscht
- Zustand 3 (RAID 1-Rebuild): Beide LEDs pulsieren langsam weiß, auf der Seite des zuvor ausgefallenen und nun ersetzten Laufwerks leuchtet zusätzlich die rote LED dauerhaft, bis der Rebuild-Vorgang abgeschlossen ist, dann blinken beide wieder weiß, je nach Aktivität

Sonstige Anmerkungen:

- Im JBOD-Modus kann man von beiden Laufwerken mit Crystal Disk Info die SMART-Werte auslesen
- Im RAID-Modus werden nur die SMART-Werte des unteren Laufwerks angezeigt (Ausrichtung der Platine: USB-Eingang rechts), entfernt man dieses, erhält man die SMART-Werte des anderen Laufwerks
- Für RAID-Metadaten werden im RAID-Modus unsichtbar ca. 17 MB der Gesamt-Speicherkapazität als versteckte Partition abgezweigt
- Im RAID1-Modus verwendete Laufwerke kann man entfernen und direkt an einen normalen SATA-Port hängen und alle Daten sind problemlos lesbar (hier sieht man dann auch die versteckte Partition), Vorsicht: Die Partitionen auf dem Laufwerkspaar haben die gleiche ID, manche Betriebssysteme haben hier Probleme, wenn beide gleichzeitig angeschlossen sind
- Hot-Plugging funktioniert problemlos, man kann also im Betrieb ein Laufwerk entfernen, um einen Ausfall zu simulieren und auch wieder anstecken, ein Rebuild startet automatisch