Server aus bestehendem Windows-RAID-Setup, für ZFS/Optane und 40 GbE klarmachen?

[JohnnyBGoode]

Hallo,

ich schildere zunächst mein bisheriges Windows-Setup:

Als "Server" ist folgende Hardware vorhanden:

- Xeon E5-1650 v4, 6 x 3.60 GHz, 4 GHz Turbo, 6C/12T
- ASRock X99 WS (mit ECC-Support)
- 128 GB UDIMM ECC (läuft mit Multi-bit-ECC)
- GTX 960 2 GB
- Thunderbolt 2-Zusatzkarte für 20 GbE-Netzwerkdirektverbindung
- Intel I350-T4
- Broadcom 9361-8i, 8 x SAS3, PCIe 3.0 x8, mit Stützkondensator
- Intel RES3TV360 RAID Expander (36 x SAS3/SATA III)
- 3 x 8 HDDs, je als RAID6 konfiguriert
- SSD-RAID1 für OS (Windows 8.1)

Als "Client" ist in etwa das gleiche System nochmal vorhanden, nur ohne RAID-Controller und mechanische Festplatten, dafür mit 4 x EVO 850 1 TB-SSDs


Beide Systeme sind in unterschiedlichen Stockwerken und vom Kabelweg (Leerrohre) her etwa 30 m entfernt. Bislang sind sie mit einem normalen 1 GbE-Netzwerk über Switches und direkt mittels Thunderbolt 2-Direktverbindung (Corning-Glasfaser-Kabel) miteinander verbunden (in Windows erscheint dann eine virtuelle 20 GbE-Netzwerkkarte, praktisch sind über SMB etwa 1,4 GB/s möglich, wobei beim ASRock X99 WS aufgrund dessen UEFIs die Thunderbolt-Controller-Karte leider im Chipsatz-PCIe-Slot stecken muss, so dass hier eventell noch DMI 2.0 limitiert).

Was wird mit den Systemen gemacht?

- A/V-Bearbeitung von noch unkomprimiertem Material
- Speicherung von Backup-Images diverser Systeme im Haushalt (Datenintegrität und -verfügbarkeit hat hohe Priorität)


Wo hakt es gegenwärtig?

- Bei gleichzeitiger Aktivität der drei RAID6-Verbunde bricht der Durchsatz des RAID-Controllers trotz ausreichender Bandbreite seitens PCIe und SAS-Expander deutlich ein (Controller-Temperatur maximal 50°C).
- Windows wird mir immer unsympathischer, daher möchte ich von Windows als Server-OS weg. Zu einem Client-Windows ist man gezwungen, wenn man Thunderbolt verwenden möchte, da Intels Thunderbolt-Dienstprogramm unter Windows Server die Installation verweigert.


Überlegungen für Änderungen:

- Wechsel zu ZFS, evtl. unter FreeNAS (Bauchgefühl)
- RAID-Controller zum HBA degradieren (geht das sauber? Hat dann der Stützkondensator noch eine Funktion?)
- 2 x Intel Optane-Karten mit je 480 GB als ZIL und L2ARC (im RAID1), um die mechanischen Festplatten zu entlasten
- Statt Direktverbindung mit Thunderbolt, Direktverbindung mit zwei Intel XL710-QDA2 (QSFP+)-Karten, um weniger proprietäre Netzwerktechnik einzusetzen
- Bislang soll nur ein "forderndes" Client-System bedient werden, später zwei, daher die Netzwerkkarte mit zwei Ports
- Was ein noch ungewisses Ziel ist, würde gerne das Client-System komplett ohne lokalen Speicher betrieben und das OS (leider noch Win 8.1, wegen Adobe, Office & Co.) über die 40 GbE-Karte vom Server booten, damit man hier auch von den ZFS-Vorteilen wie Kompression und Snapshots profitieren kann. Dann würde ich die 4 Samsung 1 TB-SSDs für OS-Images an einen Port des RAID-Controllers hängen, damit diese nicht durch das DMI 2.0 gebremst werden.


Sonstige Fragen:

- Kann man ein über Netzwerk gebootetes OS in den S3-Modus schicken (natürlich bleibt der Server dabei an)?
- Gibt es für die Intel QSFP+-Karte auch "günstigere" Transceiver-Module? Meine einzige bisherigen Erfahrungen mit Glasfaser sind managed TP-Link-Switche, die mittels 1 GbE-SFP-Modulen zwischen den Stockwerken miteinander verbunden sind (und seit Jahren problemlos funktionieren)

Wäre der 6C/12T-Xeon auf der Server-Seite leistungsfähig genug, um das Netzwerk auszulasten? Auf der Client-Seite kommt eventuell später im Jahr ein TR2-System, bislang war ich aber mit der CPU-Leistung her relativ zufrieden. Mir ist auch ECC-Support wichtiger als das letzte bischen Leistung und vor 2 Jahren war von Ryzen & Co. ja noch nichts zu sehen.

Bin für jede Anregungen dankbar!

 

[Trambahner]

Sagen wir so, ich hab noch nirgends gelesen dass die intelligenten Hw Raid5/6-Raidcontroller mit Cache drauf aus der LSI/Avago/Broadcom-Famile auf IT-Mode downgeflashed werden können. Wäre interessant zu wissen.

Beim ZIL/Slog-Device: Denke dran, dass dies kein Write-Cache für ZFS ist! Als Write-Cache dient das Ram. Sondern das dient als Log-Device für Syncwrites.
Die Optanes sind natürlich genial als L2Arc und SLog.
Die CPU dürfte sich tendenziell langweilen, wenn sie nur Storage machen muss, ich hab 2 Kerne eines E3-1240v5 einer Storage-VM (FreeBSD mit per vt-d durchgereichtem Controller) zugewiesen und hab 10Gbase-T. Selten, dass die beiden vCPU-Kerne mal mit je 50% Last oder höher gezeigt werden.

 

[Morpheus2200]

Der Ansatz klingt für mich ein bisschen zu sehr nach "viel hilft viel".
Warum der verzicht auf die lokale SSD für System und Programme? Nur wegen der Snapshots?
Wie viel Bandbreite wird denn für die A/V Bearbeitung wirklich benötigt? Reicht da 10GBit nicht auch?
A/V Bearbeitung klingt nach unkomprimierten streams die übertragen werden, ich halte es durchaus für möglich, dass ein Stripe über deine 3 x RAID z2 vdevs dir da ausreichend performance liefert, auch ohne die Optanes. Streamed I/O der auch noch gut komprimiert werden kann ist mit ZFS gut zu beherschen.
Für alles andere würde ich dann ein weiteres vdev aufmachen mit den alten SSDs. Das sollte dann auch reichlich performance für random I/O sein. Und die gesparten optanes dann als Systemlaufwerk in den performanten client.

 

[besterino]

Optanes als OS-Speicher ist doch eher Perlen vor die Säue...

 

[Morpheus2200]

Naja für stream i/o ist es auch Verschwendung.

 

[gea]

Ich würde folgendes anmerken

Ein Wechsel zu ZFS hätte for allem eine bessere Zuverlässigkeit und Snapshots zur Folge.
Auch ist das Ramcaching bei ZFS einfach besser und ZFS schneller als Storage Spaces mit ntfs/ReFS

Als Schwachpunkt würde ich generell Raid-6 bei parallellen Zugriffen sehen
da die iops Performance eines Raid-6 einer Platte entspricht (50-100 iops) da alle Köpfe bei jedem io an anderer Stelle neu positioniert werden müssen

Thinderbolt gibt es mit ZFS nicht. Man könnte auf FC/iSCSI gehen, vermutlich ist das einfachste SMB

Hardware-Raid ist immer langsamer als aktuelles Softwareraid.
Ein aktueller Xeon mit 128GB Mainboard RAM vs Raidcontroller CPU mit wenig und langsamen RAM, klar wie das ausgeht.
Eine passive Backplane wäre auch schneller als ein SAS über einen Expander, sollte aber reichen.


Was ich ändern würde
- ZFS
- einen HBA wie einen BroadCom 9300 oder 9305 nutzen (8-24Ports intern).
Falls die Backplane direkt über miniSAS angesprochen werden kann, mehrere HBA mit ausreichend Ports statt dem Expander nehmen

Der 9361 ist in jedem Fall nicht für ZFS verwendbar

Einen ZFS Pool eher nicht aus 3 x 8 Raid-Z2 (Pendant zu Raid-6) bauen sondern aus 12 x Mirror.
Das hat weniger Kapazität aber ähnliche sequentielle Raten, dafür aber viermal soviel Schreib-iops und 8 mal sowiel Leseiops.

Ich würde es erst mit 10G und Jumboframes versuchen. Das reicht selbst für 4k Video, zur Not eine dedizierte Verbindung je Client.
40G macht nur Sinne wenn man damit einen 40/10G Switch ansteuern möchte oder mehr als 4k. Dann muss man aber wohl weg von SMB.

Ein Slog braucht man in keinem Fall da man für einen AV Filer kein Sync Write braucht
Ein L2Arc vermutlich auch nicht ausser man erhofft sich etwas von Read Ahead, dann aber eine Intel Optane 900P einsetzen

Lokal würde ich bei den Windows Maschinen bei lokalen Platten bleiben. Keep it easy ist die wichtigste Regel.
Wenn man da wirklich Performance möchte, Intel Optane einsetzen.

Das schnellste ZFS OS wäre meiner Ansicht ein Original Oracle Solaris (aktuell 11.4beta mit SMB3).
Kann man sich zum Testen kostenlos laden. Für kommerzielle Nutzung ca 1k Euro/Jahr. Alternativ ein freies Solaris wie OmniOS oder OpenIndiana. Optional mit meiner Web-Gui.

siehe napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana, Solaris and Linux : Manual Punkt 1,2,3

Video Performance siehe
http://napp-it.org/doc/downloads/performance_smb2.pdf

Unterschiede Raid-Z2 vs Mirror vs Plattentyp
http://napp-it.org/doc/downloads/optane_slog_pool_performane.pdf

 

[Morpheus2200]

@gea
Für streamed i/o sollte doch auch ein stipe aus z2 vdevs reichen oder? Die random I/O performance ist zwar schrecklich, aber sequentiell schreiben und lesen geht damit schon einigermaßen.
Ich habe hier so eine ZFS-Kiste mit 5 striped z2 vdevs mit je 11 disks. Solange ich da sequentiell lese und schreibe ist die performance ganz brauchbar, vor allem bei komprimierbaren Daten laste ich das Netzwerkinterface aus. Die Kiste ist aber auch "nur" über 10Gbit angebunden.
Random I/O oder Metadaten Operationen kann man bei dem Layout natürlich vergessen, vermutlich würde da auch ein kleines slog oder L2Arc bei ~150TB Kapazität nicht in allen Lastsituationen viel helfen.
Also Video/Audio Kram auf HDDS, da wird ja sowieso nur sequentiell zugegriffen und alles andere auf ein eigenes I/O optimiertes vdev. Z.B. aus den "alten" SATA SSDs.

 

[JohnnyBGoode]

Danke für euren Input!

- Optane war nie als OS-Bootlaufwerk, sondern als Ergänzung für die HDDs gedacht. Begründet hatte ich es mir mit einem Missverständnis meinerseits, dass man neben RAM bei ZFS auch Speicher wie Optane als Schreibcache zuweisen könnte und Optane ja gerade da positiv auffällt, wo gleichzeitig gelesen und geschrieben wird, anders als beispielsweise SATA-SSDs, wo ja durch den SATA-Standard nur entweder oder geht.

- Die 8 x HDD RAID6-Verbunde sind "historisch" gewachsen und müssen natürlich nicht genau so weiter verwendet werden.

- 10 GbE ist mir dann doch etwas zu lahm: Selbst der Hardware-RAID-Controller liefert gegenwärtig bei einem 8er RAID6-Verbund sequenziell etwa 1 GB/s und mit ZFS sollte die Leistung hier ja noch steigen, besonders wenn von mehreren Verbunden gleichzeitig gelesen wird.

@gea

Meinst Du damit, dass der 9361 für ZFS unbrauchbar wäre, den Ist-Zustand als Hardware-RAID-Controller oder bist Du Dir auch sicher, dass man ihn auch nicht zu einem einfachen HBA degradieren kann?

An der Lösung mit SAS3-Expander möchte ich, sofern es keinen völligen Beinbruch darstellt, bei Möglichkeit festhalten, da ich mir ein externes Gehäuse nur für HDDs mit dem Expander gebastelt habe, zu dem vom PC-Gehäuse nur ein 4 x SAS3-Datenkabel auf Umwegen geht und so die Wartung der Hardware schön einfach ist, da keine 30 kg HDDs in einem Gehäuse stecken.

 

[gea]

@gea
Für streamed i/o sollte doch auch ein stipe aus z2 vdevs reichen oder? Die random I/O performance ist zwar schrecklich, aber sequentiell schreiben und lesen geht damit schon einigermaßen.
Ich habe hier so eine ZFS-Kiste mit 5 striped z2 vdevs mit je 11 disks. Solange ich da sequentiell lese und schreibe ist die performance ganz brauchbar, vor allem bei komprimierbaren Daten laste ich das Netzwerkinterface aus. Die Kiste ist aber auch "nur" über 10Gbit angebunden.
Random I/O oder Metadaten Operationen kann man bei dem Layout natürlich vergessen, vermutlich würde da auch ein kleines slog oder L2Arc bei ~150TB Kapazität nicht in allen Lastsituationen viel helfen.
Also Video/Audio Kram auf HDDS, da wird ja sowieso nur sequentiell zugegriffen und alles andere auf ein eigenes I/O optimiertes vdev. Z.B. aus den "alten" SATA SSDs.

Für Streaming reicht wohl ein einzelnes Raid-Z. Wenn man nur einen Client hat ist es vielleicht auch nicht so wild. Wenn man aber vom Storage schneiden will und damit mehrere Dateien gleichzeitig lesen muss, wird dann doch wieder iops eine relevante Größe sofern der Cache das nicht abfängt. bei mehreren Clients wird das sicher noch wichtiger. Als Arbeitsvolume würde ich daher iops nicht vernachlässigen.

Im Zweifel einfach von mehreren Clients einen Aja Video Benchmark mit kleinen SD Dateien (768x576px) parallel laufen lassen und schauen wo man landet. Für HD Video sollten es schon 150-200 MB/s sein, für 4k eher 500-600 MB/s.

- - - Updated - - -

Danke für euren Input!

- Optane war nie als OS-Bootlaufwerk, sondern als Ergänzung für die HDDs gedacht. Begründet hatte ich es mir mit einem Missverständnis meinerseits, dass man neben RAM bei ZFS auch Speicher wie Optane als Schreibcache zuweisen könnte und Optane ja gerade da positiv auffällt, wo gleichzeitig gelesen und geschrieben wird, anders als beispielsweise SATA-SSDs, wo ja durch den SATA-Standard nur entweder oder geht.

- Die 8 x HDD RAID6-Verbunde sind "historisch" gewachsen und müssen natürlich nicht genau so weiter verwendet werden.

- 10 GbE ist mir dann doch etwas zu lahm: Selbst der Hardware-RAID-Controller liefert gegenwärtig bei einem 8er RAID6-Verbund sequenziell etwa 1 GB/s und mit ZFS sollte die Leistung hier ja noch steigen, besonders wenn von mehreren Verbunden gleichzeitig gelesen wird.

@gea

Meinst Du damit, dass der 9361 für ZFS unbrauchbar wäre, den Ist-Zustand als Hardware-RAID-Controller oder bist Du Dir auch sicher, dass man ihn auch nicht zu einem einfachen HBA degradieren kann?

An der Lösung mit SAS3-Expander möchte ich, sofern es keinen völligen Beinbruch darstellt, bei Möglichkeit festhalten, da ich mir ein externes Gehäuse nur für HDDs mit dem Expander gebastelt habe, zu dem vom PC-Gehäuse nur ein 4 x SAS3-Datenkabel auf Umwegen geht und so die Wartung der Hardware schön einfach ist, da keine 30 kg HDDs in einem Gehäuse stecken.

Um was für ein Videoformat handelt es sich denn?
Danach so konfigurieren dass man das sicher erhält (Ich nehme dazu immer das AJA Videotesttool mit SD vs 4k und RGB)

Jenseits von 10G wird es teuer und speziell
Ich habe hier einen 32 x 40G Switch von HP und meine Schnittablage (und anderen Filer) sind mit 40G angebunden damit mein Pool mit 10 Rechnern (je 10G) mindestens HD schneiden kann/ könnte (Studentenprojekte)

Ob man > 1 Gbyte/s übers Netz erreicht oder braucht muss man sehen. Ist nicht trivial. 40G Server > Client ist vermutlich auch nicht notwendig Ich würde erstmal schauen wieweit man mit einer oder mehreren 10G Karten und 10G per Client kommt bevor man an 40G QSFP+ denkt.

Der Hardwareraid ist für ZFS sicher nicht brauchbar und nicht auf IT mode flashbar. Ob er die Platten je als single Raid-0 kann müsste man sehen ist aber nicht empfehlenswert. Besser einene 12G SAS HBA kaufen (LSI 9300 oder 9305)

Der SAS Expander ist soweit kein Problem.

 

[JohnnyBGoode]

Gerade mache den Wechsel zu 2160p60, unkomprimiert bzw. möchte demnächst Tests mit verlustfrei komprimierenden Codecs anfangen. Gegenwärtig handhabe ich es so, dass ich erst ganz am Ende, wenn die Bearbeitung abgeschlossen ist, eine komprimierte Fassung transkodiere und davor alles verlustfrei gemacht wird. Mir ist klar, dass dadurch viel Platz und Bandbreite während der Bearbeitungsphase draufgeht, das ist mir aber mein Hobby wert.

Mit der Thunderbolt 2-Direktverbindung laste ich bereits jetzt, wie im Eingangsposting beschrieben, mit SMB3 etwa 1,4 GB/s aus (wobei unklar ist, ob DMI 2.0 hier eventuell bereits limitiert), da sollte also zukünftig mehr drin sein. Wenn SMB-MC in der non-Windows-Welt endlich das experimentelle Stadium verlassen würde, würde ich wahrscheinlich Mehrport-10 GbE-Karten testen, aber selbst nach fast 6 Jahren tut sich auf der SMB-MC-Front ja leider recht wenig.

 

[Morpheus2200]

Dein RAID controller macht 1GB/s bei einem RAID 6 aus 8 HDDs? Das wärend schreibend ~165MB/s pro HDD.
Das kann ich mir eigentlich nur bei einem frisch inistialisiertem Volume vorstellen. Und das ist vermutlich auch nicht die Situation in der du performace vermisst oder?

 

[JohnnyBGoode]

Ja, das ist der "Best Case" (8 x Seagate IronWolf 10 TB, Verbund vor der ersten Verwendung voll initialisiert).

Nervig ist halt, dass sobald von mehreren Verbunden gleichzeitig gelesen wird, die aufsummierten MB/s massiv einbrechen, auch wenn es pro Verbund keine Überschneidung von Lesen/Schreiben gibt. Wahrscheinlich ist das SoC des RAID-Controllers hier am Ende. Richtig ätzend ist es auch, wenn man einen Consistency Check durchführt, dann kann man die Leistung des gesamten Systems eigentlich in die Tonne treten, auch wenn das Array, das überprüft wird, keinerlei I/O hat und die Priorität für den Prüfprozess auf 10/100 gesenkt wurde.

Da erhoffe ich mir, dass ZFS hier durch die aktive Nutzung der Haupt-CPU nicht so zusammenbricht, wenn man beispielsweise Verbund 1-RAIDZ2 überprüft, aber parallel Verbund 2-RAIDZ2 wirklich aktiv verwenden möchte.

 

[Morpheus2200]

Die von dir beschriebenen problematischen Zustände hättest du bei einem sinnvollen ZFS Layout doch nicht oder?
Auch kopieren unter den momentan einzelnen RAID Gruppen wäre selbst bei striped RAID Z2 vdevs nicht mehr nötig.
Ich frage mich halt in welchem Anwendungsfall 10GBit wirklich nicht ausreichen.
Compression, COW, Cache das hilft ja alles in Zuständen, in denen deine aktuelle Lösung auch nicht >10Gbit liefert.

 

[JohnnyBGoode]

Natürlich spielt bei dem Wunsch nach 40 GbE auch der Faktor Unvernunft eine gehörige Rolle und man möchte sich nach ein paar Jahren auch eher verbessern, als zu investieren, um dann eher gleichbleibende (Netzwerk-)Leistung zu haben. 10 GbE-SFP+-Karten müssten ja so oder so auch beschafft werden, da bislang nur reguläres 1 GbE und eben proprietäres 20 GbE-Thunderbolt vorhanden ist.

Aber ist es nicht so, dass speziell durch die Kompression von ZFS dann die 10 GbE eher gesättigt werden, als jetzt schon? Unkomprimiertes A/V-Material lässt sich ja in der Regel ganz gut komprimieren, dann müssten weniger als 10 Gb/s von den HDDs gelesen werden, da ja die Dekomprimierung vor der Übertragung an den Windows-Klienten stattfinden muss. Soweit ich es aufgeschappt habe, können bislang nur entsprechende ZFS-Server untereinander Daten im komprimierten Zustand über Netzwerk übertragen, um so effektiv mehr Gb/s über die Netzwerkkarte zu schaufeln, als diese eigentlich kann.

 

[Digi-Quick]

Sagen wir so, ich hab noch nirgends gelesen dass die intelligenten Hw Raid5/6-Raidcontroller mit Cache drauf aus der LSI/Avago/Broadcom-Famile auf IT-Mode downgeflashed werden können. Wäre interessant zu wissen.

Das nicht, aber einige Controller bieten die Möglichkeit diesen in der Firmware / BIOS in einen "dummen" HBA-Modus zu schalten. Ein evtl. installierter Controllercache geht dabei natürlich ausser Betrieb.
Bestätigt ist das z.B. bei den Controllern auf Basis des Broadcom’s 3108!

"All Supermicro branded/onboard SAS controllers based on Broadcom’s 3108 controller have 2 GB of cache (non-replaceable). And they all have the option to connect a CacheVault solution.
A HW RAID controller cannot be flashed to IT mode, but in the current FW’s there is an option to set drives into HBA mode."

Bei dem 9361-8i habe ich dazu keine Information gefunden, daher gehe ich hier von NEIN aus.

 

[Morpheus2200]

Ja, es ist möglich und durch Kompression auch einfacher Datenraten von >10GBit zu erreichen.
Die Frage bleibt, ob es auch Anwendungsfälle gibt, in denen das irgendetwas bringt. Die Daten müssen ja auch zeitgleich verarbeitet werden und bei nur einem Client fällt mir da kaum ein sinvolles Szenario ein.
Interconnects >10Gbit müssen auch erstmal vom OS deiner Wahl und der restlichen Netzwerkinfrastruktur unterstützt werden. 10GBit ist verbreitet und funktioniert, ich habe bisher keine Erfahrung mit >10GBit Ethernet. Aber sehr wohl mit Interconnects von 20-100Gbit die alle nicht unterstützt werden.
Aber alle Systeme die ich gern mit ZFS einsetze sind was Hardwarekompatibilität angeht immer etwas eingeschränkt, wenn schon 40Gbit, dann vergewisser dich, dass die Karten auch unterstützt werden.
Und sei dir im Klaren darüber, dass du dann eine nicht besonders verbeitete Lösung nutzt. Wenn dir auf einem deiner Systeme die Puffer vollaufen und irgendein Flow Control Mechanismus Sendepausen verordnet kann das auch eine Zeitraubende Fehlersuche nach sich ziehen.

 

[VirtuGuy]

Diskless Boot ist halt eine Spielerei, ich würde eher zu einem Thunderbolt KVM Switch raten. Damit kannst du deinen Client als ganzes verlagern und hast keinerlei Lärmquellen mehr im Büro.

Wenn du mit 10Gbit ans Limit kommst, wirst du früher oder später auf ein weiteres Problem stoßen. Gerade bei Rohdaten merkst du je nach Software schnell den Overhead von SMB oder iSCSI. Mit RDMA/IWARP tauglichen Karten gibt es zwar entsprechende Lösungen die dagegenwirken, aber dein Client OS kann damit leider nichts anfangen. Du könntest dies recht einfach umgehen indem du deinen Client Rechner als VM direkt am Server laufen lässt. Damit eliminierst du sämtlichen Overhead/Latenzen und anstelle teurer 40Gbit Adapter kaufst du dir eine schnellere CPU.

 

[JohnnyBGoode]

Das ist eine interessante Idee, allerdings bereitet mir da Thunderbolt Ungewissheit, da es doch nur mit Windows und macOS sauber funktioniert (wenn überhaupt) und der Linux-Support - wenn ich mich richtig erinnere - gerade erst ausgebaut wird, da Intel das Thema Thunderbolt und Linux jahrelang stiefmütterlich behandelt hat.

Um ganz sicher zu gehen und von proprietären Pseudostandards wegzukommen, müsste man dann wohl ein optisches DisplayPort- und USB-Kabel verwenden, um die 30 m zwischen Server und Arbeitsplatz zu überbrücken, was auch wieder "etwas" ins Geld geht.

Der Client hat gegenwärtig für die UHD-Wiedergabe eine GTX 1060 (Win 10/PlayReady 3.0 wird (noch) nicht benötigt), dann müsste ich diese zusätzlich in den Server setzen und mittels VT-d an die Win-VM durchreichen, wobei es doch da bei NVIDIA-Konsumenten-Karten eventuell Treibergeschiss gibt.

Aber verlagert sich die Problematik mit dem iSCSI/SMB-Overhead dann nicht in den vSwitch des Servers? Da Windows ja nichts direkt mit ZFS anfangen kann, müsste ja parallel die Storage-VM laufen, die dann die Daten der Klienten-VM weiterreicht.

 

[VirtuGuy]

Das ist eine interessante Idee, allerdings bereitet mir da Thunderbolt Ungewissheit, da es doch nur mit Windows und macOS sauber funktioniert (wenn überhaupt) und der Linux-Support - wenn ich mich richtig erinnere - gerade erst ausgebaut wird, da Intel das Thema Thunderbolt und Linux jahrelang stiefmütterlich behandelt hat.

Um ganz sicher zu gehen und von proprietären Pseudostandards wegzukommen, müsste man dann wohl ein optisches DisplayPort- und USB-Kabel verwenden, um die 30 m zwischen Server und Arbeitsplatz zu überbrücken, was auch wieder "etwas" ins Geld geht.

Ich hatte zuvor eine Lösung die mit "Pseudostandards" über Cat6, was in Summe nicht mit 100%iger Zuverlässigkeit funktionierte.. Mit dem Umstieg auf 4K haben wir einen Thunderbolt KVM von Aten probiert => läuft perfekt. Der OS Support ist eigentlich egal, du kannst die Thunderbolt Karte einfach an dein Client OS durchreichen.

Aber verlagert sich die Problematik mit dem iSCSI/SMB-Overhead dann nicht in den vSwitch des Servers? Da Windows ja nichts direkt mit ZFS anfangen kann, müsste ja parallel die Storage-VM laufen, die dann die Daten der Klienten-VM weiterreicht.

Ich würde keine Storage VM machen, derartiges kann gleich der Hypervisor übernehmen. Ob es für dich zum Problem wird, kann ich auch nicht zu 100% sagen. Für uns wurde es ein Problem, wobei bei uns einzelne Frames auf Knopfdruck mit Referenzbildern abgeglichen werden.

 

[JohnnyBGoode]

Um beim 9361 sicherzugehen, habe ich den Broadcom-Support kontaktiert und warte noch auf eine Reaktion: Im Controller-BIOS gibt es einen Punkt "JBOD", der es erlaubt, neben RAID-Gruppen auch einzelne HDDs direkt ans OS zu präsentieren. Allerdings gibt es auch eine weitere Einstellungsseite, wo es heißt, dass der Controller im "RAID Mode" läuft und ich bin mir zu 99 % sicher, dass ich hier - eventuell bei einer älteren Firmware-Version - auch mal daneben die Option "JBOD Mode" gesehen habe.

Ist "JBOD Mode" ein Synonym für diesen HBA-IT Mode, oder ist das etwas nichts Halbes und nichts Ganzes?

Ansonstern habe ich ein Paar von den Intel-XL710-Karten zu Testzwecken geordert und je nachdem, wie lange FS.com für Transceiver und Kabel(beratung) braucht, freue ich mich schon auf Tests.

Die Tests werde ich zunächst mit einem weniger wichtigem Kaby Lake-System statt dem oben genannten Server durchführen, da ich erst etwas praktische Erfahrung sammeln möchte, wie sich die Sachen verhalten, bevor ich ein funktionierendes System verändere, was mir bei Macken doch etwas den Alltag vermiesen könnte.

 

[martingo]

Der Begriff JBOD wird unterschiedlich verwendet:
- durchreichen aller Einzelplatten (das wäre, was Du willst)
- aneinanderhängen aller Platten zu einem logischen Gesamtlaufzeit (ähnlich RAID0 aber im Gegensatz zu diesem wird nicht bitweise, sondern dateiweise auf die Platten verteilt. Das willst Du nicht)

Einfach mal ausprobieren, wie es dieser Controller macht. Wenn Du ein Test-JBOD über zwei Platten anlegst, im OS dann zwei Datenträger siehst und von beiden z.b. die SMART Werte auslesen kannst, dann passt's.

 

[Trambahner]

Wobei bei JBOD Einzelplatten nicht wirklich helfen, wenn da noch die Controller-Firmware dazwischen ist und kein direkter Hardwaredurchgriff durch ZFS möglich ist, sondern der Controller dem OS dann einfach nur Einzelvolumes präsentiert. Dann wäre ja immer noch ein Layer dazwischen.

 

[martingo]

Wenn Du Smart Werte auslesen kannst, hat das FS meines Erachtens Direktzugriff. Was Du beschreibst hört sich nach 1-Platten-RAID0s an.

 

[Digi-Quick]

Aus dem User Guide:

1.4 Configuration Scenarios
You can use the MegaRAID SAS RAID controllers in three main scenarios:
 Low-end, internal SATA configuration: In this configuration, use the RAID controller as a high-end SATA II or
SATA III compatible controller that connects up to eight drives directly or through a port expander. This
configuration is mostly for low-end or entry servers. An out-of-band I2C bus provides enclosure management. Side
bands of both types of internal SAS connectors support the SFF-8485 (SGPIO) interface.

Aus dem Software Guide:
4.5.3 Controller Management Menu
The Ctrl Mgmt tab lets you change the settings of the selected controller. The Ctrl Mgmt menu consists of two screens.
In the first Controller Settings screen (as shown in the following figure), you can change controller options, such as
Maintain PD Fail History, Enable Controller BIOS, Enable Stop CC on Error, Auto Enhanced Import, and Enable
JBOD. You also can perform tasks, such as enabling or silencing an alarm, entering values for Rebuild Rate and Patrol
Rate, and enabling or disabling the JBOD mode. If you enable the JBOD mode, the drive comes up as JBOD; otherwise,
the drive comes up as Unconfigured Good.

Auf Seite 2 des "Controller Management Menu" gibt es den Punkt "Personality Mode"
You can use this option to switch between RAID and JBOD modes. If you switch between personality modes, a reboot is required


4.14.10 Managing Modes and Parameters

4.14.10.1 JBOD Mode
Perform the following steps:
1. Navigate to the second Controller Setting screen.
The Controller Settings - Manage Behavior Modes and Parameters dialog appears.



ABER:
Ob dieser JBOS Mode tatsächlich der HBA Mode ist, der für ZFS wünschenswert ist, kann ich beim Querlesen partout nicht herausfinden.
Die Dokus sind hier wenig Aussagekräftig und u.U. inkonsistent.

Bezieht sich nicht auf den Controller
https://docs.oracle.com/cd/E51809_01/html/E51812/googy.html

 

[VirtuGuy]

smartctl kann mit diversen Chipsets umgehen, von daher wäre es meine erste Wahl für einen Test.

 

[gea]

Selbst wenn ein Hardware Raidcontroller einzelne Platten, meist quasi als Raid-0 aus einer Platte zur Verfügung stellen kann, ist es dennoch keine optimale Lösung.

Man muss folgendes vergleichen.

1.
Ein Raidcontroller meist noch mit lokalem Cache stellt eine Platte für ZFS bereit. Angesprochen wird der Controller über den speziellen Raid Treiber des Controllers. Obwohl der Controller kein Raid bereitstellen muss, ist die volle Raid-Funktionalität aktiv. Dadurch ergeben sich eventuell Leistungseinbußen. Da dies nicht die typische Nutzung darstellt gibt es eventuell noch Bugs oder unerwünschte Cache-Effekte. Auch aus Sicht von ZFS ist das ein selten genutzter Treiber der eventuell nicht so optimiert und getestet ist.

2.
Ein HBA im IT mode hat keinen Cache und keine Eigenintelligenz. Er reicht Platten 1:1 an den Treiber durch. Dieser Treiber für den IT Mode wird von den ZFS Distributionen meist selbst bereitgestellt und gepflegt. Er ist daher überragend schnell und stabil.

Ein HBA im IR mode bietet Basis Raid 1/10. Er benötigt einen anderen Treiber. Diese Variante ist meist noch ein guter Kompromiss wenn man Controller-Raid nicht völlig abschalten möchte.

Ich würde einen echten Hardwareraid Controller (Raid5/6) für ZFS nicht nutzen (Verkaufen oder für ESXi, Windows oder Linux/ext einsetzen)

 

[JohnnyBGoode]

Um die JBOD-Sache aufzuklären:

Ja, beim 9361 bleibt auch im JBOD-Ode leider immer eine Schicht zwischen Laufwerk und OS, auch wenn das OS beispielsweise alle bestehenden Sektoren lesen kann, das Laufwerk also nicht erst über die Controller-Software eingerichtet/gelöscht/formatiert werden muss. Im Geräte-Manager taucht das LW auch statt mit seinem normalen Namen, beispielsweise "Samsung SSD 860 EVO 2TB", mit dem geänderten Namen "ATA Samsung SSD 860 SCSI Disk Device" auf.

Bin gerade am HBA-Stöbern und der Broadcom HBA 9400 gefällt mir durch seine zusätzliche Unterstützung von NVMe-Laufwerken gut, da das etwas Flexibiltät für die Zukunft reinbringt (PCIe-Steckplätze alle verplant), auch wenn die Leistungs wahrscheinlich etwas verglichen zur direkten Anbindung leiden wird. Ich plane wieder damit, den Controller etwa fünf Jahre zu verwenden.

Ist die Treiber-Unterstützung zu dem Chipsatz bereits ausgereift? Er scheint ja erst Ende letzten Jahres auf den Markt gekommen zu sein.

 

[Trambahner]

Hat der 9400 nen PLX-Chip drauf? Denn das Teil hat ja nur PCI3 x8 (was Sinn macht, weil viele Slots bei Servern ja solche sind).
3 Optanes dran und der Slot ist von der Datenrate gesättigt.

Aber der Mix zwischen SAS/Sata und NVMe in einem Slot scheint ziemlich interessant, wenn man knapp an Lanes ist. Und sooo teuer ist das Ding ja nicht wirklich. Wenn man schaut, was PLX-Karten oft schon kosten (z.B. Amfeltec).

 

[JohnnyBGoode]

Einen separaten PLX-PCIe-Switch-Chip, wie er beispielsweise auf diverse Mainboards seit etwa 2012 geklatscht wird, halte ich für unwahrscheinlich, da dieser Chip alleine einen Leerlauf-Verbrauch von 8 Watt und sogar eine TDP von 15 Watt hat.

Vermutlich wurde die Switch-Technik bei der Entwicklung des 9400 in den Chipsatz integriert, da dieser in seiner maximalen Ausbaustufe mit 16 SAS3-Anschlüssen (z. B. Broadcom HBA 9400-8i8e) lediglich eine TDP von etwas über 12 Watt hat.

PCIe 3.0 x8 dürfte bei mir lange halten, der SAS3-Expander ist ja lediglich über einen x4-Port angeschlossen, an die mechanischen Platten gehen also Pi mal Daumen einmal PCIe 3.0 x4 und die andere Hälfte der Bandbreite wäre noch für ein bis zwei NVMe-Laufwerke da. Einen SAS-Expander parallel mit zwei x4-Kabeln anzuschließen, geht laut AVAGO-Support (hatte ich 2015 mal angefragt) nur, wenn man ausschließlich SAS- und keine SATA-HDDs anschließt, sonst sei nur eine x4-Verbindung aktiv.

Wobei sich mir diese Logik nie ganz erschlossen hat, weil die 8 SAS-Verbindungen zwischen Controller und Expander doch eigentlich nichts mit den angeschlossenen Laufwerken zu tun hat.

Für die Optanes habe ich schon zwei dedizierte PCIe-Slots eingeplant, ginge beim HBA also eher um normale NVMe-NAND-Laufwerke, wenn man mal etwas mehr als SATA-SSD-Leistung benötigen sollte.

 

[Trambahner]

Das mit der Switch-Integration, inkl. Shrink durch vmtl. neueren Lithoknoten, hätte ich auch vermutet. Denn über die 12W TDP bin ich da natürlich auch schon gestolpert.

Btw, wenn Lanes für I/O knapp werden: Die Epyc H11SSL Boards sind nun auch verfügbar. Da nen 7401P drauf und es geht für überschaubares Geld ab wie ne Tüte Mücken. Wird vielleicht mein Sommer2018-Projekt, welches meinen guten alten Ivy 3770k@Z77 verrenten wird. Mal schaun.