Neuer Fileserver - Fragen SAS und RAID

[ichkriegediekri]

Nur SAS Platten haben zwei Anschlüsse die man entweder zur Erhöhung der Bandbreite, zur Redundanz oder für Cluster/Failover nutzen kann. Sata hat nur einen Anschluß. Steckt man eine Sata Platte in eine Dual-SAS oder Dual Expander Backplane so wird nur an einem Anschluß die Platte gezeigt.

Ja das mit dem einen Anschluss bei SATA ist klar.
Was ich mich frage ist ob bei einem Dual-Expander Backplane der über zwei MiniSAS Kabel angeschlossen ist, also jeweils ein Kabel pro Tochterboard, die 24 SATA Platten aufgeteilt werden, also 12 über ein MiniSAS Kabel und die anderen 12 über das andere - das Fail-over bei SATA nicht wenn ein Expander ausfällt ist klar.

 

[gea]

Bei einem Dual Expander SAS Case mit Sata Platten würden alle Platten an einem Expander auftauchen und keine am anderen Expander.

Ein Expander hat aber meist zwei SAS Anschlüsse die jeweils 4 x 6G oder 4x12G können. Man kann dann beide SAS Ports mit dem HBA verbinden um damit die Bandbreite HBA->Expander auf 8 x 6G oder 8 x 12G je nach Expander und HBA zu verdoppeln.

 

[ichkriegediekri]

Bei einem Dual Expander SAS Case mit Sata Platten würden alle Platten an einem Expander auftauchen und keine am anderen Expander.

Ein Expander hat aber meist zwei SAS Anschlüsse die jeweils 4 x 6G oder 4x12G können. Man kann dann beide SAS Ports mit dem HBA verbinden um damit die Bandbreite HBA->Expander auf 8 x 6G oder 8 x 12G je nach Expander und HBA zu verdoppeln.

Ok, Dual Expander ist dann raus geschmissenes Geld.

Von den zwei verfügbaren Ports pro Expander bin auch ausgegangen da es so auch beim 846E1C ist, aber beim 216BE1C mit der Backplane BPN-SAS3-216EL1 gibt es nur einen Port - sofern ich die Anleitung richtig verstehe.

 

[ichkriegediekri]

Also bei 20 Platten nur zwei Platten redundanz find ich jetzt etwas wenig. Du kannst ja auch überlegen, ein freenas zu installieren und mittels bhyve das Windows zu virtualisieren - und dann ein RAID-Z3/4 einzusetzen.

Also mit RDMA wäre das eine Möglichkeit. Aber wenn ich mir dazu threads durchlese ist das alles andere ein einfaches Setup

 

[Sir Diablo]

Äh?
Du virtualisiert das Windows auf dem "storage-server" wozu willst du da dann RDMA einsetzen?

 

[ichkriegediekri]

Äh?
Du virtualisiert das Windows auf dem "storage-server" wozu willst du da dann RDMA einsetzen?

Nee, das war ein Missverständnis.

Extra Server mit FreeNAs über 10GBe oder 40GBe an den anderen Server per RDMA/RoCE - aber ich glaube das gefrickel ist zu groß

 

[Sir Diablo]

FreeNAS kann ootb kein RoCE. Du kannst einfach die FreeBSD Virtualisierung (die in freenas vorinstalliert ist) nehmen und dein DB Windows darauf laufen lassen.

 

[gea]

FreeNAS ist so ziemlich die speicherhungrigste und "fetteste" Storage Option. Dazu ist es mit Free-BSD ein vollweriges Unix mit eine Hut voll extra Diensten die alle ihre Sicherheits und Bugfix Updates haben wollen oder haben sollten. Darauf mit Bhyve zu virtualisieren mag at home ok sein. Für ein Produktivsystem hat es zum Virtualisieren viel zu viel Ballast.

Selbst mit OmniOS, die wohl schmalste ZFS Unix/Solarish Distribution für Produktivsysteme für die es sogar Long Term Stable Editionen mit Bugfixes alle zwei Wochen und Bhyve gibt, würde ich das nicht machen wollen.

Wenn Stabilität und geringe Downtime ein Thema ist, dann Windows only und eventuell ReFS wenn man ein aktuelles Dateisystem möchte oder allenfalls ESXi darunter um daneben einen vollwertigen ZFS Storageserver zu virtualisieren. Die Windows Unterstützung von ESXi ist eh eine Klasse für sich.

Die alte Regel, nachdem die guten Virtualisierungsserver wie Hyper-V, ESXi oder Proxmox keine vollwertigen Storagserver sind und die guten ZFS Storageserver mäßige Virtualisierer sind, gilt nach wie vor im Vergleich zu den jeweiligen Top-Spezialisten.

 

[Trambahner]

Mit Bhyve (@ BSD) bin ich bei meinen Versuchen bislang nicht zurecht gekommen, ich bekomme für W10 nur miserable Performance und weiss nicht, woran es liegt. I/O schlecht (auf nem 4*Stripe ZFS aus 4*840pro 512GB !), GUI fast unbedienbar auch via RDP.

 

[VirtuGuy]

Die alte Regel, nachdem die guten Virtualisierungsserver wie Hyper-V, ESXi oder Proxmox keine vollwertigen Storagserver sind und die guten ZFS Storageserver mäßige Virtualisierer sind, gilt nach wie vor im Vergleich zu den jeweiligen Top-Spezialisten.

Die genannten Lösungen haben alle vollwertige Storagelösungen dabei, bei ESX braucht man halt zumindestens 2 Knoten.

 

[ichkriegediekri]

Ok, danke an alle zu den FreeNAS und ESXi Kommentaren.

So wie es aktuell aussieht wird wohl Windows only werden und als Option ein NAS das ZFS kann als Backup Lösung

 

[gea]

Die genannten Lösungen haben alle vollwertige Storagelösungen dabei, bei ESX braucht man halt zumindestens 2 Knoten.

So in der Art von

zfs(8): configures ZFS file systems - Linux man page
zpool(8): configures ZFS storage pools - Linux man page

.....

 

[ichkriegediekri]

Ich habe eben mal just4fun einen Test gemacht:

Ich habe auf meinem RAID 10 eine VHDX virtual disk mit ReFS als Dateisystem erstellt und da mal meine Testdaten rein kopiert.
Wenn ich aus/in die vhdx disk lese und schreibe, von bzw auf eine SSD, erhalte ich Lese und Schreibraten von 50-70mb/s - wenn ich die Daten nur vom NTFS RAID 10 kopiere sind es ca 15mb/s.
Hinzu kommt dass ein Backup der vhdx Datei selbst ruck zuck mit mehreren hundert mb/s gelesen werden kann - das macht es für Backups meiner Daten geradezu unschlagbar denn 14TB und mehr mit 15-20mb/s sicher ist ein Alptraum......

Kann mir jemand erklären warum eine vhdx soviel schneller ist obwohl am Ende die gleichen Daten vom gleichen physischen medium/array gelesen/geschrieben werden?

Sind die vhdx virtual disks sicher genug um da einfach mal bis zu 40TB abzulegen? - falls ja würde ich einfach ein RAID 6 mit ReFS machen und eine vhdx disk für meine Daten mit ReFS einfach darauf ablegen.

 

[gea]

Prinzipiell hatte ich zwar auch schon bei ESXi dass der Zugriff auf eine vdisk minimal schneller war als auf die gleiche Platte die per pass-through direkt verfügbar war. Ich habe das auf Caching in ESXi geschoben.

Hier ist der Unterschied aber mit 15 vs 50 MB/s nicht 5% sondern ein Faktor 3-4. Ich würde da eher von einer Fehlkonfiguration oder technischem Problem ausgehen zumal 15 MB/s unterirdisch schlecht ist.

zur Frage
ReFS ist ein CopyOnWrite Dateisystem mit Prüfsummen auf Metadaten, optional auf Daten. Legt man das auf einem Raid-6 an, so kann es passieren, dass das Raid-6 keinen Fehler erkennt, obwohl ReFS einen Prüfsummenfehler meldet. Das ist zwar schon besser als von dem dann tatsächlich vorhandenen Problem nichts zu erfahren - ReFS kann das aber nicht reparieren da es keinen Zugriff auf die Raid-6 Platten hat. Aus Sicht von ReFS handelt es sich ja um eine einzelne Platte ohne Redundanz.

Kann man machen, ist nicht perfekt. Nur Software-Raid könnte das lösen.

 

[ichkriegediekri]

Prinzipiell hatte ich zwar auch schon bei ESXi dass der Zugriff auf eine vdisk minimal schneller war als auf die gleiche Platte die per pass-through direkt verfügbar war. Ich habe das auf Caching in ESXi geschoben.

Hier ist der Unterschied aber mit 15 vs 50 MB/s nicht 5% sondern ein Faktor 3-4. Ich würde da eher von einer Fehlkonfiguration oder technischem Problem ausgehen zumal 15 MB/s unterirdisch schlecht ist.

zur Frage
ReFS ist ein CopyOnWrite Dateisystem mit Prüfsummen auf Metadaten, optional auf Daten. Legt man das auf einem Raid-6 an, so kann es passieren, dass das Raid-6 keinen Fehler erkennt, obwohl ReFS einen Prüfsummenfehler meldet. Das ist zwar schon besser als von dem dann tatsächlich vorhandenen Problem nichts zu erfahren - ReFS kann das aber nicht reparieren da es keinen Zugriff auf die Raid-6 Platten hat. Aus Sicht von ReFS handelt es sich ja um eine einzelne Platte ohne Redundanz.

Kann man machen, ist nicht perfekt. Nur Software-Raid könnte das lösen.

Ich wüsste jetzt nicht was da eine Fehlkonfiguration sein soll. Aber ich werde es am WE nochmal von und zu einer Ramdisk testen.

 

[ichkriegediekri]

Prinzipiell hatte ich zwar auch schon bei ESXi dass der Zugriff auf eine vdisk minimal schneller war als auf die gleiche Platte die per pass-through direkt verfügbar war. Ich habe das auf Caching in ESXi geschoben.

Hier ist der Unterschied aber mit 15 vs 50 MB/s nicht 5% sondern ein Faktor 3-4. Ich würde da eher von einer Fehlkonfiguration oder technischem Problem ausgehen zumal 15 MB/s unterirdisch schlecht ist.

zur Frage
ReFS ist ein CopyOnWrite Dateisystem mit Prüfsummen auf Metadaten, optional auf Daten. Legt man das auf einem Raid-6 an, so kann es passieren, dass das Raid-6 keinen Fehler erkennt, obwohl ReFS einen Prüfsummenfehler meldet. Das ist zwar schon besser als von dem dann tatsächlich vorhandenen Problem nichts zu erfahren - ReFS kann das aber nicht reparieren da es keinen Zugriff auf die Raid-6 Platten hat. Aus Sicht von ReFS handelt es sich ja um eine einzelne Platte ohne Redundanz.

Kann man machen, ist nicht perfekt. Nur Software-Raid könnte das lösen.

Hi

Also wenn aus Deiner Erfahrung das mit diesem Unterschied nicht sein kann muss es daran liegen dass die vhdx Datei nach dem erstellen geringer fragmentiert ist und die darauf kopierten Dateien mehr sequenziell am Stück liegen (gibt ja Sinn) - beides zusammen könnte das erklären.
Bei den Daten auf dem RAID 10 ist das ja nicht der Fall.