Storage Spaces vs ZFS - Performance

[0x78375823]

Hallo Alle,

ich habe 4x10 TByte Ironwolf Pro Festplatten erworben und teste zur Zeit ein wenig herum. Unteranderem mit Windows Server 2016 (Storage Spaces und ReFS + Parity) und FreeNAS mit ZFS-Z1.

System ist ein Xeon Kaby Lake 3.5 GHz mit 64 GB DDR4 RAM 2433 MHz ECC
3x1024 GB SSD Write Back Cache M.2 per PCIEx 4x angebunden.

SAS HBA Controller LSi mit 16 internen SAS3 Ports mit 12 GBit SAS und 6 GBit SATA unterstützung.

Was mich sehr überrascht hat wie schnell die Storage Spaces sind!

Das System ist mit 10 GBit Fibre Ethernet angebunden mit iPerf schaffe ich 855 MByte/sek im Full Duplex über das Netzwerk zu übertragen.

Auf Basis von Sequenziellem Lesen/Schreiben und Parität habe ich ZFS und Storage Spaces getestet. Basis war eine 512 GByte große Testdatei.
Storage Spaces: Schreiben 322 MByte/sek | Lesen 602 Mbyte/sek
ZFS: 288 MByte/sek schreiben | 608 MByte/sek

Das Backup mit LTO7 dauert auch pro 6 Tbyte ca. 8 Stunden. + 6 bis 7 Stunden Überprüfung des LTO Bandes.

Fazit:
Zu ZFS: Man benötigt definitiv keine 1 GB RAM pro 1 TByte Festplatten-Speicher. Ich habe ein 30 TByte großes ZFS eingerichtet mit einfacher Parität und de-Duplikation "AUS". Ich habe mich gewundert wieso der Arbeitsspeicher bei ca. 5.3 GByte war und nicht bei ca. 30 GByte. Nach einem kurzen Gespräch mit einem Entwickler in Discord war klar geworden, ich benötige so viel Arbeitsspeicher ausschließlich wenn ich de-Duplikation "AN" habe. Er meinte so 16 Gbyte sollten es bei FreeNAS schon sein. Und ich habe noch platz für VMs was auch gut ist und die de-Duplikation funktioniert super!

Zu Storage-Spaces: Schneller als erwartet! Ich bin echt baff! Ich werde in meinem Unternehmen mal damit rum experimentieren. Aber für meinen Privatgebrauch werde ich FreeNAS einsetzen. Aber jeder andere der Storage Spaces verwenden will, kann ich nur sagen. Ich sehe keinen Grund Sie nicht zu verwenden wenn man Windows mag!

 

[ClearEyetemAA55]

Um das zu testen, pinne die Datei doch mal auf das Parity-Tear

 

[gea]

Ich seh das mit dem Speicherbedarf bei ZFS so

Ein Solarissystem (native ZFS) sollte 2GB RAM haben. Dann läuft es stabil. BSD und Linux brauchen etwas mehr da die ZFS interne Speicherverwaltung (noch) auf Solaris basiert.

FreeNAS brauch dann einiges für das Webmanagement. Da scheint FreeNAS sogar erheblich anspruchsvoller zu sein als z.B. Nas4Free das auch auf Free-BSD basiert.

Dedup ist etwas was zusätzlich erheblich RAM benötigt um die Dedup Tabelle im RAM zu halten. Das kann is zu 5 MB/TB deduplizierte Daten bedeuten. Wenn der RAM mal nicht ausreicht, kann selbst ein einfaches Snap löschen Tage dauern. In fast allen Fällen sollte man daher Dedup bei Open-ZFS nicht nutzen (Lediglich dedup2 bei Oracle Solaris soll da erheblich besser arbeiten).

Den überwiegenden Teil des verbleibenden RAM nutzt ZFS als Schreib/Lesecache und zieht daraus auch seine Performance. Das ist auch notwendig um ein System mit den Sicherheitsmerkmalen von ZFS schnell zu bekommen. Als Fausregel würde ich bei einem ZFS Home/Backupserver wenigstens 4GB nehmen, für SoHo Server gerne 8-16BG und für ein schnelles Produktionssystem 32-64GB, inbesonderen Fällen auch mehr.

In http://napp-it.org/doc/downloads/optane_slog_pool_performane.pdf habe ich Performancetests mit unterschiedlicher RAM-Bestückung. Das ist es schon ein heftiger Unterschied ob man 2-4GB Ram hat oder 16 GB und mehr.

siehe auch How slow is ZFS with low RAM or readcache disabled and slow disks? | ServeTheHome and ServeThe.Biz Forums

da ging eine WD green auf 3 MB/s herunter.


Zum Vergleich ReFS vs ZFS
Bisher galt ReFS als grottenlangsam. Freut mich zu hören dass es mit 2016 schneller wurde.
Für den Vergleich sollte man aber Prüfsummen auf Daten aktivieren (Ist bei ZFS immer an, be ReFS per default aus um es schneller zu machen).

Andere Features wie sicheres schnelles Schreiben mit einem Logdevice (z.B. Intel Optane), Replication, SSD Cache, eonfaches rollback und clone oder Bootenvoronments (bootfähige Snaps)/ Systemweite Systemstates sind daneben noch Extra Features die halt zeigen dass ZFS was Reife angeht 10 Jahre voraus ist.

 

[0x78375823]

Herzlichen dank für eure Rückmeldungen.
Ich habe mal den Schreib Cache deaktiviert, da erreiche ich Schreibraten von 72 MByte/sek also deutlich langsamer. Was ich auch erwartet habe, aber auch hier geht das ZFS deutlich runter und zwar auch auf ähnliche zahlen mit 68 MByte/sek etwas langsamer. Beim lesen etwa gleiche Werte wie vorher auch kaum der Erwähnung Wert sind die Lese Leistungen mehr als ausreichend Schnell!

Ich werde mal die Prüfsummen bei ReFS einschalten! Herzlichen Dank für den Tipp! Und es ist tatsächlich Marketing von M$ den per Default zu deaktivieren. Das war mir nicht klar, hab das wohl komplett überlesen. Ich bin davon ausgegangen, dass es per Default eingeschaltet ist.

Der Feature Reichtum bei ZFS ist echt überwältigend, viele der Features werde ich niemals nutzen. Und da geb ich Dir recht, mehr Erfahrung haben die Entwickler von ZFS definitiv mehr.

 

[martingo]

Ich hatte zuvor einen Windows Server 2016 mit ReFS und Parity StorageSpaces ohne SSD-Cache. Beim Schreiben ging es flott bis der RAM voll war. Dann runter auf 0. Irgendwann war alles geschrieben, dann ging es wieder flott. Dann wieder auf 0 usw.
Mit einem Mirror StorageSpace wurde es deutlich besser, gelegetnlich trat das Phänomen aber trotzdem noch auf.
Außerdem hatte ich ziemlichen Ärger mit korrupten StorageSpaces. Und solange man Prüfsummen auf Dateien nicht explizit aktiviert, werden standardmäßig nur Prüfsummen auf Metadaten gebildet.

Nachdem nicht alles in den Backups enthalten war, hatte ichvor eineinhalb Jahren sehr sehr großen Ärger mit einem Bitlocker verschlüsselten Parity StorageSpace. Habe tagelang gebraucht, bis ich alles repariert und wiederhergestellt hatte. Die ReFS Wiederherstellungstools von Microsoft sind sehr beschränkt und Fremdfirmen unterstützen diese Kombination (StorageSpaces + ReFS + Bitlocker) kaum. Bei den meisten waren StorageSpaces oder ReFS schon KO Kriterium.

Danke, ich bin erstmal kurriert

 

[gea]

Der Feature Reichtum bei ZFS ist echt überwältigend, viele der Features werde ich niemals nutzen.

Es gibt wenig nice to have Features in ZFS, fast alles brauche ich regelmäßig und würde ich als unabdingbar für Storage ansehen. Nehmen wir das Beispiel syncrones Schreiben, also ohne Schreib Cache. Das ist langsam. Wenn man aber den Schreibcache nutzt ist Schreiben schnell aber der Inhalt des Caches ist verloren. Besonders unangenehm wird es wenn man mit Transaktionen arbeiitet also abhängigen Schreibaktionen wie Daten + Metadaten, Abbuchen eines Betrags von einem Konto und Aufbuchen auf ein anderes oder aber Schreiben eines Raid-Stripes nacheinander auf mehrere Festplatten. Die müssen grundsätzlich immer alle ausgeführt werden oder es gibt ein inkonsistentes Dateisystem, eine inkonsistenta Datenbank oder ein inkonsistentes Raid. Traditionell hilft ein Raidcontroller + Cache + Batterie/Flashsicherung. Bei ZFS gibt es dafür das Slog Konzept. Zusammen mit einer Optane 900P ist es durchaus üblich Schreibraten von z.B.68 MB/s auf 700-800 MB/s zu steigern.

Eine andere Funktion von ZFS ist der darin integrierte Schreibcache (default 10% RAM bis 4GB), der blockbasierte Lesecache (Last read/ most read) der gerne mal >80% aller Reads aus dem Ram bedient oder der zusätzliche SSD/NVMe Lesecache mit read ahead Option. Obwohl ZFS alle Sicherheitsfeatures per default aktiviert ist es damit dennoch schnell.

Oder aber ZFS Replikation. Damit lassen sich zwei Server/Dateisysteme syncron halten. Nichts besonderes nur das das auch bei einem Hochlast Petybyte System funktioniert - mit einer Minute Verzug und unter Mitnahme offener Dateien.

Das einzige was ich bei ZFS nicht nutze ist Echtzeit Deduplikation.

ReFS (und btrfs) haben die beiden wichtigsten Funktionen CopyObWrite und Prüfsummen ünernommen, bei Rest ist ZFS immer noch einzig.

Was mich dagegen an SS am meisten stört, ist dass es so überkompliziert ist. Die gewünschte Flexibilität auch beim Erweitern führt dazu dass es nicht Fisch nicht Fleisch, nicht professionelles Storage und nicht einfaches Heimlösung ist.

 

[Trambahner]

ZFS war für mich eine Offenbarung bzgl. Storage und mein Weg in den soweit wie möglich papierlosen/-armen Haushalt. Seither (2013) keine einzige Datei mehr korrupt geworden oder verloren, das kann ich von meinem Vorgänger-System (NTFS @ Hw-Raid5, Non-ECC-Ram) nicht behaupten.
Und das Schöne ist, gemessen an gebotener Funktionalität ist es ziemlich einfach bedien-/wartbar.

 

[besterino]

Und ich liebe dazu die Backup-Funktionalität per Replikation, einfache Kompression auf den Pools und Windows-Rechte auf den Freigaben. Musste halt mal meine Ordner-Strukturen etwas umsortieren für verschiedene Datasets, aber seitdem ist alles tutti.

 

[martingo]

Liest sich wie ein zfs Lobgesang hier

 

[-INU-]

Ehre wem Ehre gebührt, oder wie sagt man...