[Sammelthread] ZFS Stammtisch

[p4n0]

SSDs machen 10^17 oder weniger.

 

[gea]

.. Beim RAID 10 muss ja nicht viel rebuilded werden, und die URE ist ja dann auch egal. Da wird ja einfach nur gemirrort.

Nicht ganz. Gibt es einen Lesefehler auf der ersten und zweiten Platte hat man genauso einen Datenverlust. Fällt eine Platte aus und man ersetzt die durch eine neue so führt jeder folgende Lesefehler zu einem Datenverlust. Bei diesem Rebuild wird die komplette Platte mit allen Daten gelesen und verifiziert.

Der größte Vorteil von ZFS: Da jeder Datenblock auf jeder Platte Prüfsummen hat, wird man zuverlässig informiert wenn ein Datei korrupt ist. Ein herkömmliches Raid kann das nicht.

 

[effemmess]

Moin,

das Problem scheint eher am OmniOS r151038 zu liegen... Habe auch manuell Probleme mit Snapshots in der 38er Release. Bin vorerst wieder zu r151036 zurück. Weiß jemand mehr?

Grüße

Moin,

ich nehme meine Aussage zurück. Manuell ist alles okay. @gea Kannst du mal bitte schauen, wo das Problem liegt?

Grüße

 

[gea]

Hallo @gea , das neuere napp-it 19.12b14 homeuse macht Probleme bei den snapshots: Und zwar werden alle als "cloned" angezeigt. Das hatte ich bei der b4 noch nicht.

Anhang anzeigen 633962

behoben in aktuellen Versionen (Menü About > Update > Download)

 

[Shihatsu]

Was würdet ihr den aktuell als SLOG/ZIL-Device empfehlen, um asynchrone Writes (über 10G kommend) zu beschleunigen?

 

[Trambahner]

Asynchrone Writes werden vom SLOG-Device gar nicht beschleunigt.

Falls Du sync Writes meinst: Intel Optane 900P/905P/P4800X/P4801X/P5800X.
Brauchst nur kleine Kapazität, => die 100GB der kleinen P4800er reicht.

 

[Shihatsu]

Öhm, ich hatte das so verstanden das nur die asynchronen Writes überhaupt beschleunigt werden, offenbar ist es genau anders herum - mea culpa.
Ich frag dann zur Sicherheit nochmal nach: Es geht ja um das 5Sekunden-Fenster, also sollte doch - so wie ich das verstanden habe - ~12GB schon ausreichend sein, oder nicht? Dachte halt entweder an das 32GB Optane M.2 "Laufwerk" oder so ein Hybrid-Stick mit dem ich gleich ein L2ARC aufbaue (RZ2 auf 5*16TB mit 64GB RAM). Die "großen" "richtigen" Optanes machen gleich wieder Krater ins Budget...

 

[Trambahner]

Da ist a bisserl was durcheinand geraten, yup.

Async geht grundsätzlich nichts über Slog-Device. Dein Pufferfenster ist ausschliesslich im Ram für Async ! Ausschliesslich Sync Writes in dem Fenster werden auf Slog geschrieben.
Du kannst Async-Writes zu Sync-Writes machen ("zfs set sync=always datasetname" ), aber das hilft Dir nix. Es kann nie schneller werden als normale Async-Writes. Slog ist kein Writecache !
Wird ein Sync-Write ohne Slog angefordert, wird das sofort unverzüglich ausgeführt und erst wenn das gesichert geschrieben ist, macht ZFS weiter.

=> Wenn Du Async-Writes absichern bzw. Datenverluste unwahrscheinlich machen willst, dass aus dem Ram-Writepuffer nichts verloren geht (was ja bei 10G einige GB inflight Data sein können), brauchst Du eine USV und ggf. redundantes Netzteil. Hast aber natürlich immer noch keine 100,0% Sicherheit, weil sonstwas auf dem Board ja immer noch hopps gehen könnte.

Abgesehen davon: die billigen kleinen Optane HDD-Cache-Module kannst Du vergessen als Slog; Du willst dafür wirklich nur die richtigen Optanes.
Auf eine richtige Optane kannst aber guten Gewissens eine Partition für Slog machen und eine für L2Arc. Nicht optimal, aber absolut ok. Dafür haben die genug Bumms. Und ja, die gibts nicht gratis.

Bevor Du an L2ARC denkst => Ram aufrüsten soweit es geht (oder finanziell irgend leistbar ist). Prio 1. 64GB reichen da für Homeuse typischerweise mehr als aus.
1. L2ARC ist immer nur ein Ersatz für nicht vorhandenes Ram. Wobei meines Wissen mittlerweile auch reboot-festes L2ARC gibt,
2. L2ARC ist aber nicht immer hilfreich, das kommt auf die Zugriffsmuster an. Hilft Dir z.B. für Streaming annähernd nix.


Der Trambahner hat daher zwei Pools: einmal 6x14TB RZ2 für Ablage und einmal 6x960GB (3x Stripe über Mirror-Pärchen) SSDs für den permanent genutzten Krusch, VM-Disks, etc. , Kein L2Arc, kein Slog-Device. Hat sich am Ende als nicht notwendig erwiesen, der SSD-Pool (Samsung Datacenter MLC) kann die Syncwrites auch so gut ab. Bei Consumer-SSDs kann das wieder anders aussehen. dauerhafte Sync-Writes lassen Dir auch eine 850 Pro (also wirklich klasse SSDs) massiv einbrechen.
Der ganze Kasten hängt hinter eine USV.

 

[gea]

Nur als Ergänzung;
5s Schreibcache ist Oracle Solaris und native ZFS. OpenZFS arbeitet mit RAM Größe, nicht Zeit. Default ist 10% RAM, max 4 GB. Slog muss immer mind. 2 x RAM Puffer sein, also ab ca 10GB

Ein interessantes Slog könnte folgendes werden (Datacenter Optane inkl. Powerloss Protektion) - leider noch kein Preis, https://www.servethehome.com/intel-optane-p1600x-small-capacity-ssd-for-boot-launched/

 

[gea]

Neue Default napp-it Version ist 21.06
Diese Version kann frei, auch kommerziell genutzt werden jedoch ohne Support und Updates auf Support/Dev Versionen oder Pro- Addons.

 

[Sightus]

Moin,

ich habe jetzt 8x 16TB Server-HDDs zur Verfügung und eigentlich wollte ich Truenas nutzen, jedoch können ja auch so manche QNAPs nun ZFS. Hat das mal jemand getestet, ist das gut, sollte man Abstand nehmen? Wenn ich mir eine Gehäuse samt neuen Unterbau hinstelle geht der Kostenvorteil des DIY flöten. Generell als Frage: wie sollte ich die 8 HDDs in ZFS einbinden? 4x 2er Mirrors?

Danke

 

[Trambahner]

Brauchst Du Random-I/O für Datenbanken und viele User: 4 Mirror-Pärchen.
Hast Du i.W. große Files (z.B. Medien), Arbeitsdateien und eher sequentiellen Zugriff mit weniger Usern: Raidz2

 

[Sightus]

Also es werden nur sehr wenige User Zugriff haben, es dient ersteinmal der Datenkonsolidierung. Fast alle Dateien sind größer als 2GB, z.B. Backup-Images.

 

[CommanderBond]

Generell als Frage: wie sollte ich die 8 HDDs in ZFS einbinden? 4x 2er Mirrors?

Ist das nicht auch eine Frage des Platzes? Ich mein zwischen Mirror und RaidZ2 liegen nun 2x16TB Differenz der nutzbaren Kapazität... Wenn du den Platz brauchst sind für Mirror deine Platten mitunter eh zu klein (oder du hast zuwenig). Eigentlich müsste man die Frage daher vor Plattenkauf stellen imo.

 

[gea]

Moin,

ich habe jetzt 8x 16TB Server-HDDs zur Verfügung und eigentlich wollte ich Truenas nutzen, jedoch können ja auch so manche QNAPs nun ZFS. Hat das mal jemand getestet, ist das gut, sollte man Abstand nehmen? Wenn ich mir eine Gehäuse samt neuen Unterbau hinstelle geht der Kostenvorteil des DIY flöten. Generell als Frage: wie sollte ich die 8 HDDs in ZFS einbinden? 4x 2er Mirrors?

Danke

Prinzipiell nutzt man Festplatten nur noch wenn man Kapazität braucht, also in einem Z2 Array (Hoffentlich sind die Festplatten CMR?), Man hat dann 96 TB nutzbar und ca 100 iops. Zum Vergleich, gute SSD Pools haben 30-80k iops, Intel Optane 500k iops. Braucht man Kapazität und Performance wird es teuer/aufwendig oder man macht zwei Pools.

Ansonst: SuperMicro rocks, wenns um gute Storage Hardware geht! Auch Dell, HP oder Lenovo ist ok.
Qnap ist Linux ZFS auf teurer oder schlechter Hardware ohne Profi-Support.

 

[Sightus]

[...] Eigentlich müsste man die Frage daher vor Plattenkauf stellen imo.

Ich habe die Platten mehr oder wenige "aus heiterem Himmel bekommen", so dass ich das Pferd nun von Hinten aufzäumen muss.

Prinzipiell nutzt man Festplatten nur noch wenn man Kapazität braucht, also in einem Z2 Array (Hoffentlich sind die Festplatten CMR?), Man hat dann 96 TB nutzbar und ca 100 iops. Zum Vergleich, gute SSD Pools haben 30-80k iops, Intel Optane 500k iops. Braucht man Kapazität und Performance wird es teuer/aufwendig oder man macht zwei Pools.

Ansonst: SuperMicro rocks, wenns um gute Storage Hardware geht! Auch Dell, HP oder Lenovo ist ok.
Qnap ist Linux ZFS auf teurer oder schlechter Hardware ohne Profi-Support.

Es handelt sich ausschließlich um Enterprise-SATA Retail HDDs mit CMR. Da das "NAS" zu Beginn erstmal nur als zentrale Datenhalde dienen soll ist mir Redundanz wichtiger als der Durchsatz; vermutlich habe ich nicht mehr Daten als 40TB.
Ich habe bereits ein Gigabyte Embedded EPYC Board als Truenas mit 4x 10TB im Einsatz, welches ich aber nicht erweitern kann und ersteinmal außen vor bleiben muss. Wenn ich nun aber das QNAP TS-873A anschaue, dann ist das für das gebotene relativ günstig. Oder ich sehe nicht, wie ich mit einem ähnlichen Embedded-Board und Gehäuse mit Hot-Swap in der Preisregion lande. Und da ich (leider) aus der Windows-Welt komme ist so ein fertig NAS zwar vielleicht nicht optimal, aber für den Einsatz erstmal einfacher zu handhaben.

Gruß Sightus

 

[Digi-Quick]

Nunja, ich kann auf der Produktseite nichts von ECC Speicher lesen , daher darf man davon ausgehen, daß kein ECC-RAM eingesetzt wird. (Der ECC-Support ist bei Ryzen eh nur inoffiziell.)
Zum Thema 2,5 GBit Netzwerkkarten:
Dafür braucht man auch die entsprechende Gegenstelle, ob es nicht sinnvoller ist gleich auf 10GBE zu setzen mag im Auge des Betrachters liegen. 10 GBE Switches kommen langsam in interessante Preisregionen, die Switche für 2,5 / 5 GBE sind ncht viel preiswerter.
Grundsätzlich dürfte ein Intel basiertes System etwas weniger Stromhungrig sein als ein AMD-basiertes

NAS/Server Bauvorschläge / konkrete Zusammenstellungen (ggf. mit Anforderungen) 2020

Moin, Da die Bauvorschläge im NAS/Server Hardwareguide 2020 in den Diskussionen ein wenig untergehen, denke ich daß es Sinn macht diese gezielt in einen eigenständige Thread auszulagern. Kritiken, Diskussionen etc. dazu dann bitte weiterhin in NAS/Server Hardwareguide 2020. Man kann sich ja...

www.hardwareluxx.de

 

[Sightus]

Also es wird ECC UDIMM unterstützt. jedoch nicht direkt mitgliefert, was ziemlich sinnfrei ist.

 

[CommanderBond]

Ich habe aktuell das Problem dass beim Hochfahren nicht alle Datasets "geunlocked" werden mit nappit. Es gibt dabei keine Regelmäßigkeit aber immer sind ein paar im locked zustand. Eingestellt ist auto unlock und der Schlüssel liegt auf einem nicht verschlüsselten Dataset. Wenn ich den unlock Vorgang manuel anstoße werden sie auch geunlockt.

Und wenn man ein Dataset umbenennt über Nappit muss man das Keyfile anschließend händisch umbenennen, sonst findet er es nicht mehr.

 

[gea]

wieviel Dateisysteme sind es
Ist das Key Dateisytem besonders langsam z.B. USB
gibt es sonst eine Besonderheit

 

[CommanderBond]

es sind 13 verschlüsselte Dateisysteme auf einem Mirror Pool aus 2 Sata SSDs. Die keyfiles liegen momentan auf einem HDD Mirror aus 2 Seagate Ironwolf 4TB

 

[gea]

Ich werde mal versuchen das nachzustellen.

 

[gea]

Ich habe einen Test mit 26 (a-z) Dateisystemen gemacht und konnte das Problem nicht reproduzieren

OmniOS 151038
napp-it 21.06a
Keymodus L1:L1 (lokaler Key via prompt aktiviert, kein Split auf zwei Quellen, kein webbasierter Keyserver)

Einstellungen siehe Menü Dateisysteme > Encryption

 

[DJDark]

Btw, 2011-2 Ivy als Filer? Ernsthaft? Nope Nope, ausserhalb vom Rumspielen/-probieren viel zu stromdurstig für daheim.

Mal blöd gefragt: Was spricht dagegen ? Ich nutze selber einen Ivy als PVE und mit 59w im Idle bin ich eigentlich ganz zufrieden.

 

[Hipiman]

Moin zusammen,

Mal eine Frage....

Ich habe einen HPE DL180 gen9 mit dem H240 HBA Controller. (Kein LSI)

Im Internet findet man wenig Informationen zum H240.

Die wenigen Infos kommen immer zum Entschluss, dass dieser HBA nicht mit ZFS/FreeNas/Truenas funktioniert.

Ich habe deshalb selber testen wollen und musste feststellen, dass alles funktioniert.

Es werden die Smart Werte richtig ausgelesen und es wird alles erkannt.

Eine Möglichkeit zum Flashen auf IT Mode besteht nicht.

Kann ich das System auf Stabilität testen?

Ich würde ungern alles befüllen und nach 2 Monaten Probleme bekommen.

Danke im voraus.

 

[p4n0]

Wenn das eh ein HBA ist und die Platten einzeln und unverfälscht bei deiner ZFS Appliance ankommen ist doch alles tutti oder ?

 

[Hipiman]

Denke ich ja auch.

Aber viele haben den Software Raid / HBA Controller H240 für FreeNas nicht empfohlen.

Es waren viele dabei, die den Controller außerhalb von HPE Servern verwenden wollten.

Vielleicht liegt es daran.

Ich würde aber gerne wissen, ob man noch etwas testen kann.

Oder hat jemand den H240 im HBA Modus in Betrieb?

 

[Gen8 Runner]

Problem ist m.W.n. folgendes:
Wenn der RAID-Controller den defekt einer Platte feststellt, kann es passieren, dass dieser versucht den Rebuild anzustoßen. Und so würden sich ständig TrueNAS, als auch der Hardware-RAID-Controller reingrätschen, da beide die Platte reparieren wollen.

Im IT Mode wurde dem RAID-Controller sozusagen die Rebuild-Funktion entfernt, sodass nur noch TrueNAS diese Aufgabe übernehmen kann und die gesamte Oberhand behält.

Aus dem Grund ist es m.M.n. nicht empfehlenswert, den RAID-Controller mit seiner üblichen Firmware laufen zu lassen, sondern nur im IT Mode laufende Controller zu nutzen.

 

[gea]

Wenn bei einem Hardwareraid eine Platte ausfällt, so startet der Controller (oder die Treibersoftware) einen Rebuild, egal welches Dateisystem. In Zusammenhang mit ZFS gibt es lediglich die Frage ob es einen (guten, stabilen, schnellen) Treiber gibt. Meist eher nicht da Hardwareraid üblicherweise bei ZFS nicht genutzt werden (sollten).

Aus Sicht von ZFS verhält sich ein Hardwareraid wie eine einzelne Platte unter ZFS. Da gibt es keine Rebuild/Resilver Option für ZFS. Das geht nur bei Softwareraid. Man hat damit zwei Probleme:

1. Datenkorruption wird durch Prüfsummenfehler durch ZFS entdeckt, kann aber nicht repariert werden
2. Das Write Hole Problem. Bei einem Raid werden die Platten nacheinander beschrieben. Bei einem Absturz gibt es unvollständige Schreibvorgänge (korruptes Raid und/oder korruptes Dateisystem). ZFS kann das mangels Redundanz nicht reparieren und das Hardwareraid auch nicht mangels Daten Prüfsummen und Copy on Write

 

[Hipiman]

Problem ist m.W.n. folgendes:
Wenn der RAID-Controller den defekt einer Platte feststellt, kann es passieren, dass dieser versucht den Rebuild anzustoßen. Und so würden sich ständig TrueNAS, als auch der Hardware-RAID-Controller reingrätschen, da beide die Platte reparieren wollen.

Im IT Mode wurde dem RAID-Controller sozusagen die Rebuild-Funktion entfernt, sodass nur noch TrueNAS diese Aufgabe übernehmen kann und die gesamte Oberhand behält.

Aus dem Grund ist es m.M.n. nicht empfehlenswert, den RAID-Controller mit seiner üblichen Firmware laufen zu lassen, sondern nur im IT Mode laufende Controller zu nutzen.

War das auf den H240 bezogen?

Das wäre in diesem Fall ein Software Raid Controller und selbst diese Funktion wird ja im HBA Mode komplett abgeschaltet.

Das Rebuild wird durch den Controller in keinster Weise angestoßen.

Nur der defekt wird vom Controller erkannt und die LEDs bei den Trays geschaltet.

TrueNas erkennt die Smart Werte auch und markiert das betroffene Laufwerk.

HBA Mode ist sehr ähnlich zum IT Mode.

So wie ich das verstanden habe, wird bei ZFS basierten Systemen nie zum Hardware Raid Controller geraten, weil dieser die benötigten Daten vorher abgreifft.

ZFS (OS) hat in diesem Fall keinen keinen direkten Zugriff.