[Sammelthread] ZFS Stammtisch

[katzenhai]

@gea,

Auf deiner Seite schreibst du, das man SATA Platten möglichst nicht mit Expandern betreiben sollte. Was für einen Grund gibt es dafür. Ich habe gebrauchte HP D2700 Gehäuse mit 2TB oder wenn unterstützt 4TB Platten zu füllen und als Backupziel (SMB und eventuell iSCSI) als RAID Z3 zu betreiben. SAS Platten kosten leider das 3 Fache so das RAID Z3 mit SATA gegenüber RAID Z2 und SAS in der Rechnung steht.

 

[gea]

Es gibt durchaus SAS Platten mit minimalem Aufpreis.
Eine HGST Ultrastar 7K6000 4TB, 512e, SAS 12Gb/s liegt unter 200 Euro und kostet z.B. nur ca 10 Euro mehr als die Sata Variante. Man darf halt nicht die billigeste Desktop Variante (gibts nur mit Sata) mit der Enterprise Variante die man als Sata und SAS erhält vergleichgen.

Das Problem mit Expander + Sata
Solange die Platten sauber funktionieren läuft das meist problemlos. Manche Kombinationen aber nicht immer oder abhängig von verwendeten Platten, Expandern und deren Firmware. Wenn eine Platte Probleme bekommt kann es passieren daß der Expander blockiert wird, zurückgesetzt wird oder es anderweitig dazu kommt, dass einige oder alle Platten am Expander disconnected werden, dauerhaft oder kurzzeitig mal da mal weg. Derartige Berichte gabs früher häufiger (Expander scheinen besser zu werden) aber es scheint immer noch ein Problem zu sein. Mit SAS gibts derartige Berichte nicht. Das SAS Protokoll ist auch wesentlich leistungsfähiger als Sata.

Berichte lesen sich dann in der Art wie z.B.
Issues with LSI 9305-16i HBA Intel RES3FV288 Expander. : DataHoarder

At Home ist das vielleicht weniger ein Problem. Man testet ob die Kombination am Start funktioniert. Bei späteren Problemen zieht alle Platten und steckt die nacheinander wieder ins System und mit genügend Versuchen findet man die eine Problem-Platte als Ursache. Für kommerzielle Nutzung ein Unding. Da sollte nur die defekte Platte als defekt erscheinen und nicht weitere, gute. Als OmniTi noch für viel Geld kommerziellen Support anbot, waren Sata + Expander daher auch explizit vom Support ausgenommen. Auch eine NexentaStor mit Support wirds wohl nur mit SAS geben.

Für Sata Storage empfehle ich daher ausschließlich Direct Connected Lösungen bei denen man die Platten direkt an den HBA anschließt. Ist immer die professionellere da problemlosere, schnellere und daneben oft auch billigere Lösung.

 

[McStarfighter]

Bescheidene Frage:

Hat ein virtueller ZFS Storage Probleme mit Ballooning? Kann man das einsetzen oder lieber die Finger davon?

Die Vor- und Nachteile von Ballooning an sich sind mir bekannt, nur eben nicht bei ZFS an sich ...

 

[gea]

Für ein virtualisiertes ZFS NAS/SAN wäre dynamische Speicherzuweisung ein Problemverhalten da es grundsätzlich den kompletten freien Speicher als Schreib/Lesecache nutzen möchte. Normalerweise stellt sich die Frage aber garnicht da bei Pass-through Betrieb der zugeteilte RAM immer fest reserviert ist.

 

[McStarfighter]

Dann stellt sich mir eigentlich nur noch die Frage wieviel RAM die ZFS-VM braucht. Mir geht es ja nur um den Schutz gegen Bit Rot, die RAID-Funktionen und die Kompression. Den Rest brauch ich nicht ... Der Host selbst wird 64 GB ECC-RAM haben ...

 

[gea]

Für ein Solaris basiertes 64 bit System ist 2GB das Minimum. BSD oder Linux brauchen etwas mehr.

Da man aber nicht nur Lauffähigkeit möchte sondern Performance dann kommt dazu
2-4 GB für Schreibcache und Lesecache je nach Anspruch. 4-8 GB RAM sollte man daher schon insgesamt geben.

Man kann auch anders rechnen
64 GB RAM - ESXi Bedarf ca 2GB - sonstige VMs - Puffer = Storage RAM.
Ich versuche immer ab 12 GB RAM für die Storage VM zu haben je nach Anwendungsfall auch deutlich mehr.

 

[Trambahner]

Auf meiner produktiven Homelab-Maschine hab ich auch 14GB zugewiesen (Pools 6*6TB Raidz2 + 2*512GB SSD im Mirror + 1*1TB NVME), dat klappt ganz gut.
Selbst mit einer Oracle 12c-DB (deren Tablespaces sind natürlich auf dem NVME-vdev. Trotz NFS dazwischen fliegt das ggü. der Performance im Büro-Datacenter. (klar, im Büro ist das eine ganz andere Sache mit viel viel mehr Usern und Datenbanken; aber auch da ist Solaris+ZFS im Einsatz)).

 

[Trambahner]

ZFS versucht, Random-Zugriffe über den Ram-Cache wenn es irgend sinnvoll, zu serialisieren. Das hilft gerade bei langsamen klassischen HDDs, weil nach Möglichkeit weniger kleine Blöcke zufällig geschrieben werden müssen.
Und serielle Ströme kann ein Raid5/Raidz ganz gut verarbeiten.
Irgendwo ist natürlich trotzdem die Grenze, da natürlich nicht unbegrenzt Ram da ist und alle 5sec (default, kann man verstellen) ein Watchpoint ist, an dem weggeschrieben wird.
Insbesondere wenn multiple User zugreifen und immer weniger serialisiert werden kann, ist halt bei eine, Raidz aus HDDs bald Ende. Denn die IOPS-Leistung eines Raid5/Raidz-Vdevs entspricht der einer einzelnen Platte.
Mit SSDs verschiebt sich die Grenze entsprechend, aber auch da mögen gerade die Consumer-SSDs eher große serielle Zugriffe. NVME-SSDs verschieben diese Grenze natürlich noch weiter.

Oracle Datenbanken schreiben per default in 8k-Blöcken, bei größeren Datawarehouse-Szenarios auch mit 16k oder 32k Blöcken. Multiblock-Zugriff sind möglich, aber da kommt es auf Zugriffsmuster und Lage der Datenblöcke in den Tablespaces an. Ist das auf einem ZFS-Pool, kann unterhalb der Datenbank noch ZFS evtl. die Zugriffe optimieren und ggf. auch per LZ4-Kompression zu weniger physikalischen Zugriffen auf die Speicherdevices führen.

Oracle verdient da mit der Kombi Solaris + 12c sich eine goldene Nase; das ist richtig teuer. Aber für uns Homelab'ler gehts im nicht-produktiven Einsatz dank OTN-Lizenz auch zum Lernen, Probieren und Spielen damit.

 

[Digi-Quick]

Ist es also eigentlich so, dass die Performance bei ZFS nur vom RAM-Cache kommt und nicht davon, dass die Daten ähnlich wie bei einem RAID-5 auf verschiedene Platten aufgeteilt werden?

Schon mal ein Raid 5 an einem Raidcontroller ohne Cache betrieben?
Einzig bei grossen sequentiellen Zugriffen ist da eine gewisse Mehrleistung vorhanden - sofern die Fragmentierung da nicht zwischenfunkt.

 

[gea]

Ist es also eigentlich so, dass die Performance bei ZFS nur vom RAM-Cache kommt und nicht davon, dass die Daten ähnlich wie bei einem RAID-5 auf verschiedene Platten aufgeteilt werden?

ZFS Z1 als Raid-Verfahren hat ähnliche Vor- und Nachteile wie Raid-5 wie Data Striping über alle Platten zur Erhöhung der sequentiellen Performance bei einer iops Leistung die lediglich einer Platte entspricht da für jeden io alle Platten positioniert werden müssen.

ZFS ist aber nicht nur ein Raid-Verfahren. Es ist voll integriert in die Fähigkeiten des Dateisystems. Daraus ergeben sich Nachteile wie größere Datenmenge (wegen Prüfsummen), größere Fragmentierung vor allem bei volleren Pools und damit insgesamt eine größere Abhängigkeit der Performance von den iops Fähigkeiten des Pools. ZFS ist daher prinzipiell langsamer als "alte" Dateisysteme wie ext4 oder ntfs.

Sicherheit (bit-rot/silent error detection durch Prüfsummen, Crash-Unempfindlichkeit durch CopyOnWrite) kostet einfach. Ohne die überragenden Cache-Mechanismen die Sun in ZFS eingebaut hat, wäre das langsamer als konventionelles Raid + konventionelle Dateisysteme.

Der Preis dafür ist vor allem RAM denn nur das macht ZFS nicht nur sicherer sondern schneller als andere Systeme. Sowohl beim Schreiben (aktuelles ZFS nutzt kein festes Zeitraster mehr wie 5s sondern nutzt die flexiblere zugewiesende RAM-Menge z.B. default max=4GB als Parameter um aus vielen langsamen kleinen Random Writes ein großes sequentielles schnelles Write zu machen) wie beim Lesen durch optimierte datenblockbasierte last used/ most used Cache Regeln. Mit SSD/NVMe L2Arc kann man den RAM Cache nicht nur erweitern sondern auch durch Read Ahead zusätzlich verbessern. Insgesamt ist mit ausreichend Cache ZFS daher trotz der Sicherheitsmassnahmen fast immer schneller als "alte, unsicherere Dateisysteme mit konventionellem Raid".

 

[Trambahner]

Ah, wieder was gelernt. Das mit den entfallenen Zeitraster war mir noch gar nicht bewusst. D.h. es kann deutlich länger sein, wenn genug Ram da ist? Dann wird eine USV um so wichtiger.

 

[gea]

Das neue Verhalten ist dynamisch und auf geringere Latenzen optimiert. Es wird eher zu kürzeren Schreibintervallen führen. Unabhängig davon wann Daten aus dem RAM-Schreibcache auf die Platte geschrieben werden, die sind bei einem Crash verloren. ZFS bleibt zwar als Dateisystem wegen CopyOnWrite konsistent, wenn man aber sicher sein muss dass bestätigte Schreibvorgänge auf Platte sind, führt kein Weg an einem Slog und sync write vorbei.

new zfs write throttle delphix - Google-Suche

 

[CommanderBond]

Ich habe folgendes Problem mit OmniOS + Nappit: Markiere ich beispielsweise eine Datei per Windows (SMB Freigabe des Server) als "Schreibgeschützt" und lösche die Datei oder den Ordner in dem die Datei drin ist verschwindet der Ordner/Datei, sobald man dann aber auf aktualisieren klickt ist der Ordner/Datei wieder da. Hebt man manuel den Schreibschutz auf, dann kann man wieder ganz normal löschen. Ich finde das nervig weil ich oft kleine Notizen in .txt Dateien habe die ich in den Dateieigenschaften mit einem Schreibschutz versehe.
Kann man das umstellen, oder ist das normal? Ich mein wenn ich 100te Dateien habe mit gesetzten Schreibschutz Attribut so muss ich das ja jedesmal vorher manuel entfernen... Windows Server verhält sich meiner Meinung nach anders und Schreibgeschützte Dateien sind auch direkt löschbar. Gibts vielleicht irgendwo ein Befehl für OmniOS der das Verhalten ändert?

 

[gea]

Das Verhalten kann ich bestätigen. Ich finde es aber auch nicht sinnvoll inbesondere da Windows selber sich anders verhält und der Solaris CIFS Server sich sonst in besonderem Maße an Windows Konventionen hält.

Ich habe dazu mal eine Mail an die illumos-dev Liste geschickt.
Topicbox

Vielleicht gibt es da einen Kommentar


Update
Bug #8583: Windows 10 fails to delete read-only files with SMB2 - illumos gate - illumos.org

Sieht aus wie ein Problem Windows 10 + SMB2
Auf die Schnelle behebt Umschalten von OmniOS aud SMB1 und reboot das Problem

 

[CommanderBond]

Hast du es mal getestet? Weil ich meine ich hätte sowas auch schon früher als es noch kein SMB2 in OmniOS gab beobachten können.

 

[besterino]

Hmmm. Unter Solaris 11.3 tritt das Problem nicht auf. Stellt sich mir die Frage, was dann der Haken "schreibgeschützt" überhaupt soll... nur Schutz vor "Veränderung"? Da meckert er nämlich und lässt die Datei nicht unter gleichem Namen speichern.

Getestet mit Win10 und Solaris 11.3 (also nach meinem Verständnis SMB2).

 

[CommanderBond]

Ja ist bei Windows doch genauso. Ich benutze das dafür um Dateien vor Veränderungen zu bewaren die ich ausversehen durchführen könnte zB Vorlagen für Word, Excel usw. Weil man kann ja nicht immer "zurück". Außerdem kannste den Schutz schneller ein und ausschalten als wenn du es über die ACLs machen würdest.

 

[gea]

Das Problem ist mir bei OmniOS/OI bisher nicht untergekommen. Der Grund muss also was neues sein (SMB2. Win10)

Gordon Ross ist der SMB Spezialist bei NexentaStor und derjenige der SMB2 in den freien Solaris Clone Illumos integriert hat. (Ich hoffe dass mit SMB3 ähnliches passiert). Der Fehler ist als Illumos Bug erkannt. In NexentaStor ist er bereits gefixt. In Oracle Solaris ist der Bug nicht enthalten. In Illumos wird er wohl bald gefixt werden.

 

[nas4me]

moin
hat jmd. hier erfahrungen mit nappit und proxmox ?
gibt es auch ne fertige templ. so wie für esxi ?

 

[gea]

Erfahrung mit Proxmox habe ich nicht, da ich es nicht nutze, ein Template gibts auch nicht, es gibt aber ein paar Infos unter Iscsi/nappit - Proxmox VE

Neben der Option, Solaris/OmniOS als full featured NAS/SAN Storage appliance ähnlich wie unter ESXi einzusetzen, gibt es die Option napp-it unter Proxmox/Debian laufen zu lassen. Die Features der Linuxvariante decken allerdings lediglich ZFS, Snap und Jobmanagement ab, die Funktionen eben die in ZFS eingebaut sind. Die Solarish Version ist da viel umfassender und leistungsfähiger.

 

[lenzenp]

Hi,

bin aufgrund des Umstiegs auf ein 10G Backbone und der dafür verwendeten Mellanox-Connectx-2 Karten, von OmniOS auf Solaris 11.3 umgestiegen. Bin damit auch Super zufrieden, jedoch fehlt zu meinem Glück nur noch ein Punkt. Leider bekomme ich es unter Solaris 11.3 nicht hin die HDDs in den SpinDown zu schicken. Hat da einer einen Tipp für mich?

 

[supemole]

Ich habe eine Frage zu ZFS Snapshots in Verbindung mit Windows Domaine und den 'Vorgängerversionen' von Dateien im Windows Client.

Wenn ich das richtig verstehe, dann erkennt Windows die ZFS Snapshots und bietet dann am Client die entsprechenden Vorgängerversionen der
Dateien an. Folgende Fragen:

- Wenn ich für einen Verzeichnisbaum Vorgängerversionen für alle Dateien in diesem Baum haben möchte, reicht es dazu Snapshots für das entsprechende ZFS Filesystem anzulegen?
- Ich gehe davon aus, dass alle Snapshots Read Only sind und es keine Möglichkeit gibt, vom Client bzw. vom Windows Server, Daten in den Snapshots zu verändern bzw. gar zu löschen?

 

[gea]

ZFS Snapshots frieren den Stand eines kompletten ZFS Dateisystems ein und sind grundsätzlich readonly. Sie wirken daher auf alle Verzeichnisse und Dateien im ZFS Dateisystem. Sie können gelöscht werden aber nur per ZFS Befehl, nicht von Windows aus.

Bei dem Solarish SMB Server ist ein SMB Share eine Eigenschaft eines ZFS Dateisystems Eine Dateisystem mit seinen Snaps und ein Share bilden damit immer eine Einheit. Vorherige Version arbeitet out of the box ohne dass man etwas einstellen muss.

Ein SAMBA SMB Server egal ob unter BSD, Linux oder Solarish kennt nur Verzeichnisse im Dateisystem. Er unterscheidet nicht zwischen ZFS Dateisystem und einfachen Verzeichnissen. Damit sind Dateisysteme, Snaps und Shares per default nicht auf ein ZFS Dateisystem beschränkt. Das macht ZFS Snaps als vorherige Version deutlich aufwändiger in den Settings und man muss manuall aufpassen dass das zusammenarbeitet..

 

[supemole]

Besten Dank für die Erklärung gea

 

[besterino]

Frage an die Solaris/ZFS Gemeinde: es geht nicht zufällig, Schreibrechte auf einem Dataset an eine NIC oder IP-Adressraum zu binden? Also als Beispiel: Netz 192.168.50.0/24 (oder halt alles hinter z.B. net0) darf nur lesen?

EDIT: sorry, zu schnell gefragt. Geht anscheinend: https://docs.oracle.com/cd/E19120-01/open.solaris/820-2429/usinghostbasedaccesscontrolzfstask/index.html

Solaris ist einfach krass.

 

[Luckysh0t]

Ich schätze mal der Oracle VM Server kostet trotz Xen Basis ordentlich Geld oder ?


Edit..

Da kann ich Besterino wohl die Hand geben...

Oracle VM Server for x86 is a zero license cost
server virtualization and
management solution that makes enterprise applications easier to deploy,
manage, and support

Oracle VM software is available for free download.Support for Oracle VM can be purchased via Oracle VM Store

http://www.oracle.com/us/technologies/virtualization/ovm-server-for-x86-459312.pdf
Da könnte man sich den ESXi ja fast sparen..wenn es da sonst keine großen Kritikpunkte gibt..na vlt. die kleine Gast Auswahl.

 

[besterino]

@Lucky: VERGISS ES.

Den geben die für umme raus, weil die sich mit Support dumm und dämlich verdienen - wenn nicht auch noch mit Consulting und Hardware oben drauf. Allein der Stand-alone Management-Client (mit Oracle Linux) - den du zwingend brauchst - will ein besserer Rechner mit 8GB RAM sein, wenn ich mich richtig erinnere.

Hab da Ende 2015 mal mit rumgespielt und das dann recht schnell wieder gelassen: Backup Konzept mit T20 (Hauptsystem) und HP Microserver (Backup) + Datenbereinigung? (bisserl scrollen)

Edit:

Da man bei dem kleinen HP ja sehr schön sein OS (sprich: den USB-Stick) auswechseln kann, fehlte mir nach Hyper-V, ESXi, Solaris/Virtualbox noch... genau (neben Proxmox): u.a. der aktuelle Oracle VM Server als Hypervisor in meinem Testparcour. Dieser Hypervisor basiert auf Linux/Xen und ist damit noch einmal ganz was anderes als das, was ich bisher ausprobiert habe.

Im Gegensatz zu ESXi, wo man - zum Beispiel - den Hypervisor über den vSphere-Client unter Windows administrieren kann, braucht man beim Oracle VM Server einen ganz speziellen Client als "Komplettinstallation": vorzugsweise aus Basis der hauseigenen Linux-Distribution "Oracle Linux". Und da darf man auch nicht die aktuellste Fassung (Version 7) nehmen, sondern muss eine 6er-Version installieren...

... nur damit dann darauf ein Web-backend läuft, auf das ich dann über einen Webbrowser (im Zweifel von einer 3. Maschine aus) zugreife - bei eine empfohlenen Mindest-RAM-Größe von schlappen 8GB nur für Hypervisor-Management. (Tipp: Login ist "admin" und PW das beim Aufruf des VM Managers "für alles" vergebene Passwort.)

Für den Heimgebrauch ist die Oracle Hypervisor-Management-Interpretation also recht sportlich, man merkt die Ausrichtung auf größere IT-Landschaften. Das Webfront-end zeigt sehr übersichtlich diverseste Details der einzelnen Server und ist auf die Verwaltung mehrerer Server ausgelegt. Mein ZFS-Filer mit einer NFS-Freigabe wurde auch sofort gefunden und eingebunden.

Da man @home ja nicht permanent an den virtuellen Maschinen herumdoktort, bietet sich aus meiner Sicht die Installation der "Management-Maschine" als VM an - nur doof, dass man ja gerade (regelmäßig) erstmalig einen Hypervisor einrichtet... Zum Glück habe ich noch meinen 2. Server mit Hyper-V und mein Erstaunen war groß: Oracle Linux 6.7 läuft out-of-the-box auf dem Hyper-V (Preview 4) als Gen2-VM inklusive Networking. Nice.

Dummerweise ist es damit noch nicht getan, sondern man muss die Landschaft insgesamt wohl konfigurieren. Mal eben schnell eine VM anlegen "is nich". Ich muss mich jetzt noch mit den Repositories (nach meinem Verständnis Datenstrukturen für die Server/Hypervisoren und auch die darauf laufende VMs) beschäftigen, Server-Pools und die Zuweisung "unassigned Servers" verstehen, weiteren (lokalen?) Speicherplatz auf meinem Hypervisor einrichten und dann kann's vielleicht irgendwann mal mit VMs losgehen...

Ach, Windows 10 Gäste werden offiziell wohl auch noch nicht unterstützt... :-D

Update: ich habe Orcale VM Server wieder runtergeschmissen... für meine Zwecke zu viel Aufwand für 0 Mehrwert. Nutze zurzeit wieder ESXi als Basis für die Backup-Box...

Obwohl: lass dich nicht abschrecken, wer weiß was sich getan hat seit 2015! Berichte dann mal!

Aber: damit bist du hier falsch, ist kein Solaris drunter, der Oracle VM Server basiert auf Linux/XEN.

 

[Luckysh0t]

Aber: damit bist du hier falsch, ist kein Solaris drunter, der Oracle VM Server basiert auf Linux/XEN.

Man sollte echt keine Dokus halbmüde lesen Gestern las sich das so schön, ähnlich wie Bhyve und FreeNAS.

 

[McStarfighter]

Hat einer von euch bereits Erfahrungen mit den Seagate Archive HDDs im Zusammenhang mit ZFS? Taugen die dafür was?

 

[Luckysh0t]

@Digi-Quick hat glaube ich 10+ in zpools als ondemand Storage, seit ein paar Jahren.