[Sammelthread] ZFS Stammtisch

[gea]

Der schnellste und umfassendste ZFS Server ist nach wie vor Oracle Solaris mit closed Source ZFS v.37
Der ist aber nicht frei (Kommerzielle Software, frei downloadbar nur für Demo und Development..)

Als Alternative gibt es den OpenSource Solaris Fork Illumos mit den Distributionen NexentaStor, OmniOS, OpenIndiana und SmartOS. OmniOS ist hier die freie Solarish Storage-Distribution der Wahl.

Ansonsten ist OpenZFS mit ZFS v5000 unter BSD, OSX, Illumos und Linux weitgehend gleich. Die meisten Features sind unter dem Open-ZFS Dach in allen OS-Varianten verfügbar - aber nicht alle.

Da ZFS für Solaris entwickelt wurde und da z.B. das Speichermanagement anders ist, gibt es oberhalb von ZFS für nicht-Solaris Systeme (noch) einen "Solaris Compatibility Layer", vermutlich einer der Gründe, dass ZFS unter Solaris & Illumos meist ein wenig schneller ist.

Solaris und Co ist auf jeden Fall am einfachsten einzurichten und zu managen, da hier NFS und SMB als ZFS und das OS integrierte Kerneldienste dabei sind und FC/iSCSI immer in Comstar enthalten ist - alles gepflegt von Oracle oder Illumos. Auch gibt es bei aktuellen Controllern genau eine Art Platten zu identifizieren (WWN). Das ist eine Hersteller-Plattenkennung die auch bei einem Serverwechsel identisch bleibt. Manche Features wie Fehlermanagement, Hotplug oder die Integration von ZFS Snaps in Windows - vorherige Version tut einfach ohne Fummelei.

Was man bei Solaris beachten sollte ist die Hardwareauswahl. Die ist deutlich geringer als z.B. unter Linux. Übliche Serverhardware tut aber perfekt Auch ist die Auswahl an fertigen Paketen geringer, z.B. Cluster, Mediaserver etc. Für einen reinen Storageserver ist Solarish meines Erachtens nach wie vor die beste Wahl.

 

[hoppel118]

Ich nutze openmediavault3 mit dem darunter verfügbaren zfs-Plugin (ZoL). Meiner Ansicht nach läuft das alles sehr stabil. Ein paar kleinere Fehler am Plugin werden gerade noch behoben.

Aber Achtung, openmediavault3 befindet sich noch im Beta-Status wird aber seitens der Entwickler bereits als "fertig" betrachtet. Was noch fehlt, ist die Überarbeitung einiger Plugins. Wenn das erledigt ist, soll omv offiziell released werden. Das habe ich im omv-Forum in der letzten Zeit so mitgelesen.

Ein großer Vorteil von Openmediavault3 ist die debian jessie Basis. Alles was es (noch) nicht als Plugin gibt, kann meist einfach per apt gezogen werden, insofern es irgendwo debian-Pakete dafür gibt. Die Einbindung anderer Paketquellen ist unter omv (debian) über die command line kein Problem, aber auch das Openmediavault webui bietet eine Möglichkeit andere repositories einzubinden.

Auf meinem Server läuft proxmox als Basis, Openmediavault als kvm, meinen sas-controller (lsi sas3008) habe ich per pci passthrough an diese kvm durchgereicht. Dahinter befinden sich 8x4TB WD Red in einem Raid-Z2-Verbund. Das läuft nun seid ca. einer Woche in dieser Konstellation absolut stabil. Vorher hatte ich omv mit zfs ca. ein halbes Jahr lang direkt auf dem Blech installiert. Probleme gab es während dieser Zeit in Bezug auf zfs nie. Den Pool konnte ich dann nach der Virtualisierung per Knopfdruck wieder importieren. Natürlich ist das noch kein Langzeitergebnis, aber insgesamt bin ich bisher absolut begeistert.

Ein weiterer Vorteil von debian ist die sehr gute Hardware-Unterstützung, bspw. habe ich in der kvm auch VDR am laufen und eine TV-Karte (digital devices cine s2) direkt durchgereicht. Der Treiber für die TV-Karte ist bereits in den 4.4-LTS-Kernel integriert. Ich nutze den Proxmox Kernel in der kvm. Den kann man übrigens nach meinem Erfahrungsaustausch im omv-Forum nun auch per Knopfdruck über das webui im omv-Extras plugin installieren. Der proxmox-Kernel bringt die erforderlichen zfs-Module bereits mit. Die Karte lief quasi out-of-the-box. Aber auch hier fehlt mir momentan noch die Langzeiterfahrung. Aber VDR läuft seit mittlerweile knapp 3 Tagen ohne irgendwelche unüblichen Fehler. Die Community hinter omv und auch proxmox ist wirklich genial.

Wenn ein paar Linuxfähigkeiten mitbringt, kann man wirklich "alles" umsetzen.

Falls du die Möglichkeit hast zu virtualisieren, kannst du es ja einfach mal ausprobieren oder einfach mal auf einer anderen HDD oder einem USB-Stick...

Naja, viel Spaß noch!

 

[Tiedemann1210]

Da der Filer wirklich nur als Fileserver benutzt wird scheint Solaris wohl doch die beste Wahl zu sein.
Ich dachte das Oracles Solaris für nicht kommerzielle Nutzung frei ist. Scheint aber nicht so zu sein. Dann wird es wohl der OmiOS Fork.

@hoppel118
Debian ist zwar mein Favourit als Server OS aber da ZFS für Solaris entwickelt wurde nehm ich doch lieber ein Solaris System.

Von daher werde ich mir dann mal OmnisOS anschauen

 

[besterino]

...also bei mir läuft Solaris wenn natürlich als Entwicklungsumgebung mit dem einzigen für mich erkennbaren Nachteil: keine Patches zwischen den Releases.

 

[gea]

bzgl der Hardware für ZFS und Solarish ist es empfehlenswert sich an den üblichen Best use Empfehlungen zu orientieren.

z.B. meine Build Examples:
http://napp-it.org/doc/downloads/napp-it_build_examples.pdf

im Aufbau bei STH
https://www.servethehome.com/buyers-guides/top-hardware-components-napp-omnios-nas-servers/

 

[Tiedemann1210]

@besterino
Da der Filer eh nicht aus dem Netz aus erreichbar ist wäre das mit den Patches natürlich verkraftbar. Wenn es sonst keine Nachteile gibt wäre das als "Enticklungsumgebung" zu nutzen auch ne option. Dann werd ich mir mal OmniOs und die Oracle Solaris Dev Edition anschauen und dann ne entscheidung treffen.

@gea
Hier mal die relevanten Systemdaten zu meinem Filer:
Pentium G4400
Asrock Rack C236 WS
8GB ECC (für ZFS werd ich am dann am besten gleich auf 32GB aufstocken)

Ich schätze mal die HW sollte kein Problem sein.

 

[layerbreak]

8GB ECC (für ZFS werd ich am dann am besten gleich auf 32GB aufstocken

Das Geld kannst du dir sparen - 16GB reichen für einen reinen Filer IMO vollens aus.
Wenn du einen AIO machen willst, brauchst du halt für die VMs dann noch weiteren RAM.

 

[trendco]

Kurze Frage, ist der "LSI SAS 9207-8i" immer noch der bevorzugte HBA bzgl. ZFS?
Oder sollte man schon den Nachfolger "9300-8i" nehmen?

 

[hoppel118]

@hoppel118
Debian ist zwar mein Favourit als Server OS aber da ZFS für Solaris entwickelt wurde nehm ich doch lieber ein Solaris System.

Von daher werde ich mir dann mal OmnisOS anschauen

OK, ich lege Wert auf die Kompatibilität mit zusätzlichen Hardware-Komponenten und ggf. nicht ganz üblichen Diensten (bspw. Integration TV-Karte für den Betrieb mit VDR). Mit Debian und einem aktuellen Kernel hat man wirklich alle Möglichkeiten. Aber den Anwendungsfall muss jeder für sich selbst bewerten.

Das Geld kannst du dir sparen - 16GB reichen für einen reinen Filer IMO vollens aus.
Wenn du einen AIO machen willst, brauchst du halt für die VMs dann noch weiteren RAM.

Es gibt ein Best Practise Regel für die RAM-Größe die man durchaus in Betracht ziehen sollte:

1GB per TB of storage

Wenn ich mir meine RAM-Auslastung mit meinen 8x4TB (Raid-Z2) so anschaue, kommt das auch hin.


Viele Grüße Hoppel

 

[millenniumpilot]

Deine angeführte "Best Practise Regel" bezieht sich auf ein ganz anderes Thema! Die Regel gehört zur RAM-Auslegung bei der Verwendung von DeDup.

 

[hoppel118]

Für mich ist das Thema ZFS auch noch relativ neu. Wenn ich mir aber die Auslastung meiner KVM anschaue, während ich Filme streame und ggf. transcodiere, sieht das wie folgt aus:





Erläuterung: Um ca. 12:15 Uhr habe ich drei Streams (1. SMB-Freigabe an TV, 2. Transcoding an iPad und 3. Transcoding an iPhone) gestartet. Bei der gestreamten Datei handelt es sich um eine h264-mkv (1080p mit DTS-HD MA). Um ca. 13:05 habe ich den stream an das iphone gestoppt und um ca. 13:25 Uhr habe ich alle Streams beendet.

Ich habe ca. 20TB Netto-Storage und verbrauche beim Streamen 18GB RAM. Evtl. verbraucht das transcoding dann so viel RAM.

Ich lerne aber auch immer jederzeit gern dazu. In jedem Fall sollte man sich bei der Frage der RAM-Größe selbst die Frage stellen, was man eigentlich machen will. Ich brauche anscheinend so viel RAM. Mich stört der hohe RAM-Verbrauch aber nicht wirklich, da mein Proxmox-Host-System 64GB ECC beherbergt.

 

[besterino]

Irgendwas stimmt beim IO-Graph nicht - würde doch eher Leselast als Schreiblast erwarten?

 

[hoppel118]

Da hast du recht!

 

[Digi-Quick]

und was sagt uns der Memory Graph?
Während deiner 3 Streams ist ca. 20GB von 50 GB Cache befüllt worden.
Einen efffektiven "Nutzen" hättest du erst bei wiederholten Zugriff auf genau die 3 gleichen Streams - diese könnetn dann aus dem Cache bedient werden und müssten nicht erneut von den HDDs gelesen werden.
Mit 3 weiteren Streams würdest du dann den Cache wohl nahezu vollständig befüllen.

P.S. mein NAS mit 19x8TB im Raidz3 (128TB Netto) hat 16GB Ram.

 

[hoppel118]

Bei 3 weiteren Streams würde wohl vorher die CPU schlapp machen.

Den von dir beschriebenen effektiven Nutzen, das ein Stream im Haus abgerufen wird, der bereits irgendwo anders im Haus schon läuft, gibt es wohl im Heimgebrauch nicht. Zumindest bei mir nicht. [emoji6]

 

[gea]

Diese 1 GB RAM per TB Daten als unabdingbare Vorraussetzung für ZFS (unabhängig von dedup) hält sich recht hartnäckig und ist so schlicht falsch. Ich sehe das so

- Ein aktuelles 64bit OS braucht 1-2 GB.
Oracle gibt für Solaris auch 2 GB an und zwar völlig unabhängig von der Poolgröße. Ab da ist alles stabil.
Wenn man aber tatsächlich nur 1-2 GB RAM hat, müssen aber alle Daten immer von Platte gelesen werden = langsam

Mehr RAM = mehr Daten im Lesecache = schneller
Als Faustregel für ZFS gilt 99% des Platzes beanspruchen Daten, 1% Metadaten.

Die 1 GB per TB Daten Regel (1%) ist insofern ein guter Anhaltspunkt für ein High-Performance Multiuser System
Mit der 1% Regel sorgt man dafür, dass alle Metadaten gecacht werden können plus die aktuellen Random Daten.

Wenn man jetzt Dedup aktiviert, kommt dadurch ein zusätzlicher Speicherbedarf.
Mit Dedup ist es dann schon sinnvoll bis zu 5 GB RAM per TB Daten einzuplanen. Ein Hauptgrund warum Dedup nicht oder nur bei kleinen Pools und hohen Dedup-Raten sinnvoll ist.

Da ZFS auf und für Solaris entwickelt wurde und das OS und die Speicherverwaltung etwas anders als bei BSD und Linux arbeitet, ist zwischen ZFS und Nicht-Solaris Systemen (noch) ein Solaris Compatibility Layer. Dadurch sind die Speicheranforderungen da etwas höher aber sicher nicht in der Größenordnunf 1GB/TB.

 

[hoppel118]

Danke für die super Erläuterung!

 

[Digi-Quick]

Bei 3 weiteren Streams würde wohl vorher die CPU schlapp machen.

die müssen aj nicht zeitgleich laufen, danach reicht auch! (hätte ich dabeischreiben sollen )

 

[trendco]

Kurze Frage, ist der "LSI SAS 9207-8i" immer noch der bevorzugte HBA bzgl. ZFS?
Oder sollte man schon den Nachfolger "9300-8i" nehmen?

ging wohl unter

 

[gea]

Der 9207 ist sehr ausgereift, kommt mit IT Modus und ist etwas günstiger. Selbst mit SAS Platten und Expander hat er ausreichend Reserven. Man braucht schon viele SSDs um an die Leistungsgrenze zu kommen.

Der 9300 ist neuer, hat 12G und mehr Reserven. Ob das mal relevant wird oder ob es gleich Richtung NVMe geht muss man abwarten. Für Highend Storage würde ich auf jeden Fall auf den 9300 gehen da der Preisunterschied nicht so groß ist und die Treiber zwischenzeitlich ausgereift sind.

 

[trendco]

Danke für die Info gea, dann reicht mir der 9207 vollkommen aus.
Das hab ich jetzt richtig verstanden, bei dem muß ich dann nix flashen, der kommt schon als reiner HBA?
Bzw. wenn flashen, dann wahrscheinlich nur auf den aktuellen Stand bringen?

 

[gea]

Ja, der LSI 9207 hat per default IT Firmware


Ansonsten gibts was neues:
OmniOS unterstützt jetzt LX Container (übernommen von Joyent/ SmartOS)
Das könnte richtig interessant werden um damit weitere Dienste/ Mediaserver etc zu realisieren

siehe
https://www.mail-archive.com/omnios-discuss@lists.omniti.com/msg06973.html

oder (Beiträge über LX)
https://www.mail-archive.com/omnios-discuss@lists.omniti.com/

 

[trendco]

Noch was...
Sind denn die Samsung Enterprise SSD (SM863) ok?
Ich wollt dann zwei von Denen als Raid-1 für den VM's Datastore benutzen und 4 SAS HD's (schon vorhanden) für den Rest.

 

[gea]

Ich habe die SM863 selber im Einsatz.
Sehr gute SSD mit Powerloss Protection und etwas günstiger als die Intel DC Serie.

 

[pumuckel]

Edit, sry hätte vorm Posten erstmal zum Ende scrollen sollen

RAM Auslastung ungleich "nutzvoll"

Wie jedes gute OS und FS wird freier RAM benutzt (brach liegen lassen wäre sinnlos)

Was man in Endeffekt aber wirklich davon braucht ist oft viel weniger

... geschrieben von unterwegs (Handy)

 

[trendco]

gea:
Bei diesen brauch ich dann auch kein händisches OverProvisioning machen wie bei den Consumer Platten, oder?
Also einfach rein und los

 

[gea]

Ein zusätzliches manuelles Overprovisioning könnte zwar die Schreibleistung unter hoher Last nochmal etwas verbessern - ist aber bei den Enterprise SSD nur ganz selten nötig oder sinnvoll.

 

[gea]

Nochmal zum Thema OmniOS und LX container (Linux VM Images)

Falls jemand damit herumspielen möchte (Ich denke dass künftig alle Nicht-Storage Dienste und add-ons in Illumos/ OpenIndiana/ OmniOS als Solaris Zonen, KVM oder insbesondere LX Container funktionieren werden). OmniOS wird LX neben der jetzigen bloody ab der nächsten stable noch im Oktober enthalten. Ab der nächsten LTS im Frühjahr 2017 soll das die "Production Quality" von SmartOS (Joyent/Samsung, dort wird es entwickelt) haben.

Plex Mediaserver (Ich habs nicht selber getested ob das -noch- läuft)
Lights and Shapes

Falls jemand bereits mit LX Containern z.B. unter SmartOS arbeitet oder welche aufsetzen möchte - ich würde die Integration als freie Add-Ons über ein LX Support Menü in napp-it leisten.

 

[morumbinas]

Hallo,

ich bräuchte mal Eure Hilfe bzgl. Wahl der richtigen Festplatte bzw. des Raid Levels.

Ich setze auf meinem ESXi Host napp-it als Storage VM ein (Storage: 2x 120GB Consumer SSD im Raid1, 3x NAS HDD im RaidZ1 ==> Hängen am Dell Perc IT-Modus Controller).

Als ich vor ein paar Monaten den Server zusammengebaut habe, dachte ich, dass ich mit einem 120GB Pool locker auskomme. Mittlerweile setze ich verstärkt auf Windows Server und das frisst
leider Speicherplatz...


Aktuell laufen auf dem Host und dementsprechend auf dem SSD Pool:
3x Windows Server
1x Mac OS X Server
4x Linux Distributionen


Theoretisch könnte ich natürlich zukünftige VMs auf dem HDD RaidZ1 Pool auslagern, aber da ist natürlich die Performance nicht so hoch.

Die Frage ist, wie ich am besten wegkomme. Im Prinzip gibt es folgende Varianten:

1. Zusätzliche 120GB SSD kaufen für Raid Z Pool anstatt Raid1 Pool ==> U.a. bessere Writeperformance; Kosten: 45 EUR
2. Zwei neue 120GB SSDs kaufen und zusätzlichen Raid1 Pool erstellen ==> Kosten: 90 EUR
3. Die zwei verbauten 120GB SSDs verkaufen und dafür zwei neue 240GB SSDs kaufen ==> Ich ärgere mich, warum ich nicht gleich die unwesentlich teureren 240GB Modelle gekauft habe.

Was ist hier gerade im Hinblick auf Performance sinnnvoller für Betriebssysteme?


Danke.

 

[Night-Hawk]

Nochmal zum Thema OmniOS und LX container (Linux VM Images)

Falls jemand damit herumspielen möchte (Ich denke dass künftig alle Nicht-Storage Dienste und add-ons in Illumos/ OpenIndiana/ OmniOS als Solaris Zonen, KVM oder insbesondere LX Container funktionieren werden). OmniOS wird LX neben der jetzigen bloody ab der nächsten stable noch im Oktober enthalten. Ab der nächsten LTS im Frühjahr 2017 soll das die "Production Quality" von SmartOS (Joyent/Samsung, dort wird es entwickelt) haben.

Plex Mediaserver (Ich habs nicht selber getested ob das -noch- läuft)
Lights and Shapes

Falls jemand bereits mit LX Containern z.B. unter SmartOS arbeitet oder welche aufsetzen möchte - ich würde die Integration als freie Add-Ons über ein LX Support Menü in napp-it leisten.

Klingt sehr gut. Das ist ein Grund ein Update durchzuführen und KVM für einige Dienste gegen schmalere Container zu ersetzen