[Sammelthread] ZFS Stammtisch

[m-c-A]

Moin,

ich benötige eure Hilfe bei der Auswahl des Raids und der Anzahl der Festplatten, mein Ziel ist es ZFS für mein NAS und Backup zu nutzen, dabei ist mir wichtig, dass die Daten gegen Bitrot gesichert sind.

Hardware ist soweit vorhanden Dell T20 mit Xeon und ECC (16GB) und momentan sind es 2TB die zu sichern sind, wobei ca. 500GB im Jahr dazu kommen.

 

[RSM72]

momentan sind es 2TB die zu sichern sind, wobei ca. 500GB im Jahr dazu kommen.

Ganz einfache Entscheidung - mit 2 x 4 TB oder 2 x 6 TB Platten anfangen, kein Raid verwenden sondern Spiegeln. Das Ganze lässt sich dann bei Bedarf problemlos ohne Reduzierung der Redundanz um weitere gespiegelte Platten erweitern (logischerweise immer paarweise).

 

[m-c-A]

Und wie verhält sich das mit Bitrot?, ist das nicht nur in Verbindung mit einem Raid möglich?

 

[Digi-Quick]

Ganz einfache Entscheidung - mit 2 x 4 TB oder 2 x 6 TB Platten anfangen, kein Raid verwenden sondern Spiegeln. Das Ganze lässt sich dann bei Bedarf problemlos ohne Reduzierung der Redundanz um weitere gespiegelte Platten erweitern (logischerweise immer paarweise).

Ach, Spiegeln ist also kein Raid1?
Raid1 = Mirror

Hinsichtlich Erweiterbarkeit ist Das der "komfortabelste" Weg, alle anderen Möglichkeiten beim T20 (4 HDDs max) bedeuten "Zerstören" und Neu anlegen.
wobei hier zu beachten ist: der Redundanzlevel des Pools ist dann Raid 10, es darf weiterhin nur eine beliebige Platte ausfallen, fällt die zweite Platte des Selben Mirrors aus, ist der Pool kaputt! Daher würde ich grundsätzlich nur ein VDEV pro Pool nehmen.

Einfache Rechnung:
Wenn wir von 5 Jahren Laufzeit für die HDDs ausgehen sind "2 TB + 5 x 500GB = 4,5 TB" erforderlich, somit müsste ein Raid1/Mirror aus 2x 6TB ausreichen (mit gut 1 TB Reserve) und könnte nach 5 Jahren entsprechend durch einen Mirror aus 2x8TB (oder größer) ersetzt werden - dieses dann paralell zum vorhanden Mirror

Als HDD kann man derzeit eigentlich nur die Seagate NAS HDDs (IRONWOLF) empfehlen, da diese als einzige HDDs in diesem Marktsegement eine URE von 1 in 10^15 haben.

 

[gea]

Und wie verhält sich das mit Bitrot?, ist das nicht nur in Verbindung mit einem Raid möglich?

Bitrot (Datenrost) ist wenn Daten sich auf einem Datenträger ohne Zugriff ändern. Das passiert mit einer statistischen Wahrscheinlichkeit als Funktion über der Zeit in der Daten auf der Platte liegen. Eine einzelne Platte ist davon auch betroffen, Wenige Fehler werden durch eine Festplatte, andere durch das Raid erkannt und repariert. Raid ist aber (neben ZFS copies >1) die einzige Möglichkeit die Daten aus Redundanz zu reparieren. Vorraussetzung um Fehler überhaupt zu entdecken sind aber meist Prüfsummen auf Daten und Metadaten. Ohne Prüfsummen gibt es bitrot und man merkt es erst, wenn z.B. ein Bild schwarze Streifen hat oder eine Binärdatei odet Programm nicht mehr geöffnet werden können oder es einen Absturz gibt.

 

[m-c-A]

Ok, also sollte ich mit Raid1 und ZFS ausreichend gerüstet sein?

 

[Swivel]

Wie stabil ist das ZFS unter Ubuntu? Hat jemand damit Erfahrung?

Möchte gern 4x2tb im RaidZ1 im Hp Microserver anlegen.
Gea hatte mal geschrieben, dass man für ZFS nicht unbedingt einen Hardwarecontroller benötigt? Ich hab die Wahl, welches ist derzeit besser Hardware oder Software?

Zum Verständins für mich:
Backup erstelle ich durch Snapshots, die ich dann z.b. auf externe Hdd auslagere?

 

[morph027]

ZFS on Linux ist stabil. Und ein ZFS hat den Riesenvorteil (neben ganz vielen anderen), dass es eben unabhängig von er Hardware ist. Stirbt dein Controller, brauchst du mit hoher Wahrscheinlichkeit dein Backup. Stirbt dem ZFS was weg, klemmst du die Platten einfach woanders an, wirfst was drauf, was ZFS kann und alles ist gut.

Snapshots sind erst mal kein Backup. Die sichern dir nur den Stand des Systems zu diesem Zeitpunkt. Zum sichern sind die praktisch, da du dann inkrementell basierend auf diesen sichern kannst. Für das Backup kannst du lokale Platten oder einen anderen Host mit ZFS im Netzwerk nutzen.

 

[Swivel]

Ich schließe die Hdd's am Controller ohne Raid an, wenn der Controller stirbt, dann stirbt auch mein ganzes ZFS?

Okay, wenn ich jetzt kein Zweitsystem mit ZFS habe? Wie würde das dann funktionieren? Ganz normal mit rsync? Oder welche Möglichkeiten habe ich dann?

 

[layerbreak]

Und ein ZFS hat den Riesenvorteil (neben ganz vielen anderen), dass es eben unabhängig von er Hardware ist. Stirbt dein Controller, brauchst du mit hoher Wahrscheinlichkeit dein Backup. Stirbt dem ZFS was weg, klemmst du die Platten einfach woanders an, wirfst was drauf, was ZFS kann und alles ist gut.

Grundsätzlich stimme ich dir zu, nur ich weis nicht ob deine Aussage bei ZFS on Linux (ZOL) genauso zutrifft.
Bei Linux ist ZOL "nur oben aufgepfropft" bei Solarish/Solaris ist es Teil des Betriebssystems.

Ich schließe die Hdd's am Controller ohne Raid an, wenn der Controller stirbt, dann stirbt auch mein ganzes ZFS?

Nee, eben nicht, das ist ja einer der Vorteile an ZFS.

Du kannst nicht jeden Controller nehmen. Spar dir das Geld, du brauchst keinen Raid-Controller es reicht ein HBA.
Controller auf IT umflashen.

Du kannst bei Solarish die HDDs anschliessen, wo du willst. Direkt auf dem Motherboard oder über einen Controller ist vollkommen egal. Wenn dann dein MB oder Controller stirbt, steckst du die HDDs einfach in ein neues Gerät, importierst den Pool und alles ist gut.

Du kannst sogar das BS wechseln - halt nur innerhalb der BS-Familie.
Also alle Solarish-Abkömmlinge basierend auf Illumos mit Pool-Version 5000
Dann Oracle Solaris
Wenn die Pool-Version noch v28 ist, kannst du alle Solaris-Betriebssysteme nehmen.
Wie es mit ZOL ist - keine Ahnung.

 

[qoosinoo8]

Thema Backups: Wenn ich Backups machen will (und natürlich auch sollte) nehme ich am besten ZFS send incremental mit read only Snapshots, richtig? Gibt es dafür auch ein Programm mit grafischer Oberfläche für ZFS Backups? Hauptgrund ist vor allem, dass ich mit der Konsole einfach nicht warm werde...

Falls es kein GUI Backup Tool gibt, welches Skript kann man empfehlen das einem möglichst viel aus der Hand nimmt?

 

[CommanderBond]

Kann hier jemand was zu ZFS und Überwachungsanwendung/Surveillance HDDs sagen. Gibt es da Probleme? Hat jemand Erfahrungen mit sowas? Kann man die nehmen oder ein Nogo?

 

[millenniumpilot]

Hallo,

weis jemand, ob es OmniOS-Treiber für die Mellanox X2 10GB-Ethernet Karten gibt?
Bisher liefen meine OmniOS-Installationen ausschließlich als VM unter ESXi. Für den ESXi gibt es Treiber.
Nun wollte ich eine OmniOS-Installation mit diesen 10G-NICs BareMetal installieren.
Bisher war meine Suche leider erfolglos.

 

[morph027]

Thema Backups: Wenn ich Backups machen will (und natürlich auch sollte) nehme ich am besten ZFS send incremental mit read only Snapshots, richtig? Gibt es dafür auch ein Programm mit grafischer Oberfläche für ZFS Backups? Hauptgrund ist vor allem, dass ich mit der Konsole einfach nicht warm werde...

Falls es kein GUI Backup Tool gibt, welches Skript kann man empfehlen das einem möglichst viel aus der Hand nimmt?

Also Wissen über ZFS und Kommandozeile schadet nicht, wenn einem seine Daten lieb sind Aber @gea macht hier mit napp-it einen sehr guten Job. Gibts auch für Linux, dann aber in abgeschwächter Form. ZFS ist einfach auf Solaris so richtig zu Hause.

 

[bogomil22]

Grundsätzlich stimme ich dir zu, nur ich weis nicht ob deine Aussage bei ZFS on Linux (ZOL) genauso zutrifft.
Bei Linux ist ZOL "nur oben aufgepfropft" bei Solarish/Solaris ist es Teil des Betriebssystems.

Wenn du ZoL auf Ubuntu/Debian installiert hast ist es doch auch Teil des OS. Für reine Datenpool (rpool mal aussen vor) macht es keinen Unterschied meiner Ansicht nach. ZoL wird seit einer Weile als stabil angesehen, aber es fehlen noch 3-4 Kleinigkeiten gegenüber den illumos&Co. (hier eine Übersicht).
Aktuell wird aber z.B. das illumos Fault Management portiert und im nächsten Schritt dann die "sharesmb option support".
Zwar fehlt in ZoL auch der eigebaute SMB-Server aber dieser kann ja mit Samba problemlos nachinstalliert werden. Meine Tests haben bei 1G keinerlei Performance-Unterschiede ergeben (Samba unter ZoL mit 125MB/s realer Datentransfer).
Generell finde ich, dass die Developer-Aktivität unter ZoL ggü. illumos&Co stark zunimmt. Einige Features sind zZ nur unter ZoL verfügbar / in Entwicklung. Fast täglich kommen neue Commits/Pull Requests etc (siehe Github). Und alle Features die in OpenZFS erscheinen kommen mit Verzögerung auch in ZoL.

Thema Backups: Wenn ich Backups machen will (und natürlich auch sollte) nehme ich am besten ZFS send incremental mit read only Snapshots, richtig?
...

Da bin ich nicht auf dem neusten Stand aber zfs send -i (incremental) sollte man zur Zeit vermeiden, da in ZoL als auch in
openZFS ein bug vorhanden ist (hole_birth bug):

https://github.com/zfsonlinux/zfs/issues/4809
https://github.com/zfsonlinux/zfs/issues/4530
https://github.com/zfsonlinux/zfs/issues/4230
https://github.com/zfsonlinux/zfs/issues/4050
https://github.com/openzfs/openzfs/pull/37
uvm.
Ich meine mich zu erinnern das erst kürzlich in der Mailing liste darüber geredet wurde... am besten mal nachschauen.
Korrigiert mich wenn ich hier falsch liege.

Kann hier jemand was zu ZFS und Überwachungsanwendung/Surveillance HDDs sagen. Gibt es da Probleme? Hat jemand Erfahrungen mit sowas? Kann man die nehmen oder ein Nogo?

Ich denke mal du bist auch auf den Mydealz Link gestoßen. Hier wird für unter 200EUR eine 8TB HDD angeboten. Unter anderem mit 1 per 10E15 Nonrecoverable Read Errors und 24x7 etc. "Nachteil": HDD soll nur für sog. DVR-Anwendungen/Systeme geeignet sein.
Deine Frage würden mich auch interessieren...weiss hier jemand genaueres? In den Kommentaren unter dem Deal wird davon geredet dass DVR-Platten keine/geringere Error-Correction/Detection haben um ein flüssiges Streamen/Bild zu erhalten....Andere meinen wieder dies ist nur der Fall wenn eine (DVR)-Anwendung den sog. ATA-Streaming-Command nutzt (spezielle Sata Commands).

Von den Features her sieht die Platte eigentlich TOP aus:
• 1M hour MTBF - designed for high write duty cycle across Surveillance HDD
• ATA AV Command support - streaming video command support across Surveillance HDD
• Best-in-class acoustic performance means virtually silent operation
• Built-in error recovery for non-stop video streaming
• Compliant with RoHS requirements in China and Europe
• Full-track multiple-sector transfer capability without local processor intervention
• Idle3 power mode support
• Low activity power
• Native Command Queuing with command ordering to increase performance in demanding applications
• Performance-tuned for seamless video applications
• Reliability for 24×7 video surveillance applications
• Rotational Vibration - mitigation of system level rotational vibration inside Surveillance HDD
• SeaTools® diagnostic software performs a drive self-test that eliminates unnecessary drive returns.
• State-of-the-art cache and on-the-fly error-correction algorithms
• Streaming video optimization - consistent command completion times & ERC support across Surveillance HDD
• Support for S.M.A.R.T. drive monitoring and reporting
• Supports "8+" drive bays
• Supports ATA8 streaming commands
• Supports latching SATA cables and connectors
• Supports up to 64 cameras
• TGMR recording technology provides the drives with increased areal density.
• Thermal monitoring and reporting for 24×7 operations
• Transient power on management - <=1.8A spin-up current
• Uncompromising reliability supports flexible surveillance design with case temperatures up to 70oC
• Workload ratings of 180TB/year
• Worldwide Name (WWN) capability uniquely identifies the drive


Datasheet
Handbuch mit oben genanten Features

Sind diese Art der Platten für ZFS brauchbar?

 

[morph027]

Wäre natürlich der Hammer.

Bzgl. ZoL. Ich nutze das produktiv innerhalb von Proxmox jetzt seit vielen Jahren ohne Probleme. Und ja, die AKtivität ist nicht ohne. Besonders freut mich die Kommunkation zwischen alles ZFS Ablegern. Da wird eben drauf geachtet, dass das auch portiert werden kann, falls möglich.

 

[Swivel]

Nochmal zum Thema Backup: Wie macht ihr euer Backup? Steh da noch irgendwie auf'm Schlauch.

Ist es besser bzgl. der Performance 5x2tb oder würde auch 4x2tb akzeptable sein?

 

[Bzzz]

Nun, wenn du vier oder fünf Platten halbwegs regelmäßig anstöpseln und dann wieder entfernen willst...denn dauerhaft mitlaufende Platten sind ja kein Backup. Mir wär das zu nervig und ich würde große Einzelplatten nehmen, wenn ich eh neukaufen müsste. Gut, es sei denn du hast so viele und so wichtige Daten, dass sich ein Zweitsystem als Backup rentiert, dann muss aber auch 10GBe her, um ein dickes RAIDZ o.ä. performancetechnisch auszunutzen. Da bin ich weit von entfernt...

Bei mir sind zwei aussortierte (alte, lahme) 2TB-Platten das Backup, während das Haupt-Z2 aus 8x2TB besteht. Die lagern normalerweise bei der entfernen Verwandtschaft und werden ein paar Mal im Jahr onboard angestöpselt. Viele Daten ändern sich ja nicht, ist hauptsächlich ein Daten-Endlager. Manche ZFS-Volumes backuppe ich auch gar nicht, da reicht mir die hohe Verfügbarkeit des RAIDZ2, entsprechend unwichtig / gut wiederbeschaffbar sind die Daten.
Ablauf dann:
Snapshot erstellen, Pool importieren, Kommando
sudo zfs send -R -i <pool>/<ZFS><oldsnap> <pool>/<ZFS><newsnap> | sudo zfs receive -Fduv <backuppool>
anpassen (zum -i s.o., ich hab allerdings Solaris!) und für alle sehr ähnlich benannten ZFS einmal durchrattern lassen. ~10GB/min = 160 MB (stripe), dann Pool exportieren, Kiste runterfahren, abstöpseln, sicher eintüten und wieder fortbringen.

 

[Swivel]

Also die Frage mit den 4 oder 5 Hdd's war nicht auf das Backup bezogen

Vielleicht nochmal das was ich habe:

HP Microserver: da soll verbaut werden 4 oder 5 x 2TB für Storage ... was halt effektiver ist

Backup: Hab ich auf eine 2TB Platte wo die wichtigen Sachen drauf sind. Ich könnte auch noch einen zweitrechner einrichten um Backups zu fahren oder halt anstöpseln am Microserver.

Was wäre besser und welches Format sollte die Backupplatte haben?

 

[teqqy]

Am besten wäre das Backup wenn es den weg aus dem Haus schaffen würde. So als grundsätzliches. Ansonsten ist es meiner Meinung nach egal, hauptsache du hast eines das regelmäßig gemacht wird. Vor allen dingen: REGELMÄßIG KONTROLLIEREN das die Daten auch noch vollständig lesbar sind.

 

[Bzzz]

Ah, okay...naja bei Z1 bieten sich 5 Platten an, das hat bestimmt schon jemand gesagt. Bei Mirrors gehts mit 5 so schlecht auf

Welches Format? Wenn kein ZFS, dann wirds mit der Snapshot-Kopiererei etwas schwierig. Kannst natürlich auch die Dateien selbst mehr oder weniger automatisiert auf die Backupplatte spiegeln...aber ich bin zu ZFS gekommen, weil mir ein manueller Spiegel mit 2 bzw. 2x2 NTFS-formatierten Platten meine Daten fast zerhauen hat. Ich hab dann Fetzen mit Fetzen zusammengesetzt und glücklicherweise nur wenig & ausschließlich unwichtiges Zeug verloren. Da muss schon viel schieflaufen, dass das mit den Checksummen in ZFS a) nochmal unbemerkt passiert und b) dann trotz der doppelten Parity irreparabel ist

 

[bogomil22]

Wäre natürlich der Hammer.

Bzgl. ZoL. Ich nutze das produktiv innerhalb von Proxmox jetzt seit vielen Jahren ohne Probleme. Und ja, die AKtivität ist nicht ohne. Besonders freut mich die Kommunkation zwischen alles ZFS Ablegern. Da wird eben drauf geachtet, dass das auch portiert werden kann, falls möglich.

Proxmox scheint auch recht interessant zu sein. Könntest du dein Setup mal erkläutern?
Ist es richtig, dass Proxmox als bare metal Visualisierung genutzt werden kann (wie vmware) aber auf debian basiert und somit nativ ZoL unterstützt? Sprich mann muss seine HBAs wo die Platten dranhängen (u.a. M1015 IT) nicht via passthru an irgendeine virtuelle Guest-Maschine mit zfs freigeben, sondern kann unter dem bare-metal-Proxmox (debian) direkt sein ZFS Daten-pool als auch ein VM-Pool anlegen? Daten-Pool für Datenablage und SMB Freigabe und VM-Pool für die Ablage der virtuellen-guest-Betriebsysteme unter proxmox? Vorteil wäre das die virtuellen Maschinen schnell und einfach via zfs gesichert werden können.
Soweit richtig?
Wie siehts bei Promox mit Passthru von Netzwerkkarten und evtl anderen PCI-Geräten (TV Karte - z.B.: DD Cine S2) aus?

Nutzt noch jemand Promox mit ZFS? Erfahrungen? Performance?


Gesendet von iPad mit Tapatalk

 

[morph027]

Genau, so quasi alles was du schreibst.

Der Proxmox selbst hat die ZFS Pools und legt dann drauf seine VMs ab. KVMs kriegen ein ZVOL, Container direkt ein ZFS Dateisystem. Die wissen nicht, dass sie auf ZFS laufen

Passthrough von USB/PCI Geräten geht auch, alles schon gemacht.

 

[k1l]

@ZoL Aktivität:
Das war halt sehr lange ein Problem, da die Lizenz-Buden durch ihren Zickenkrieg die Drohkulisse der rechtlichen Unsicherheit geschaffen haben. Man konnte es nachträglich aktivieren, aber das erklärt halt, warum es lange eher Stiefmütterlich behandelt wurde.
Seit ubuntu 16.04 hat canonical es in die ubuntu Repos aufgenommen und nutzt es als Standard FS für die Linux Container. Das bringt jetzt nochmal frischen Wind.


@Backup:
Ich habe jetzt von 2*2TB plain ext4 mit Backup der wichtigsten Daten per Cronjob auf eine 1TB usb-Platte auf ZFS Raidz1 3*2TB umgestellt. Bei den Backups bin ich mir auch noch nicht so richtig im Klaren wie ich das jetzt am geschicktesten Anstelle. Einerseits Backup gegen versehentliches Löschen (das wären dann Snapshots?) und einmal Backup gegen "das System ist abgebrannt"(meine USB Lösung in gewisser Weise).

 

[m-c-A]

Moin, kann mir jemand sagen, ob man Truecrypt Container von einem freenas System direkt mounten kann?

 

[MicroCane]

Kurze Frage an die Runde:

Hab nen 3 x 5TB WD-Red RaidZ
Möchte jetzt ne 4te Platte einbauen und das RaidZ neu bauen, da man ja nicht erweitern kann.
Gibt die 5TB leider nicht mehr zu kaufen.

Kann ich einfach 3x 5TB + 1x 6TB in einem RaidZ nehmen? Das der 1TB ungenutzt bleibt weiß ich.

 

[the_pi_man]

Es gibt keine 5TB Platten? Also wenn ich bei geizhals schaue listet der mir 24 Stück auf, sogar Dauerbetriebsgeeignet. Außerdem sind 4 Platten bei Raidz1 suboptimal. 5 Platten wären perfekt.

 

[MicroCane]

Es handelt sich um den HP Microserver. WD Red 5TB findet man leider nicht mehr. Macht es denn nichts die Hersteller zu mischen?
Ich hab gelesen, dass das mit der ungraden Anzahl (3 Platten + 1 Parity) suboptimal, aber kein großes Problem ist.

Edit: Die haben auch unterschiedliche Drehzahlen usw.

Performance ist kein Problem. Das System dient eher als Datengrab. Solange Gigabit Netzwerk in etwa ausgelastet werden kann ist alles ok. Backup natürlich auch vorhanden.

Also bleibt die Frage. Kann ich 3x 5TB + 1x 6TB in einem RaidZ nutzen?

 

[Digi-Quick]

Ja

 

[gea]

Die langsamste und kleinste Platte bestimmt halt Größe und Performance des Pools und ist ansonst absolut unkritisch.
Der Verschnitt bei Raid-Z1 mit vier Platten liegt bei gut 3%, verringern kann man den durch eine höhere Blocksize, z.B. 512k oder 1M statt der 128k default. Verschnitt ist bei 1M ca 0,2%.

https://docs.google.com/spreadsheet...J-Dc4ZcwUdt6fkCjpnXxAEFlyA/edit#gid=804965548