[Sammelthread] ZFS Stammtisch

@gea, zu allem von Dir genannten ein "Ja". Es ging mir mit der Verschwendung um VMware VMDK->VMFS->LUN weiter in Netapp LUN->Volume->Aggregate->RAIDSET->Platte. Bei NFS grob beschrieben wäre es VMDK -> NFS -> Pool -> Platte.

Zu ESXi Backup: Leider wollen meine Windows und VMware Kollegen dies nicht erkennen oder einsehen. Hier könnte man viel viel Geld sparen, aber die GUI Fraktion will das nicht.
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ich nutze für ESXi aber auch ausschließlich NFS. Das ist genauso schnell wie iSCSI, viel einfach zu warten und zu sichern.
iSCSI hat einen grossen Vorteil gegenüber NFS. Man kann mehrere Netzwerkkarten "zusammen", als Multipath (MPIO) benutzen. Damit kann ich z.B. 4 NIC's allein für iSCSI nutzen und der Speed erhöht sich auf 4 GBit/s.
 
Man kann auch mehrere Netzwerkkarten per Port Trunking zusammenschließen.
Wenn es nur um Peformance geht würde ich aber immer zuerst auf ein schnelleres Netz z.B. 10 GbE gehen.
Sowohl MPIO wie Port-Trunking sind zunächst eher eine Fehlerursache als ein Turbo.

Multipath Lösungen, egal ob auf SAS disks oder auf iSCSI targets sehe ich eher im Umfeld von Availability als sinnvoll.
z.B. Zwei Server auf ein gemeinsames SAS Storage mit MPIO und HA Software das den Ausfall eines Servers abfängt

oder ein oder zwei Storageheads auf zwei Storagenodes per iSCSI um den Ausfall eines Heads und/oder Nodes abzufangen.
 
Guten Abend,

da ich gerade bei meinen Systemen am Updaten bin, kleine Frage gibt es Probleme wenn ich von

OmniOS_Text_r151008j auf -> OmniOS_Text_r151014 update und napp-it 0.9d2 auf -> napp-it 0.9f5 update?

Das aktuelle napp-it sieht mit den neuen Graphen usw. wirklich super aus.
 
Danke dann werde ich bei Gegelegenheit beides mal Updaten :)
 
Spricht eigentlich irgendwas dagegen Festplattengrößen zu mischen? 4x3TB und 2x 4TB zusammen als ein RaidZ2 laufen lassen. So müsste ich ggf meine 3TB Platten noch nicht verkaufen weil sie vom Platz her reichen, aber wenn ich neue kaufe weil ich ein RaidZ2 statt 1 haben will würde ich direkt 4TB Festplatten kaufen. Später kann man dann ja die 3TB Platten gegen 5 oder 6TB Platten austauschen, und danach dann wieder jeweils die kleinsten.

Vorteil den ich hier sehe ist ich muss nicht direkt 6 neue Festplatten auf einen Schlag kaufen und ich habe auch Festplatten unterschiedlichen Alters in meinem Pool. Mit gleich alten Platten ist die Warscheinlichkeit dass sie zum Ende der Laufzeit mehr oder weniger zeitgleich aussteigen schon recht hoch, wäre es da nicht wesentlich sinnvoller 2er Gruppen zu haben, also immer etwa 2 Festplatten des gleichen Alters nur?

Auch wenn mir ein RaidZ2 mit 3TB Platten noch reichen würde vom Platz, so finde ich es nicht so sinnvoll mehr heut neue 3TB Festplatten zu kaufen wenn 4TB unwesentlich mehr kosten (selbst wenn ich den zusätzlichen Platz im Pool nicht direkt nützen könnte wegen meinen 3TB Platten).

Wenn einzelne Festplatten größer sind als andere, werden diese dann dennoch im Sinne von Copy on Write über die gesamte Kapazität benutzt, oder bewegen sich die Schreib und Leseköpfe niemals in die Bereiche über >3TB weil die anderen Platten die Poolkapazität limitieren? Also nutzt die 4TB den gesamten Datenbereich, auch wenn effektiv nicht mehr als 3TB auf den Platten sein können an Daten? Oder schreibt die Festplatte die Daten immer wieder an die selben Stellen und rührt den Bereicht von 3-4TB gar nicht an auf der Oberfläche der Magnetscheiben?

Ich rede hier von RaidZ1 und RaidZ2 die ganze Zeit.
 
Zuletzt bearbeitet:
Von jeder Platte in einem vdev wird nur der kleinste gemeinsame Teil verwendet. 4x3T + 2x4T wären wie 6x3T.

Edit: Achso, ja, die Platte wird nur "vorne" benutzt. Der Bereich über 3T wird nicht benutzt. Wobei ich mir grad nicht 100%ig sicher bin, ob ZFS nicht ganz am Ende irgendwelche Header schreibt.
 
Zuletzt bearbeitet:
Drei Fragen zu napp-it und dort den autosnaps:

1. Verstehe ich das richtig, dass der "auto service" auf enabled (z.B. enable5min) stehen muss, damit die Jobs überhaupt durchgeführt werden?

2. Wenn ich die snap jobs einrichten will - was genau heißt denn "number of days to hold ex 30", insbesondere im Zusammenspiel mit "number of snaps to keep"?

Beispiel: Ich will jeden Monat einen Snapshot erstellen, von denen die letzten 24 aufgehoben werden sollen (so dass ich zwei Jahre zurückgehen kann). Muss ich dann die "number auf days to hold" auch anpassen, also auf irgendwas über 732, z.B. 740?

3. Zum Thema scrubbing: welche Wiederholungen sind denn hier "sinnvoll", wenn man relativ wenige Veränderungen in den Daten hat? Und wie verträgt sich ein scrub mit einem "reingrätschenden" snap? Muss ich da zeitliche Puffer einplanen, so dass der snap z.B. um 3 Uhr angelegt wird, und der scrub dann besser (erst) um 6h läuft?
 
1.
ja

2.
keep (Anzahl snaps) und hold (Tage) werden beide beachtet.
Gelöscht wird wenn keine der beiden Bedingungen zutrifft.

Bei einem Snap monatlich reicht als keep=24, hold ist egal sofern nicht größer als ca 740

3.
Beim Schreiben legt ZFS geänderte Datenblöcke neu an. Die alten Datenblöcke werden zum Überschreiben freigegeben. Ein Snap verhindert lediglich das Überschreiben alter Daten. Das beißt sich also nie mit einem Scrubbing.

Mit Desktop NAS Platten würde ich einen Scrub monatlich (z.B. jeden ersten Samstag) machen.
Scrub repariert Schreibfehler verursacht in der Kette Treiber-Controller-Kabel-Backplane-Platte oder
silent errors durch Radioaktivität, Magnetfelder, elektromagnetische Fehler oder rein statistische Fehler.
 
Spitze, vielen Dank!
 
gibts eigentlich neue erkenntnisse zu napp-it, zfs und esxi 6.0 ?

möchte gerne weg von xpenology als datenspeicher.
 
Die aktuelle napp-it VM für ESXi enthält die vmware tools für ESXi 6. (sind auch mit 5.5 geeignet)
Ich habe das auch im Testbetrieb im Einsatz.

Mit ist dabei noch kein Problem aufgefallen, die Last ist aber auch eher niedrig
Es gibt aber Berichte von NFS Problemen mit ESXi 5 und ESXi 6 - wobei ich 5.5U2 als sehr stabil schätze.
(Wobei das nicht Solaris spezifisch ist)

Bei Problemen würde ich versuchen was z.B. NetApp mit NFS empfiehlt.
Heads Up! NetApp NFS Disconnects - CormacHogan.com
VMware KB: NFS connectivity issues on NetApp NFS filers on ESXi 5.x/6.0

Ich würde es einfach mit ESXi 6.0 ausprobieren.
 
okay, welche version von napp-it wähle ich da als blutiger anfänger? soll ne interne storage-vm werden, bei der pcie durchgerecht werden.
 
okay, welche version von napp-it wähle ich da als blutiger anfänger? soll ne interne storage-vm werden, bei der pcie durchgerecht werden.

Die aktuelle ZFS Storage VM Version 15b (2015, die zweite)
napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana, Solaris and Linux : Downloads

1. VM Herunterladen, entpacken, mit dem ESXi/ Vsphere Filebrowser auf den lokalen Datastore kopieren,
dann die VM mit einem Maus-Rechtsklick auf die .vmx Datei im VM Ordner in ESXi anmelden.

2. in ESXi pass-through aktivieren, neustarten

3. Bei der OmniOS VM den Disk-Adapter als pci-device (pass-through) hinzufügen
OmniOS starten (Frage beim ersten Start ob VM kopiert oder verschoben mit kopiert beantworten),
per Browser napp-it aufrufen http://serverip:81

das wäre eigentlich alles, siehe
http://www.napp-it.org/doc/downloads/napp-it.pdf
http://napp-it.org/doc/downloads/napp-in-one.pdf
 
Zuletzt bearbeitet:
Irgendwie funktionieren bei mir die Snapshots nicht richtig. Die Napp-it Logs behaupten zwar, dass täglich ein Snapshot angelegt wurde, unter "Vorgängerversionen" zeigt mir Windows aber nichts an.

Habe testweise mal sowohl eine txt-Datei angelegt, Berechtigungen geändert und ein paar Dateien gelöscht. Der Windows-Explorer weigert sich aber hartnäckig, Vorgängerversionen zu zeigen. Irgendeine Idee, woran das liegen könnte?

Linux Kernel 3.16.0-34-generic x86_64
Napp-it: 0.9f4

Nachtrag: habe mal auf Napp-it 0.9f5 aktualisiert. Sagt mir in der Übersicht "task server: missing" - schlimm?
 
Zuletzt bearbeitet:
Soweit ich weiß muss man unter Linux Samba erst konfigurieren damit die Shadow Copys in Windows angezeigt werden. Aber da müsste dir jemand helfen der sich mit Linux auskennt :)
 
Hmm. Ich sehe ja die SMB-Freigaben und kann sie auch ändern/löschen. Muss dann wohl irgend eine besondere Einstellung speziell für die Snaps geben.
 
ja unter Solaris funktioniert das direkt mit Windows "Vorgängerversionen" aber unter Linux mit Samba muss man das konfigurieren.

Schau mal da hatte jemand zu dem Thema mal einen Blogeintrag gemacht ist aber in Englisch :)

https://anteru.net/2015/01/23/2701/

Am Ende des Artikels "Volume shadow copies for Samba using ZFS"
 
Nachtrag: habe mal auf Napp-it 0.9f5 aktualisiert. Sagt mir in der Übersicht "task server: missing" - schlimm?


Ja, task server muss laufen, eventuell napp-it neu starten,
auch muss ein Cron.Job für root eingerichtet werden, z.B.:
* * * * * perl /var/web-gui/data/napp-it/zfsos/_lib/scripts/auto.pl


Im Menü Snapshots kann man dann nachschauen, ob die Snapshots angelegt wurden.
Zum Theme "SAMBA" und "Windows vorherige Version", haben ja schon andere was geschrieben.
Out of the Box (wie vieles) geht das nur mit Solaris/ OmniOS
 
Zuletzt bearbeitet:
Also im Napp-it Menü tauchen die Snapshots schon einmal auf. Sie werden also nach meinem Verständnis angelegt, sind offenbar nur für die Windows-Clients (noch) nicht sichtbar. In dem entsprechenden ZFS-Verzeichnis "/ZFSdata/Raid10/.zfs/snapshots" sind auch diverse Einträge. Die Erstellung scheint also zu klappen, oder?

Unter ZFS Filesystems zeigt mir Napp-it zu meinem entsprechenden Filesystem (ZFSdata/Raid10) jeweils auch NFS und SMB als "on". Dazu passt ja auch, dass ich die SMB-Freigabe unter den Windows-Clients sehen kann.

Nun müsste ich anscheinend in der smb.conf unter der entsprechenden Freigabe Folgendes eintragen:

vfs objects = shadow_copy2
shadow: snapdir = .zfs/snapshot
shadow: sort = desc
shadow: format = shadow_copy-%Y.%m.%d-%H.%M.%S

Dummerweise habe ich in meiner smb.conf keinen Share-abschnitt (also zum Beispiel "[ZFSdata_Raid10]" gibt es nicht), lediglich einen Abschnitt zu Druckern. Woher kommt denn nun, dass das ZFS-Verzeichnis für die Win-Clients sichtbar ist?

Und wo legt denn Napp-it (oder ZFS?) die Konfiguration dafür ab?

Oder vielleicht kann mir jemand sagen, wo ich die smb-Konfiguration unter OmniOS finde (also das smb.conf-Pendant)? Da das mit den Snapshots unter OmniOS nativ wunderbar funktioniert, kann ich ja vielleicht in meinem laufenden OmniOS-System mal etwas abgucken und auf die Linux-Kiste übertragen?

Fragen über Fragen...aber ich krich' das noch hin!
 
Zuletzt bearbeitet:
Und wo legt denn Napp-it (oder ZFS?) die Konfiguration dafür ab?

Oder vielleicht kann mir jemand sagen, wo ich die smb-Konfiguration unter OmniOS finde (also das smb.conf-Pendant)? Da das mit den Snapshots unter OmniOS nativ wunderbar funktioniert, kann ich ja vielleicht in meinem laufenden OmniOS-System mal etwas abgucken und auf die Linux-Kiste übertragen?

Fragen über Fragen...aber ich krich' das noch hin!

Zum aktuellen SAMBA kann ich wenig sagen. Ich habe vor Jahren erfolglos versucht, meine Windows Filer durch SAMBA Filer abzulösen und erst mit Solaris + ZFS war ich soweit zu sagen, ja das geht und ich habe mehr Vorteile als Nachteile.

Unter OmniOS/Solaris gibt es keine Konfigurationsdatei wie smb.conf. Ein SMB Share ist da eine Eigenschaft des ZFS Dateisystems mit ZFS Eigenschaften wie guest oder ABE (verstecke Dateien auf denen man keinen Zugriff hat). Daneben gibt es Rechte als Datei oder Shareattribut und Snaps die seit vielen Jahren als Windows "Vorherige Version" bereitstehen. Das wars.

Für SAMBA ist ZFS ein eher unbedeutendes Randproblem. Da es keine 1:1 Zuordnung von Shares zu ZFS Dateisystemen mit Snaps gibt, ist es ein grundsätzliches Problem das sauber abzubilden. Ein Share ist bei SAMBA kein ZFS Dateisystem sondern ein beliebiger normaler oft geschachtelter Ordner bei dem ein Share in einem anderen Share enthalten sein kann. ZFS Snaps darauf abzubilden ist eine Herausforderung.
 
Tjo, das scheint nur über Fummelei zu gehen. Ich versuch' mich die Tage vielleicht noch einmal daran. Ansonsten stelle ich um, so dass die native OmniOS-HP-Kiste der Haupt-Filer wird und die Ubuntu-VM vielleicht Backup. Zum dumm, dass man Solaris-Derivate nicht vernünftig auf 'nem Hyper-V zum Laufen bekommt (vor allem nicht als 64Bit mit aktuellen "virtuellen" NICs).

Alternativ probiere ich vielleicht doch noch einmal ESXi als Hypervisor - aber ohne Lizenz für das Web-Admin-Tool ist das mit der Administration auch irgendwie doof.
 
Alternativ probiere ich vielleicht doch noch einmal ESXi als Hypervisor - aber ohne Lizenz für das Web-Admin-Tool ist das mit der Administration auch irgendwie doof.

Administration über Vsphere ist einfach und komfortabel.
Bedeutet halt dass man Windows braucht, zur Not als VM.
 
HA! Oder: HEUREKA!

Et lüppt et lüppt et lüppt! (Zumindest erst einmal bis auf weiteres und so...)

Also, was habe ich gemacht (falls es jemanden interessiert):

ZFS on LINUX (!) Snapshots

a) Hintergrundinfos zu meiner Installation:

Ubuntu 14.04LTS 64 Bit als VM unter Hyper-V (Windows Server Technical Preview 2)
ZFS on Linux als PPA installiert
OS liegt in einer VHDX auf einer SSD
4x4TB HDDs sind als physische Laufwerke an die VM durchgereicht

2. ZFS Basis-Konfiguration:
Die durchgereichten HDDs habe ich manuell als ZFS-Pool anlegen müssen (mit Napp-it wollte das irgendwie nicht klappen).
Mein (einziges) ZFS-Dateisystem liegt unter /ZFSdata/Raid10/ (interssant für Einträge in der smb.conf gleich)

3. Snaps
Snaps habe ich dann über Napp-it konfiguriert:

1. Um den autoservice nutzen zu können, musste ich zunächst manuell eine crontab für root anlegen (als user root in der console eingeben: "crontab -e")
2. Dann unter Napp-it --> Jobs --> autoservice aktiviert (bei mir 1 min)
3. Danach mit Napp-it entsprechend die automatischen Snaps konfiguriert.

4. Samba Konfiguration
Hier die entscheidenden Settings, damit Windows (7) die snaps auch erkennt/sieht:

Folgende Einträge modifiziert nach Anleitung in /etc/samba/smb.conf hinzugefügt (ansonsten habe ich die Datei nicht verändert):

Code:
[global]
...
unix extensions = off #keine Ahnung was das macht, aber stand so in der Anleitung

[B][Server] # Name der Freigabe, wie er unter Windows erscheinen soll[/B]
comment = ZFS on Linux Server
inherit acls = Yes
[B]path = /ZFSdata/Raid10 # Das freizugebende ZFS-Verzeichnis[/B]
read only = No
follow symlinks = yes
wide links = yes
vfs objects = shadow_copy2
shadow: snapdir = .zfs/snapshot
shadow: sort = desc
[B]shadow: format = daily-1435708946_%Y.%m.%d.%H.%M.%S # der Teil "daily-1435..." ist das Präfix bei meinen Snaps, das offenbar von Napp-it angelegt wird (vermutlich eindeutige ID für jeden Job?).  
[/B]

Nach Änderungen nicht vergessen: service smbd reload (ich mach sicherheitshalber auch immer noch einen restart)

Witzig: obwohl ich das Format mit "daily-[JOBNUMMER]" spezifisch für einen Job angegeben habe, findet Windows jetzt auch snapshots, die unter einem anderen Job angelegt wurden. Habe bisher aber nur einen einzigen anderen Snap mit anderer "Jobnummer", muss ich also bei Gelegenheit noch einmal testen.

Hinweis: ich habe unter Napp-it die SMB-Freigabe wieder auf "off" gestellt, da ansonsten die Freigabe 2x unter Windows sichtbar ist (1x irgendwie über ZFS/Napp-it - die Details dazu habe ich noch nicht verstanden - und 1x über die smb.conf). Ob das jetzt doof bzw. was jetzt besser ist, müssen andere entscheiden... ;-)

Ebenfalls noch rumspielen muss ich mit den Rechten. Habe nur ein einziges ZFS-Dateisystem, auf das aber 2 Nutzer zugreifen sollen (und zwar quasi gleichberechtigt Vollzugriff) - ob das so klappt, habe ich noch nicht getestet.

P.S.: Brauch' ich ESXi vielleicht doch nicht ... ;-)

P.P.S.: Was ich an Ubuntu unter Hyper-V echt schick finde ist die (für mich als mehr Linuxer als Solariser) simple/problemlose Netzwerk-Konfiguration. Die Ubuntu-VM befeuerte zwischenzeitlich problemlos 3 ganz unterschiedliche "NICs":

1x 1GB (T20-NIC, glaub Broadcom?)
1x 10GB x540-T2, Port 1, "exklusiv" für die Ubuntu VM
1x 10GB x540-T2, Port 2, "shared" mit einigen anderen VMs)
1x 10GB Interner Hyper-V-Switch
 
Zuletzt bearbeitet:
Sorry für die Frage und muss gestehen, dass ich noch gar nicht versucht habe, mich selbst schlau zu machen, also:

Kann man das offizielle Solaris als Home-user frei nutzen und was spräche sonst dagegen?

Ich finde die Dokumentation zu OmniOS als SolarisLaie ziemlich bescheiden und bei den allgemeinen Docus zu Solaris, Openindiana und Illumos weiss man nie, was OmniOS jetzt vielleicht doch anders macht...

Auch finde ich ein paar Grundeinstellungen bei OmniOS eher Murks (die Console macht mich wahnsinnig)... Daher würde ich gern mal die "Mutter" testen, wenn ich mir damit nicht an anderer Stelle ins Knie schieße.
 
Zuletzt bearbeitet:
@besterino:
Wenn du die Urgroßmutter von Omnios bzw. Illumos testen möchtest musst du Solaris 10 nehmen, daraus entstand der Fork Opensolaris. Und daraus letztendlich dann Illumos mit Abkömmlingen.

Ja in dem Punkt mit der Solaris Dokumentation muss ich dir recht geben, das ist leider so und man muss sich da leider sehr viel selbst zusammensuchen. Allerdings sollte die erste Dokumentation von Solaris 11, das in der Übergangszeit Solaris -> Oracle rauskam teilweise auch für Illumos gelten.
s. Hier

Allerdings Änderungen Seitens der Illumos Community sollten in deren Wiki von OpenSolaris oder Omnios etc. nachgelesen werden.

Eine wichtige Anmerkung noch, Omnios bzw. Illumos kann ZPOOL v31 nicht mounten, da Oracle hier die Quellen nicht freigibt. Umgekehrt kann Oracle Solaris 11.2 nicht ZPOOL ver. 5000 von OpenZFS, Illumos mounten. Also würde ich empfehlen beim testen keine Wichtigen Daten auf der Kiste speichern. :)

Mfg
Nicholas Rush
 
Zuletzt bearbeitet:
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh