[Sammelthread] ZFS Stammtisch

[besterino]

Never touch a running system...

 

[hominidae]

..lego, die Frage ist, wie gross das Risiko ist, dass die vorhandenen Pakete von Zol irgendwann entweder nicht mehr funktionieren bzw nicht mehr compilieren, bei einem Kernel-Update.
Security updates usw von Wheezy wollte ich schon mal mitmachen...

 

[crazyk]

Hallo,

ich weiß, es gibt kein Paket von Napp-it für Proxmox, aber wäre es nicht denkbar?


Ich habe gerade Proxmox 5 (alle Updates) installiert und darauf einfach mal die Napp-it installation gestartet.

Nach der Anmeldung in Napp-it, sehe ich oben nur den Punkt "About" und den Hinweis zur Lizenzbenutzung... alles andere ist nicht sichtbar.
Nach einen Neustart des Proxmox-Host ist die GUI von Proxmox nicht mehr erreichbar ( https://IP:8006 )

Ich habe jetzt mal abgebrochen...fände es aber mal wirklich eine "ALL-IN-ONE" =>> Proxmox inkl. zfs und Napp-IT

Schönen Abend

 

[p4n0]

Wenn sowohl proxmox als auch napp-it an den eth settings herumdoktort (was sie wohl beide tun) dann is das klar wieso am ende nixmehr funzt ^^

 

[gea]

napp-it sind die Netzwerkeinstellungen eigentlich egal, unter Linux kann man die in napp-it auch nicht ändern und sie werden auch nicht durch den Installer verändert.

Bei der Installation werden Tools wie netcat oder smartmontools installiert, ein user napp-it angelegt (für den Webserver) und /etc/sudoers modifiziert (sudoers muss installiert sein, das ist hier eventuell das Problem das es nicht installiert ist).

Der napp-it Webserver minihttpd lauscht auf Port 81 bzw 82 (https).
napp-it und Proxmox sollten sich also nicht in die Quere kommen wobei die typische All-In-One Lösung natürlich die Virtualisierung einer komfortablen NAS/SAN Umgebung mit Webmanagement ist - unabhängig vom Virtualisierungs-OS und den virtuellen Maschinen (Iscsi/nappit - Proxmox VE)

 

[VLB]

Ich betreibe zwei Microserver mit OmniOS, wobei der zweite als Backupserver dient, welcher nur zum Backup an Stromversorgung und LAN angeschlossen wird.

Datensicherung erledige ich über ssh durch Anlegen eines neuen Snapshots "backupnow", Übertragung der Änderungen zum Snapshot "backuplast" (zfs send, mbuffer), Löschen des Snapshots "backuplast" und Umbenennen von "backupnow" in "backuplast".
Dafür muss ich wechselseitig die entsprechenden Kommandos eingeben und die ordnungsgemäße Ausführung überwachen (wäre schön blöd, wenn "backuplast" gelöscht würde, wenn zuvor die Übertragung der Änderungen fehlschlug).

Geht das auch irgendwie einfacher? Ich lese hier ab und zu von napp-it, bekomme ich damit so etwas hin? Evtl. sogar zeitgesteuert? Klar, den Backupserver muss ich dann rechtzeitig anschließen und hochfahren.

 

[gea]

napp-it Pro (Complete oder Replication) macht Highspeed Netzwerkreplikation menügesteuert. Man kann dabei festlegen wieviel Snapshots auf dem Backupserver liegenbleiben sollen (letzte n, mindestens n Tage, einen für letzte n Tage, n Wochen, n Monate, n Jahre). Auch kann man angeben ob das Backup Dateisystem shares abschaltet sowie diverse andere zfs send Optionen.

In der Free Version kann man das manuell machen oder per 2 Tage Evalution der Pro Version. Die gibts kostenlos online für gelegentliche Nutzung der Pro Funktionen.

 

[CommanderBond]

Was heißt das genau, gelegendliche Nutzung? Brauch man Complete oder Replication nur einmalig für die Einstellung oder auch für das "Feature" an sich?

 

[you]

Was heißt das genau, gelegendliche Nutzung? Brauch man Complete oder Replication nur einmalig für die Einstellung oder auch für das "Feature" an sich?

Schaut Euch ruhig an, was Gea da mit napp-it gemacht hat und welch unermüdlichen Support er hier und anderswo (unentgeltlich) leistet ... und überlegt, ob eine Privat Lizenz nicht ein angemessener Obulus wäre, den man - als Dank sozusagen - zurück geben kann.

 

[LuckyOne]

Mein ZFS Server greift jede Minute auf alle HDDs zu. Ich meine das natürlich ohne Anfrage der Clients.
Alle Clients sind aus und dennoch hör ich den Zugriff und sehe auch die HDDs LEDs der Einschübe einträchtig kurz leuchten.

Kann ich das abschalten ?

 

[gea]

Was heißt das genau, gelegendliche Nutzung? Brauch man Complete oder Replication nur einmalig für die Einstellung oder auch für das "Feature" an sich?

Netzwerkreplikation ist in der Free Version nicht enthalten.

- - - Updated - - -

Mein ZFS Server greift jede Minute auf alle HDDs zu. Ich meine das natürlich ohne Anfrage der Clients.
Alle Clients sind aus und dennoch hör ich den Zugriff und sehe auch die HDDs LEDs der Einschübe einträchtig kurz leuchten.

Kann ich das abschalten ?

Ich vermute einen Disk-Test, bei Solaris z.B. Fault Management Daemon fmd oder bei napp-it gui acceleration oder alert checks bei 1min Intervall. Zum Test fmd deaktivieren oder bei napp-it die alert Funktion auf manuell setzen oder accaleration deaktivieren. Bei einer anderen Umgebung nach ähnlichem suchen.

 

[McStarfighter]

Ich suche ja immer noch nach einer brauchbaren Möglichkeit, unterm Strich alle vdevs als ein einziges Volume zu nutzen. Von einem ZFS-Pool wurde hier ja schon abgeraten, da mir durch die Meta-Metadaten beim Verlust eines einzigen vdevs der gesamte Pool über die Wupper geht.
Und da kam ich auf den guten alten Linux-LVM... Verträgt sich ZFS denn mit dessen Möglichkeit, spanned Volumes zu erstellen? Wenn ja, hätte ich doch was ich will!

Danke im Voraus!

Edit: Frage hat sich erledigt, ich nehme für die vdevs RAID-Z2 und die dann alle als ZFS-Pool!

 

[McStarfighter]

@gea: Ich komme einfach nicht von dem schönen Konzept mit OmniOS und napp-it weg!
Und ich will es dann doch einsetzen, nur habe ich keine Infos gefunden ob napp-it auch Support für KVM mit sich bringt. Dann würde ich mir ne Windows-VM machen, dort die BD-Laufwerke und den kleinen RAID-Controller durchreichen und wäre absolut happy!

 

[gea]

napp-it bietet keinen GUI Support für KVM, Illumos dagegen schon per CLI für Intel Systeme. Wenn es allerdings um Performance für Windows geht, würde ich nicht auf dem OS (Virtualbox etc) oder im OS (KVM) sondern per Type-1 Hypervisor unterhalb aller VMs virtualisieren. Das gibt nicht nur beste Performance für alle VMs inkl. Storage per HBA/disk pass-through sondern auch für Windows per angepasster vmware-tools mit den schnellen vmxnet vnics.

BD Laufwerke sollte man als hostdevice durchreichen können, die Windows (System und weitere Platten) Platten liegen als vdisk per NFS auf ZFS.

 

[CommanderBond]

Ich suche ja immer noch nach einer brauchbaren Möglichkeit, unterm Strich alle vdevs als ein einziges Volume zu nutzen. Von einem ZFS-Pool wurde hier ja schon abgeraten, da mir durch die Meta-Metadaten beim Verlust eines einzigen vdevs der gesamte Pool über die Wupper geht.
Und da kam ich auf den guten alten Linux-LVM... Verträgt sich ZFS denn mit dessen Möglichkeit, spanned Volumes zu erstellen? Wenn ja, hätte ich doch was ich will!

Danke im Voraus!

Edit: Frage hat sich erledigt, ich nehme für die vdevs RAID-Z2 und die dann alle als ZFS-Pool!

Ein großer Pool ist für nur Filme halt nicht Ideal. Ich persönlich stande vor der gleichen Entscheidung, fande das Konzept von UnRaid erst sehr klever: Platten werden einzelnt betrieben, können aber in einem Verzeichnis bereitgestellt werden, sodass man nur einen Pool "sieht". Und bei einem HDD Ausfall ist nur das Weg was auf der Platte vorhanden war und nicht alles.
Nachteile waren in meinen Augen nur, keine Prüfsummen wie bei ZFS, und ein HDD Ausfall und Rebuild erfordern manuelles eingreifen und wiederherstellen. Das wollte ich nicht weil selbst wenn eine HDD kaputt geht möchte ich den Film gucken können ohne aktiv am Server aktiv zu werden.
Ergo würde ich RaidZ2 Pools machen jeweils mit einem vdev und einfach damit leben mehrere Pools zu haben. Ein wirkliches Problem darauf entsteht ja nicht, du kannst bei Kodi usw ja Problemlos 2 Orte als Quellen angeben, dargestellt wird es dann ja sowieso über eine Datenbank und der Anwender merkt nichts davon auf welchem Pool was ist.

Also nochmals durch das Zusammenfassen von vdev hast du bei deinem Vorhaben im Grunde nur den Nachteil des kompletten Datenverlust wenn ein vdev aussteigt. Von der höheren Geschwindigkeit hast du bei deinem Vorhaben ja nichts.

 

[McStarfighter]

@gea: Vielen Dank für die Erklärungen! Bei mir ist es nur so, dass ich einfach nicht damit warm werde, ein OS zu installieren nur damit ich andere OSs nutzen kann. Von daher habe ich bis heute auch nie Citrix XenServer oder VMware ESXi produktiv genutzt und werde es wohl auch nie. Dabei bin ich von all dem was VMware so anbietet, sehr fasziniert. Es passt nur nicht in meine Vorstellung von Effizienz und "Ästhetik", was für die meisten Außenstehenden wohl unbegreiflich ist! Wobei ich meinen wirren Geist aktuell vom ESXi zu überzeugen versuche!

@CommanderBond: Dass ich dadurch keinen weiteren Vorteil in Sachen Performance erhalte, weiß ich! Und das Risiko an sich ist mir auch klar! Worauf ich aber keine Lust habe, sind 8 Volumes mit je 21 Ordnern, in denen wiederum 27 Ordner stecken, welche ich alle einzeln im Emby Server (bei Kodi wäre das genauso!) eingeben muss zwecks korrekter Erkennung der Inhalte. Ich will am Ende ein einziges Volume!
Mir würde es ja schon langen, wenn ich alle vdevs irgendwie unter einem zentralen Mountpoint hätte, in dem ich die Ordner erstelle und die Dateien reinschiebe. Und diese Lösung könnte das dann nach Belieben verteilen, wobei die einzelnen vdevs weiterhin unabhängig sind. Nur habe ich so etwas bisher nicht gefunden, weder bei den Solarish noch bei den Pinguinen!

Mal davon abgesehen: Damit der SuperGAU passiert, müsste bei einem RAID-Z2-vdev 3 Platten ausfallen, bevor der konsistente Zustand wieder hergestellt wird (Resilvering eingeschlossen!). Es mag schon vorgekommen sein, aber 3 Platten von 18?! Wie oft ist euch das schon untergekommen, bei sachgemäßer Pflege und dem Einsatz von RAID-supporteten Platten und natürlich auch einem aktiven ECC-RAM?
Ich blende die Risiken ja nicht aus, aber immer gleich das Schlimmste annehmen?! Zumal vom Erhalt der Daten ja nichts abhängt, außer viel Neuarbeit!

Wenn es unter OmniOS (oder von mir aus auch Ubuntu Server!) etwas gäbe, mit dem man die einzelnen ZFS-vdevs bei Bewahrung ihrer Unabhängigkeit als ein einziges Volume darstellen kann, dann würde ich sofort auf einen ZFS-Pool verzichten!

 

[besterino]

Plan doch bei deiner Lifetime-Perspektive ein Bandlaufwerk für die Sicherung ein - dann ist der Aufwand für die Wiederherstellung nach dem SuperGAU doch überschaubar.

 

[McStarfighter]

Plan doch bei deiner Lifetime-Perspektive ein Bandlaufwerk für die Sicherung ein - dann ist der Aufwand für die Wiederherstellung nach dem SuperGAU doch überschaubar.

Daran habe ich auch schon gedacht. Nur wenn ich auf Lifetime plane, muss ich knapp 1 PB einplanen. Und ich habe keinen Plan, welche Laufwerke und Bänder man da nimmt!
Sonst würde ich das sofort machen!

Edit: Ok, aktuell ist scheinbar LTO-7!

 

[rayze]

Wenn es unter OmniOS (oder von mir aus auch Ubuntu Server!) etwas gäbe, mit dem man die einzelnen ZFS-vdevs bei Bewahrung ihrer Unabhängigkeit als ein einziges Volume darstellen kann, dann würde ich sofort auf einen ZFS-Pool verzichten!

Gibts dort nichts wie mhddfs, unionfs, MergerFS oder aufs?

Alles Tools die Oberhalb des FS arbeiten

 

[McStarfighter]

Gibts dort nichts wie mhddfs, unionfs, MergerFS oder aufs?

Alles Tools die Oberhalb des FS arbeiten

Die brauchen alle FUSE und meiner Kenntnis nach gibt es das bei den Sonnen-Systemen nicht. Und eine Solaris-eigene Entwicklung in der Richtung kenne ich auch nicht!

Edit: MergerFS wäre vom Konzept her genau richtig für mich. Aber dann müsste ich ja doch auf Ubuntu!

 

[Luckysh0t]

Oder du mountest jede HDD in einen Ordner auf dem rpool - nich elegant, sollte aber klappen.Und Kodi etc. sollte dann ja alles finden, wenn du den einen Mountpointordner als Quelle angibst.

 

[Deathweaver]

Mal ne Frage zu den Screenshots oben. Auf meinen Shares wird nur 80% der Kapazität angezeigt bzw. ist verfügbar. 10% davon sind davon ja denke ich mal die Reservierung damit der Pool nicht zu voll wird. Aber warum fehlen da die anderen 10%?
90% voll sollte doch ok sein oder? (hauptsächlich Lesezugriffe)

 

[gea]

Verfügbarer Speicher
= Gesamtspeicher - Reservierung (res/fres) - ZFS interner Reservierung (ca 1,5%) - Snapshots

Wie siehts mit Snapshots aus?

 

[Deathweaver]

Snapshots sind keine drauf - dazu siehe auch Screenshot oben. Zweiter Screenshot oben ist mal der Output von df -h aufm Linuxserver, da stehts ja genauso.

Die Frage ist halt für mich einfach wo der Speicher ist.

Sind 8x10TB im RaidZ2 -> 72,5 TiB Festplatten ~ 54,4 TiB nach RaidZ2
Reservierung ist 5 TB + nochmal die weiteren 1,5% dann sind wir bei ca. 48,1 TiB Speicher der verfügbar sein müsste.
In Wirklichkeit sind es aber schon einiges weniger.

Beim zfs list -t all zeigt er mir im Pool auch 5TiB mehr Nutzung an, als wirklich von den zvols genutzt wird. Gleichzeitig zeigt er mir bei den zvols 5 TB weniger available an. Das heißt auf beiden Seiten wird ziemlich genau 5 TiB abgezogen. Ich denke mal eines davon ist die Reservierung, aber das andere?

 

[Crash Override]

Poste mal den Output von:
zfs list
zfs list -t snapshot
zfs get all
zpool list

 

[Deathweaver]

zfs get all: NAME PROPERTY VALUE - Pastebin.com

zfs list:
NAME USED AVAIL REFER MOUNTPOINT
SSD 245G 249G 23K /SSD
SSD/vms 200G 205G 200G /SSD/vms
mischi 26.2T 28.7T 188K /mischi
mischi/safe 1.16T 23.7T 1.16T /mischi/safe
mischi/yo 20.1T 23.7T 20.1T /mischi/yo
rpool 5.83G 27.8G 23K /rpool
rpool/ROOT 3.29G 27.8G 19K legacy
rpool/ROOT/omnios 3.29G 27.8G 1.85G /
rpool/ROOT/omnios.backup 44K 27.8G 1.85G /
rpool/dump 1.50G 27.8G 1.50G -
rpool/export 38K 27.8G 19K /export
rpool/export/home 19K 27.8G 19K /export/home
rpool/swap 1.03G 28.8G 113M -

zpool list:
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
SSD 464G 200G 264G - 5% 43% 1.00x ONLINE -
mischi 72.5T 29.9T 42.6T - 1% 41% 1.00x ONLINE -
rpool 34.8G 4.91G 29.8G - 11% 14% 1.00x ONLINE -

zfs list -t snapshot:
NAME USED AVAIL REFER MOUNTPOINT
rpool/ROOT/omnios@install 1.37G - 1.63G -
rpool/ROOT/omnios@2017-05-19-23:41:12 66.7M - 1.85G -

 

[Crash Override]

Die Reservierungen liegen auf SSD und mischi. Da dies jeweils die Wurzel des Pools ist gilt hier die Reservierung als belegt. Gleichzeitig können nur diese Filesysteme auf den Speicher Zugreifen, deshalb wird er nur bei diesen Filesystemen auch noch als Free angegeben.

 

[Deathweaver]

Ok, dann werden die 5TiB beim AVAIL abgezogen vom pool auf die Subvolumes. Erklärt mir dann aber immer noch nicht wo die restlichen 5 TiB sind.

Used im Pool 26.2 TiB, aber in den Subvolumes sind nur 1.16TiB+20.1TiB, also auch ziemlich genau 5 TiB weniger.

 

[Fischje]

huhu ,

ist ZFS mit möglich, wenn ich platten in den spindown oder sogar das ganze NAS in zeitgesteuert in den ruhezustand schicken möchte?

Ich fänds ZFS toll, wenn ich das zu hause etwas stromsparender betreiben könnte.

 

[Crash Override]

@Deathweaver:
Das hast du dir leider mit deinem Pool das versaut:
Du hast eine Recordsize von 128K und sechs Datenhaltende Platten mit 4K Sektoren. Also wäre für die Platten der kleinste Block 6*4K also 24K. Um die 128K zu schreiben benötigst du nun 6 Blöcke von jeder Platte. Das sind also 6*24K also 144K Real für jeden Block a 128K. Hier sehen wir 16K Verschnitt oder um es deutlicher auszudrücken: 12,5%. Dies ist der Platz der dir fehlt. Deshalb wird für jedes RaidZ empfohlen 2^n plus Redundanz also für ein RaidZ1 3 oder 5 Platten, für ein RaidZ2 6, 10 oder 18 und für ein RaidZ3 7, 11, 19 oder 35 Platten.