[Sammelthread] ZFS Stammtisch

Hi

Ich habe diverse VMs, welche am ESXi AiO mit napp-it in Thin angelegt sind. Keine Ahnung ehrlich gesagt, aber die brauchen halt nicht viel Platz auf der SSD. Wenn ich die dann an napp-it per ssh (Midnight Commander) auf eine HDD kopiere, wird da immer die ganze theoretische Grösse der VMDK kopiert. Kann man das irgendwie umgehen, bzw. thin kopieren?

Dann das mit den Snapshots ist auch nicht ganz glücklich. Ich habe auf einer SSD nur ein ZFS Filesystem. Da muss ich immer alle VMs runter fahren, um einen Shnapshot über alle Gäste machen zu können. Geht das nicht irgendwie eleganter?

Kann ich auch ein Pool im Pool machen? Ein Pool ist übergeordnet von ZFS?
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Pool im Pool geht nicht.
ZFS Dateisysteme "schachteln" geht - das ist wohl auch das was Du willst:
Ssdpool/VM/einzelneVM-als-einzelnes-ZFS-Dataset
= Rekursive ZFS Datasets.

"Thin" kopieren geht vermutlich nicht oder wenn dann nur auf ein anderes ZFS Dateisystem.
 
"Thin" bedeutet dass man eine Plattenpartition hat die zwar eine bestimmte Größe meldet, aber nur den Platz belegt der tatsächlich mit Daten beschrieben ist. Damit kann man eine Platte "überbuchen" - muss aber aufpassen dass der Platz immer ausreicht. Beim Kopieren einer derartigen VM (das ist ja aus Sicht des Dateisystems eine einfache Datei) wird aber auch der nicht mit Daten beschriebene Bereich mitkopiert. Ein Copy Befehl weiß ja nichts von thin provisioned.

Ausweg:
- als Template sichern, da sind nur belegte Daten drin
- per ZFS send sichern. Das macht einen 1:1 Sync des Dateisystems

Snaps
Ein einfacher ZFS Snap ist wie "hart ausschalten". Manche VMs vertragen das besser, andere garnicht.

Ausweg
- alle VMs vor dem ZFS Snap herunterfahren
- Abhängigkeit reduzieren, z.B. ein NFS oder iSCSI Freigabe je VM
- manuell vor dem ZFS Snap einen ESXi Snap anlegen, danach den ESXi Snap wieder löschen. Wenn man eine derartige VM aus dem Snap wiederherstellt, kann man auf diesen (hot inkl Memory Stand) ESXi Snap zurückgehen.

Den letzten Punkt kann man auch automatisieren (napp-it Menü Jobs > ESXi hot snaps)


Ein ZFS Pool besteht aus devices die sich wie eine Festplatte verhalten. Neben Platten und Plattenpartitionen können das Dateien, Lofi Devices oder iSCSI Targets sein. Pool auf Pool geht damit schon - nur was soll das bringen. Normalerweise legt man einfach mehrere Dateisysteme oder Zvols (für iSCSI) an. Jedes Dateisystem kann bis zur Poolgröße dynamisch wachsen. Platz kann man per Quota limitieren oder per Reservierung garantieren.
 
Zuletzt bearbeitet:
Hallo,
ich versuche aktuell vergebens, eine Mail Benachrichtigung von napp-it im Fall einer ausgefallenen Disk einzurichten.
Muss man dafür den service sendmail bzw sendmail-client aktiveren?
Oder finde ich einfach die Option im Web GUI nicht?
Das verschicken von TLS Emails selbst ist bereits eingerichtet und eine Testmail kommt auch an.
 
Hast Du den Email Alert eingerichtet?

1619781334946.png
 
Passt hier nur so semi hin, aber am ehesten weiß vermutlich hier einer was: Ich würde gerne mein Solaris 11.4 auf das aktuelle SRU bringen (bzw. SRU 21 würde mir reichen) oder zumindest die jetzt endlich verfügbaren Mellanox Connectx-4 Treiber benutzen zu können: https://www.oracle.com/webfolder/community/oracle_sun_technologies/4331215.html

Nun habe ich aber natürlich keinen fetten Oracle Support Vertrag oder kenne jemanden, der sowas hat... gibt es dafür trotzdem einen - mir vielleicht nur unbekannten - Weg, daran zu kommen?

Ein einfaches pgk update hilft mir jedenfalls nicht weiter und ich bin offenbar noch auf dem Stand von 2018... ;) siehe:

Code: 
~$ sudo pkg update
No updates available for this image.
~$ pkg info entire
          Name: entire
       Summary: Incorporation to lock all system packages to the same build
   Description: This package constrains system package versions to the same
                build.  WARNING: Proper system update and correct package
                selection depend on the presence of this incorporation.
                Removing this package will result in an unsupported system.
      Category: Meta Packages/Incorporations
         State: Installed
     Publisher: solaris
       Version: 11.4 (Oracle Solaris 11.4.0.0.1.15.0)
        Branch: 11.4.0.0.1.15.0
Packaging Date: Fri Aug 17 00:42:03 2018
          Size: 2.53 kB
          FMRI: pkg://solaris/entire@11.4-11.4.0.0.1.15.0:20180817T004203Z
 
martingo schrieb:
Hi,

danke Dir fürs Feedback. Ich versuche, mal passend zu beantworten:

1. steht eigentlich alles auf TrueNAS Default - an SSD01 habe ich wohl schon mal rumgedoktert, aber nicht nachteilig:
Anhang anzeigen 616189

2. ok, verstehe aber nicht, wieso er ihn im SMB Umfeld nicht hinreichend nutzt. Dass Sync auf Default steht, sollte doch
Zum Vergrößern anklicken....
Bei SMB bedeuted sync=default dovirl wie sync disabled. Möchte man sync, müsste man sync auf always stellen

martingo schrieb:
eigentlich bedeuten, dass er CIFS Daten auch notfalls verliert und dafür etwas schneller
annimmt, oder? Bzw nutzt er ihn, aber vielleicht hat TrueNAS eher viel LeseCache im Kopf?

3. naja, da versuche ich gerade, die Balance zu finden, daher die Frage. Ich habe aber in guter Erinnerung, dass ich auf das gleiche Pärchen 8TB WD Red vor drei oder vier Jahren (Datenmenge war annähernd gleich) mit über 100 MB/s (annhähernd 120) auf Bitlocker-verschlüsselte Windows Storage Spaces auf einem Microserver G8 mit 12GB RAM verschoben habe. Ja, Storage Spaces haben ihre Nachteile und ich hatte meine Gründe ,wieso ich auf zfs gwechselt bin, aber so eine gewisse "Grund-Performance" muss doch auch mit zfs und Spindeln möglich sein?? Selbst mein 2-bay QNAP NAS war in meiner Erinnerung flotter.

3b. Ja, gelesen hatte ich dazu schon manches, auch die Unterlagen von Günther schon mehrfach angesehen, aber eine common-daily-use-policy konnte ich leider nicht ableiten. Daher ja auch die direkte Frage.

4. Ist Storage Tiering nicht genau das, wohin die Special Vdevs gehen sollten? Gibt es in den Windows Storage Spaces ja grundsätzlich auch seit WS2016(?) (keine weitere Erfahrung). Ich weiß nur nicht, ob/wie das sinnvoll zu steuern ist. Reine Automatismen haben ja auch ihre Grenzen, wenn der Mensch eigene Überlegungen einbringen möchte.

5. Mehr Leseperformance wäre natürlich auch nice. Wenn wir jetzt mal die VM Pools SSD01/SAS01 außenvor lassen und wir keine Benutzerprofile o.ä. auf der Kiste haben, dürfte diese doch kaum zu beschleunigen sein, oder?

HP bietet doch deren NVMes auch in diversen Auslastungsraten an - kann man nicht auch ein Art "Cache"-Empfehlung für gemischte Dateisysteme abgeben?

VG Martin
Zum Vergrößern anklicken....
Beitrag automatisch zusammengeführt:

besterino schrieb:
Passt hier nur so semi hin, aber am ehesten weiß vermutlich hier einer was: Ich würde gerne mein Solaris 11.4 auf das aktuelle SRU bringen (bzw. SRU 21 würde mir reichen) oder zumindest die jetzt endlich verfügbaren Mellanox Connectx-4 Treiber benutzen zu können: https://www.oracle.com/webfolder/community/oracle_sun_technologies/4331215.html

Nun habe ich aber natürlich keinen fetten Oracle Support Vertrag oder kenne jemanden, der sowas hat... gibt es dafür trotzdem einen - mir vielleicht nur unbekannten - Weg, daran zu kommen?
Zum Vergrößern anklicken....
ich kenne keinen

besterino schrieb:
Ein einfaches pgk update hilft mir jedenfalls nicht weiter und ich bin offenbar noch auf dem Stand von 2018... ;) siehe:

Code: 
~$ sudo pkg update
No updates available for this image.
~$ pkg info entire
          Name: entire
       Summary: Incorporation to lock all system packages to the same build
   Description: This package constrains system package versions to the same
                build.  WARNING: Proper system update and correct package
                selection depend on the presence of this incorporation.
                Removing this package will result in an unsupported system.
      Category: Meta Packages/Incorporations
         State: Installed
     Publisher: solaris
       Version: 11.4 (Oracle Solaris 11.4.0.0.1.15.0)
        Branch: 11.4.0.0.1.15.0
Packaging Date: Fri Aug 17 00:42:03 2018
          Size: 2.53 kB
          FMRI: pkg://solaris/entire@11.4-11.4.0.0.1.15.0:20180817T004203Z
Zum Vergrößern anklicken....
 
Ich nochmal: wenn ich einer OmniOS-VM unter ESXi eine ConnectX-4 als SR-IOV Netzwerkadapter hinzufüge, wirft OmniOS die Fehlermeldung "WARNING: mlxcx0: command MLXCX_OP_CREATE_EQ 0x301 failed with status code MLXCX_CMD-R_BAD_PARAM (0x3O)" und mit dladm taucht sie auch nicht auf.

Any ideas? Gibts ansonsten evtl. eine andere Solarish-Geschmacksrichtung, mit der das geht?

EDIT & Nachtrag:

Hab aus diesem Thread auf gut Glück mal die hier abgelegte Datei heruntergeladen, stumpf die mlxcx in /kernel/drv/amd64 ersetzt und rebootet...

dladm zeigt sie jetzt.
ipadm create-if dauerte ewig, aber lief durch
ipadm create-addr -T dhcp scheitert mit DHCP timeout
ipadm create-addr -T static läuft durch, bekomme aber nix gepingt. Andere Devices im gleichen Subnetz auf gleichem Host am gleichen vswitch finden & pingen sich

ipadm delete-addr mlxcx0
reboot
ipadm create-addr läuft durch.

Sonderbar. Mal schauen, ob's stabil läuft... ist aber reproduzierbar: nach einem "Kaltstart" der VM ist das Device nicht oben. Loggt man sich ein und rebootet 1x, gehts danach. Aber so richtig rund läuft die VM gerade nicht. Nappit-install hängt gerade und login (ssh wie "lokal" an der VM-konsole) wil auch gerade nicht. Muss wohl mal weiter testen. Jetzt erstmal Heia.
 
Zuletzt bearbeitet:
@Luckysh0t: Naja, beide Ports sind für unterschiedliche physische Netze (1x10Gbit, 1x100Gbit) im Betrieb und an beiden sollen auch mehrere VMs hängen. Bei dem 10gbit Netz ist’s mir Wurscht und reichen die para-virtuellen VMXNET3-Adapter durchaus.

Die 100gbit sind aber irgendwie schwerer auszureizen und ich versuche halt gerade, die verschiedenen Flaschenhälse zu adressieren. Bin etwas frustriert, dass die Treiberlandschaft bei solarish so mies aussieht. Jedenfalls wäre es schon unglücklich den „ganzen“ Port durchzureichen, dann hat ja nur die eine VM was davon.
 
besterino schrieb:
. Jedenfalls wäre es schon unglücklich den „ganzen“ Port durchzureichen, dann hat ja nur die eine VM was davon.
Zum Vergrößern anklicken....
.. und das könnte zwar eine Routing VM sein, die dann aber auch wieder Performance frisst und nur per VMXNET3 weiterreichen kann.

Sind die VMXNET3 nicht per se 10G NICs, oder sind die nach oben "offen"?
 
Manche sind 10G manche 100G, je nach dem. Bei ESXI sind die glaube 100G und bei UnRaid ist der 10G.
 
Also in Windows werden die VMXNET 3 als 10 Gbit erkannt.
Aber ob das auch ein Limit darstellt oder ob der das nur so erkennt, weiß ich auch nicht wirklich.Wir haben fürs normale LAN nur 10 bzw. 1 Gbit.

Da müsste man halt auf beiden Seiten 100 Gbit haben um es gegen zu testen ob es mehr wird als 10 Gbit - wenn es der Rest der Hardware und Software zulässt.
 
Ich hab mit VMXNET3 schon ca. 20Gbit „rausgeholt“.
 
Update zum OmniOS-mlxcx-Hack: irgendwas läuft da nicht rund. Das Ding brauchte gestern ewig für eine bzw. hing bei einer Installation von napp-it (s.o.), hab's dann länger als 24h bis gerade laufen lassen und nun abgeschossen (VM power off). Auf der Basis bau' ich definitiv keine NAS-VM. ;)

Muss also die Tage mal weiter schauen. :(
 
Hallo @gea , das neuere napp-it 19.12b14 homeuse macht Probleme bei den snapshots: Und zwar werden alle als "cloned" angezeigt. Das hatte ich bei der b4 noch nicht.

napp-it.png
 
Wird auch mal Zeit.
 
Was zur Hölle. Ich war der Meinung eher friert die hölle ein als das das kommt. Imho eines der wichtigsten Feature überhaupt.
 
Shihatsu schrieb:
Was zur Hölle. Ich war der Meinung eher friert die hölle ein als das das kommt. Imho eines der wichtigsten Feature überhaupt.
Zum Vergrößern anklicken....

Naja noch ist es nicht da :-/, bis es im mainline ist kann es noch dauern...
Zudem gibt es noch Problem die teils dringender sind und im Unternehmensumfeld ist RAIDzexpand sicher nicht so wichtig.
Aber zugegeben daheim wirklich schön, auch wenn es wohl sowas wie rebalance nicht gibt, bzw auf absehbarer Zeit nicht geben wird.
 
ludwinator schrieb:
Probleme, die teils dringender sind? Welche Probleme meinst du?

cu
Zum Vergrößern anklicken....
Bei Linux hat man machmal das Problem das der Kernel nicht schnell genug Speicher vom arc zurück bekommt, bei BSD geht das durchaus besser.
Sonst finde ich man merkt die schlechtere Performace der nativen ZFS Verschlüsselung.
 
ISt das aber nicht ein ZOL Thema und kein ZFS Thema? Ich stecke da nicht ganz so drin wer da was macht, aber ich dachte die Linux-KErnel-Jungs sind andere als die BSF-ZFS-Jungs - pls elaborate :confused:
 
Ja, da hast schon das Arc Resize Thema ist only ZoL, aber BSD ist halt doch mehr noch ein Nischenprodukt als Linux. (Ja ich verwende es auch mit Truenas). Aber das ist ja auch vor allem ein Problem für VM Server oder auf einer Workstation und in Verbindung mit ZFS läuft halt hier sehr sehr häufig Linux.

Ob das Problem jetzt ein Linux-Kernel oder ein openZFS Problem ist, ist mir schwuppe es macht halt manchmal kleine Probleme :-)
 
Zuletzt bearbeitet:
asche77 schrieb:
Hallo @gea , das neuere napp-it 19.12b14 homeuse macht Probleme bei den snapshots: Und zwar werden alle als "cloned" angezeigt. Das hatte ich bei der b4 noch nicht.
Zum Vergrößern anklicken....

Moin,

das Problem scheint eher am OmniOS r151038 zu liegen... Habe auch manuell Probleme mit Snapshots in der 38er Release. Bin vorerst wieder zu r151036 zurück. Weiß jemand mehr?

Grüße
 
Jemand hier Erfahrung mit ZFS Desaster Recovery?
Habe heute wieder eine Problematik gehabt mit der Stromversorgung in meiner Bude, für einen kurzen Zeitraum, ähnliches hatte ich bereits zuvor, da sind aber nur 2 Drives in meinem RAID-Z2 rausgeflogen.
Ich habe insgesamt 16 Platten, davon 2x Hot-Spare, und die restlichen im RAID-Z2.
Nun ist der Super-GAU eingetreten, und nach dem Drop wurden 4 Platten rausgeschmißen, und wurden dannach wieder erkannt laut Kernel Log, jedoch hat ZFS die entfernt, und der Pool ist degraded.

* Pool data state is DEGRADED: One or more devices has experienced an error resulting in data corruption. Applications may be affected..

Ich habe das System jetzt einfach heruntergefahren, da ich nicht noch mehr Schaden anrichten möchte.
Wie gehe ich nun am besten vor um das ganze wieder zum Laufen zu bringen? Kann ich die Kiste einfach starten und zpool clear ausführen, resilvern lassen, und einen scrub?
 
Zuletzt bearbeitet:
Ich würde zpool clear, resilvern und Scrub machen. Wenn es nicht klappt, stellst du einfach dein Backup wieder her
 
Anmelden, um zu antworten.

Ähnliche Themen

G
Wieviel ZFS steckt in Qnap ZFS ??
Antworten
5
Aufrufe
857
gea
G
Shihatsu
ZFS Pool "verschicken"
Antworten
9
Aufrufe
575
sandreas
S
thor17
Ceph Node auf bestehenden ZFS Pools
Antworten
3
Aufrufe
518
gea
G
G
[Übersicht] napp-it cs, Web-GUI für fast jeden ZFS Server oder Servergruppen
4 5 6
Antworten
158
Aufrufe
9K
gea
G
AliManali
*erledigt* Perc H310 flashen
Antworten
2
Aufrufe
298
AliManali
AliManali
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh