[Sammelthread] ZFS Stammtisch

[CommanderBond]

Muss mich dann nochmal bei ESXI umschauen. Kann ESXI denn Mirror für die VMs bilden? Proxmox hat ja quasi ZFS schon eingebaut, zumindest da seh ich schon nen Vorteil. Die VMs "sichern" war soweit ich weiß bei ESXI aber auch kostenpflichtig.

 

[gea]

Die VMs liegen auf ZFS. Den Mirror macht also immer ZFS. Um ESXi selber auf einen Mirror zu legen bräuchte es ein Hardwareraid. Macht aber kaum Sinn. Man kann ESXi sehr schnell wiederherstellen. Ganz schnell wenn man eine kleine Boot-Ersatzplatte als Clone hat und ziemlich schnell wenn man ESXi neu aufsetzt, OmniOS neu bereitstellt (als Template) und die VMs neu registriert.

Backup macht man eh nicht über die API von ESXi (obwohl es auch mit ESXi free Optionen gibt). Dafür hat man ZFS Replikation mit ZFS Snaps optional mit sicherem hot memory state oder quiesce (VM Dateisystem wird kurz angehalten) Snaps.

Will man ZFS Komfort und volles Programm stellt sich bei ProxMox schnell die Frage nach Full Feature Storage VM. Mit viel RAM ist TrueNAS eine Option. Ein Solaris wie OmniOS ist genügsamer und bringt dazu den genialen Solaris SMB Server mit.

 

[CommanderBond]

Und wo liegen die VMs drauf? Dieses per NFS wieder "durchreichen" an EXSI über die OmniOS VM kommt für mich nicht in Frage. Damit stehe ich erneut vor dem Problem dass meine VMs nicht weiterlaufen können wenn ich meine Storage VM neustarte. Ich möchte da keine Abhängigkeiten

Will man ZFS Komfort und volles Programm stellt sich bei ProxMox schnell die Frage nach Full Feature Storage VM

Proxmox mit OmniOS als NAS VM zu benutzten sollte doch gehen?
Mal angenommen ich habe Raid1 für Exsi, wie bekomm ich die VMs dann gesichert ohne irgendwelche kostenpflichtigen Exsi Dinge zu nutzen.

 

[asche77]

Wenn Du das VM storage neu startest, können die VMs so oder so nicht durchlaufen, egal ob das storage auf proxmox, OmniOS, trueNAS oder was anderem liegt ...

 

[CommanderBond]

Also vllt die Begrifflichkeiten mal Definieren. Ich möchte eine Storage bzw NAS VM haben für eigene Dateien.

Die VMs selber sollen aber da nicht gehostet werden... Klar können sie dann durchlaufen solange Exsi bzw Proxmox nicht neu startet.

 

[gea]

Man kann nicht alles haben. Wenn man die VMs auf ZFS aber nicht auf der Storage VM haben möchte, geht das nur mit ProxMox jedoch ohne den Komfort der Storage VM. Wenn man ein System sicherheitstechnisch aktuell halten möchte muss man immer regelmäßig updaten und neustarten. Um regelmäßige Wartung kommt man nie herum.

 

[CommanderBond]

Ja das ist schon klar aber sonst wäre da wo ich aktuell schon bin nämlich wenn ich omnios Neustarten muss auch meine restlichen VMs stoppen muss. Alternative wäre nur sowas wie evcc oder Home Assistent auf komplett anderer Hardware laufen zu lassen.

 

[Shihatsu]

Machs doch net so kompliziert. Mein Setup:
proxmox auf einer SSD installiert, kein mirror, aber bei großer server wartung mache ich mit clonezilla ein backup. proxmox einrichten geht super schnell.
Dann 2 weitere SSDs genommen, als VM storage ZFS mirror eingerichtet, VMs drauf geworfen.
Eine der VMs ist Truenas, die kriegt einen Sata Controller durchgereicht, daran hängt mein Plattenzoo.
Dann hab ich dem proxmox nochmal schnellen speicher zur Verfügung gestellt (nvme disks), auf die ich plattenimages klatsche die ixch den VMs direkt geben kann.
Et voila, alles geht, nichts muss (NFS aufm TrueNAS, gemountet in manche VMs, hab ich trotzdem, hat mich bisher nicht einmal gestört, im schlimmsten Fall muss man mal nen mount "refreshen", aber das ist noch nicht vorgekommen.

Und: Statt proxmox kann man auch nen anderen HYpervisor nehmen, und statt TrueNAS auch nen anderen Filer...

 

[MisterY]

EXSI fand ich jetzt alles andere als ressourcenschonend oder einfach zu konfigurieren.

Ich würde zu proxmox wechseln

 

[sch4kal]

Also das ist jetzt zwar alles Geschmackssache und hat wohl nix mehr mit dem Thema hier zu tun, aber ESXi kann ich in unter 5 Minuten installieren, das ist ein bisschen geklicke durch den Installer und danach das Aufrufen der WebUI mit Klick auf "VM Registrieren". Wüsste jetzt nicht wie das einfach gehen sollte.

 

[MisterY]

Das mag dran liegen, dass ich seit jeher auf proxmox setze. Aber eine Software, die die GHz aller Kerne zusammenfasst und als Ressource anzeigt, ist mir grundsätzlich suspekt

 

[CommanderBond]

Kann ich mit einem onboard Controller ein Raid1 aufsetzen auf dem ich sowohl Exsi als auch die VMs drauf ablege? Oder muss Exsi selber dann auf den USB Stick?
ODER kann ich auch auf eine Sata SSD Exsi installieren und am selben Controller ein Raid1 aus zwei weiteren daran hängenden SATA SSDs machen?

Die M.2 SSDs würde ich dann an die NAS VM durchreichen.

 

[mrpasc]

Kommt darauf an, was du für einen onboard Controller hast. Ist es ein echter LSI / Avago / Broadcom: ja, geht.
Ist es ein Intel Chipsatz Controller (oftmals Software-RAID oder Fake-RAID genannt). Geht nicht, ESXi erkennt den Controller und damit auch das RAID nicht.
Also: welches Board bzw. welcher Controller?

 

[CommanderBond]

Müsste ein Intel Chipsatz sein. Naja dann hat Proxmox hier doch wohl den Vorteil dass man einen ZFS Mirror bilden kann.

 

[gea]

Debian kann einen Software Mirror für das OS bereitstellen. ESXi unterstützt kein Software Raid für sich selbst sondern erst in der Storage VM zum Ablegen weiterer VMs. Es ist aber eher unüblich für ESXi einen Softwaremirror zu nutzen. Mit älteren ESXi hatte man einfach einen oder mehrere USB Sticks zum Booten. Ab ESXi 8 geht man von USB Sticks weg und nutzt eine oder mehrere (Wechsel) SSD zum Booten. Im Crashfall nimmt man einen Clone oder installiert ESXi in ein paar Minuten neu. Ein Clone hat den Vorteil dass er immer tut, ein Mirror hilft nur wenn alles ok ist und lediglich eine SSD ausgefallen ist. Bei Softwareproblemen sind beide Mirrors betroffen.

Will man einen ESXi Boot Mirror so brauchts ein Hardwareraid z.B. einen LSI 3008 mit IR Firmware oder ein Hardware Raid-1 Enclosure (Sata Wechseleinschub mit 2x2,5" Sata und eingebautem Raid-1). Das Enclosure hat den Vorteil dass man den Mirror herausziehen kann (bleibt dann auf dem Stand) und bei Bedarf wieder einschieben kann um den Mirror neu syncronisieren.

 

[CommanderBond]

ESXi unterstützt kein Software Raid für sich selbst sondern erst in der Storage VM zum Ablegen weiterer

Ja das meinte ich. Dass die VMs auf einem Mirror liegen. Läuft Exsi selber nicht komplett im RAM? Sprich von dem USB Stick wenn man ihn für Exsi benutzt wird nur gelesen?

Was macht man eigentlich am besten wenn man ein RaidZ2 Array aus 4 HDDs hat und die 4 HDDs austauschen möchte gegen welche mit mehr Kapazität, man aber keinen SATA Anschluss frei hat.
Ist es empfehlenswert über einen USB-SATA Dongle das ganze abzuwickeln oder lieber eine HDD rausnehmen und die neue reinsetzen und dann jeweils Resilvern?
Also was ist "besser" wenn man auf anderem Wege nicht für mehr SATA Anschlüsse sorgen kann.

 

[gea]

Ja das meinte ich. Dass die VMs auf einem Mirror liegen. Läuft Exsi selber nicht komplett im RAM? Sprich von dem USB Stick wenn man ihn für Exsi benutzt wird nur gelesen?

ESXi empfiehlt ab v8 keine USB Sticks mehr sondern SSDs. Darauf liegt neben ESXi selber aber nur die Storage VM, nicht alle weiteren VMs. Die liegen auf ZFS und werden per NFS an den lokalen oder andere ESXi angebunden.

Was macht man eigentlich am besten wenn man ein RaidZ2 Array aus 4 HDDs hat und die 4 HDDs austauschen möchte gegen welche mit mehr Kapazität, man aber keinen SATA Anschluss frei hat.
Ist es empfehlenswert über einen USB-SATA Dongle das ganze abzuwickeln oder lieber eine HDD rausnehmen und die neue reinsetzen und dann jeweils Resilvern?
Also was ist "besser" wenn man auf anderem Wege nicht für mehr SATA Anschlüsse sorgen kann.

USB ist nicht immer stabil und schnell. Eine Platte abziehen und die Redundanz verringern ist auch nicht gut. Ich würde bei einem Mirror per USB die Platte ersetzen und nach erfolgtem Resilver tauschen, eventuell im power down. Bei einem Z2 spricht nichts dagegen, eine Platte abzuziehen, die neue einzusetzen und per Resilver einzubinden.

Zur Not kann man ja die Originalplatte wieder einsetzen falls beim Resilver was schiefläuft. Da man die nur abgezogen hat ist sie ja weiter Teil des vdevs.

 

[ludwinator]

Fraglos ist vSphere der beste Virtualisierer auf dem Markt und nicht ohne Grund der Marktführer.
Das bedeutet aber nicht, das es irgendwie "einfach" zu betreiben wäre oder man im Fehlerfall "schnell mal" was machen könnte, dafür sind bei dem self-hosted Konzept zu viele Mitspieler (Hardwaresupport für pass-through, Controller, Omnios, zfs) an Bord. Es könnte alles so einfach sein, wenn VMWare sich entschliessen würde, zfs in den Kernel zu übernehmen. Solange das nicht der Fall ist, sind für mich (kleine Betriebe mit 1-10 Server) Virtualisierer wie bhyve und kvm auf einem zfs basierten System (Smartos, OmniOS, Proxmox, ..) im Vorteil.

cu

 

[Supaman]

Ja das ist schon klar aber sonst wäre da wo ich aktuell schon bin nämlich wenn ich omnios Neustarten muss auch meine restlichen VMs stoppen muss.
Alternative wäre nur sowas wie evcc oder Home Assistent auf komplett anderer Hardware laufen zu lassen.

Dann bau Dir doch einen Proxmox 3 Knoten Cluster mit Ceph als Storage, damit kannst Du laufende VMs eifnach auf einen anderen Knoten schieben, machst auf dem leeren Knoten Updates Hardware Umbau, whatever... und wenn Du fertig bist migrierst Du die VMs wieder zurück. .

Das geht auch wunderbar mit stromsparender Hwardware wie Topton Box mit N5105 oder N305 CPU.

 

[CommanderBond]

Ich muss nochmal überlegen. ggf macht es auch Sinn solche "ultra low performance" Dinge wie EVCC, HomeAssistant usw einfach auf seperate Hardware (NUC, miniPC) auszulagern und dann einfach nur regelmäßig auf das NAS zu backupen.. Möchte das ggf schon komplett getrennt haben vom Rest. Sprich wenn ich an meinem NAS/Server was mache sollen diese Dinge einfach durchlaufen weils hier auch um Datenaufzeichnung sprich Zeitreihen usw geht. Da möchte ich eigentlich möglichst wenig Abhängigkeit haben...So ein NAS kann am Wochenende halt durchaus auch mal "offline" sein das ist nicht so schlimm.. Nur hat man dann halt kein ECC RAM den hätte man bei VMs ja vom Hostsystem übernommen. Spielt aber bei solchen Sachen wohl eher keine Rolle...
Auf der einen Seite hat man halt Dinge die zumindest etwas Performance brauchen wie NAS, Plex, Piwigo usw und auf der anderen Seite halt Dienste wo sich selbst ein RPi langweilt.. USW ist auch einfacher und preiswerter wenn man einen DC Eingang hat.

 

[toscdesign]

Eine kurze Frage zu ZFS Snapshots in TrueNAS Scale, ob ich das so richtig verstanden habe:

Beispiel, ich habe ein Dataset mit folgendem Inhalt
dataset1
- childdataset1
- ordner1

Wenn ich die Snapshot Task ohne "Recursive" Option einstelle, werden alle Inhalte des dataset1 (Ordner und Dateien) und das childdataset1 in einem gemeinsamen Snapshot abgelegt. Wenn ich die Option dagegen setze, wird das childdataset1 in einem eigenen Snapshot abgelegt.

Oder habe ich hier ein Verständnis Problem?

Das sagt die Hilfe von TrueNAS Scale dazu:

Set to take separate snapshots of the dataset and each of its child datasets. Leave unset to take a single snapshot only of the specified dataset without child datasets.

 

[gea]

Das Verständnisproblem liegt oft daran dass alles Dataset genannt wird. Wäre besser wenn man nicht den Oberbegriff Dataset (Dateisystem, Snap, Zvol) nehmen würde, sondern das genau benennen würde auch um das gegen einfache Dateiordner abzugrenzen.

Snaps sind eine strikte Eigenschaft eines ZFS Dateisystems. Löscht man ein Dateisystem sind alle darin enthaltenen Snaps ebenfalls gelöscht. Legt man Snaps an so wird nur das entsprechende Dateisystem mit seinen Dateiordnern und Dateien gesnappt. Mit der Recursive Option kann man erreichen dass auch Snaps der Dateisysteme angelegt werden die sich unterhalb des aktuellen Dateisystems befinden.

Man darf sich hier nicht dadurch irritieren lassen dass ZFS Dateisysteme genau wie normale Datei-Ordner aufgelistet werden und man die gern vermischt/verwechselt. ZFS Eigenschaften wie Snaps, Verschlüssellung, Compress etc oder bei Solaris auch NFS/SMB Shares sind fest an ein Dateisystem gebunden und können von Dateisystem zu Dateisystem anders sein was vor allem bei geschachtelten Dateisystemen zum Chaos führen kann z.B. bei Eigenschaften wie Zeichensatz, uppercase/lowercase, aclinherit oder nbmand. Insbesondere bei SMB Shares kann das gerne zu Problemen führen. Oracle Solaris verbietet daher das Wechseln per SMB in tieferliegende Dateisysteme. Bei OmniOS und dem eingebauten SMB Server kann man das erlauben. Bei SAMBA führt das regelmäßig zu Problemen da SAMBA nur Ordner kennt und im Gegensatz zu dem Solariseigenen SMB Server keine ZFS Dateisystem Besonderheiten.

Zur Frage
Beispiel, ich habe ein Dataset mit folgendem Inhalt

- childdataset1
- ordner1

Sind das einfache Dateiordner oder ZFS Dateisysteme die mit zfs list angezeigt werden. Je nachdem ist die Antwort.

 

[CommanderBond]

Das geht auch wunderbar mit stromsparender Hwardware wie Topton Box mit N5105 oder N305 CPU.

Ja so in etwa werde ich das erstmal machen. Wobei mit einem anderen, günstigeren System. Darauf Proxmox installieren und das ganze dann erstmal etwas kennenlernen. Wenns mir zusagt ggf dann mal schauen ob man noch sparsamere Hardware einsetzen kann. Dinge testen ohne extra Hardware da zu haben die man nur dafür hernehmen kann ist halt doof.

 

[toscdesign]

Sind das einfache Dateiordner oder ZFS Dateisysteme die mit zfs list angezeigt werden. Je nachdem ist die Antwort.

childdataset1
Das ist ein Dataset im Dataset. Wirdmit zfs list angezeigt.

ordner1
Ist nur ein Ordner im Dataset. Wird mit zfs list nicht angezeigt

 

[gea]

childdataset1
Das ist ein Dataset im Dataset. Wirdmit zfs list angezeigt.

also ein geschachteltes ZFS Dateisystem. Wenn man in childdataset1 einen Snap erzeugt, so sind in dem normale Dateien und Ordner wie ordner1 enthalten. Macht man einen Snap auf dataset1 (den Pool selber, ist auch ein ZFS Dateisystem) so sind darin Ordner wie ordner1 nicht enthalten außer der Snap auf den pool dataset1 wird rekursiv angelegt.

ps
Es hilft ungemein, statt Dataset die genauen Begriffe Pool, ZFS Dateisystem, Snap, Zvol oder einfacher Ordner zu verwenden.

ordner1
Ist nur ein Ordner im Dataset. Wird mit zfs list nicht angezeigt

Kein ZFS Dateisystem, also keine Snaps darauf möglich. Ordner ist aber in Snaps des zugehörigen ZFS Dateisystem childdataset1.

 

[toscdesign]

Also folgender Aufbau:

Pool -> dataset1 -> childdataset1
............................ -> ordner1

 

[gea]

Ja, wenn es ein ZFS Dateisystem namens Pool gibt unter dem das Dateisystem dataset1 liegt unter dem das Dateisystem childdataset1 liegt. (Der "Pool" ist das oberste Dateisystem. Man benutzt es normalerweise nicht direkt sondern nur die Dateisysteme darunter. Es dient dazu Vorgaben zu setzen die in die darunterliegenden Dateisysteme vererbt werden)

 

[Digi-Quick]

zfs soll doch so flexibel sein und dann kann mein kein Platten direkt zum Pool hinzufügen.

Beitrag automatisch zusammengeführt: 11.02.2023

Das Freature ist 2021 geplatn gewesen (zpool attach):

Das Erweitern von RAIDz in OpenZFS wird bald auf Ihrem Server möglich sein | ITIGIC

Das ZFS-Dateisystem ist eines der fortschrittlichsten, das derzeit existiert, OpenZFS ist ein sehr komplexes Dateisystem, das speziell auf Hochleistungsserver und NAS-Server ausgerichtet ist, mit RAM-Speicher vom ECC-Typ für perfekte Datenintegrität. Eine der von Netzwerk- und...

itigic.com

Meines Wissens noch immer nicht Teil von OpenZFS (und erst recht nicht von illumos-ZFS), auch wenn es schon weitgehend fertig sein soll (aber immer noch in progress).

Genaueres auf Github.

Scheinbar immer noch nicht fertig, wenn man nach Github geht
Qnap scheint da mit "QuTS Hero" ein wenig bleeding edge zu gehen (oder sind die da schon weiter?)

QuTS hero h5.2

QuTS hero h5.2 bietet eine ausgezeichnete Leistung und überragende Speicherverwaltung für robuste und zuverlässige Speicherlösungen.

www.qnap.com

 

[kandamir]

Hallo nutzt hier jemand den rsync Daemon von OmniOS/Napp-it? Ich habe den für ein Dateisystem (hoffentlich korrekt) konfiguriert und den Daemon gestartet. Von einer anderen Maschine aus will ich per rsync Dateien dorthin synchronisieren, scheitere aber:

> rsync quelldatei rsync://user@san/Data.Backup/ --password-file=secret

rsync: connection unexpectedly closed (0 bytes received so far) [sender]
rsync error: error in rsync protocol data stream (code 12) at io.c(228) [sender=3.2.3]

Benutzer user existiert, das password-file enthält das Passwort des Users auf san.

Die Versionen von rsync sind auf Quelle und Ziel identisch, nämlich 3.2.3.

Hat jemand Hinweise, was da schief geht? Vielleicht rsync Daemon unter Napp-it nicht korrekt konfiguriert?

Danke vorab!

Edit: Die andere Maschine ist ein Debian 11, falls das relevant ist.

 

[toscdesign]

Ja, wenn es ein ZFS Dateisystem namens Pool gibt unter dem das Dateisystem dataset1 liegt unter dem das Dateisystem childdataset1 liegt. (Der "Pool" ist das oberste Dateisystem. Man benutzt es normalerweise nicht direkt sondern nur die Dateisysteme darunter. Es dient dazu Vorgaben zu setzen die in die darunterliegenden Dateisysteme vererbt werden)

Ja genau, die Frage war jetzt eigentlich, muss ich "recursive" ein oder ausschalten, damit das dataset1 inkl. childdataset1 gesnapshotet wird oder nicht?