[Sammelthread] ZFS Stammtisch

[asche77]

OmniOSce v11 r151048 is out!

On the 6th of November 2023, the OmniOSce Association has released a new stable version of OmniOS – The Open Source Enterprise Server OS. The release comes with many tool updates, brand-new features and additional hardware support. For details see the release notes.

 

[gea]

OmniOSce v11 r151048 is out!

Nur als Anmerkung zum Update.

OmniOS stable hat ein eigenes Software Repository für jedes Stable Release. Das bedeutet:
Ein 'pkg update' Befehl gibt lediglich die aktuellste Version des jeweiligen Release.

Um auf eine neues Release upzudaten, muss auf das neue Repository umgestellt werden.
Das 'pkg update' führt dann ein Update auf die neue OS Version durch.

Das Update ist nur möglich von der Version 151046 LTS.
Von früheren Versionen muss man in Stufen über die jeweiligen LTS/Long Term Stable updaten.

Um auf eine frühere Version zurückzugehen, wählt man beim Booten das gewünschte Boot Environment aus.
Eine solche Systemumgebung (praktisch ein bootfähiger ZFS Snap) wird bei jedem Update automatisch angelegt.

Die letzte Stable 151044 fällt aus dem Support und erhält keine Updates mehr.

 

[gea]

Hat hier jemand Praxiserfahrung mit Windows und ZFS?

Ich würde in der neuen Workstation gerne komplett alles (bis auf /root vom Main Linux - Root on ZFS ist immer noch n bisschen viel Bastelei) auf ZFS umstellen, muss aber im Dual Boot Betrieb arbeiten und brauche gemeinsame Datenplatten.

Gibt ja mittlerweile native Treiber für ZFS... Taugen die? Oder lieber mit WSL?

Ich würde ZFS on Windows eher noch als beta aber als nutzbar ansehen. Für kritische Daten würde ich aber auf Linux oder Solaris setzen. Auf Solaris gibts ZFS seit 20 Jahren - mit einem freien Fork wie OmniOS auch mit Open-ZFS, unter Linux ausreichend lange um als stabil und ausgereift zu gelten.

Ob WSL eine bessere Lösung ist, kann ich nicht sagen, vermutlich eher nein.

btw.
Warum nicht einfach einen ZFS Storageserver auf Linux oder Solaris nehmen und alle Daten da ablegen, entweder als SMB Share oder auf einem iSCSI Target (keine lokale Datenhaltung auf Windows). Das ist eh viel sicherer. Eine Ransomware auf Windows wird als erstes versuchen alle Shadow Copies und Snaps als Admin zu löschen oder zu verschlüsseln. Lokale Windows Partitionen und Pools sind niemals sicher. Remote geht Snap löschen als Windows Admin nicht, da bräuchte es den root Acccount und remote Zugriff z.B. per ssh.

 

[java4ever]

Warum nicht einfach einen ZFS Storageserver auf Linux oder Solaris nehmen und alle Daten da ablegen, entweder als SMB Share oder auf einem iSCSI Target (keine lokale Datenhaltung auf Windows). Das ist eh viel sicherer. Eine Ransomware auf Windows wird als erstes versuchen alle Shadow Copies und Snaps als Admin zu löschen oder zu verschlüsseln. Lokale Windows Partitionen und Pools sind niemals sicher. Remote geht Snap löschen als Windows Admin nicht, da bräuchte es den root Acccount und remote Zugriff z.B. per ssh.

Den gibt es, das ist aber der Backup Server. Für Lokal brauch ich bei meinen Workloads einfach NVMe... Das sind nicht aus Spaß maximal fette Write Intensive Platten.

Mein Bedürfnis ständig Daten hin und her zu schieben, nur weil ich da ausm Windows mal dran muss, hält sich sehr in Grenzen. Und über Netzwerk, selbst mit den fetten ConnectX-6 die ich habe, eine akzeptable Performance zu erreichen (im Vergleich zu lokal write intensive) halte ich für äußerst ambitioniert.

 

[gea]

Einen Tod muss man sterben. Entweder das Gefummel mit Dual Boot und ZFS on Windows, geringere Remote Performance vor allem bei großen sequentiellen Sachen oder das Umkopieren aktueller Arbeitsdateien

 

[gea]

Raid-Z Erweiterung ist am Kommen

Diese Funktion benötigt noch etwas Zeit, wird aber in der OpenZFS 2.3-Version sein, die voraussichtlich in etwa einem Jahr verfügbar sein wird. Ein Pool der ein erweitertes vdev enthält ist in älterem Open-ZFS nicht mehr zu öffnen. Es schadet also nichts da etwas zuzuwarten.

Topicbox

 

[mrpasc]

Dateisystem: OpenZFS nach Update mit massiv schnelleren Schreibvorgängen

Das Dateisystem OpenZFS soll nach einem Patch bei hoher Schreiblast einen nahezu doppelt so hohen Datendurchsatz erreichen. Das steckt dahinter.

www.heise.de

Das klingt ja zu gut um wahr zu sein? Endlich NVME mit sinnvoller Performance? Bin gespannt….

 

[gea]

Klingt gut.
20% Mehrleistung ist etwas was man normalerweise nicht merkt.
Bei einer Verdoppellung der Schreibleistung sieht das anders aus.

Bin auch gespannt.

 

[pwnbert]

Einen Tod muss man sterben.

exFAT?

 

[gea]

exFAT?

Ist wie Oldtimer fahren, ganz ohne Sicherheitsgurt und Nackenstütze oder den anderen neumodischen Schnickschnack wie passive Sicherheit oder gar Airbag, ABS, ESP etc...

 

[java4ever]

exFAT?

Dann kann ich auch bei ext4 bleiben und unter Windows mit WSL oder den Paragon Tools mounten.

Oder direkt NTFS, das kann Linux ja mittlerweile ganz gut dank neuem Treiber

 

[gea]

Ext4 oder ntfs sind deutlich robuster als exFAT.

Zu ZFS fehlt dann immer noch
- Prüfsummen (bei jeder Leseaktion werden Daten validiert und bei Bedarf automatisch aus Redundanz repariert)
- Copy on Write (kein korruptes Dateisystem oder Raid nach Absturz beim Schreiben)
- Snap Versionierung
- exzellente rambasierte Schreib/Lesecaches
- sicheres sync Schreiben trotz Nutzung eines Schreibcache
- erweiterbare Datenpools statt fester Partitionen
- Storagevirtualisierung (Quotas, Reservierungen)

 

[gea]

Ich beschäftige mich gerade mit dem Thema Data Tiering.

ZFS bietet mit den special vdev ja einen sehr intelligenten Ansatz für Hybrid Pools aus großen aber langsamen Platten und teuren und schnellen SSD/NVMe. Die Grundidee bei ZFS lautet: Besonders performancekritische Daten werden aufgrund ihrer physikalischen Struktur (small io, Metadaten, Dedup Tabellen) auf dem schnellen special vdev gespeichert, alle anderen Daten auf den langsamen Pool vdev.

Der Hauptvorteil liegt darin dass man nichts einstellen muss oder Daten zwischen den schnellen und den langsamen vdevs umkopieren muss. Einfach set and forget. Für Anwendungsfälle mit sehr vielen, kleinen volatilen Daten vieler Nutzer ist das auch ein perfekter Ansatz (z.B. Hochschulmailserver) und bringt da deutlich Performance.

Für einen normalen Office oder VM Server bringt das aber praktisch nichts. Da wäre der klassische Tiering Ansatz, Daten gezielt auf dem schnellen oder langsameren Teil des Pools zu speichern besser geeignet. Dafür gibt es in Open-ZFS keine Unterstützung, das könnte man aber durchaus realisieren, siehe https://illumos.topicbox.com/groups...on-a-special-vdev-and-rule-based-data-tiering

Ich plane dazu ein Pool > Tiering Menü in napp-it um das komfortabler zu machen. Bis dahin kann das jeder ja mal manuell ausprobieren.

 

[pwnbert]

Ext4 oder ntfs sind deutlich robuster als exFAT.

Zu ZFS fehlt dann immer noch
- Prüfsummen (bei jeder Leseaktion werden Daten validiert und bei Bedarf automatisch aus Redundanz repariert)
- Copy on Write (kein korruptes Dateisystem oder Raid nach Absturz beim Schreiben)
- Snap Versionierung
- exzellente rambasierte Schreib/Lesecaches
- sicheres sync Schreiben trotz Nutzung eines Schreibcache
- erweiterbare Datenpools statt fester Partitionen
- Storagevirtualisierung (Quotas, Reservierungen)

Das war ja auch eher als Spaß gemeint ...
Ist NTFS wirklich so viel besser als exFAT? Jaja, ich erinnere mich an diesen "NTFS isn't that bad" Vortrag.

Wie robust würdest du Ext4 einschätzen, speziell in "daily Desktop", aber auch am NAS (z.B. mein altes QNAP kann nur ext4)?

 

[gea]

NTFS und etx4 würde ich als grob gleichwertig ansehen. Gäbe es kein btrfs oder ZFS so wäre das top. Auf jeden Fall viel besser als *FAT oder das ältere hfs von Apple.

Als Analogie zu Sicherheitsoptionen beim Auto könnte man es so sagen. Man hat bereits Sicherheitsgurt und Nackenstütze aber noch keine Airbags oder ESP.

 

[gea]

In der Illumos-dev Mailliste läuft gerade eine Diskussion über die Übernahme von Features aus Open-ZFS. Dabei gabs in der letzten Mail Berichte zu zahlreichen ganz aktuellen Problemen in Open-ZFS 2.2 die mit Datenverlust endeten. Die Probleme sollte man eventuell verfolgen wenn man Open-ZFS 2.2 einsetzt.

Links:
https://illumos.topicbox.com/groups/developer/T3938863282d879c9-Mad80187a2775599fdda57b58

Issues · openzfs/zfs

OpenZFS on Linux and FreeBSD. Contribute to openzfs/zfs development by creating an account on GitHub.

github.com

 

[ludwinator]

Ich sag nur: Better save than sorry.
Mir kommen diese massiven Umwälzungen (RaidZ Expansion, D-Raid, etc) in OpenZFS auch zu unausgegoren vor, die Userbase ist einfach zu gering um das alles wirklich ausgiebig zu testen.
Nicht umsonst setzen Firmen wie Nexenta, Oxide, etc. weiterhin auf Illumos als Basis.
Ich hoffe, es bleibt beim "cherry picking" von Patches aus dem Upstream.

 

[gea]

OmniOS r151048b (2023-11-15)

Release Notes

illumos based server OS with ZFS, DTrace, Crossbow, SMF, Bhyve, KVM and Linux zone support

omnios.org

Weekly release for w/c 13th of November 2023.

This update requires a reboot

Security Fixes

• Intel CPU microcode updated to 20231114, including a security update for INTEL-SA-00950.
• AMD CPU microcode updated to 20231019.

Other Changes

• The UUID of a bhyve VM was changing on every zone restart. For VMs usingcloud-init, this caused them to be considered as a new host on each coldboot.
  

To update from initial 151048, run 'pkg update' + reboot
To update from former OmniOS, update in steps over LTS versions
To downgrade, start a former boot environment (automatically created on updates)

 

[bbott]

Raid-Z Erweiterung ist am Kommen

Diese Funktion benötigt noch etwas Zeit, wird aber in der OpenZFS 2.3-Version sein, die voraussichtlich in etwa einem Jahr verfügbar sein wird. Ein Pool der ein erweitertes vdev enthält ist in älterem Open-ZFS nicht mehr zu öffnen. Es schadet also nichts da etwas zuzuwarten.

Topicbox

Super, leider dauert es noch so lange 😜 Weiß jemand ob es evtl. vorher durch Betas möglich sein zu nutzen? Bzw. wird TrueNAS es zeitnah übernehmen?

 

[mrpasc]

Ich bezweifle dass iX (die Firma hinter TrueNAS) das zeitnah übernimmt. Die entwickeln für Enterprise Kunden, da zählt Stabilität vor Featuritis (wobei man das bei SCALE, insbesondere Cobia etwas anzweifeln kann 😎😏).
Da wirst du wohl eher dir selbst ein ZoL System backen müssen.

 

[gea]

Wenn man die Berichte rund ums aktuelle Open-ZFS 2.2 unter Linux sieht, so ist man gut beraten abzuwarten.
Aktuell ist fast Datensicherung auf Nicht-2.2 Open-ZFS oder andere Dateisysteme angesagt.

Issues · openzfs/zfs

OpenZFS on Linux and FreeBSD. Contribute to openzfs/zfs development by creating an account on GitHub.

github.com

 

[bbott]

Danke. Hört sich ja gar nicht gut an

 

[Trambahner]

Uff, ich hab Glück:

# zfs --version
zfs-2.1.11-pve1
zfs-kmod-2.1.11-pve1

Danke fürs aufmerksam machen.

 

[Bzzz]

Wenn man die Berichte rund ums aktuelle Open-ZFS 2.2 unter Linux sieht, so ist man gut beraten abzuwarten.
Aktuell ist fast Datensicherung auf Nicht-2.2 Open-ZFS oder andere Dateisysteme angesagt.

Sollte mir das mit einem frisch installierten Kubuntu 23.10, das schon 2.2 mitbringt, aber einem nicht aufs aktuelle Featurelevel gehobenen Pool Sorgen machen?

 

[gea]

Bei der Menge an Issues in den letzten Tagen die ja gerade nicht auf ein Feature oder eine Distribution begrenzt sind - auch mit Datenverlust, hätte ich weniger Vertrauen. Im Moment würde ich 2.2 eher vermeiden bis sich die Lage klärt.

 

[Fusseltuch]

Wer Proxmox ohne Subscription einsetzt, bekommt ab sofort ZFS 2.2.0-pve3 ausgeliefert.

 

[Trambahner]

Nur bei 8 oder auch 7.x?

Ich (7er Zweig ohne Sub) hatte am Freitag mal geupdated und kein 2.2.0. drin.

 

[Fusseltuch]

Ich kann nur für v8 sprechen, v7 habe ich nicht mehr im Einsatz.

 

[gea]

Ein paar Infos zu ZFS Hybridpools und Data Tiering
www.napp-it.org/doc/downloads/hybrid_pools.pdf

 

[gea]

Update: Onepagers (Eine Seite pro Thema für einen Solaris/OmniOS ZFS Filer von Setup über Services bis data tiering)

https://www.napp-it.org/doc/downloads/onepagers.pdf