[Sammelthread] OpenZFSonWindows: HowTos, Performance, wasauchimmer...

[besterino]

Sicher dass SMB Direct mit dem CRS504 geht? Wenn ja, wie? Meines Wissens kann der kein RDMA. Hab’s mit dem zumindest bisher nicht hinbekommen.

 

[gea]

@gea, ZFSonWindows hätte ich ja für einen Witz gehalten, aber wenn du dich damit beschäftigst muss ich mir das auch mal anschauen.
Bei der CX-5 würde ich empfehlen die MCX516ACDAT zu nehmen, die kann schon PCIe4, falls auf einer Seite ein Desktop Board benutzt wird, spart das PCIe Lanes.
Wenn du einen Switch benötigst, könnte der CRS504 von Mikrotik für dich interessant sein.
Der kann leider kein RoCE v2, dann wär das die Empfehlung für ein Homelab, aber für SMB Direct ist der gut.

Es gibt vier Alleinstellungsmerkmale für Windows

- Weit überragende SMB Peformance mit SMB direkt statt normalem ip Traffic (gibts mit SAMBA noch nicht stabil)
- Windows ntfs ACL im Dateisystem (gibts sonst nur bei Solaris)
- Active Directory mit weltweit eindeutigen SID statt mehrdeutiger uid Nummern mit Mapping, (gibts sonst nur bei Solaris mit dem kernel SMB Server)
- Einfaches Netzwerk Clustering per SMB und vhdx als Spinoff von Hyper-V

Windows Storage Spaces wäre noch ein fünfter Punkt. Kann enorm viel wenn es um Platten unterschiedlichen Typs oder Größe geht, um Tiering oder flexible Redundanz per virtual disk, ist aber eine Katastrophe was Handling angeht. Mit Webgui wird es gerade so handlebar. Dagegen ist ZFS schlicht eine Offenbarung.

Ich hatte in letzter Zeit mehrere Anfragen wegen storagebasiertem 4/8k Multiuser Videoschnitt und da ist eine Windowslösung mit SMB direct konkurenzlos. Wenn jetzt ZFS dazukommt mit Ramcachíng, Snaps, Fast Dedup, Hybridpools und Verschlüssellung dann hat man eine Kombination die konkurrenzlos ist. Windows sträubt sich zwar mit allem was es hat gegen fremde Dateisysteme die nicht auf Volumes und Partitionen basieren (sieht man an den aktuellen Release Candidates, da geht es nicht um ZFS sondern um Volumes, Driveletter, mount und unmount). Jorgen Lundman der Maintainer von ZFS on Windows und ein wichtiger ZFS Developper steckt enorm viel Engagement in das Projekt, nicht nur um es zum Laufen zu bringen sondern um es an die Spitze der ZFS Entwicklung zu bringen. ZFS on Windows 2.2.6 rc4 kam zwei Tage vor der offiziellen Freigabe von OpenZFS 2.2.6 und hat sogar bereits Fast Dedup.

In Reddit hat Jorgen Lundman seine Motivation dafür erläutert "Die einzige Chance weitere Plattformen neben BSD und Linux direkt in Open-ZFS zu haben, ist es an der Spitze der Entwicklung zu sein". Es gibt ja für die nächste Open-ZFS Developper Meeting dazu den Punkt "Mixed Operating System OpenZFS Environments",
https://openzfs.org/wiki/OpenZFS_Developer_Summit

Es bleibt natürlich immer noch der Weg es wie Illumos zu tun indem ein eigener stabiler Fork gepflegt wird und bei Bedarf Features übernommen werden. Auch das ist ok sollte es nicht zu OpenZFS inkompatiblem ZFS führen wie bei Solaris oder Qnap ZFS.

Ich empfehle zwar simple multi nic-nic Verkabelungen für kleine bis mittlere Arbeitsgruppen mit 25-50G, Switche mit 100G werden aber immer billiger. Funktionierendes SMB Direkt ist aber der Knackpunkt. Was nützt 100G wenn das nicht annähernd über SMB mit niedriger Latenz und CPU Last rüberkommt.

 

[janos66]

Ich hatte in letzter Zeit mehrere Anfragen wegen storagebasiertem 4/8k Multiuser Videoschnitt und da ist eine Windowslösung mit SMB direct konkurenzlos

ja keine Frage, im Moment ist SMB Direct in Windows die einfachste Lösung für ein High-Performance NAS mit RDMA Technologie.
Ich bin letztes Jahr im Sommer von Mellanox CX-3 Pro zu CX-5 gewechselt und musste feststellen, dass trotz Upgrade der Serverhardware auf EPYC 7F52 mit 256GB und NVME Pool, unter Linux mit ZFS und SAMBA, eine Single User Performance über 5GB/s nicht trivial zu erreichen ist.
Der Sinn des Upgardes war aber nicht die Performance zu verbessern, obwohl nicht unerwünscht, ging es mehr darum wieder SR-IOV mit Windows VMs nutzen zu können, da zeigt die CX-3 ihr Alter.
Ich muss das die Tage aber nochmal testen, damals war ksmbd noch nicht brauchbar und Multichannel in Truenas war auch noch neu.
Das einzig brauchbare was bei den ganzen Tests rumkam, war das ich drauf gekommen bin, dass TrueNAS auch ISER unterstützt und die Performane damit ganz brauchbar ist.
Mein NVME Pool hat aber auch nicht richtig skaliert, weder unter TrueNAS noch mit Ubuntu Server, da lässt ZFS noch massiv Performance liegen, hoffentlich lösen sie das in den nächsten 1-2 Jahren.

 

[gea]

Cow und Prüfsummen kosten Leistung, dazu die Optimierung auf konstante Performance bei vielem Dateien und vielen gleichzeitigen Nutzern.

Was kann davon weg?
Nichts!

Solaris mit native ZFS zeigte aber bisher dass es noch ein bisschen schneller geht, halt nicht extrem viel schneller.