besterino
Legende
Sicher dass SMB Direct mit dem CRS504 geht? Wenn ja, wie? Meines Wissens kann der kein RDMA. Hab’s mit dem zumindest bisher nicht hinbekommen.
[Sammelthread] OpenZFSonWindows: HowTos, Performance, wasauchimmer...
- Ersteller besterino
- Erstellt am
Es gibt vier Alleinstellungsmerkmale für Windows
- Weit überragende SMB Peformance mit SMB direkt statt normalem ip Traffic (gibts mit SAMBA noch nicht stabil)
- Windows ntfs ACL im Dateisystem (gibts sonst nur bei Solaris)
- Active Directory mit weltweit eindeutigen SID statt mehrdeutiger uid Nummern mit Mapping, (gibts sonst nur bei Solaris mit dem kernel SMB Server)
- Einfaches Netzwerk Clustering per SMB und vhdx als Spinoff von Hyper-V
Windows Storage Spaces wäre noch ein fünfter Punkt. Kann enorm viel wenn es um Platten unterschiedlichen Typs oder Größe geht, um Tiering oder flexible Redundanz per virtual disk, ist aber eine Katastrophe was Handling angeht. Mit Webgui wird es gerade so handlebar. Dagegen ist ZFS schlicht eine Offenbarung.
Ich hatte in letzter Zeit mehrere Anfragen wegen storagebasiertem 4/8k Multiuser Videoschnitt und da ist eine Windowslösung mit SMB direct konkurenzlos. Wenn jetzt ZFS dazukommt mit Ramcachíng, Snaps, Fast Dedup, Hybridpools und Verschlüssellung dann hat man eine Kombination die konkurrenzlos ist. Windows sträubt sich zwar mit allem was es hat gegen fremde Dateisysteme die nicht auf Volumes und Partitionen basieren (sieht man an den aktuellen Release Candidates, da geht es nicht um ZFS sondern um Volumes, Driveletter, mount und unmount). Jorgen Lundman der Maintainer von ZFS on Windows und ein wichtiger ZFS Developper steckt enorm viel Engagement in das Projekt, nicht nur um es zum Laufen zu bringen sondern um es an die Spitze der ZFS Entwicklung zu bringen. ZFS on Windows 2.2.6 rc4 kam zwei Tage vor der offiziellen Freigabe von OpenZFS 2.2.6 und hat sogar bereits Fast Dedup.
In Reddit hat Jorgen Lundman seine Motivation dafür erläutert "Die einzige Chance weitere Plattformen neben BSD und Linux direkt in Open-ZFS zu haben, ist es an der Spitze der Entwicklung zu sein". Es gibt ja für die nächste Open-ZFS Developper Meeting dazu den Punkt "Mixed Operating System OpenZFS Environments",
https://openzfs.org/wiki/OpenZFS_Developer_Summit
Es bleibt natürlich immer noch der Weg es wie Illumos zu tun indem ein eigener stabiler Fork gepflegt wird und bei Bedarf Features übernommen werden. Auch das ist ok sollte es nicht zu OpenZFS inkompatiblem ZFS führen wie bei Solaris oder Qnap ZFS.
Ich empfehle zwar simple multi nic-nic Verkabelungen für kleine bis mittlere Arbeitsgruppen mit 25-50G, Switche mit 100G werden aber immer billiger. Funktionierendes SMB Direkt ist aber der Knackpunkt. Was nützt 100G wenn das nicht annähernd über SMB mit niedriger Latenz und CPU Last rüberkommt.
ja keine Frage, im Moment ist SMB Direct in Windows die einfachste Lösung für ein High-Performance NAS mit RDMA Technologie.
Ich bin letztes Jahr im Sommer von Mellanox CX-3 Pro zu CX-5 gewechselt und musste feststellen, dass trotz Upgrade der Serverhardware auf EPYC 7F52 mit 256GB und NVME Pool, unter Linux mit ZFS und SAMBA, eine Single User Performance über 5GB/s nicht trivial zu erreichen ist.
Der Sinn des Upgardes war aber nicht die Performance zu verbessern, obwohl nicht unerwünscht, ging es mehr darum wieder SR-IOV mit Windows VMs nutzen zu können, da zeigt die CX-3 ihr Alter.
Ich muss das die Tage aber nochmal testen, damals war ksmbd noch nicht brauchbar und Multichannel in Truenas war auch noch neu.
Das einzig brauchbare was bei den ganzen Tests rumkam, war das ich drauf gekommen bin, dass TrueNAS auch ISER unterstützt und die Performane damit ganz brauchbar ist.
Mein NVME Pool hat aber auch nicht richtig skaliert, weder unter TrueNAS noch mit Ubuntu Server, da lässt ZFS noch massiv Performance liegen, hoffentlich lösen sie das in den nächsten 1-2 Jahren.
Cow und Prüfsummen kosten Leistung, dazu die Optimierung auf konstante Performance bei vielem Dateien und vielen gleichzeitigen Nutzern.
Was kann davon weg?
Nichts!
Solaris mit native ZFS zeigte aber bisher dass es noch ein bisschen schneller geht, halt nicht extrem viel schneller.
Was kann davon weg?
Nichts!
Solaris mit native ZFS zeigte aber bisher dass es noch ein bisschen schneller geht, halt nicht extrem viel schneller.
OpenZFS 2.2.6 rc7
github.com
Hold up!
So the mount/unmount code was completely re-written, which is a large amount of source code changes. There is a
higher than usual risk for regression. (As in, BSODs).
But if everything works, the mounts should be more recognised by the system, you should be able to run both
zfs mount as well as mountvol and see driveletter mounts (like E:\\) as well as lower dataset mounts (E:\\dataset)
The way Storport (zvol support) interacts with the driver also had to change.
Unmounting (and exporting) is now without special hacks, and much cleaner. There might still be corner case issues remaining.
Changing properties driveletter and mountpoint should in theory re-mount the datasets on the fly, without needing to export/import.
rc6:
hopes of being able to import older OpenZFSOnWindows pools where they were wrong.
rc7:
Just one fix, but felt it was big enough to push a fix for right away.
Jorgen Lundman
I have posted a new build for rc6.
I believe I have fixed setting driveletter, mounting of snapshots, some unmounting issues.
So if you can, please check your issues again, even if I didn't list them, and remind me of any issues that are still present.
github.com
Releases · openzfsonwindows/openzfs
OpenZFS on Linux and FreeBSD. Contribute to openzfsonwindows/openzfs development by creating an account on GitHub.
github.com
Hold up!
So the mount/unmount code was completely re-written, which is a large amount of source code changes. There is a
higher than usual risk for regression. (As in, BSODs).
But if everything works, the mounts should be more recognised by the system, you should be able to run both
zfs mount as well as mountvol and see driveletter mounts (like E:\\) as well as lower dataset mounts (E:\\dataset)
The way Storport (zvol support) interacts with the driver also had to change.
Unmounting (and exporting) is now without special hacks, and much cleaner. There might still be corner case issues remaining.
Changing properties driveletter and mountpoint should in theory re-mount the datasets on the fly, without needing to export/import.
rc6:
- Fix leaks of SecurityDesciptor
- Fix vnode leaks, root znode
- Explorer stackoverflow fix in reparse points
- Mount / Unmount, snapshot mount fixes
- set driveletter remount fixes
- Deep stack fix for Storport query
- Fix weird extra newlines in command output
- Attempt fix to work with VSS
- New tunable windows_load_security
hopes of being able to import older OpenZFSOnWindows pools where they were wrong.
rc7:
- Delayed read/write could BSOD.
Just one fix, but felt it was big enough to push a fix for right away.
Jorgen Lundman
I have posted a new build for rc6.
I believe I have fixed setting driveletter, mounting of snapshots, some unmounting issues.
So if you can, please check your issues again, even if I didn't list them, and remind me of any issues that are still present.
zfs-windows-2.2.6-rc6 · openzfsonwindows openzfs · Discussion #402
I have posted a new build for rc6. I believe I have fixed setting driveletter, mounting of snapshots, some unmounting issues. So if you can, please check your issues again, even if I didn't list th...
github.com
Zuletzt bearbeitet:
ZFS unter Windows wird ja sicher bald nutzbar sein.
ZFS unter Windows statt unter BSD, Linux oder Illumos hat für mich dabei zwei Besonderheiten
1. Windows ntfs ACL Rechte
Lediglich Solaris/Illumos ist da mit nfsv4 ähnlich komfortabel wie Windows mit ntfs, SAMBA, Linux und Posix ACL, naja
1. SMB Direct.
Damit wird SMB mehrfach schneller bei gleichzeitig viel geringerer Latenz und CPU Last.
Üblicherweise braucht man für SMB direct Windows Server als SMB Server. Clients können Windows 11 sein. Linux/SAMBA ist da erst in den Startlöchern. Windows 11 Pro für Workstation soll aber auch SMB direkt bieten, also ohne einen Windows Server. Hat das schonmal jemand probiert. RDMA fähige nics mit 20G+ kommen ja gerade haufenweise.
docs.tuxera.com
ZFS unter Windows statt unter BSD, Linux oder Illumos hat für mich dabei zwei Besonderheiten
1. Windows ntfs ACL Rechte
Lediglich Solaris/Illumos ist da mit nfsv4 ähnlich komfortabel wie Windows mit ntfs, SAMBA, Linux und Posix ACL, naja
1. SMB Direct.
Damit wird SMB mehrfach schneller bei gleichzeitig viel geringerer Latenz und CPU Last.
Üblicherweise braucht man für SMB direct Windows Server als SMB Server. Clients können Windows 11 sein. Linux/SAMBA ist da erst in den Startlöchern. Windows 11 Pro für Workstation soll aber auch SMB direkt bieten, also ohne einen Windows Server. Hat das schonmal jemand probiert. RDMA fähige nics mit 20G+ kommen ja gerade haufenweise.
RDMA Supported Versions of Windows 10/11 | Tuxera Documentation
Which current versions of the Windows desktop client OS include support for RDMA?
docs.tuxera.com
Zuletzt bearbeitet:
Auf BSD eingeschränkt, auf Linux eigentlich nein.
NFS4 ACL overview - SambaWiki
Weltweit eindeutige Securityreferezen für Dateien gibts aber nur unter Windows und Solaris/Illumos mit Windows SID als Bezug statt einfachen uid Nummern
Zuletzt bearbeitet:
RDMA wird für mich langsam zu einem Storage Schlüsselthema, ist es doch die einzige Möglichkeit eine aktuelle Pool Performance vor allem mit NVMe übers Netz zum Arbeitsplatz oder Backupsystem zu bekommen.
Bisher war eine typische Konfiguration ein Windows Server mit Windows 11 Pro clients. Es scheint so dass Windows 11 Pro für Workstations als SMB direct Server ausreicht was die Sache für eine Arbeitsgruppe vereinfacht/verbilligt weil man keine Server Lizenzen braucht.
Unter Linux kann man ksmbd als SMB Server statt SAMBA einsetzen. Damit hat man einen SMB direct Server unter Linux der von den Settings halbwegs kompatibel mit der smb.conf ist. Die Sicherheit, Stabilität und Kompatibilität muss sich zeigen, da scheints noch Verbesserungsbedarf zu geben. Könnte ich mir aber gut z.B. mit Proxmox vorstellen. Multichannel geht nicht, also für Linux clients wo derzeit kein RDMA in Sicht ist, wohl nicht ganz optimal, eher eine Lösung für Linux Server und Windows Clients.
Bisher war eine typische Konfiguration ein Windows Server mit Windows 11 Pro clients. Es scheint so dass Windows 11 Pro für Workstations als SMB direct Server ausreicht was die Sache für eine Arbeitsgruppe vereinfacht/verbilligt weil man keine Server Lizenzen braucht.
Unter Linux kann man ksmbd als SMB Server statt SAMBA einsetzen. Damit hat man einen SMB direct Server unter Linux der von den Settings halbwegs kompatibel mit der smb.conf ist. Die Sicherheit, Stabilität und Kompatibilität muss sich zeigen, da scheints noch Verbesserungsbedarf zu geben. Könnte ich mir aber gut z.B. mit Proxmox vorstellen. Multichannel geht nicht, also für Linux clients wo derzeit kein RDMA in Sicht ist, wohl nicht ganz optimal, eher eine Lösung für Linux Server und Windows Clients.
besterino
Legende
Nach meiner Erinnerung geht SMB Direct als "Server" nur mit den Server-Versionen, auch nicht mit Client "for Workstations".
EDIT & Nachtrag: Scheint immer noch so zu sein.
Quelle: https://learn.microsoft.com/en-us/windows-server/storage/file-server/smb-direct?tabs=disable
EDIT & Nachtrag: Scheint immer noch so zu sein.
Quelle: https://learn.microsoft.com/en-us/windows-server/storage/file-server/smb-direct?tabs=disable
SAMBA kann lokal ohne AD auch nicht viel, ksmbd kann noch gar kein AD und kein Multichannel, auch is security und compatibility noch zweifelhaft. Kann und wird aber besser werden. Proxmox mit ksmbd scheint auch wegen dem angepassten Kernel aufwendig zu sein, eventuell nehme ich besser Debian zum Testen.
Im Moment muss es wohl Windows Server + Windows Clients sein wenn man stabiles SMB RDMA braucht. Braucht man funktionierende Windows ACL, kommt für mich eh nur Windows oder Solaris/OmniOS in Frage.
Im Moment muss es wohl Windows Server + Windows Clients sein wenn man stabiles SMB RDMA braucht. Braucht man funktionierende Windows ACL, kommt für mich eh nur Windows oder Solaris/OmniOS in Frage.
Gibts irgendwo ein step by step howto für aktuelles pve ohne viel Versucherle.
Am Proxmox Host:
Doku für die ksmbd-tools: https://github.com/cifsd-team/ksmbd-tools
Code:
modprobe ksmbd
apt install ksmbd-toolsDoku für die ksmbd-tools: https://github.com/cifsd-team/ksmbd-tools
danke, tut
create /etc/ksmbd/ksmbd.conf (SAMBA smb.conf alike settings)
Start:
root@pve:~# systemctl stop ksmbd
root@pve:~# systemctl start ksmbd
root@pve:~# systemctl restart ksmbd
For anonymous access (ksmbd.conf):
[global]
guest account = nobody
map to guest = Bad User
[share_example]
guest ok = yes
path = /tmp
Muss nur noch jemand testen wie gut das mit RDMA Clients wie Windows 11 funzt.
create /etc/ksmbd/ksmbd.conf (SAMBA smb.conf alike settings)
Start:
root@pve:~# systemctl stop ksmbd
root@pve:~# systemctl start ksmbd
root@pve:~# systemctl restart ksmbd
For anonymous access (ksmbd.conf):
[global]
guest account = nobody
map to guest = Bad User
[share_example]
guest ok = yes
path = /tmp
Muss nur noch jemand testen wie gut das mit RDMA Clients wie Windows 11 funzt.
Zuletzt bearbeitet:
Kann ich denn nicht auch NFS mit RDMA machen ? Laut https://forum.proxmox.com/threads/proxmox-host-nfs-server-over-rdma-roce.150473/
soll das gleich schnell wie SMB Direct mit RDMA sein.
soll das gleich schnell wie SMB Direct mit RDMA sein.
RDMA ist der Schlüssel für Performance.
NFS ginge also auch. Sobald aber Authorisierung mit ACL oder Authentifizierung mit oder ohne AD oder Multichannel gefragt sind, ist SMB haushoch überlegen. (nagut, Linux und SAMBA sind ACL mäßig auch nicht so der Hit)
NFS ginge also auch. Sobald aber Authorisierung mit ACL oder Authentifizierung mit oder ohne AD oder Multichannel gefragt sind, ist SMB haushoch überlegen. (nagut, Linux und SAMBA sind ACL mäßig auch nicht so der Hit)
besterino
Legende
Für Doofe, die bisher sich null dazu eingelesen haben: mit ksmbd läuft dann RDMA "einfach so"?
Mangels RDMA Netzwerkkarten kann ich es nicht testen -
aber ja, davon gehe ich aus da es in ksmbd.conf nichts dazu einzustellen gibt.
Kann natürlich sein, dass man bei den Netzwerkkarten was einstellen kann oder muss.
Which nic or switch for Windows Server and SMB direct/RDMA
Mellanox 4+ support lossy RoCE, so having lossless ethernet is not an absolute requirement, but still nice to have. Chelsio use iWARP, but it is traffic over TCP, and not like RoCE which uses UDP. I think Mellanox switches are great, especially the newer generation for 25/100G. Low power usage...
forums.servethehome.com
Zuletzt bearbeitet: