andrer250282
Experte
- Mitglied seit
- 05.10.2015
- Beiträge
- 342
Sehr cool! Bin sehr gespannt ob VMs da gut drauf laufen, aktuell mache ich das mit einer Gen1 omnisos VM als Hypervisor SMB storage, ich würde das gern auf nativ Windows umrüsten.
[Sammelthread] Microsoft Hyper-V Stammtisch
- Ersteller besterino
- Erstellt am
Das verwundert schon, schließlich ist WinServer22 ja auch nur ein älteres Win10. Und SMB Direct ist auch dort voreingestellt...
Beitrag automatisch zusammengeführt:
Könntest Du aber schon während der Installation einbinden und die ist doch noch grafisch oder nicht? Oder liegt es am BMC.
Zuletzt bearbeitet:
besterino
Legende
Naja, geht ja jetzt erstmal soweit auch mit Core. Skills mit der Powershell schaden ja nie... 
Und ansonsten, HEUREKA:
Warum genau es jetzt (doch) geht, weiss ich allerdings noch nicht wirklich. Habe diverse Windows-Updates durchlaufen lassen, HPE Custom-Treiber für die ConnectX-5 nachinstalliert und auch entnervt von Windows 11 Pro auf Windows 11 Pro for Workstations upgegraded. Nach einem Reboot zeigte das wichtige "get-smbclientnetworkinterface" dann endlich auch bei "RDMA Capable" das ersehnte "true". Das ist nach meiner Erfahrung, der einzige Test, der zählt, denn nur dann funktioniert der File-Transfer ohne Last auf dem Netzwerk (als Beweis dafür, dass RDMA funktioniert, siehe Screenshot):
4.6GB/s kann sich jedenfalls schonmal sehen lassen - das ist performancemäßig oft ja selbst lokal noch die Ausnahme.
Kann mich also jetzt dem nächsten Schritt widmen, auf dem Server ZFS zum Laufen zu bekommen...
Heute läuft's: HEUREKA 2!
Hab nur die VCruntime runter geladen, napp-it_start_as_admin.bat aufgerufen und auf dem Server Port 80 geöffnet:
Next steps: zpool anlegen (wird'n simples stripe), filesystem anlegen & freigeben, bisserl testen...
...und wenn das nach den ersten Tests gut aussieht: 4x1TB NVME-SSD's aus dem Hauptserver klauen, mal nen größeren Pool aufsetzen und in einen semi-live-Betrieb (z.B. mit der Steam-Library) übergehen.
Bin schon ganz hibbelig.
P.S.: wo bekomm' ich günstig nen Ethernet-RDMA-fähigen 100gbit Switch mit 4+ Ports her?
Und ansonsten, HEUREKA:
Code:
PS C:\Windows\system32> Get-SmbClientNetworkInterface
Interface Index RSS Capable RDMA Capable Speed
--------------- ----------- ------------ -----
14 True True 100 Gbps
16 False True 0 bps
15 False False 1 Gbps
6 False False 2.5 GbpsWarum genau es jetzt (doch) geht, weiss ich allerdings noch nicht wirklich. Habe diverse Windows-Updates durchlaufen lassen, HPE Custom-Treiber für die ConnectX-5 nachinstalliert und auch entnervt von Windows 11 Pro auf Windows 11 Pro for Workstations upgegraded. Nach einem Reboot zeigte das wichtige "get-smbclientnetworkinterface" dann endlich auch bei "RDMA Capable" das ersehnte "true". Das ist nach meiner Erfahrung, der einzige Test, der zählt, denn nur dann funktioniert der File-Transfer ohne Last auf dem Netzwerk (als Beweis dafür, dass RDMA funktioniert, siehe Screenshot):
4.6GB/s kann sich jedenfalls schonmal sehen lassen - das ist performancemäßig oft ja selbst lokal noch die Ausnahme.
Kann mich also jetzt dem nächsten Schritt widmen, auf dem Server ZFS zum Laufen zu bekommen...
Beitrag automatisch zusammengeführt:
Heute läuft's: HEUREKA 2!
Hab nur die VCruntime runter geladen, napp-it_start_as_admin.bat aufgerufen und auf dem Server Port 80 geöffnet:
Code:
netsh advfirewall firewall add rule name="Open Port 80" dir=in action=allow protocol=TCP localport=80Next steps: zpool anlegen (wird'n simples stripe), filesystem anlegen & freigeben, bisserl testen...
...und wenn das nach den ersten Tests gut aussieht: 4x1TB NVME-SSD's aus dem Hauptserver klauen, mal nen größeren Pool aufsetzen und in einen semi-live-Betrieb (z.B. mit der Steam-Library) übergehen.
Bin schon ganz hibbelig.
P.S.: wo bekomm' ich günstig nen Ethernet-RDMA-fähigen 100gbit Switch mit 4+ Ports her?
Zuletzt bearbeitet:
besterino
Legende
Puh, so richtig komfortabel ist zfs on windows ja noch nicht.
So richtig performant auch nicht: verliere nach ersten Tests ca. 50% Durchsatz gegenüber 'nem stumpfen NTFS-Filesystem unten drunter. RDMA funzt aber.
Vergleichstest: 2x exakt die gleiche SSD (120GB Intel Optanes), im gleichen PCIE-slot (per 2auf1-PCIE-m2-Adapter von Supermicro), 1x als NTFS-Partition, 1x als (basic) ZFS-Pool/Dataset und dann mit dem gleichen Befehl für "jeden" freigegeben.
Werte sind entstanden ohne Tweaks / Hacks / Tuning-Maßnahmen. Die kopierte Datei ist knapp über 10GB groß. Ich teste gleich noch einmal mit einer 100GB-Datei (dann hab ich auch etwas mehr Zeit für die Screenshot...)
Nach dem ersten NTFS-Durchlauf waren die Werte dauerhaft schlechter, ist hier nur als "best-case" Ergebnis angefügt. Erste Beobachtung ist, dass ZFS deutlich länger dauert und vor allem beim Schreiben zwischendurch deutlich stärker einbricht (auf teilweise nur 30MB/s) wohingegen NTFS immerhin die 800MB/s halten kann. Sync on/off bei ZFS macht übrigens da keinen großen Unterschied. Lesen ist NTFS fast doppelt so schnell. Ist aber halt nur eine erste grobe Draufsicht, wer weiß welche Cache-Mechanismen da reinfunken.
SCHREIBEN auf NTFS
(1st run)
2nd and subsequent runs:
SCHREIBEN auf ZFS
LESEN von NTFS:
LESEN von ZFS
So richtig performant auch nicht: verliere nach ersten Tests ca. 50% Durchsatz gegenüber 'nem stumpfen NTFS-Filesystem unten drunter. RDMA funzt aber.
Beitrag automatisch zusammengeführt:
Vergleichstest: 2x exakt die gleiche SSD (120GB Intel Optanes), im gleichen PCIE-slot (per 2auf1-PCIE-m2-Adapter von Supermicro), 1x als NTFS-Partition, 1x als (basic) ZFS-Pool/Dataset und dann mit dem gleichen Befehl für "jeden" freigegeben.
Werte sind entstanden ohne Tweaks / Hacks / Tuning-Maßnahmen. Die kopierte Datei ist knapp über 10GB groß. Ich teste gleich noch einmal mit einer 100GB-Datei (dann hab ich auch etwas mehr Zeit für die Screenshot
...)Nach dem ersten NTFS-Durchlauf waren die Werte dauerhaft schlechter, ist hier nur als "best-case" Ergebnis angefügt. Erste Beobachtung ist, dass ZFS deutlich länger dauert und vor allem beim Schreiben zwischendurch deutlich stärker einbricht (auf teilweise nur 30MB/s) wohingegen NTFS immerhin die 800MB/s halten kann. Sync on/off bei ZFS macht übrigens da keinen großen Unterschied. Lesen ist NTFS fast doppelt so schnell. Ist aber halt nur eine erste grobe Draufsicht, wer weiß welche Cache-Mechanismen da reinfunken.
SCHREIBEN auf NTFS
(1st run)
2nd and subsequent runs:
SCHREIBEN auf ZFS
LESEN von NTFS:
LESEN von ZFS
Zuletzt bearbeitet:
besterino
Legende
Mit der 100GB-Datei wird der Unterschied deutlicher - einfach weil die 100GB im Zweifel in keinen Cache passen.
SCHREIBEN
Nach einem anfänglichen Sprint liegt die Übertragungsrate sehr konstant bei ~950MB/s:
ZFS ist hier wieder pulsierender unterwegs, schwankt in der Regel zwischen 200/s und 500MB/s, mit kleinen Ausreißern unter 100MB/s und mal rauf auf ~800MB/s
Der Copy-Job dauert unter'm Strich mit ZFS spürbar / deutlich länger.
LESEN
NTFS oszilliert schön um die 1.2GB/s (mit relativ geringfügigen Schwankungen rauf/runter um ca. 100MB/s):
ZFS liegt hingegen bei so 830MB/s mit dips runter auf 600MB/s:
Hab den Copy-Job mehrmals gemacht, das Bild wiederholt sich (liegt also eher nicht an Speed-Schwankungen durch Füllgrad/Trimm etc. der "empfangenden SSD"). Auch lesend wartet man mit NTFS auf dem Server spürbar kürzer.
Mein persönliches Fazit: ist doch mal cool, dass jedenfalls NICHT das Netz zu limitieren scheint, sondern die "lahmen" Optane NVME-SSDs...
SCHREIBEN
Nach einem anfänglichen Sprint liegt die Übertragungsrate sehr konstant bei ~950MB/s:
ZFS ist hier wieder pulsierender unterwegs, schwankt in der Regel zwischen 200/s und 500MB/s, mit kleinen Ausreißern unter 100MB/s und mal rauf auf ~800MB/s
Der Copy-Job dauert unter'm Strich mit ZFS spürbar / deutlich länger.
LESEN
NTFS oszilliert schön um die 1.2GB/s (mit relativ geringfügigen Schwankungen rauf/runter um ca. 100MB/s):
ZFS liegt hingegen bei so 830MB/s mit dips runter auf 600MB/s:
Hab den Copy-Job mehrmals gemacht, das Bild wiederholt sich (liegt also eher nicht an Speed-Schwankungen durch Füllgrad/Trimm etc. der "empfangenden SSD"). Auch lesend wartet man mit NTFS auf dem Server spürbar kürzer.
Mein persönliches Fazit: ist doch mal cool, dass jedenfalls NICHT das Netz zu limitieren scheint, sondern die "lahmen" Optane NVME-SSDs...
Wie ist denn die zfs recsize (würde 1M einstellen), mit oder ohne compress, atime off?
Das "Pulsieren" bei ZFS liegt am RAM Schreibcache. Ist der zur Hälfte gefüllt, schreibt er auf den Pool
Dass ntfs schneller ist, ist abzusehen. ZFS Sicherheitsfeatures wie CoW und Prüfsummen kosten Performance
Das "Pulsieren" bei ZFS liegt am RAM Schreibcache. Ist der zur Hälfte gefüllt, schreibt er auf den Pool
Dass ntfs schneller ist, ist abzusehen. ZFS Sicherheitsfeatures wie CoW und Prüfsummen kosten Performance
Zuletzt bearbeitet:
besterino
Legende
Ist ja als Monster-sequential Read/Write auch eine ziemlich künstliche Last, die zwar die höchsten Zahlen erzeugt aber in der Realität eigentlich fast keine Rolle spielt (VIELLEICHT bei Videobearbeitung o.ä.).
Viel spannender wäre ja Random IO, aber das lässt sich so schlecht testen.
Die nächste Testrunde geht in Richtung VHDX auf‘m SMB-Share die im Client-OS gemounted ist.
Viel spannender wäre ja Random IO, aber das lässt sich so schlecht testen.
Die nächste Testrunde geht in Richtung VHDX auf‘m SMB-Share die im Client-OS gemounted ist.
Ich hab hier gerade mal von meinem Lappi auf meinen Server gebencht (default, nicht NVMe), quasi auf eine RAM-Disk. Ich will die nächsten Tage dann mal ZFS und 10G probieren. Der anderswo verlinkte Benchmark von gea ist mir zu oll, läuft nicht.
Vielleicht lässt sich aber schon anhand von diesem hier und weiteren Vergleichen was ableiten, was man allgemein für eine SMB-Freigabe noch verbessern könnte. Wobei ich keine RDMA-fähige Hardware habe und haben werde.
Vielleicht lässt sich aber schon anhand von diesem hier und weiteren Vergleichen was ableiten, was man allgemein für eine SMB-Freigabe noch verbessern könnte. Wobei ich keine RDMA-fähige Hardware habe und haben werde.
Zuletzt bearbeitet:
besterino
Legende
Als ich neulich mit Jumbos rumgespielt hab, war mal die RDMA-Capability weg und kam erst wieder, als ich die auf beiden Seiten wieder auf 1500 (bzw. 1514) runter gesetzt hatte... sehr sonderbar.
besterino
Legende
@BobbyD Nein, noch nicht - komm' gerade noch ohne aus.
Hab mal VHDX-File sowohl auf dem ZFS als auch auf dem NTFS Volume angelegt.
NTFS
1st write auf NTFS:
2nd write auf NTFS:
LESEND
Gefühlt ein bisserl flotter als SMB-nativ.
ZFS
2nd write auf ZFS (1st write hab ich den Screenshot verpasst, war aber ähnlich):
LESEND:
Ich würde sagen, die Performance von ZFSonWindows liegt gerade grob bei etwa 1/2 bis 3/4 von NTFS (plusminus). Interessanterweise lässt NTFS - zumindest out-of-the-box (nur Sync=disabled) vor allem lesend die Muskeln spielen. Da war aber auch noch compression=lz4 gesetzt... das will ich mir nochmal mit "compression=off" anschauen...
EDIT & Nachtrag: compression=off macht keinen spürbaren Unterschied. Hab auch immer artig den Taskmanager im Auge behalten: RDMA ist und bleibt aktiv.
Hab mal VHDX-File sowohl auf dem ZFS als auch auf dem NTFS Volume angelegt.
NTFS
1st write auf NTFS:
2nd write auf NTFS:
LESEND
Gefühlt ein bisserl flotter als SMB-nativ.
ZFS
2nd write auf ZFS (1st write hab ich den Screenshot verpasst, war aber ähnlich):
LESEND:
Ich würde sagen, die Performance von ZFSonWindows liegt gerade grob bei etwa 1/2 bis 3/4 von NTFS (plusminus). Interessanterweise lässt NTFS - zumindest out-of-the-box (nur Sync=disabled) vor allem lesend die Muskeln spielen. Da war aber auch noch compression=lz4 gesetzt... das will ich mir nochmal mit "compression=off" anschauen...
EDIT & Nachtrag: compression=off macht keinen spürbaren Unterschied. Hab auch immer artig den Taskmanager im Auge behalten: RDMA ist und bleibt aktiv.
Zuletzt bearbeitet:
@besterino Auf was für 4K-Werte kommst Du mit deinem RDMA-Gedöns? 😉
Frage mich, ob ich was optimieren kann, rein auf SMB-Basis, also ggf. Tweaks.
besterino
Legende
Ich kann leider erst heute Abend wieder testen.
besterino
Legende
Ok, ein paar Dinge hab ich schonmal herausgefunden:
1. RDMA / SMBdirect
Wenn die Gegenstelle vom Windows-Client nicht schon oben ist, rafft Windows 11 das später nicht mehr und zeigt dauerhaft NICHT die RDMA-Fähigkeit an (und stellt sie auch nicht her). Nach 'nem einfachen Reboot ging es dann jetzt.
Ich kann mir nicht so recht vorstellen, dass ich in den letzten Tagen immer zuerst den Client gebootet haben soll - glaube daher, dass es evtl. doch (auch?) an anderen Faktoren gelegen haben sollte. Aber egal, jetzt geht's erstmal. Mal weiter beobachten.
2. Über den Reboot des Servers mit ZFSonWindows und ein paar mounts/unmounts (wg. Rumspielen mit atime) zwischendurch ist die VHDX "kaputt" gegangen. War zwar noch da, aber musste vom Client beim Einhängen neu initialisiert & formatiert werden. So nicht gerade sehr vertrauenserweckend...
3. Für @gea: ZFS-attribute des Datasets im Spoiler
3. @BobbyD: CDM zeigt folgende Werte:
auf der ZFS-VHDX:
auf der NTFS-VHDX:
GANZ ANDERES SETUP mal zum Vergleich: mein Hauptdesktop per 100gbit ohne RDMA mit verschiedenen Connections zu 'nem Solaris11.4 Server:
1. iSCSI-Share mit 4x2TB-PCIe3-NVMe (ADATA SP920SS) (basic / stripe)
2. SMB auf den gleichen Pool wie zuvor unter 1. (anderes Dataset):
3. SMB auf gleiches System aber einen anderen Pool aus 4x1TB PCIe4-NVMEs (Samsung 980 Pro) (auch basic):
Ist schon bemerkenswert, dass der Pool aus PCIe3-NVMes unter SMB beim READ nahezu exakt gleich performt wie der aus PCIe4ern. Würd mich jetzt ja schon mal interessieren, wie ein Pool (ZFS oder S2D) aus den 4 PCIe4-SSDs unter Windows mit RDMA performen würde...
1. RDMA / SMBdirect
Wenn die Gegenstelle vom Windows-Client nicht schon oben ist, rafft Windows 11 das später nicht mehr und zeigt dauerhaft NICHT die RDMA-Fähigkeit an (und stellt sie auch nicht her). Nach 'nem einfachen Reboot ging es dann jetzt.
Ich kann mir nicht so recht vorstellen, dass ich in den letzten Tagen immer zuerst den Client gebootet haben soll - glaube daher, dass es evtl. doch (auch?) an anderen Faktoren gelegen haben sollte. Aber egal, jetzt geht's erstmal. Mal weiter beobachten.
2. Über den Reboot des Servers mit ZFSonWindows und ein paar mounts/unmounts (wg. Rumspielen mit atime) zwischendurch ist die VHDX "kaputt" gegangen. War zwar noch da, aber musste vom Client beim Einhängen neu initialisiert & formatiert werden. So nicht gerade sehr vertrauenserweckend...
3. Für @gea: ZFS-attribute des Datasets im Spoiler
Code:
PS E:\zfsshare> zfs get all zfstest/zfsshare
NAME PROPERTY VALUE SOURCE
zfstest/zfsshare type filesystem -
zfstest/zfsshare creation Mo Feb 05 19:23 2024 -
zfstest/zfsshare used 8.11G -
zfstest/zfsshare available 87.8G -
zfstest/zfsshare referenced 8.11G -
zfstest/zfsshare compressratio 1.00x -
zfstest/zfsshare mounted yes -
zfstest/zfsshare quota none default
zfstest/zfsshare reservation none default
zfstest/zfsshare recordsize 128K default
zfstest/zfsshare mountpoint /zfstest/zfsshare default
zfstest/zfsshare sharenfs off default
zfstest/zfsshare checksum on default
zfstest/zfsshare compression off local
zfstest/zfsshare atime on temporary
zfstest/zfsshare devices on default
zfstest/zfsshare exec on default
zfstest/zfsshare setuid on default
zfstest/zfsshare readonly off default
zfstest/zfsshare zoned off default
zfstest/zfsshare snapdir hidden local
zfstest/zfsshare aclmode passthrough inherited from zfstest
zfstest/zfsshare aclinherit passthrough inherited from zfstest
zfstest/zfsshare createtxg 47 -
zfstest/zfsshare canmount on default
zfstest/zfsshare xattr on default
zfstest/zfsshare copies 1 default
zfstest/zfsshare version 5 -
zfstest/zfsshare utf8only on -
zfstest/zfsshare normalization formD -
zfstest/zfsshare casesensitivity insensitive -
zfstest/zfsshare vscan off default
zfstest/zfsshare nbmand on local
zfstest/zfsshare sharesmb off local
zfstest/zfsshare refquota none default
zfstest/zfsshare refreservation none default
zfstest/zfsshare guid 5883742653758939535 -
zfstest/zfsshare primarycache all default
zfstest/zfsshare secondarycache all default
zfstest/zfsshare usedbysnapshots 0B -
zfstest/zfsshare usedbydataset 8.11G -
zfstest/zfsshare usedbychildren 0B -
zfstest/zfsshare usedbyrefreservation 0B -
zfstest/zfsshare logbias latency default
zfstest/zfsshare objsetid 277 -
zfstest/zfsshare dedup off default
zfstest/zfsshare mlslabel none default
zfstest/zfsshare sync disabled local
zfstest/zfsshare dnodesize legacy default
zfstest/zfsshare refcompressratio 1.00x -
zfstest/zfsshare written 8.11G -
zfstest/zfsshare logicalused 8.11G -
zfstest/zfsshare logicalreferenced 8.11G -
zfstest/zfsshare volmode default default
zfstest/zfsshare filesystem_limit none default
zfstest/zfsshare snapshot_limit none default
zfstest/zfsshare filesystem_count none default
zfstest/zfsshare snapshot_count none default
zfstest/zfsshare snapdev hidden default
zfstest/zfsshare acltype nfsv4 default
zfstest/zfsshare context none default
zfstest/zfsshare fscontext none default
zfstest/zfsshare defcontext none default
zfstest/zfsshare rootcontext none default
zfstest/zfsshare relatime on default
zfstest/zfsshare redundant_metadata all default
zfstest/zfsshare overlay on default
zfstest/zfsshare encryption off default
zfstest/zfsshare keylocation none default
zfstest/zfsshare keyformat none default
zfstest/zfsshare pbkdf2iters 0 default
zfstest/zfsshare special_small_blocks 0 default
zfstest/zfsshare prefetch all default
zfstest/zfsshare com.apple.mimic off default
zfstest/zfsshare driveletter - default3. @BobbyD: CDM zeigt folgende Werte:
auf der ZFS-VHDX:
auf der NTFS-VHDX:
GANZ ANDERES SETUP mal zum Vergleich: mein Hauptdesktop per 100gbit ohne RDMA mit verschiedenen Connections zu 'nem Solaris11.4 Server:
1. iSCSI-Share mit 4x2TB-PCIe3-NVMe (ADATA SP920SS) (basic / stripe)
2. SMB auf den gleichen Pool wie zuvor unter 1. (anderes Dataset):
3. SMB auf gleiches System aber einen anderen Pool aus 4x1TB PCIe4-NVMEs (Samsung 980 Pro) (auch basic):
Ist schon bemerkenswert, dass der Pool aus PCIe3-NVMes unter SMB beim READ nahezu exakt gleich performt wie der aus PCIe4ern. Würd mich jetzt ja schon mal interessieren, wie ein Pool (ZFS oder S2D) aus den 4 PCIe4-SSDs unter Windows mit RDMA performen würde...
@besterino Und die ersten beiden Benches, die nicht nummeriert sind, waren aber auch über SMB und nicht lokal oder? Nur fürs Verständnis.
Wenn ich bedenke, dass ich ne RAM-Disk über SMB gebencht habe, dann sind meine Werte noch recht schlecht gegenüber allen deinen Werten. Also entweder Du hast Optimierungen in Windows drin, die ich nicht habe, oder, was wahrscheinlicher ist, es liegt an der Netzwerkhardware.
Wenn ich bedenke, dass ich ne RAM-Disk über SMB gebencht habe, dann sind meine Werte noch recht schlecht gegenüber allen deinen Werten. Also entweder Du hast Optimierungen in Windows drin, die ich nicht habe, oder, was wahrscheinlicher ist, es liegt an der Netzwerkhardware.
Zuletzt bearbeitet:
Zu atime
Wenn man atime/nbmand/readonly ändert, folgt ein unmount/mount. Laufende VMS oder offene Dateien werden das nicht mögen. Daher das nur mit VMs im down machen. Solaris ist da eventuell unkritischer als Linux/Windows. Da braucht man auch den Zwangs Unmount/Mount nicht.
Dass Solaris ohne rdma mit iSCSI auch auf 3GB/s read kommt ist schon bemerkenswert. Die 200 MB/s write liegen wohl an sync write (writeback=off). SMB arbeitet per default ohne sync, daher die besseren write Werte. Insgesamt sehe ich als positiv dass man überhaupt Richtung 1 GB/s unter ZFS kommt, und das bei rdma sicher mit sehr geringer cpu Last.
Zum Testpool:
Bessere Performance könnte es geben mit recsize=1M und atime off.
Wenn man atime/nbmand/readonly ändert, folgt ein unmount/mount. Laufende VMS oder offene Dateien werden das nicht mögen. Daher das nur mit VMs im down machen. Solaris ist da eventuell unkritischer als Linux/Windows. Da braucht man auch den Zwangs Unmount/Mount nicht.
Dass Solaris ohne rdma mit iSCSI auch auf 3GB/s read kommt ist schon bemerkenswert. Die 200 MB/s write liegen wohl an sync write (writeback=off). SMB arbeitet per default ohne sync, daher die besseren write Werte. Insgesamt sehe ich als positiv dass man überhaupt Richtung 1 GB/s unter ZFS kommt, und das bei rdma sicher mit sehr geringer cpu Last.
Zum Testpool:
Bessere Performance könnte es geben mit recsize=1M und atime off.
besterino
Legende
@BobbyD: die ersten beiden Benches waren auch über's Netzwerk, die VHDX-Dateien liegen auf dem Server und waren im Client über die Datenträgerverwaltung/SMB eingehängt (gleiches Setup wie die Kopier-Aktionen zuvor). Müsste in der Tat mal zum Vergleich Vergleich einen lokalen Bench machen...
@gea: das Ändern der atime führte unter ZFSonWindows zu komischen (Fehler?)Meldungen rund um mount, habe das daher vorsichtshalber auch noch manuell gemacht (umount/mount). Zu diesem Zeitpunkt war aber kein Zugriff auf den Shares: das hatte ich nach dem Reboot erst geändert und hatte auch extra vor dem Reboot des Servers zuerst die VHDX-Files im Client getrennt und auch vorsichtshalber die SMB-Shares auf dem Server beendet (per powershell "remove-smbshare"). Da kann eigentlich nichts "offen" gewesen sein, denn nach dem Reboot hatte ich nur den Pool importiert (keine Shares, keine Zugriffe).
Auf dem Solaris-Server ist übrigens auf dem Dataset für die iSCSI-Shares SYNC auf "disabled" gesetzt. Da ist nur unwichtiger Kram drauf und Performance geht vor. Auf dem Dataset für die SMB-Shares steht SYNC auf "standard" - müsste also aufs Gleiche rausgekommen sein.
@gea: das Ändern der atime führte unter ZFSonWindows zu komischen (Fehler?)Meldungen rund um mount, habe das daher vorsichtshalber auch noch manuell gemacht (umount/mount). Zu diesem Zeitpunkt war aber kein Zugriff auf den Shares: das hatte ich nach dem Reboot erst geändert und hatte auch extra vor dem Reboot des Servers zuerst die VHDX-Files im Client getrennt und auch vorsichtshalber die SMB-Shares auf dem Server beendet (per powershell "remove-smbshare"). Da kann eigentlich nichts "offen" gewesen sein, denn nach dem Reboot hatte ich nur den Pool importiert (keine Shares, keine Zugriffe).
Auf dem Solaris-Server ist übrigens auf dem Dataset für die iSCSI-Shares SYNC auf "disabled" gesetzt. Da ist nur unwichtiger Kram drauf und Performance geht vor. Auf dem Dataset für die SMB-Shares steht SYNC auf "standard" - müsste also aufs Gleiche rausgekommen sein.
Luckysh0t
Enthusiast
Das wäre. sofern das echt stimmt bei VDI/VDS Umgebungen ja irgendwie.. blöd ? Je nach Update zyklus hat man mal RDMA Geschwindigkeit/Effizienz oder eben nicht...
besterino
Legende
Naja, in größeren Umgebungen dürfte wohl ein Switch zwischen Server und Client stecken, der im Zweifel immer läuft, wenn nicht sowieso Server-OS Versionen eingesetzt werden.
Aber ich will das nochmal testen/reproduzieren, vor allem weil ich dieses Phänomen unter Windows Server nicht beobachtet habe. Wenn sich das für win11 wirklich so bestätigt, ist‘s mal wieder Zeit für eines meiner (sehr seltenen) Postings in den offiziellen Microsoft Foren…
Aber ich will das nochmal testen/reproduzieren, vor allem weil ich dieses Phänomen unter Windows Server nicht beobachtet habe. Wenn sich das für win11 wirklich so bestätigt, ist‘s mal wieder Zeit für eines meiner (sehr seltenen) Postings in den offiziellen Microsoft Foren…
besterino
Legende
Habe jetzt mal CDM nativ/lokal auf dem Server laufenlassen. Die 4K-Werte fallen deutlich ab, die anderen fallen für mich durchaus schon in die Kategorie "noice".
ZFS lokal verliert auch vor allem bei 4K massiv gegen NTFS lokal.
NTFS LOKAL
NTFS ÜBER'S NETZ
ZFS LOKAL
ZFS ÜBER'S NETZ
ZFS lokal verliert auch vor allem bei 4K massiv gegen NTFS lokal.
NTFS LOKAL
NTFS ÜBER'S NETZ
ZFS LOKAL
ZFS ÜBER'S NETZ
Hier nun zwei Asus XG-C100C, keine RAM-Disk. Einmal lokal und einmal über SMB.
Besser als bei 2,5Gb, aber der 4k Read ist nur die Hälfte von @besterino seinem "NTFS ÜBER'S NETZ".
Ist das jetzt die Hardware oder hattest Du Windows getweakt? Frage nur, bevor ich mich an ZFS versuche.
Zuletzt bearbeitet:
besterino
Legende
Wenn ich nur wüsste, was man tweaken kann um die random-i/o mit kleinen Blöcken zu verbessern…
besterino
Legende
Also Spielereien mit der MTU (allein) haben mal nichts gebracht - MTU 9014, 1514 und 4200 (hab irgendwo gelesen, dass weder IB noch RoCE größere Pakete bauen - macht aber überhaupt keinen Unterschied. NTFS ist auch schon mit 4096 angelegt. Da müsste ich jetzt wohl in irgendwelche Performance Counter einsteigen, um dem näher auf den Grund zu gehen...
Hier mal ein Screenshot während eines CDM-runs auf dem CLIENT, witzigerweise werden "reads" als "Geschriebene RDMA-Bytes/s" reported und decken sich recht hübsch mit den von CDM angezeigten Werten. Fehler habe ich bei inzwischen mehreren Runs keinen gesehen. Vielleicht kann man ja die Anzahl der parallelen Verbindungen noch erhöhen (sind wohl aktuell nur 2)...allerdings hab ich noch nicht den Parameter gefunden, der da limitieren könnte...
Habe auch mal die Compression auf dem SMB-Protokoll manuell disabled, macht aber auch null Unterschied.
Ich muss schon sagen, ich bin doch recht beeindruckt, wie tief man auch bei Windows in den Maschinenraum einsteigen kann, zumindest in den Netzwerk-Stack.
Bei Linux kann man aber natürlich noch tiefer und ggf. bis auf die Kernel-Ebene reinkrabbeln, vor allem in Bereiche, die unter Windows nicht so gut zugänglich sind (wie Storage zum Beispiel), wie hier ganz gut ansatzweise beschrieben ist: https://developer.nvidia.com/blog/storage-performance-basics-for-deep-learning/
Hier mal ein Screenshot während eines CDM-runs auf dem CLIENT, witzigerweise werden "reads" als "Geschriebene RDMA-Bytes/s" reported und decken sich recht hübsch mit den von CDM angezeigten Werten. Fehler habe ich bei inzwischen mehreren Runs keinen gesehen. Vielleicht kann man ja die Anzahl der parallelen Verbindungen noch erhöhen (sind wohl aktuell nur 2)...allerdings hab ich noch nicht den Parameter gefunden, der da limitieren könnte...
Habe auch mal die Compression auf dem SMB-Protokoll manuell disabled, macht aber auch null Unterschied.
Ich muss schon sagen, ich bin doch recht beeindruckt, wie tief man auch bei Windows in den Maschinenraum einsteigen kann, zumindest in den Netzwerk-Stack.
Bei Linux kann man aber natürlich noch tiefer und ggf. bis auf die Kernel-Ebene reinkrabbeln, vor allem in Bereiche, die unter Windows nicht so gut zugänglich sind (wie Storage zum Beispiel), wie hier ganz gut ansatzweise beschrieben ist: https://developer.nvidia.com/blog/storage-performance-basics-for-deep-learning/
Zuletzt bearbeitet:
besterino
Legende
Brauchte mal wieder ein Erfolgserlebnis. Habe jetzt in den Server noch 'ne hier rumfliegende x540 dazu gesteckt, damit der doch mal Updates machen kann und vor allem für manche Sachen doch die GUI-Tools aus dem Netz nachinstalliert werden können...
Es lebe die Threadripper-Plattform, selbst die alte x399 mit dem 1900X!, wo fröhlich 5 Steckkarten unterkommen und dann auch noch in einem Slot dank Bifurcation 2 m.2 NVME SSDs (also insgesamt 6 Addon-PCIe-Devices) gleichzeitig laufen, von oben nach unten:
ConnectX-5
NVME1 in Adapter (OS)
Intel X540
TitanXp (Perle vor Sau)
NVME2 und NVME3 (für NTFS vs ZFS Tests)
Ach und nach Installation der GUI-Tools hab ich noch per "brute-force" bzw. "haxx0rn" der entsprechenden INF-Datei die i211 unter Server 2019 ans Laufen gebracht (grafischer Device-Manager sei dank). Frei nach dieser Anleitung: https://blog.workinghardinit.work/2...-i219v-drivers-windows-server-2016-eufi-boot/
Hilfreich um ohne GUI die Geräte ohne Treiber zu identifizieren:
Ergibt:
Der gesuchte Schlingel ist der 3. von oben namens "Ethernet-Controller"...
Nach der ganzen Frickelei, da isser:
Hab bei der Gelegenheit auch noch die AMD Chipsatztreiber nachinstalliert, aber 4 Geräte bleiben leider unerkannt:
Es lebe die Threadripper-Plattform, selbst die alte x399 mit dem 1900X!, wo fröhlich 5 Steckkarten unterkommen und dann auch noch in einem Slot dank Bifurcation 2 m.2 NVME SSDs (also insgesamt 6 Addon-PCIe-Devices) gleichzeitig laufen, von oben nach unten:
ConnectX-5
NVME1 in Adapter (OS)
Intel X540
TitanXp (Perle vor Sau)
NVME2 und NVME3 (für NTFS vs ZFS Tests)
Ach und nach Installation der GUI-Tools hab ich noch per "brute-force" bzw. "haxx0rn" der entsprechenden INF-Datei die i211 unter Server 2019 ans Laufen gebracht (grafischer Device-Manager sei dank). Frei nach dieser Anleitung: https://blog.workinghardinit.work/2...-i219v-drivers-windows-server-2016-eufi-boot/
Hilfreich um ohne GUI die Geräte ohne Treiber zu identifizieren:
Code:
Get-PnpDevice -PresentOnly -Status "error" | Sort-Object -Property "Class" | Format-Table -AutoSizeErgibt:
Code:
Status Class FriendlyName InstanceId
------ ----- ------------ ----------
Error PCI-Ver-/Entschlüsselungscontroller PCI\VEN_1022&DEV_1456&SUBSYS_14561022&REV_00\4&3A3540B1&0&0239
Error PCI-Gerät PCI\VEN_1022&DEV_1455&SUBSYS_14551022&REV_00\4&2B9CC193&0&0041
Error Ethernet-Controller PCI\VEN_8086&DEV_1539&SUBSYS_85F01043&REV_03\04D4C4FFFF48224600
Error PCI-Gerät PCI\VEN_1022&DEV_1455&SUBSYS_14551022&REV_00\4&1DA3795B&0&0041
Error PCI-Gerät PCI\VEN_10DE&DEV_10EF&SUBSYS_11DF10DE&REV_A1\4&2A522381&0&0119
Error ACPI\AMDI0010\0
Error PCI-Ver-/Entschlüsselungscontroller PCI\VEN_1022&DEV_1456&SUBSYS_14561022&REV_00\4&C93BEE2&0&0239
Error ACPI\AMDI0030\0
Error PCI-Gerät PCI\VEN_1022&DEV_145A&SUBSYS_145A1022&REV_00\4&3A3540B1&0&0039
Error ACPI\AMDIF030\0
Error SM-Bus-Controller PCI\VEN_1022&DEV_790B&SUBSYS_87611043&REV_59\3&11583659&0&A0
Error PCI-Gerät PCI\VEN_1022&DEV_1451&SUBSYS_14511022&REV_00\3&2411E6FE&0&02
Error PCI-Gerät PCI\VEN_1022&DEV_145A&SUBSYS_145A1022&REV_00\4&C93BEE2&0&0039
Error PCI-Gerät PCI\VEN_1022&DEV_1457&SUBSYS_87241043&REV_00\4&2B9CC193&0&0341Der gesuchte Schlingel ist der 3. von oben namens "Ethernet-Controller"...
Nach der ganzen Frickelei, da isser:
Hab bei der Gelegenheit auch noch die AMD Chipsatztreiber nachinstalliert, aber 4 Geräte bleiben leider unerkannt:
Code:
Status Class FriendlyName InstanceId
------ ----- ------------ ----------
Error PCI-Gerät PCI\VEN_10DE&DEV_10EF&SUBSYS_11DF10DE&REV_A1\4&384B6BB9&0&0119
Error PCI-Ver-/Entschlüsselungscontroller PCI\VEN_1022&DEV_1456&SUBSYS_14561022&REV_00\4&C93BEE2&0&0239
Error PCI-Gerät PCI\VEN_1022&DEV_1457&SUBSYS_87241043&REV_00\4&2B9CC193&0&0341
Error PCI-Ver-/Entschlüsselungscontroller PCI\VEN_1022&DEV_1456&SUBSYS_14561022&REV_00\4&3A3540B1&0&0239@besterino
Falls du das nächstemal Performancetests machst:
Wenn man über ZFS nachdenkt, will man Copy on Write und Prüfsummen auf Daten und Metadaten. Das alles hat ntfs nicht wohl aber ReFS (Püfsummen auf Daten muss man eventuell aktivieren). Der interessante Vergleich wäre dann ZFS vs ReFS weil das sind dann die vergleichbareb Optiionen.
Falls du das nächstemal Performancetests machst:
Wenn man über ZFS nachdenkt, will man Copy on Write und Prüfsummen auf Daten und Metadaten. Das alles hat ntfs nicht wohl aber ReFS (Püfsummen auf Daten muss man eventuell aktivieren). Der interessante Vergleich wäre dann ZFS vs ReFS weil das sind dann die vergleichbareb Optiionen.
besterino
Legende
@gea: Great minds think alike. ReFS habe ich bereits auf der ToDo-Liste. Komme nur aktuell leider nicht zu wirklich viel. Immerhin hab ich aber schon die Hardware angepasst: die nächsten Tests mach' ich auf einem etwas potenteren TR 3960X mit 64GB RAM und 4x Samsung 980Pro 1TB als Datenträger für die Direktvergleiche. Kann also zumindest dann verschiedene Dateisysteme auf bis zu 4 gleichen, recht flotten Datenträgern ausprobieren.
ReFS habe ich bereits auf der ToDo-Liste. Komme nur aktuell leider nicht zu wirklich viel. Immerhin hab ich aber schon die Hardware angepasst: die nächsten Tests mach' ich auf einem etwas potenteren TR 3960X mit 64GB RAM und 4x Samsung 980Pro 1TB als Datenträger für die Direktvergleiche. Kann also zumindest dann verschiedene Dateisysteme auf bis zu 4 gleichen, recht flotten Datenträgern ausprobieren.besterino
Legende
Ok. Auf dem Weg für ein SMBdirect-beschleunigtes Storage im Netz, muss man ja irgendwann auch irgendwie einen Laufwerksbuchstaben verteilen. Das ist relativ simpel mit klassischen "SMB-Laufwerken", also wenn man klassisch z.B. mit "\\IP\Share-Name" eine Verbindung herstellt, diese als Netzwerklaufwerk verbindet und dann bei jeder Anmeldung wiederherstellen lässt:
ABER: Das machen manche Programme nicht mit. Soll heißen, sie funktionieren nicht richtig, wenn das installierte Programm auf einer solchen SMB-Freigabe liegt oder lassen sich schon gar nicht dort installieren.
Diese Einschränkung gibt es mit VHD(x)-Dateien nicht: dort lässt sich (meines Wissens) alles ohne Einschränkungen installieren und ausführen. Ich habe sogar bereits schon mehrere Monate mein OS in einer solchen VHDX-Datei installiert gehabt und diese sogar "nativ" gebootet. Geht also.
Dummerweise gibt es aber keinen so einfachen Weg wie für SMB-Freigaben (WARUM EIGENTLICH NICHT??), eine solche VHDX bereits beim jedem Booten des PCs wieder als Laufwerk einzuhängen. Hier muss man einen Umweg gehen, der hier sehr gut beschrieben ist: https://dannyda.com/2022/08/20/how-...n-startup-in-microsoft-windows-10-windows-11/
WICHTIG ist, Punkt 7 nicht zu vergessen, ansonsten funktioniert es nicht.
Wenn man nicht ein AD zu Hause betreibt (overkill?), dürfte es hilfreich sein, wenn auf dem Client (der die VHDX einbindet) und Server (auf dem sie liegt) der gleiche User (Name und Passwort) existiert. Ich hab das bisher nur mal testweise mit einem lokalen Konto ausprobiert. Das Ganze muss ich nochmal mit einem Microsoft Online bzw. 365-Account testen... da ich lauter solche Konten habe und es schick' fände, wenn ich die einfach auch dafür nutzen könnte.
So sieht's dann nach einem Reboot aus:
Wenn man dann über die Datenträgerverwaltung den Laufwerksbuchstaben ändert, merkt sich Windows immerhin DAS für den nächsten Reboot automatisch.
Als nächstes müsste ich dann mal die Alltagstauglichkeit mit meinem Haupt-PC testen.
ABER: Das machen manche Programme nicht mit. Soll heißen, sie funktionieren nicht richtig, wenn das installierte Programm auf einer solchen SMB-Freigabe liegt oder lassen sich schon gar nicht dort installieren.
Diese Einschränkung gibt es mit VHD(x)-Dateien nicht: dort lässt sich (meines Wissens) alles ohne Einschränkungen installieren und ausführen. Ich habe sogar bereits schon mehrere Monate mein OS in einer solchen VHDX-Datei installiert gehabt und diese sogar "nativ" gebootet. Geht also.
Dummerweise gibt es aber keinen so einfachen Weg wie für SMB-Freigaben (WARUM EIGENTLICH NICHT??), eine solche VHDX bereits beim jedem Booten des PCs wieder als Laufwerk einzuhängen. Hier muss man einen Umweg gehen, der hier sehr gut beschrieben ist: https://dannyda.com/2022/08/20/how-...n-startup-in-microsoft-windows-10-windows-11/
WICHTIG ist, Punkt 7 nicht zu vergessen, ansonsten funktioniert es nicht.
Wenn man nicht ein AD zu Hause betreibt (overkill?), dürfte es hilfreich sein, wenn auf dem Client (der die VHDX einbindet) und Server (auf dem sie liegt) der gleiche User (Name und Passwort) existiert. Ich hab das bisher nur mal testweise mit einem lokalen Konto ausprobiert. Das Ganze muss ich nochmal mit einem Microsoft Online bzw. 365-Account testen... da ich lauter solche Konten habe und es schick' fände, wenn ich die einfach auch dafür nutzen könnte.
So sieht's dann nach einem Reboot aus:
Wenn man dann über die Datenträgerverwaltung den Laufwerksbuchstaben ändert, merkt sich Windows immerhin DAS für den nächsten Reboot automatisch.
Als nächstes müsste ich dann mal die Alltagstauglichkeit mit meinem Haupt-PC testen.
