ZFS Geschwindigkeiten normal?

Der ZFS Server ist eigene Hardware also das läuft in keiner VM. Ich habe mit dem Befehl zpool add -f tank log Gerätename mal ein Slog auf der NVME erzeugt. Diese hat aber keine Power Loss Protection. Welche Größe würdest du für die Optane 800P empfehlen? Dies wird dann allerdings nur im Home Bereich verwendet und nicht professionell. Ich nehme die NVME aber dann wieder als Slog heraus, falls doch mal was passieren sollte.

Ich habe mit der NVME nochmal ein Benchmark gemacht:

Code: 
Bennchmark filesystem: /tank/_Pool_Benchmark
begin test 3 ..singlestreamwrite.f ..
begin test 3sync ..singlestreamwrite.f ..
begin test 4 ..filemicro_seqwrite.f ..
begin test 4sync ..filemicro_seqwrite.f ..

set sync=disabled
begin test 7 filemicro_rread.f ..
begin test 8 filemicro_seqread.f ..
begin test 9 filemicro_statfile.f ..
pool: tank

	NAME                        STATE      READ WRITE CKSUM
	tank                        ONLINE        0     0     0
	  mirror-0                  ONLINE        0     0     0
	    c0t5000C500A2654DBCd0   ONLINE        0     0     0
	    c0t5000C500B0BE1ADCd0   ONLINE        0     0     0
	  mirror-1                  ONLINE        0     0     0
	    c0t5000C50090B5A3CBd0   ONLINE        0     0     0
	    c0t5000C50090B5AA92d0   ONLINE        0     0     0
	  mirror-2                  ONLINE        0     0     0
	    c0t5000C50090B59493d0   ONLINE        0     0     0
	    c0t5000C50090D02978d0   ONLINE        0     0     0
	  mirror-3                  ONLINE        0     0     0
	    c12t5000CCA25E3D8B1Dd0  ONLINE        0     0     0
	    c0t5000CCA37DC3318Dd0   ONLINE        0     0     0
	logs
	  c3t1d0                    ONLINE        0     0     0


hostname                        SVLST01  Memory size: 16207 Megabytes
pool                            tank (recsize=128k, compr=off, readcache=all)
slog                            SSD 960 EVO 250G 250.1 GB
remark                           


Fb3 singlestreamwrite.f         sync=always                     sync=disabled                   
                                2815 ops                        3280 ops
                                562.980 ops/s                   655.963 ops/s
                                1571us cpu/op                   1273us cpu/op
                                1.7ms latency                   0.9ms latency
                                562.8 MB/s                      655.8 MB/s

Fb4 filemicro_seqwrite.f        sync=always                     sync=disabled                   
                                1025 ops                        1025 ops
                                512.474 ops/s                   1024.965 ops/s
                                1846us cpu/op                   581us cpu/op
                                1.6ms latency                   0.2ms latency
                                512.0 MB/s                      1024.0 MB/s
________________________________________________________________________________________
 
read fb 7-9 + dd (opt)          filemicro_rread. filemicro_seqr filemicro_sta
pri/sec cache=all               64.0 MB/s        6.2 GB/s       0.0 MB/s                      
________________________________________________________________________________________
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
560 MB/s sequentielles Schreiben mit aktiviertem Sync ist schon mal eiene Ansage.
Auch wenn mangels Powerloss Protection der Nutzem gering ist.
 
Habe mal nach der Optane 800p geschaut und diese isauch nicht gerade ganz billig. Vielleicht schaue ich mal nach einer normalen SSD mit Powerloss Protection.
 
Kein guter Plan. Dann kann man sync auch lassen.

Billige Dekstop SSD haben kein PLP oder ein schlecht funktionierendes - eher als Mareketing Gag oder sind auch teuer und viel langsamer als eine Optane. Wenn es zur 800P-58 GB nicht reicht, dann das Thema eher ignorieren.

vgl https://www.napp-it.org/doc/downloads/optane_slog_pool_performane.pdf

Die Optane 800P is praktisch so schnell die die Enterprise Optane 4800.
Es fehlt ihr nur die erlaubte Schreibmenge und deren von Intel garantierte Powerloss Protection. Das Risiko ist aber bei Optane recht gering.

SSDs sind dagenen regelrecht antik, selbst so Ausnahme-Laufwarke wie ZeusRAM (früher DIE schnellste als Slog mit Dram oder Intel DC 37x0)
 
Die Optane mit 58GB ist vom Preis her in Ordnung. Die anderen die ich gesehen habe, waren alle wesentlich teurer. Mit SSD's habe ich schon bessere SSD's gemeint und nicht die Consumer SSD's. Nachdem ich aber voreilig war, habe ich mir mal diese SSD ausgesucht: Intel SSD S3610. Ich denke mal das die OK ist und Powerloss Protection hat die auch.
Sollte so ein SLOG Device eigentlich doppelt vorhanden sein, falls das Gerät wirklich mal defekt sein sollte oder passiert dann nichts?

Edit: Ich habe jetzt doch noch die Optane 800P mit 58GB gekauft als M2 Version.
 
Zuletzt bearbeitet:
Die D 3610 ist ok, nutze die selber als VM datastore in ESXi.
Als Slog wäre eine sichere Option aber um eine Größenordnung langsamer als die Optane ab 800P.

Intel garantiert PLP bei Optane nur für die 4800. Bei der 900P war PLP zunächst zugesichert, Intel hat das aber aus dem Datenblatt genommen (nachdem die 900P bereits ausgeliefert wurde). Die 800P ist genauso schnell, verträgt aber nicht soviel Schreibzugriffe.

Ich würde auch die Optane und 800P nehmen (bei Mission Critical aber nur die 4800) als guten Kompromiss zwischen Sicherheit und Performance.

Eine Slog reicht meist. Geht die kaputt so wechselt ZFS automatisch auf Onpool Logging (ZIL). Der Pool wird dadurch lediglich langsamer. Nur wenn bei einem Absturz gleichzeitig das Slog ausfällt, ist der Inhalt des Schreibcaches verloren.
 
Ich mache dann mal von beiden einen Benchmark wenn ich die SSD und die Optane habe, aber wahrscheinlich wird es dann auf die Optane hinauslaufen oder kann ich die SSD dann mit benutzen als SLOG? Die SSD nehme ich dann wahrscheinlich für etwas anderes her. Kann ich dann mein jetziges Slog mit der NVME ohne Probleme entfernen oder muss ich dort etwas beachten? Mit Ausfallen des Slog meinst Du dann, wenn das Gerät dann auch dfeket sein sollte oder? Wenn die Inhalte des Schreibaches verloren sind, sind dann die Daten auch korrupt oder kann das ZFS dann reparieren?

Edit: Habe die Optane 800P heute erhalten und einmal angebaut.

Das sind die Benchmarks dazu:

Code: 
Bennchmark filesystem: /tank/_Pool_Benchmark
begin test 3 ..randomwrite.f ..
begin test 3sync ..randomwrite.f ..
begin test 4 ..singlestreamwrite.f ..
begin test 4sync ..singlestreamwrite.f ..

set sync=disabled
begin test 7 randomread.f ..
begin test 8 randomrw.f ..
begin test 9 singlestreamread.f ..
pool: tank

	NAME                        STATE      READ WRITE CKSUM
	tank                        ONLINE        0     0     0
	  mirror-0                  ONLINE        0     0     0
	    c0t5000C500A2654DBCd0   ONLINE        0     0     0
	    c0t5000C500B0BE1ADCd0   ONLINE        0     0     0
	  mirror-1                  ONLINE        0     0     0
	    c0t5000C50090B5A3CBd0   ONLINE        0     0     0
	    c0t5000C50090B5AA92d0   ONLINE        0     0     0
	  mirror-2                  ONLINE        0     0     0
	    c0t5000C50090B59493d0   ONLINE        0     0     0
	    c0t5000C50090D02978d0   ONLINE        0     0     0
	  mirror-3                  ONLINE        0     0     0
	    c12t5000CCA25E3D8B1Dd0  ONLINE        0     0     0
	    c0t5000CCA37DC3318Dd0   ONLINE        0     0     0
	logs
	  c14t1d0                   ONLINE        0     0     0


hostname                        SVLST01  Memory size: 16207 Megabytes
pool                            tank (recsize=128k, compr=off, readcache=all)
slog                            SSDPEK1W060GA 59 GB
remark                           


Fb3 randomwrite.f               sync=always                     sync=disabled                   
                                410 ops                         395 ops
                                81.995 ops/s                    78.996 ops/s
                                4388us cpu/op                   4533us cpu/op
                                12.1ms latency                  11.1ms latency
                                0.6 MB/s                        0.6 MB/s

Fb4 singlestreamwrite.f         sync=always                     sync=disabled                   
                                2342 ops                        1997 ops
                                468.391 ops/s                   399.377 ops/s
                                1821us cpu/op                   1043us cpu/op
                                2.1ms latency                   0.2ms latency
                                468.2 MB/s                      399.2 MB/s
________________________________________________________________________________________
 
read fb 7-9 + dd (opt)          randomread.f     randomrw.f     singlestreamr
pri/sec cache=all               0.6 MB/s         1.4 MB/s       213.2 MB/s                    
________________________________________________________________________________________
 
Zuletzt bearbeitet:
Muss den Thread doch nochmal hochholen.

Ich mein Raid jetzt auf ein RAIDZ2 umgestellt und habe die Desktop Fesplatten durch HGST HUS726020ALS214 Platten ersetzt.

Ich habe dann nochmal ein Benchmark gemacht und wollte wissen, ob diese Werte dort normal sind. Das komische ist, wenn ich Solaris neu starte, bekomme ich über NFS ca. 400MB/s in einer VM und wenn ich dann z.B. eine VM über iSCSI starte, brechen die Werte über NFS ein, auch wenn die VM nicht läuft. Getestet habe ich in dem Fall mit VMWare ESXi 6.7

Das sind die Benchmark Werte:

Code: 
Bennchmark filesystem: /tank/_Pool_Benchmark
begin test 3 ..randomwrite.f ..
begin test 3sync ..randomwrite.f ..
begin test 4 ..singlestreamwrite.f ..
begin test 4sync ..singlestreamwrite.f ..

set sync=disabled
begin test 7 randomread.f ..
begin test 8 randomrw.f ..
begin test 9 singlestreamread.f ..
pool: tank

	NAME                        STATE      READ WRITE CKSUM
	tank                        ONLINE        0     0     0
	  raidz2-0                  ONLINE        0     0     0
	    c0t5000C500A2654DBCd0   ONLINE        0     0     0
	    c0t5000C500B0BE1ADCd0   ONLINE        0     0     0
	    c0t5000CCA37DC3318Dd0   ONLINE        0     0     0
	    c12t5000CCA25E3D8B1Dd0  ONLINE        0     0     0
	    c5t5000CCA25E2A0BD5d0   ONLINE        0     0     0
	    c6t5000CCA25E07F5DDd0   ONLINE        0     0     0
	    c7t5000CCA25E4845B5d0   ONLINE        0     0     0
	    c8t5000CCA25E48B241d0   ONLINE        0     0     0
	logs
	  c14t1d0                   ONLINE        0     0     0


hostname                        SVLST01  Memory size: 16207 Megabytes
pool                            tank (recsize=128k, compr=off, readcache=all)
slog                            SSDPEK1W060GA 59 GB
remark                           


Fb3 randomwrite.f               sync=always                     sync=disabled                   
                                690 ops                         503 ops
                                137.992 ops/s                   100.596 ops/s
                                1887us cpu/op                   11669us cpu/op
                                7.2ms latency                   8.9ms latency
                                1.0 MB/s                        0.6 MB/s

Fb4 singlestreamwrite.f         sync=always                     sync=disabled                   
                                1687 ops                        3361 ops
                                337.387 ops/s                   671.938 ops/s
                                2472us cpu/op                   2165us cpu/op
                                2.1ms latency                   0.9ms latency
                                337.2 MB/s                      671.7 MB/s
________________________________________________________________________________________
 
read fb 7-9 + dd (opt)          randomread.f     randomrw.f     singlestreamr
pri/sec cache=all               0.8 MB/s         1.8 MB/s       3.3 GB/s                      
________________________________________________________________________________________

Habe testhalber den Pool nochmal neu angelegt und nochmal einen Benchmark gemacht, un da kamen diese Ergebnisse. Irgendwas scheint dann wohl mit dem System nicht ganz zu stimmen.

Code: 
Bennchmark filesystem: /tank/_Pool_Benchmark
begin test 3 ..randomwrite.f ..
begin test 3sync ..randomwrite.f ..
begin test 4 ..singlestreamwrite.f ..
begin test 4sync ..singlestreamwrite.f ..

set sync=disabled
begin test 7 randomread.f ..
begin test 8 randomrw.f ..
begin test 9 singlestreamread.f ..
pool: tank

	NAME                        STATE      READ WRITE CKSUM
	tank                        ONLINE        0     0     0
	  raidz2-0                  ONLINE        0     0     0
	    c0t5000C500A2654DBCd0   ONLINE        0     0     0
	    c0t5000C500B0BE1ADCd0   ONLINE        0     0     0
	    c0t5000CCA37DC3318Dd0   ONLINE        0     0     0
	    c12t5000CCA25E3D8B1Dd0  ONLINE        0     0     0
	    c5t5000CCA25E2A0BD5d0   ONLINE        0     0     0
	    c6t5000CCA25E07F5DDd0   ONLINE        0     0     0
	    c7t5000CCA25E4845B5d0   ONLINE        0     0     0
	    c8t5000CCA25E48B241d0   ONLINE        0     0     0
	logs
	  c14t1d0                   ONLINE        0     0     0


hostname                        SVLST01  Memory size: 16207 Megabytes
pool                            tank (recsize=128k, compr=off, readcache=all)
slog                            SSDPEK1W060GA 59 GB
remark                           


Fb3 randomwrite.f               sync=always                     sync=disabled                   
                                1773 ops                        1965 ops
                                354.586 ops/s                   392.979 ops/s
                                1258us cpu/op                   1529us cpu/op
                                2.8ms latency                   2.5ms latency
                                2.6 MB/s                        3.0 MB/s

Fb4 singlestreamwrite.f         sync=always                     sync=disabled                   
                                2306 ops                        5378 ops
                                461.050 ops/s                   1075.548 ops/s
                                2274us cpu/op                   1089us cpu/op
                                2.2ms latency                   0.9ms latency
                                460.8 MB/s                      1075.3 MB/s
________________________________________________________________________________________
 
read fb 7-9 + dd (opt)          randomread.f     randomrw.f     singlestreamr
pri/sec cache=all               3.4 MB/s         5.6 MB/s       4.8 GB/s                      
________________________________________________________________________________________
 
Zuletzt bearbeitet:
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh