[Sammelthread] ZFS Stammtisch

[morumbinas]

Ich habe hier Napp It (Free Version) am laufen und möchte gerne ein paar ZFS Filesysteme meines Fileservers auf einem Cloud Anbieter speichern. Die Filesysteme sollten wenn möglich verschlüsselt gespeichert werden. Aktuell habe ich einen Backupserver (ebenfalls mit Napp It) am laufen und mache über die Replicate Job Funktion die jeweiligen Backups auf den Backupserver.
Hintergrund ist der, dass ich manche ZFS Filesysteme gerne in regelmässigen Abständen sichern möchte. Aktuelle schalte ich den Backupserver noch manuell ein.

Welche Möglichkeiten habe ich hierfür und welche Anbieter empfehlen sich? Ich glaube über ZFS sent kann ich ja keine Backups verschlüsselt speichern. Richtig?

 

[Peli67]

Viel einfacher.
Man fügt einfach der OmniOS VM zwei virtuelle Platten hinzu die auf der Optane liegen.
Für Slog ca 20 GB rechnen und für L2Arc ca 5 x RAM.

Die kann man dann dem Pool als Slog bzw L2Arc hinzufügen.

Die leichten Geschwindigkeitseinbußen von virtuellen Platten vs Pass-through kann man angesichts der brachialen Performance der Optane verschmerzen - zumal Pass-trough mit den Optane noch nicht unterstützt wird.

leider sind die verwendeten Bezeichnungen für ZIl / Slog / L2 Arc irreführend für mich...


Im Menü von Napp It gibt es:

read chache = Slog ?
write Chace = L2 Arc ?

Ist meine Annahme so richtig ?

Vielen Dank für die anstehende Erläuterung.

 

[qoosinoo8]

Ich habe hier folgendes System am laufen laut der Napp It GUI:

running on: SunOS napp-it-san 5.11 omnios-r151018-ae3141d i86pc i386 i86pc
OmniOS v11 r151018

Unterstützt das System einen Festplatten Spindown? Falls ja, muss man diesbezüglich noch irgendetwas einstellen? Ich möchte gerne meinen Server mit weiteren Platten erweitern, die aber maximal 2-3 pro Woche benötigt werden.

 

[gea]

Welche Möglichkeiten habe ich hierfür und welche Anbieter empfehlen sich? Ich glaube über ZFS sent kann ich ja keine Backups verschlüsselt speichern. Richtig?

1. Einen Pool auf verschlüsselten Datenen anlegen
(Google: lofiadm). Die Dateien kann man dann auf unsichere Medien kopieren'

2. ZFS send oder copy > verschlüsselte Datei, z.B. tar

Lediglich Solaris kann einen verschlüsselten Pool verschlüsselt eplizieren,
Open-ZFS wie OmniOS vorraussichtlich in ein paar Monaten

- - - Updated - - -

Im Menü von Napp It gibt es:

read chache = Slog ?
write Chace = L2 Arc ?

Ist meine Annahme so richtig ?

ARC = Rambasierter Lesecache
L2ARC = Erweiterung des ARC Lesecaches um eine SSD

Slog = Protokolldatei um den Intelt des RAM Schreibcaches zu sichern
Umhangssprachlich kann man das Schreibcache nennen. Ist aber eigentlich keiner da er nur im Crashfall gelesen wird.

- - - Updated - - -

Ich habe hier folgendes System am laufen laut der Napp It GUI:

running on: SunOS napp-it-san 5.11 omnios-r151018-ae3141d i86pc i386 i86pc
OmniOS v11 r151018

Unterstützt das System einen Festplatten Spindown? Falls ja, muss man diesbezüglich noch irgendetwas einstellen? Ich möchte gerne meinen Server mit weiteren Platten erweitern, die aber maximal 2-3 pro Woche benötigt werden.

Jein
Man kann Spindows im Menü System aktivieren, darf dann aber keine regelmäßigen Zugriffe mehr zulassen wie napp-it Alerts oder den Solaris Fehlerservice fmd (beides deaktivieren).

 

[qoosinoo8]

Als aller erstes: Danke an gea für die Hilfe!!!

Ich kann mir nicht erklären, warum ich seit heute nur noch Lesezugriff auf meine SMB Shares (via Napp It) habe. Ich habe nichts diezbezüglich eingestellt... Kann hier jemand den Fehler finden?



Pools:


User (der ausgeschwärzte User ist mein Standarduser):


Nur Lesezugriff:

 

[gea]

Das Dateisystem userdata ist weder readonly noch sind darauf Restriktionen hesetzt (weder auf Datei noch Share Level). Ich sehe also keinen Grund warum man nicht schreiben kann.

Ich weiß aber dass OSX ziemlich Probleme machen kann.
Ich hatte schon OSX Abstürze die offene Datein zurückließen (kein Löschen oder Überschreiben).
Da muss man entweder lange warten

OSX und SMB ist derzeit nicht soo stabil oder sachnell.
Man kann mal probehalber Gehe zu > Mit Server verbinden cifs://server ip probieren. Im Gegensatz zu smb://ip macht das SMB1. Ist langsamer aber manchmal stabiler.
- OSX und OmniOS rebooten und dann nochmal versuchen

 

[tk1908]

Ist mit napp-it free eigentlich eine Replikation zwischen 2 Instanzen möglich?

 

[automatenraum]

Nein, für eine einmalige Replikation, geht sicher ein Evaluation Key von Gea, dauerhaft braucht man eine gültige Lizenz.

 

[martingo]

Oder Du richtest es in der Konsole ein.

 

[qoosinoo8]

Das Dateisystem userdata ist weder readonly noch sind darauf Restriktionen hesetzt (weder auf Datei noch Share Level). Ich sehe also keinen Grund warum man nicht schreiben kann.

Ich weiß aber dass OSX ziemlich Probleme machen kann.
Ich hatte schon OSX Abstürze die offene Datein zurückließen (kein Löschen oder Überschreiben).
Da muss man entweder lange warten

OSX und SMB ist derzeit nicht soo stabil oder sachnell.
Man kann mal probehalber Gehe zu > Mit Server verbinden cifs://server ip probieren. Im Gegensatz zu smb://ip macht das SMB1. Ist langsamer aber manchmal stabiler.
- OSX und OmniOS rebooten und dann nochmal versuchen

Erst einmal vielen Dank! Ein Reboot beider Systeme hat leider nichts bewirkt (ich habe den ESXi Server komplett heruntergefahren).

Jetzt kommt das strange: Ich habe Write Zugriff auf die Shares die Read only sind!!!

Hier nochmal der Überblick der ZFS Dateisysteme:



Kurze Erklärung: Ich habe gestern eine zusätzliche HDD im Server verbaut für ein Backup. Ich habe einen Replikationsjob erstellt und sichere alle ZFS Dateisysteme auf dem backupinternal1 Pool. Wie man hier auf dem Screenshot sehen kann, sind ja alle Dateisysteme auf dem backupinternal1 Pool Read only (RDONLY on).

Wenn ich mich auf die Shares auf dem backupinternal1 Pool verbinde, habe ich vollen Zugriff!!! Siehe hier:


Wenn ich mich auf die Shares auf dem normalen hddpool verbinde, habe ich weiterhin nur Read only Zugriff:


Ich habe mich auch noch mit cifs verbunden und das Problem besteht weiterhin. Zusätlich auch noch via Windows 10 probiert, aber auch hier habe ich keinen Zugriff:



Ich kann mir das nicht erklären...

 

[gea]

Das readonly auf ein Replikationsziel macht napp-it (damit man da nichts ändern kann was beim nächsten Lauf verloren ginge). Solange das readonly gesetzt ist, darf kein Schreiben möglich sein. Napp-it setzt das zu Beginn einer Replikation zurück.

DasShare selber erlaubt Zugriffe lt Menü Dateisysteme.
Nur Lesen auf einen Unterordner kann man natürlich per ACL einschränken. Wenn es um einen Unterordner geht, da die ACL des Dateisystems mal rekursive auf everyone=modify zurücksetzen.

 

[qoosinoo8]

Das readonly auf ein Replikationsziel macht napp-it (damit man da nichts ändern kann was beim nächsten Lauf verloren ginge). Solange das readonly gesetzt ist, darf kein Schreiben möglich sein. Napp-it setzt das zu Beginn einer Replikation zurück.

DasShare selber erlaubt Zugriffe lt Menü Dateisysteme.
Nur Lesen auf einen Unterordner kann man natürlich per ACL einschränken. Wenn es um einen Unterordner geht, da die ACL des Dateisystems mal rekursive auf everyone=modify zurücksetzen.

Ich habe mir jetzt einen 2 Tages Pro Key geholt und habe über ZFS Filesystems/ACL extensions/ACL on folders alles zurückgesetzt. Hier noch ein Screenshot, was ich eingestellt habe (habe natürlich danach auf 'set property' geklickt):


Verbinde ich mich danach wieder mit dem Share, besteht weiterhin das Problem (habe den Server und mein Betriebssystem neu gestartet):

 

[gea]

Das rekursive Zurücksetzen der ACL wäre auch mit der Free Version gegengen.
Das Problem ist aber seltsam.

Getht denn Schreiben per NFS?. Dazu bei einem Dateisystem NFS auf on setzen, dann
Gehe zu > mit Server verbinden > nfs://ip/pool/dateisystem

 

[qoosinoo8]

Das rekursive Zurücksetzen der ACL wäre auch mit der Free Version gegengen.
Das Problem ist aber seltsam.

Getht denn Schreiben per NFS?. Dazu bei einem Dateisystem NFS auf on setzen, dann
Gehe zu > mit Server verbinden > nfs://ip/pool/dateisystem

Ja Write funktioniert mit NFS, siehe hier:




Irgendeine ander Idee? Echt seltsam...

 

[gea]

Die Mehrzahl meiner Clients hier sind Macs und ich habe eigentlich kein Problem mit SMB2 (nutze als Filer noch 151024). Ich habe aber auch von keinem generellen Problem dieser Art mit 151026 gehört.

Wenn das Dateisystem read/write ist, es sich um keinen guest Zugriff handelt, ACL offen sind, SMB1 (cifs://ip) nicht hilft, aclmode auf pass-through und auch nbmand auf on steht, selbst user root nicht schreiben kann, dann habe ich direkt auch keinen Tipp mehr.

 

[TCS]

ich nutze hier meinen FreeNAS Server als Datastore für ESXi
1 pool - 1 vdev 2HDDs im mirror

jetzt möchte ich die beiden HDDs mit SSDs ersetzten, habe jedoch keine Ports am HBA/MB mehr frei
Ich könnte 1 Platte vom Mirror ziehen - resilvern auf die SSD und dann dasselbe mit der 2. Platte
sofern die SSDs eine höhere Kapazität als die HDDs haben sollte das ja kein Problem sein.

Gibt es da irgendwas zu beachten? eine Konfig zu ändern wenn das vdev jetzt aus SSDs besteht?

 

[hoppel118]

Ob man HDDs einfach durch SSDs ersetzen kann, weiß ich nicht...

Aber mit autoexpand=on erhöht sich die Kapazität nach erfolgreichem Resilvern aller Disks automatisch. Das müsstest du also mal prüfen. Bei mir hat das beim Austausch von 8 Disks im RAID-Z2 ohne Probleme funktioniert.

Gruß Hoppel

 

[CommanderBond]

ich nutze hier meinen FreeNAS Server als Datastore für ESXi
1 pool - 1 vdev 2HDDs im mirror

jetzt möchte ich die beiden HDDs mit SSDs ersetzten, habe jedoch keine Ports am HBA/MB mehr frei
Ich könnte 1 Platte vom Mirror ziehen - resilvern auf die SSD und dann dasselbe mit der 2. Platte
sofern die SSDs eine höhere Kapazität als die HDDs haben sollte das ja kein Problem sein.

Gibt es da irgendwas zu beachten? eine Konfig zu ändern wenn das vdev jetzt aus SSDs besteht?

Ich würde eher einen neuen Pool erstellen. Du kannst ja eine HDD abziehen, eine SSD dran stecken, einen neuen Pool erstellen, die Datasets rüberkopieren, den alten Pool danach auflösen und die zweite SSD als Mirror dem neuen Pool hinzufügen.

 

[TCS]

Autoexpand ist auf on - damit hab ich auch schon gespielt

Danke, das wäre die 2. Variante.

Nachteil wäre die kleine Downtime. zwar nur Home use aber....
Ich hab in den Dokus wenig gefunden, und da hats mich interressiert

 

[CommanderBond]

Also bei meinen SSDs macht er auch ashift=9, bei HDDs benutzt man ja 12. Deswegen würde ich den Pool neu aufsetzen.

 

[Bzzz]

Ich würde bei SSDs aber auch nicht 9 nutzen, denn die haben keine 512B Sektor-/Pagesize. Wär das der Fall, hätts das Trara mit Startblock 63 bei Win2k/XP nie gegeben. Bei ashift 12 / 4K dürften sich SSDs wohlfühlen, womöglich könnte man sogar mehr nehmen (wirft dann aber Platz weg).

Dass SSDs 512B reporten ist genauso ein Unding wie Platten, die aus irgendwelchen Kompatibilitätsgründen ihre native Sektorgröße verschweigen. Klar kann man das in der Firmware emulieren, aber weder Lebensdauer noch Performance isses zuträglich. Aber man kann Betriebssysteme aus den Achtzigern drauf booten, das ist bestimmt wichtig für Banken und Fluggesellschaften (bei Consumerhardware )

 

[gea]

Bei einer Intel Optane NVMe bei der jede Speicherzelle direkt gelesen oder beschrieben werden kann, dürfte eine Änderung der Physical Sektorsize vermutlich kein Problem sein. Ein normaler Flashspeicher ist aber als kleinste Einheit in Pages organisiert die mehrere Speicherzellen als kleinste Einheit zusammenfasst. Nur Pages können gelesen oder geschrieben werden.

Der Flashcontroller ist darauf ausgelegt mit einer Sektorsize optimal zu arbeiten und ich würde ohne genaue Detailkenntnisse nicht versuchen, das zu ändern. Die Entwickler werden schon die beste Voreinstellung verwendet haben.

Die ersten 4k Platten die über ihre wahre interne Struktur logen war etwas anderes. Das war eher ein Bug und gabs auch nur bei ein paar Platten vor 10 Jahren. Die Hersteller hatten das schnell berichtigt.

 

[Fischje]

Hallo,

für ein wirklich kleines Setup auf nem ESXI habe ich überlegt ob mir folgende Aufrüstung etwas bringen würde:

optane Preisvergleich Geizhals Deutschland

Es geht dabei natürlich um den Schreibcache, sprich ZIL - derzeit hab ich sync write ausgeschaltet und vermute das könnte problematisch werden mit dem esxi und den vms.. Für das L2Arc habe ich eine alte Samsung SSD Pro 840 250 GB. Da habe ich überlegt bei einem 16 TB Netto-Speicher ob ich besser eine kleine Partition einbinde - sonst habe ich nachher den Ram (25 GB verfügbar) gar nicht ausgelastet - oder vermische ich hier gerade etwas?
Falls das mit der Partition Sinn macht: Wie stelle ich das denn in napp-it an?

 

[gea]

Ein ZIL (onpool) oder Slog (separate SSD/NVMe) ist zunächst kein Schreibcache (Schreibcache bei ZFS ist im RAM, default 10% RAM/ max 4GB) sondern die Absicherung des Schreibcaches damit der Inhalt beim Crash nicht verloren geht. Gelesen wird der nur nach einem Crash beim Booten. Von der Funktion ist das also wie die Batteriepufferung bei einem Hardware-Raid, nur besser/ schneller.

Die kleinen Optane bringen nicht so viel und machen auch Probleme unter ESXi. Ich würde unter der 800P-58 GB nicht anfangen. Die ist dann so schnell wir eine teure Enterprise Optane 4800X

Ein L2Arc ergänzt den schnellen Ram-Lesecache Arc um "langsamen" SSD Speicher. Zum Verwalten der SSD muss man etwa 5% der Kapazität im RAM rechnen. Ein L2Arc sollta daher niemals mehr als 10x RAM groß sein, 5x RAM ist ein guter Wert. Mehr RAM ist aber immer schneller als ein L2Arc.

Partitionen in napp-it
Im Menü Disks kann man den Support für Partitionen aktivieren und die Platte partitionieren.
Da ESXi noch Probleme mit Optane und pass-through macht, ist der Weg aber eher so dass man eine virtuelle Platte in ESX auf der Optane anlegt (Slog ca 20GB, L2Arc dann 5x RAM) und die in den Pool einbindet.

 

[Turboschnecke]

Servus,

anscheinend hat mein Ubuntu einen Neustart vermurkst, ich kann auf jeden Fall den Pool nicht mehr importieren...

config:

        NAME        STATE     READ WRITE CKSUM
        Storage     UNAVAIL      0     0     0  insufficient replicas
          mirror-0  UNAVAIL      0     0     0  insufficient replicas
            sdb     FAULTED      0     0     0  corrupted data
            sdc     FAULTED      0     0     0  corrupted data
          mirror-1  UNAVAIL      0     0     0  insufficient replicas
            sdd     FAULTED      0     0     0  corrupted data
            sde     UNAVAIL      0     0     0  corrupted data

Wahrscheinlich haben sich die Bezeichnungen verschoben. Jetzt habe ich aber das Problem, dass ich jetzt nichts mehr machen kann. Exportieren geht nicht, Zerstören auch nicht. Es wird immer gemeckert:

cannot export 'Storage': one or more devices is currently unavailable

Was mach ich jetzt? Ich könnte den Pool zur Not neu erstellen, aber wie mache ich das, wenn ich den Pool schon gar nicht zerstören kann? Jemand nen Tipp für mich?

Edit:

sudo lsblk -o NAME,FSTYPE,SIZE,MOUNTPOINT,LABEL
NAME   FSTYPE       SIZE MOUNTPOINT                   LABEL
loop0  squashfs      87M /snap/core/5145
loop1  squashfs     4,9M /snap/canonical-livepatch/42
loop2  squashfs    87,9M /snap/core/5328
loop3  squashfs    86,6M /snap/core/4486
sda    zfs_member   3,7T
├─sda1 zfs_member   3,7T                              Storage
└─sda9 zfs_member     8M
sdb    zfs_member   3,7T
├─sdb1 zfs_member   3,7T                              Storage
└─sdb9 zfs_member     8M
sdc    zfs_member   3,7T
├─sdc1 zfs_member   3,7T                              Storage
└─sdc9 zfs_member     8M
sdd    zfs_member   3,7T
├─sdd1 zfs_member   3,7T                              Storage
└─sdd9 zfs_member     8M
sde               465,8G
├─sde1                1M
└─sde2 ext4       465,8G /

ZFS sucht auf b,c,d und e, aber die Disks sind jetzt a,b,c und d. Deswegen wird wegen missing labels gemeckert oder? Bekomme ich das jetzt irgendwie nochmal hin? Da sind TV Aufnahmen drauf, die ich gerne noch wegkopieren würde, wenn es ginge. Dann würde ich den Pool nochmal mit Disk-IDs aufsetzen. Aber ich scheitere daran, dass ich mit dem Pool eigentlich nichts machen kann, weil er sagt, dass die Disks alle fehlen... Hab auch noch nicht den richtigen Schalter gefunden, damit der Pool nicht automatisch beim Booten gemountet wird.
Hab schon den Parameter in /etc/default/zfs geändert, hat nichts geholfen. Das CANMOUNT Property kann ich beim Pool leider auch nicht ändern, wegen den fehlenden Disks...

 

[gea]

Das ist der Nachteil wenn man portbasierte Erkennung hat,
Ideal ist WWN (genormter und eindeutiger weltweiter Standard, bleibt über HBA und Server gleich und ist auf der Platte aufgedruckt) oder Seriennummern und disk-id.

Prinzipiell ist die Poolkonfiguration in /etc/zfs/zpool.cache gespeichert.
FAQ · zfsonlinux/zfs Wiki · GitHub

Wenn man diese Datei mit den falschen ID umbenennt, sollte man den Pool anschließend per zpool import mit disk-id importieren können da zpool import alle Platten einließt und auf ZFS Header scannt.

Normalerweise sollte ein Reboot aber bereits ausreichen (zumindest bei Solarish). Linux nutze ich für ZFS nur sehr sporadisch.

 

[Turboschnecke]

Du bist einfach eine Wucht!!!

Danke, der Tipp hat mir geholfen. Datei umbenannt und neugestartet, dann war der Pool endlich nicht mehr gemountet und ich konnte ihn neu aufsetzen. Hab es jetzt mit der Disk-ID gemacht. Das sollte hoffentlich etwas stabiler sein

 

[Fischje]

Hmm so wirklich zurecht komme ich mit meiner Konfiguration noch nicht. Ich habe das Gefühl das ich grundlegend was falsch gemacht habe. Oder etwas mit meinen Platten nicht stimmt.

Vielleicht noch ein paar Tipps? Welche Infos könnten helfen den Fehler zu finden?
Hier mein Pool:

Spoiler

pool: rpool
 state: ONLINE
  scan: none requested
config:

	NAME        STATE     READ WRITE CKSUM      CAP            Product /napp-it   IOstat mess          SN/LUN
	rpool       ONLINE       0     0     0
	  c1t0d0    ONLINE       0     0     0      32.2 GB        VMware Virtual S   S:0 H:0 T:0          000000000000000

errors: No known data errors

  pool: tank
 state: ONLINE
  scan: scrub repaired 0 in 0h0m with 0 errors on Sun Sep 30 20:27:47 2018
config:

	NAME                       STATE     READ WRITE CKSUM      CAP            Product /napp-it   IOstat mess          SN/LUN
	tank                       ONLINE       0     0     0
	  mirror-0                 ONLINE       0     0     0
	    c0t5000C5009262F8B6d0  ONLINE       0     0     0      6 TB           ST6000DM001-1YW1   S:0 H:0 T:0          ZA14061T
	    c0t5000C50092633D0Ed0  ONLINE       0     0     0      6 TB           ST6000DM001-1YW1   S:0 H:0 T:0          ZA13YZTG
	  mirror-1                 ONLINE       0     0     0
	    c0t5000C500AF73A17Dd0  ONLINE       0     0     0      6 TB           ST6000VN0033-2EE   S:0 H:0 T:0          ZAD35LWY
	    c0t50014EE2B55414ECd0  ONLINE       0     0     0      6 TB           WDC WD60EFRX-68M   S:0 H:0 T:0          WDWX51H3426134
	  mirror-2                 ONLINE       0     0     0
	    c0t50004CF20702319Ed0  ONLINE       0     0     0      1 TB           ST1000LM024 HN-M   S:0 H:0 T:0          S2RUJ9BC301560
	    c0t5000CCA6ACCA3DBFd0  ONLINE       0     0     0      1 TB           HGST HTS721010A9   S:0 H:0 T:0          JG40006PGRJDKC
	logs
	  c2t0d0                   ONLINE       0     0     0      21.5 GB        Virtual disk       S:0 H:0 T:0          6000C290D6F5BED
	cache
	  c2t1d0                   ONLINE       0     0     0      80.5 GB        Virtual disk       S:0 H:0 T:0          6000C294C1FFEF4

errors: No known data errors

Hier mal ein Bench mit Bonnie:

Spoiler

NAME 	 SIZE 	 Bonnie 	 Date(y.m.d) 	 File 	 Seq-Wr-Chr 	 %CPU 	 Seq-Write 	 %CPU 	 Seq-Rewr 	 %CPU 	 Seq-Rd-Chr 	 %CPU 	 Seq-Read 	 %CPU 	 Rnd Seeks 	 %CPU 	 Files 	 Seq-Create 	 Rnd-Create 
   	   	   	   	   	   	   	   	   	   	   	   	   	   	   	   	   	   	   	   
 tank 	 11.8T 	 start 	 2018.10.04 	 42G 	 440 MB/s 	 82 	 1189 MB/s 	 65 	 908 MB/s 	 72 	 408 MB/s 	 92 	 2955 MB/s 	 90 	 +++++/s 	 +++ 	 16 	 +++++/s 	 26101/s

 

[gea]

Stellt sich die Frage, was erwartet wird und was man damit machen möchte

Prinzipiell ist natürlich das Pool Layout technisch ok aber sagen wir mal suboptimal. Die drei Mirrors geben eine Kapazität von 6+6+1 TB=13T. Er ist also extrem aus der Balance. Normalerweise sollte man versuchen, gleiche vdevs zu nehmen damit die gleichmäßig belastet sind und die Performance gleichmäßig steigt. Hier liegt die Last vor allem bei den 6T Platten (was vielleicht gar nicht schlecht ist da die vermutlich viel schneller sind als die 1T). Man kann aber auch sagen, würde man das 1T vdev weglassen hätte man fast die gleiche Performance und Kapazität bei 30% weniger Stromverbrauch und geringerer Ausfallwahrscheinlichkeit.

Bonni sagt zunächst mal dass sequentielles Schreiben bei 1189 MByte/s liegt und sequentielles lesen bei 2955 MB/s. Während der Lesewerte "Peterchens Mondfahrt" und nur die Qualität des Lesecaches zeigt, ist der Schreibwert von 1189 MB/s zwar eher realistisch aber dennoch weit außerhalb des erwarteten Bereichs (vermutlich wegen compress). Der RAM Schreibcache hilft hier sicher mit. Slog ist egal, wird nicht benutzt es sei denn man erzwingt sync write. L2Arc wird beim Lesen eventuell helfen.

Wenn man nur den sequentiellen Schreibwert betrachtet (Lesen sollte bei Platten ähnlich schnell sein, bei Mirror 2x so schnell) und man max 250 MB/s sequentiell (schnellere Platte, äußere Sektoren) ansetzt, so lann ein 3fach Mirror beim Schreiben nie schneller als 750 MB/s sein, realistisch ist eher weniger als 500 MB/s.

Mehr ist immer auf Cache oder Compress zurückzuführen (Compress ist vermutlich an, sollte man bei Benchmarks ausschalten, man will ja wissen wie gut die Platten sind und nicht wie gut die Kompression)


Wie ist denn das Ergebnis des Menü Pools > Benchmark
Das macht mehrere Tests (sync und async, sequentiell und random). Da kann man mehr entnehmen.

vgl ZFS Geschwindigkeiten normal? - Seite 2

 

[Fischje]

Spoiler

Bennchmark filesystem: /tank/_Pool_Benchmark
begin test 3 ..randomwrite.f ..
begin test 3sync ..randomwrite.f ..
begin test 4 ..singlestreamwrite.f ..
begin test 4sync ..singlestreamwrite.f ..

set sync=disabled
begin test 7 randomread.f ..
begin test 8 randomrw.f ..
begin test 9 singlestreamread.f ..
pool: tank

	NAME                       STATE     READ WRITE CKSUM
	tank                       ONLINE       0     0     0
	  mirror-0                 ONLINE       0     0     0
	    c0t5000C5009262F8B6d0  ONLINE       0     0     0
	    c0t5000C50092633D0Ed0  ONLINE       0     0     0
	  mirror-1                 ONLINE       0     0     0
	    c0t5000C500AF73A17Dd0  ONLINE       0     0     0
	    c0t50014EE2B55414ECd0  ONLINE       0     0     0
	  mirror-2                 ONLINE       0     0     0
	    c0t50004CF20702319Ed0  ONLINE       0     0     0
	    c0t5000CCA6ACCA3DBFd0  ONLINE       0     0     0
	logs
	  c2t0d0                   ONLINE       0     0     0
	cache
	  c2t1d0                   ONLINE       0     0     0


hostname                        napp-it-026  Memory size: 21504 Megabytes
pool                            tank (recsize=128k, compr=off, readcache=all)
slog                            Virtual disk 21.5 GB
remark                           


Fb3 randomwrite.f               sync=always                     sync=disabled                   
                                25710 ops                       30437 ops
                                5141.754 ops/s                  6067.772 ops/s
                                135us cpu/op                    91us cpu/op
                                0.2ms latency                   0.2ms latency
                                40.0 MB/s                       47.2 MB/s

Fb4 singlestreamwrite.f         sync=always                     sync=disabled                   
                                1945 ops                        3279 ops
                                388.951 ops/s                   655.774 ops/s
                                1436us cpu/op                   713us cpu/op
                                2.5ms latency                   1.5ms latency
                                388.8 MB/s                      655.6 MB/s
________________________________________________________________________________________
 
read fb 7-9 + dd (opt)          randomread.f     randomrw.f     singlestreamr
pri/sec cache=all               245.8 MB/s       187.6 MB/s     3.7 GB/s                      
________________________________________________________________________________________

Nun, darauf laufen sollen ein paar VMs. aber nichts mit großen datenbanken wo die iops wirklich zählen. es geht mir eher um ein paar shares und ein paar vms die was cachen aus dem netzwerk. das sollte schon schnell laufen.