[Sammelthread] ZFS Stammtisch

[ludwinator]

Pool plattmachen und vom Backup zurückspielen, alles andere macht keinen Sinn.
Draus lernen nicht vergessen!

cu

 

[danielmayer]

Jup. Merke: Nix machen, nachdenken ob es außer den dicken Baggern etwas anderes gewesen sein könnte.
Nach einigen Stunden gestern: Es war das Firmwareupdate. Nach dem downflashen war alles wieder lesbar was ZFS nicht bereits angefasst hatte; die Daten sind alle verloren.

 

[gea]

Wegen einer aktuelle Supportanfrage (geringe Performance mit einem Pool aus vielen 2,5" Desktopplatten) und wenig RAM habe ich mal die ZFS Performance ohne Lesecache getestet.

Die Tests habe ich mit Filebench >Singlestreamread gemacht
(napp-it Menü Pools > Benchmark)

Den Lesecache (Data und/oder Metadata) kann man in napp-it
im Menü Pools (Pri/Sec cache) ein und ausschalten


Filer mit 60% Fillrate, 23% fragmentation, 2 x 6 disk raid-z2 vdev, HGST HUS724040AL,
mb/s in filebench bedeutet MegaByte/s.

all caches on

IO Summary: 157739 ops, 5257.764 ops/s, (5258/0 r/w), 5256.7mb/s, 211us cpu/op, 0.2ms latency
19437: 34.518: Shutting down processes

all caches off

IO Summary: 13757 ops, 458.554 ops/s, (459/0 r/w), 458.5mb/s, 2168us cpu/op, 2.2ms latency
27837: 35.348: Shutting down processes

Lesewerte fallen auf 458 MB/s

Singlestreamread, einzelne Disk HGSH HE8 Ultrastar

IO Summary: 2554 ops, 85.130 ops/s, (85/0 r/w), 85.1mb/s, 3578us cpu/op, 11.7ms latency
13519: 41.172: Shutting down processes

Metadata caching on (data caching off)

IO Summary: 2807 ops, 93.565 ops/s, (94/0 r/w), 93.5mb/s, 3317us cpu/op, 10.7ms latency
4776: 41.229: Shutting down processes

Hilft etwas.

Einzelne Intel S3610-480 (all chaches off)

IO Summary: 8874 ops, 295.792 ops/s, (296/0 r/w), 295.7mb/s, 2216us cpu/op, 3.4ms latency
16725: 37.100: Shutting down processes

und schliesslich eine alte WD green 1TB (all chaches off) mit 3,1 MByte/s

IO Summary: 94 ops, 3.133 ops/s, (3/0 r/w), 3.1mb/s, 67645us cpu/op, 304.0ms latency
17184: 48.344: Shutting down processes

zum Vergleich, eine ebenfalls langsamlaufende 2TB WD Re4 enterprise

IO Summary: 463 ops, 15.433 ops/s, (15/0 r/w), 15.4mb/s, 205954us cpu/op, 64.5ms latency
24202: 47.712: Shutting down processes

erschreckend wie schlecht die Green ist!

Zum Vergleich: Write values
WD Green mit singlestreamwrite und sync disabled (write cache on)

IO Summary: 6318 ops, 210.594 ops/s, (0/211 r/w), 210.6mb/s, 3791us cpu/op, 4.7ms latency
21691: 31.116: Shutting down processes

WD Green mit singlestreamwrite und sync set to always (write cache off for sync write)

IO Summary: 673 ops, 22.432 ops/s, (0/22 r/w), 22.4mb/s, 14577us cpu/op, 44.5ms latency
27214: 31.261: Shutting down processes ok.

Das Ergebnis:
ZFS Leseperformance hängt sehr stark von der Platteniops und dem Lesecache ab, eventuell mehr als bei anderen Dateisystemen.

Mit einer WD green (langsam, wenig iops) ist beispielsweise die Leseperformance ohne Cache mit 3,1 MB/s unterirdisch. Eine gute SSD schafft da dann 285 MB/s. Mit cache geht das dann auf das 20 fache.

Für beste Perfoarmance sind daher schnelle Platten mit hohen iops Werten besonders wichtig. Ein großer Lesecache (viel RAM) kann aber einiges retten.,

 

[supemole]

napp-it 16.11.dev
Ab napp-it 16.11dev werde ich den Support für alte Browser reduzieren um den CSS/js Code
zu vereinfachen. Erster Schritt ist die Umstellung des Menüs von Javascript auf CSS only (ul Listen)
napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana, Solaris and Linux : Downloads

Klasse gea, nur zur Info: Safari und napp-it ist dann Geschichte

 

[morph027]

Zum Glück kann man ja noch andere Browser installieren ... wenn wir so anfangen, hätten wir ja immer noch kein HTML5 wegen IE5

 

[gea]

Klasse gea, nur zur Info: Safari und napp-it ist dann Geschichte

Ich habe kein Problem mit Safari (10.11, 10.12)

 

[xymos]

vermutlich gibts Snapshots.

Wenn man einen Snapshot anlegt und dann etwas löscht, können die entsprechenden Datenblöcke nicht freigegeben werden, sonst könnte man ja die Daten nicht mehr aus dem Snap wiederherstellen.

Das Problem lag ganz woanders. Kapiere zwar nicht warum, aber es hat geholfen. Ich hatte ein ungenutztes Dateisystem mit dem Namen "share" in dem beim mounten aber kein Inhalt war.
In der Console sag ich dann aber, dass das Volume über 300Gb verbraucht hat. Ich habe das volume dann über die console gelöscht. Bam ! Platz wieder da.
Snaps waren da der nie aktiv. Sonderbar.

 

[supemole]

Ich habe kein Problem mit Safari (10.11, 10.12)

Ok, dann muss ich mal nachforschen was bei mir los ist. Safari 10.0.1 unter macOS 10.12.1 siehe Screenshot.

 

[MisterY]

Ich spiele mit dem Gedanken ZFS als RAID1-Ersatz für meine OS-Laufwerke zu nutzen. Ist es hier verschmerzbar, wenn man erstmal auf ECC verzichtet?

Grüße

 

[gea]

Ok, dann muss ich mal nachforschen was bei mir los ist. Safari 10.0.1 unter macOS 10.12.1 siehe Screenshot.
Anhang anzeigen 381918

Vermutlich liegt noch die alte css aus einer Vorversion im Cache.
Also entweder noch ein oder zwei Tage warten bis der Cache veraltet oder "reload" drücken.

- - - Updated - - -

Ich spiele mit dem Gedanken ZFS als RAID1-Ersatz für meine OS-Laufwerke zu nutzen. Ist es hier verschmerzbar, wenn man erstmal auf ECC verzichtet?

Grüße

Da kann es eigentlich keine sinnvolle Antwort geben.
Genausowenig wie auf die Frage ob man im Auto auf einen Airbag verzichten kann. Wenn nichts passiert ganz klar, wenn, tja wenn..

Man kann allenfalls sagen, je weniger RAM desto geringer das Risiko Je unwichtiger die Daten desto eher ist es egal.

 

[teqqy]

Kann es sein, dass bei einer Installation über die CD mit OmniOS 151020 kein SMB Gast Zugriff mehr funktioniert?

Ich habe einen Benutzer "guest" angelegt, habe "smbadm enable-user guest" ausgeführt und im Pool ist "guestok" eingetragen. Dennoch habe ich kein Zugriff auf die Shares. Sie werden via OS X auch erst gar nicht gesehen.

 

[gea]

Erfolgt der Zugriff als User "guest"?

seit OmniOS 151018 (mit SMB 2.1) muss man
- SMB guest allgemein erlauben (smbadm enable-user guest)
- guestok als Shareoption setzen
- einen user "guest" anlegen

und
- als "guest" zugreifen.

 

[teqqy]

Hatte ich so gemacht. Es lag aber am installierten AFP. Das hat etwas quer geschossen. Deaktiviert und schon liefs.

Wie bekomme ich eigentlich wieder mDNS ans laufen?

 

[gea]

https://docs.oracle.com/cd/E19120-01/open.solaris/819-3194/dnsref-28/index.html

in napp-it:
Manü Services > Bonjour > settings

 

[Trambahner]

Ich bin momentan etwas am spielen, meinen Zfs-Filer (Basis Nas4free@FreeBSD 10.3) upzudaten. Am Wochenende hab ich dazu auf einer Drittmaschine (Q77-Board) mit BSD 11(+nas4free 11) als auch Solaris 11.3(+napp-it) etwas rumgespielt. Als "Platte" diente eine Intel 750.
Beim einfachen Schreiben auf nem Basis-Zpool (DD, bs=512k) waren beide gleich: etwa 1000MB/s und damit am sequentiellen Limit der kleinen 750er. Interessant wurde es dann aber beim Lesen, denn da bliebs bei der BSD-Variante in etwa bei den 1000 MB/s, Solaris las aber mit 2300 MB/s sequentiell vom Pool, also wieder Maximum der 750er. Gleicher PCIe-Slot (Gen3), gleiches Board. Jeweils direkt am Blech. Win 7 auf der gleichen Maschine schafft auch die 2300 MB/s lesend. Scheint also ein BSD-Problem zu sein.

Ist Solaris bzgl. ZFS da einfach deutlich performanter als BSD? Oder liegt das an den Treibern/NVMe-Implementierung?

 

[gea]

DD ist ein sehr zweifelhafter Benchmark, dennoch

Auch nach meinen Test und und anderen Erfahrungen ist Oracle Solaris immer noch der schnellste ZFS Server und ZFS v37 die ZFS Version mit den meisten Features. Auch die OpenSource Solaris Forks rund um Illumos (Nexenta, OmniOS, OpenIndiana, SmartOS/Samsung) wohin viele ZFS Entwickler nach der Übernahme von Sun durch Oracle gewechselt sind, konnten das nicht ändern.

Im allgemeinen gilt immer noch
Solaris CIFS Server ist meist schneller als SAMBA egal ob unter Solaris oder anderen.
Solaris ZFS ist meist schneller als OpenSource Solaris ZFS und das ist meist schneller als andere Systeme die ZFS von Solaris übernommen haben.

Ich nehme an, das liegt weniger an den Treibern, auch wenn da Oracle mehr Geld investieren kann und Illumos da meist mit BSD kooperiert. Vermutlich ein wichtigerer Aspekt ist, dass ZFS ganz stark vom Speichermanagement profitiert, das auf auf Solaris ausgelegt ist und bei anderen Plattformen (noch) über einen Solaris Compatibility Layer übersetzt werden muss (wenn ich die Aussagen bei diversen OpenZFS Developer Konferenzen richtig interpretierte)

 

[automatenraum]

info

OmniOS 151020 stable ist verfügbar
https://omnios.omniti.com/wiki.php/ReleaseNotes/r151020

Hallo gea,

ich habe mal eine Testinstallation auf 151020 gemacht, im Menu Services fehlen da etliche Dienste:



Woran kann das liegen?

EDITH: Andere Menus, zb About sind anscheinend auch betroffen...

 

[gea]

Napp-it unterstützt Menü-Sets. Damit kann man Menüs übersetzen oder die Anzahl der Menüs einschränken.

Per default ist das Set "sol" (Solaris) aktiv.
Da werden nur Services gezeigt, die Oracle/OmniOS mitliefert.
Das macht es auch für viele die ersten Schritte einfacher da nicht alle Funktionen und Menüs angezeigt werden - die man auch nur in speziellen Fällen braucht..

Alle Menüs kommen im Basis-Set "en" (Englisch).
Das kann man "on the Fly" im Topmenü (neben Logout) umstellen oder als Default in About > Settings.

 

[automatenraum]

Ah danke, die Einstellung ist mir noch nie aufgefallen, man lernt nie aus...

 

[automatenraum]

Ich wollte meinen NFS Datastore mit v41 einbinden in ESXi, muss ich da auf Nappit/OmniOS Seite noch was konfigurieren, wird das supported?

 

[gea]

OmniOS unterstützt NFS nur bis v4.0

 

[automatenraum]

Ok, das ist die Erklärung, ESXi braucht 4.1, daher geht das nicht...

 

[layerbreak]

Ok, das ist die Erklärung, ESXi braucht 4.1, daher geht das nicht...

Welche Version von ESXi?
Bedeutet das dann dass @gea All-in-one so nicht mehr geht, denn bei mir ist der Datastore per NFS angebunden.

 

[gea]

Ok, das ist die Erklärung, ESXi braucht 4.1, daher geht das nicht...

ESXi kann NFS 4.1, NFS3 geht nach wie vor.

Vorteile von NFS 4.1 z.B. siehe
What's new in vSphere 6.5 Core Storage - CormacHogan.com

Bei Illumos gibt es seit Jahren ein NFS 4.1 Projekt.
Mangels sinnvoller Anwendung tat sich da aber bisher wenig.

https://www.illumos.org/projects/nfs-41

 

[automatenraum]

Ja ich meinte um v4 zu nutzen braucht ESXi 4.1, was OmniOS bisher nicht kann, dass 3 geht war klar, nutze ich ja schon seit Ewigkeiten... Sorry wenn ich da schlafende Hunde geweckt habe, das kam falsch rüber

- - - Updated - - -

Hat von euch jemand afp/netatalk erfolgreich unter 151020 am laufen? Mir scheint der dbd Dienst geht nicht:

Nov 28 21:24:12 fileserver afpd[26674]: [ID 702911 daemon.error] transmit: Request to dbd daemon (volume TM-Black-Pearl) timed out.
Nov 28 21:24:12 fileserver afpd[26674]: [ID 702911 daemon.error] afp_openvol(/mediapool/TM-Black-Pearl): Fatal error: Unable to get stamp value from CNID backend
Nov 28 21:24:16 fileserver afpd[26721]: [ID 702911 daemon.error] transmit: Request to dbd daemon (volume TM-Black-Pearl) timed out.
Nov 28 21:24:16 fileserver afpd[26721]: [ID 702911 daemon.error] afp_openvol(/mediapool/TM-Black-Pearl): Fatal error: Unable to get stamp value from CNID backend

 

[gea]

Ich verfolge das netatalk Thema nur noch am Rande. Für mich ist das tot, EoL..
Ich weiss aber dass netatalk 10.7 vom Repository Mawi/ Uni Ulm für neuere OmniOS buggy ist. (Der Datenbank Teil)

 

[automatenraum]

Hmmm wenn nur die Time Machine nicht wäre, dann würde ich mich komplett davon verabschieden...

 

[gea]

Apple schwenkt zu SMB und auch Timemachine 10.12 kann SMB -
Idiotischerweise aber nur SMB 3 mit Apple Extrasauce.

(bzw mit Tricks wie schon bisher auf SMB/NFS oder auf iSCSI).
Wobei Timemachine allenfalls für Systemrestore taugt, als Versionierung ist es ZFS Storage hoffnungslos unterlegen.

 

[automatenraum]

Aber auch mal eine positive Nachricht, nachdem ich bei alten Versionen immer mal wieder Probleme mit dem vmxnet Netzwerk hatte in Verbindung mit ESXi 6.0 scheint bei 151020 (mit open-vm-tools) endlich der NFS Datastore Stabil zu sein. Also kein e1000 mehr

- - - Updated - - -

Sodele, mein Time Machine Backup ist auf eine SMB Freigabe umgezogen AFP adé

 

[maxpowers]

Hallo an alle,

macht es eigentlich Sinn ZFS einzusetzen wenn nur 1 Festplatte verbaut ist?
Man kann ja einen Pool anlegen der nur eine Platte fasst.
Die einzigen Feature die man dann wirklich nutzen könnte wären das scrubbing und snapshots, oder?