[Sammelthread] ZFS Stammtisch

[MicroCane]

Hallo Gea, danke für die Antwort.

Hat man andere Probleme durch das Verstellen vom Blocksize? Das ganze dient wie gesagt mehr als Datengrab.

 

[Fusseltuch]

Für alle Interessierten gibt's laut Phoronix.com die Präsentationen vom OpenZFS Developer Summit 2016 nun zum Angucken.

 

[Sir Diablo]

Was wären denn für ein raid-Z1 aus 4x 1TB Samsung 850Pro (Sector size (logical/physical): 512 bytes / 512 bytes) die "performanteste" Konfiguration? Mein Vorschlag bisher:

ashift=9
checksum=on
compression=lz4
atime=off
dedup=off
sync=disabled
recordsize=128K

 

[bogomil22]

Du könntest bei Bedarf noch die recordsize anpassen. Wenn du überwiegend grosse Dateien speicherst lohnt sich recordsize=1M.
Ansonsten bin ich mir unsicher bei der 850 pro mit ashift=9. Sicher das die 850 Pro 512b Sektoren hat?
In der ZFS Mailingliste (klick) kam mal die frage auch bzgl. der 840 Pro. Diese hat wohl 8K Blöcke (ashift=13).

Was wären denn für ein raid-Z1 aus 4x 1TB Samsung 850Pro (Sector size (logical/physical): 512 bytes / 512 bytes) die "performanteste" Konfiguration? Mein Vorschlag bisher:

ashift=9
checksum=on
compression=lz4
atime=off
dedup=off
sync=disabled
recordsize=128K

 

[zos]

Du könntest bei Bedarf noch die recordsize anpassen. Wenn du überwiegend grosse Dateien speicherst lohnt sich recordsize=1M.
Ansonsten bin ich mir unsicher bei der 850 pro mit ashift=9. Sicher das die 850 Pro 512b Sektoren hat?
In der ZFS Mailingliste (klick) kam mal die frage auch bzgl. der 840 Pro. Diese hat wohl 8K Blöcke (ashift=13).

In der sd.conf auf der entsprechenden Illumos-Website ist die 850er nicht explizit, aber die 830er und 840er mit einer Size 8k genannt. Interessant daran ist, dass sich in einem Thread auf freebsd.org ein Post findet, wo eine Spec von Samsung zur 840 verlinkt ist, die eine Size von 512b nennt.

 

[teqqy]

Es ist zwar nicht nur ZFS, aber sicherlich dennoch ganz interessant:
https://www.youtube.com/watch?v=A0wV4k58RIs

 

[bogomil22]

Es ist zwar nicht nur ZFS, aber sicherlich dennoch ganz interessant:
https://www.youtube.com/watch?v=A0wV4k58RIs

Jap, ganz nett anzuschauen. Erstaunlich sind nicht nur die 240x WD Gold 8TB zum Preis von einem Sportwagen sondern auch die Möglichkeiten von GlusterFS mit ZFS

 

[Crash Override]

SSDs hanen keine Blöcke, sie haben NAND Pages. Diese sind zwischen 8k und 32k groß. Für Datenbanken kann man da mit 8K Blöcken (ashift=13) wohl die meiste Performance herausholen. Wenn man aber mit größeren Files arbeitet hat man bei heutigen SSDs (ich habe mit Samsung 840 EVO, 850 EVO und einer Intel DC P3600 NVMe getestet) mit 16K Blöcken (ashift=14) (min 300MB/s bei den Samsungs) ein besseres Ergebnis. Bei der Intel sehe ich sogar das sie ab 32K Blöcken immer volle Schreibgeschwindigkeit von über 900MB/s hat.

 

[Sir Diablo]

Sollte es dann bei halbwegs aktuellen SSDs dann nicht immer ashift=15 sein?

 

[Crash Override]

Nicht wenn du Datenbanken betreibst...

 

[Sir Diablo]

Hä? Sollte generell etwa nicht die beste Performance rauskommen wenn man Alignment Shift=Page Size bzw. Block Size einstellt??

 

[bogomil22]

Hä? Sollte generell etwa nicht die beste Performance rauskommen wenn man Alignment Shift=Page Size bzw. Block Size einstellt??

Frage ich mich gerade auch... weil ashift ist ja nochmal was anderes als die recordsize. Bei datenbanken sollte man eine kleine recordsize nehmen aber ashift sollte doch zur hdd/sdd passen oder?

 

[Crash Override]

Afaik kann man die Recordsize nicht kleiner als den ashift wert setzen. Die genaue Pagesize steht leider auch selten in den Datenblättern von SSDs.

 

[layerbreak]

Kann hier jemand was zu ZFS und Überwachungsanwendung/Surveillance HDDs sagen. Gibt es da Probleme? Hat jemand Erfahrungen mit sowas? Kann man die nehmen oder ein Nogo?

Ich denke mal du bist auch auf den Mydealz Link gestoßen. Hier wird für unter 200EUR eine 8TB HDD angeboten. Unter anderem mit 1 per 10E15 Nonrecoverable Read Errors und 24x7 etc. "Nachteil": HDD soll nur für sog. DVR-Anwendungen/Systeme geeignet sein.
Deine Frage würden mich auch interessieren...weiss hier jemand genaueres? In den Kommentaren unter dem Deal wird davon geredet dass DVR-Platten keine/geringere Error-Correction/Detection haben um ein flüssiges Streamen/Bild zu erhalten....Andere meinen wieder dies ist nur der Fall wenn eine (DVR)-Anwendung den sog. ATA-Streaming-Command nutzt (spezielle Sata Commands).

Von den Features her sieht die Platte eigentlich TOP aus:
• 1M hour MTBF - designed for high write duty cycle across Surveillance HDD
• ATA AV Command support - streaming video command support across Surveillance HDD
• Best-in-class acoustic performance means virtually silent operation
• Built-in error recovery for non-stop video streaming
• Compliant with RoHS requirements in China and Europe
• Full-track multiple-sector transfer capability without local processor intervention
• Idle3 power mode support
• Low activity power
• Native Command Queuing with command ordering to increase performance in demanding applications
• Performance-tuned for seamless video applications
• Reliability for 24×7 video surveillance applications
• Rotational Vibration - mitigation of system level rotational vibration inside Surveillance HDD
• SeaTools® diagnostic software performs a drive self-test that eliminates unnecessary drive returns.
• State-of-the-art cache and on-the-fly error-correction algorithms
• Streaming video optimization - consistent command completion times & ERC support across Surveillance HDD
• Support for S.M.A.R.T. drive monitoring and reporting
• Supports "8+" drive bays
• Supports ATA8 streaming commands
• Supports latching SATA cables and connectors
• Supports up to 64 cameras
• TGMR recording technology provides the drives with increased areal density.
• Thermal monitoring and reporting for 24×7 operations
• Transient power on management - <=1.8A spin-up current
• Uncompromising reliability supports flexible surveillance design with case temperatures up to 70oC
• Workload ratings of 180TB/year
• Worldwide Name (WWN) capability uniquely identifies the drive


Datasheet
Handbuch mit oben genanten Features

Sind diese Art der Platten für ZFS brauchbar?

Was ist so besonderes an DVR-Anwendungen?
Diese Platte gibts ja inzwischen auch als 10TB.
Seagate SkyHawk 10 TB

 

[fdiskc2000]

Hallo zusammen, ich brauche mal Euren Ratschlag:

Ich habe sowohl SSD als auch HDD Pools. Nun möchte ich ungern die SSD mit zu vielen Snapshots belegen um Platz zu sparen und dachte mir in meiner Naivität, dass man ja die SSD replizieren kann auf die HDD und dort auf dem HDD-ZFS dann Snaps erstellt.
Dumm nur, dass die Snaps eben von jeder Repli überschrieben werden wie es scheint. Mein Gedanke war also:


Der replicate-Job hält per Standard nur die letzten 2. Der Snap sollte dann einfach 30day mit jeweils every20-min Snaps vorhalten.

Lässt sich das irgendwie realisieren um wie gesagt auf der SSD den Platz zu sparen?
War das verständlich oder habe ich zu wirr geschrieben?

 

[gea]

Bei napp-it kann man im Replikationsjob optional einstellen wielange oder wieviel snaps gehalten werden. Auch kann man Replikationssnaps mit einem bestimmten Namen z.B. 00 am Ende (100, 200,..) dauerhaft aufheben.

 

[fdiskc2000]

Bei napp-it kann man im Replikationsjob optional einstellen wielange oder wieviel snaps gehalten werden. Auch kann man Replikationssnaps mit einem bestimmten Namen z.B. 00 am Ende (100, 200,..) dauerhaft aufheben.

Danke für die schnelle Antwort, aber dann habe ich das nicht gut genug beschrieben:
Die Replikation SSD->HDD soll möglichst auch nur 2 repli-snaps behalten, weitere würden ja auch auf der SSD gespeichert werden und dort Speicherplatz belegen.
Die Idee ist ja vielmehr nur 2 replisnaps zu halten, aber auf dem Target (der hdd) dann durch normale Snaps eine längere Zeit vorhalten zu können.

Ich stehe ich auf dem Schlauch?

---Update---

Wenn ich es richtig gelesen habe bewirkt die "recv -F " Option genau, dass immer genau so viele snaps auf dem backup-target verbleiben wie es auf dem source-zfs gibt. So bleibt alles synchron. Meine Vorstellung wäre aber genau, dass es auf dem source-zfs nur 2 snaps gibt, aber auf dem backup-target dafür die letzten 30 Tage.
Geht das überhaupt? In der Replikations-Extension ist das nicht parametrierbar, oder?

 

[gea]

Gerade dafür ist der Hold Parameter bei einem Relipkationsjob da.

Er sorgt dafür dass auf dem Ziel/ Backupsystem die snaps entsprechend der Einstellung behalten werden
hold = 8: Behalte Ziel Snaps 8 Tage lang und lösche ältere beim nächsten Lauf oder
hold = 8s: Behalte immer letzte acht Snaps

 

[fdiskc2000]

Gerade dafür ist der Hold Parameter bei einem Relipkationsjob da.

Er sorgt dafür dass auf dem Ziel/ Backupsystem die snaps entsprechend der Einstellung behalten werden
hold = 8: Behalte Ziel Snaps 8 Tage lang und lösche ältere beim nächsten Lauf oder
hold = 8s: Behalte immer letzte acht Snaps

Also ich habe gestern noch verschiedene Einstellungen mit hold und/oder keep versucht. Das Ergebnis war immer das gleiche: es werden auf dem source-pool genau so viele snaps behalten wie auch auf dem target-pool.




es wird, egal mit welcher Parameter-Einstellung immer am recv mit "-F" gearbeitet.

erwartet hatte ich eher


Bin ich irgendwie noch immer auf dem Holzweg?

 

[gea]

zfs receive -F bewirkt, dass das empfangende Dateisystem immer auf den letzten Snapstand gesetzt wird. Das ist notwendig damit Sender und Empfänger FS vor dem nächsten incrementellen Lauf auf einem identischen Stand sind.
http://docs.oracle.com/cd/E19253-01/816-5166/6mbb1kqo8/index.html

Die Anzahl der Snaps auf dem Backupsystem wird durch das Replikationsscript geregelt (hier 10 snaps).

 

[Peli67]

Hallo Zusammen !

ich möchte, bedingt dadurch das ich nur 4 Sata Steckplätze (Dell T20) habe, eine M2 PCIe SSD für folgende Aufgaben verwenden
- ESXI Boot Device
- ESXI Datastore ( Napp-IT, xpenology, Win7)
- ZFS L2ARC (Netzwerk ist 10GBit Lan somit sollten 20GB Speicherplatz okay sein ?)
- ZFS Zil (vorgesehen sind 4 GB Speicherplatz ?)

es wird ein Raidz mit 4x10TB eingerichtet

Nun meine Fragen:
gibt es die Möglichkeit die SSD entsprechend zu Partionieren ?
insbesondere so dass ich die Partinonen in NAPP-it entsprechend zuweisen kann ( ZIL & L2ARC)

Eine Anleitung hierfür habe ich bisher nicht finden können.

 

[gea]

Da die M2 unter ESXi ansprechbar sein soll, ginge nur der Weg über vmfs Platten die man dann als virtuelle Platte für ZIL oder L2Arc nutzt. Prinzipiell möglich und auch von der Performance zumindest für L2Arc (Lesecache) ok. Ich würde aber vorher den RAM auf Maximalbestückung setzen um mehr ARC Lesecache zu haben. Der ist schneller.

Eine normale M2 taugt aber nicht als Zil insbesondere da die Powerloss Protection fehlt und bei einem Logdevice ist das unabdingbar. . Sonst kann man sync auch ausschalten und hat ein viel schnelleres System. Auch sind günstigere M2 von der Latenz und den iops Werten meist nicht gut genug.

Vermutlich würde ich zwei Intel P750 NVMe als Mirror oder zwei SSDs an einem LSI HBA für die VMs anstreben (ohne L2ARC und separates Slog) und die 10TB Platten für Backup und Storage hernehmen.

btw.
NVMe und Passthrough unter ESXi mit OmniOS scheint noch nicht ganz stabil. Da wird noch am Treiber optimiert.

 

[qoosinoo8]

Keine Ahnung ob ich zu dumm bin, aber ich bekomme es überhaupt nicht hin, von meinem ZFS Pool ein Backup auf einen anderen Server (dort läuft ebenfalls ZFS) zu schicken. Ich habe bereits ZnapZend installiert, habe aber ziemliche Probleme das zum laufen zu bekommen.

Gibt es irgendwo im Netz ein Tutorial für Dummies?

 

[morph027]

SSH läuft? Mbuffer installiert? Mal versucht händisch zu schicken? Die Znapzend Doku auf Github ist eigentlich ziemlich ausführlich.

Poste mal die Ausgabe von

znapzend --noaction --debug --runonce=<src_dataset>

 

[SUNMorph]

hy wiedermal paar Fragen bezüglich Nappit Neuinstallation,

da bei mir neue Serverhardware eingetroffen ist, freu , werde ich jetzt mein Nappit ganz neu aufsetzen.

Meine Idee sieht folgender Maße aus. Ich weiss für ein Homelab etwas überzogen, aber ich habe die Ware recht günstig bei Ebay bekommen

Das ganze läuft auf ESXI,

Bootplatte SDD, ESXI, Nappit, BackupVM.


VM Pool - 4xSDD 480 Mirror
Data Pool - 3x4 TB Z1 - Tägliches Backup

Jetzt fangen meine Überlegungen an, ich weiss nicht wie ich am besten den Media Pool gestalten soll. Bis jetzt hatte ich hier 12x 3TB im Z2 Verbund. Da möchte ich weg davon da ich nicht immer alle 12 Platten laufen lassen will wenn ich einen Film schaue oder meine Tochter irgendeine Serie.

Meine erste Überlegung war Snapraid und jeden Tag in der Nacht ein Sync durchlaufen zu lassen, aber irgendwie kann ich nicht richtig warm damit werden.

Die andere Überlegung ist jeweils 5 Platten Z1 entweder als VDevs in einem Mediapool, rennen ahlt wieder alle Platten wenn ich einen Film schaue,
oder jeweils 5 Platten in einem eignen Pool, Media1, Media2 usw, rennen wenigstens nur 5Platten auf einmal.

was würdet Ihr vorschlagen?


Dann noch eine Frage zum neuen OmniOS Release.


ist es sinnvoll für Nappit auf OmniOS r151020 upzudaten?

oder sollte man dies momentan noch nicht tun?


Wie immer Danke für eure Ratschläge.

 

[teqqy]

@gea

ich wollte die appliance map ausprobieren und habe hierfür das sas2ircu und sas3ircu heruntergeladen. Leider findet er mir bei "Disk Location" schon den Controller nicht.

Dieser ist ein LSI3008 auf dem Board aus der Signatur. Geflasht auf IT Mode und via VT-D an die VM in ESXi durchgereicht.

Hast du ne Idee wo ich gucken könnte bzw. ein Tipp woran das liegt?

 

[effemmess]

VM Pool - 4xSDD 480 Mirror

Hier würde @Home bestimmt auch ein RAIDZ1 reichen.

Bis jetzt hatte ich hier 12x 3TB im Z2 Verbund.

Ich geh mal davon aus, dass ein Verlust dieser Filme kein Beinbruch wäre (im Gegensatz zum Datenpool) - daher würde ich hier nicht auf Z2 gehen.
Pool1 - 5x3TB RAIDZ1 - Kinderfilme
Pool2 - 5x3TB RAIDZ1 - Papa´s Gartenfilme
Pool3 - 2x3TB Mirror - Familienfilme
oder
Pool1 - 3x3TB RAIDZ1 - Kinderfilme
Pool2 - 3x3TB RAIDZ1 - Papa´s Gartenfilme
Pool3 - 3x3TB RAIDZ1 - Familienfilme
Pool4 - 3x3TB RAIDZ1 - Musikvideos

(Die Zuordnung der Filmgenres kann auch getauscht werden! )

Je kleinteiliger du es machst, um so mehr verschenkst du aber an Platz und an Speed. Auch unter Beachtung des jeweiligen Pool-Füllstandes.

Ich persönlich nehme gerne RAID50 also 2 vdev RAIDZ1:
Pool1 - Kinderfilme, Familienfilme, Musikvideos:
vdev1 -3x3TB RAIDZ1
vdev2 -3x3TB RAIDZ1
Pool2 - Papa´s Gartenfilme:
vdev1 -3x3TB RAIDZ1
vdev2 -3x3TB RAIDZ1

Im Endeffekt hast du mit 12 Platten doch ne ganze Menge Möglichkeiten...

ist es sinnvoll für Nappit auf OmniOS r151020 upzudaten?
oder sollte man dies momentan noch nicht tun?

Updaten ist grundsätzlich sinnvoll, wenn die Kiste am Internet hängt und/oder neue/reparierte Funktionalitäten benötigt werden.
Ansonsten gilt: never change a running system! ...oder man hat einfach Spaß am Basteln...

Die 20 ist ja ein stable-Release. Daher sollte das kein Problem sein. Jedoch muss man je nachdem wo man herkommt evtl. einiges beachten...
Da du eh alles neu hast, würde ich die stable-20 komplett neu istallieren.

 

[Swivel]

So, ZOL läuft bei mir super. Warum bin ich eigentlich nicht schon früher umgestiegen :/

Eine Frage dazu hab ich dennoch.
Ich habe jetzt einen Pool aus 4x 2TB erstellt mit zfs create tank
So, nun möchte ich diesen Pool in verschiedene Ordner gruppieren z.b. Bilder, Filme, Musik
Wenn ich das Kommando "zfs create tank/Filme" nutze, dann erstelle ich im Pool ein vdev? Ist das Ratsam oder sollte man die Sache anders angehen?

Danke

 

[morph027]

Ne, dann erstellst du nur ein Dataset. Quasi eine Art "Partition" a.k.a. logische Verwaltungseinheit.

 

[Swivel]

Vorteile? Nachteile? oder ist es egal?