[Sammelthread] ZFS Stammtisch

[Asa]

Danke für die INfo!

- napp-it ist aktuell nur zum allerkleinsten Teil eingedeutscht

Ja, aber mal ist ein Menü deutsch, und beim nächsten aufruf ist das gleiche Menü englisch (?)

-welches Omni-Build ist es denn?
napp-it about oder uname -a

SunOS 5.11 omnios-dda4bb3 i86b i386 Solaris

 

[bogomil22]

Der Solaris CIFS Server ist schon deutlich "Windows kompatibler" als SAMBA und meist auch schneller -
auf jeden Fall einfacher zu konfigurieren. Ich würde jedoch als Basis OS Omni-OS statt OI nehmen
(stable release, extrem schlank und schnell, besonders aktuell).

Bis auf SmartOS sind jedoch die Solarisartigen Systeme nicht auf USB ausgelegt, was bedeutet dass USB geht, es aber ziemlich langsam ist. Wenn Solaris, würde ich auf jeden Fall eine kleine SSD (ab 20 GB oder Laptop-Platte) als Systemplatte nehmen. (N40 hat 6 x Sata onboard, eventuell anstatt des CD Laufwerk ein Bootlaufwerk einbauen oder eSATA wieder zurückführen. Eine kleine SSD kriegt man immer noch irgendwie unter - zur Not mit doppelseitigem Klebeband)

Die angepeilte Geschwindigkeit ist auf jeden Fall machbar.

Gut, also wird es aufjedenfall ein OpenSolaris basierendes OS. Omni-OS kanne ich vorher gar nicht, danke für den Tipp
(Welche OS außer Omni und OI sind noch Solaris basierend und bieten regelmäßige Updates und ZFS?)

Ein paar Fragen sind noch aufgetaucht
1) Ist es notwenig die HDDs mit GPT zu initialisieren? (Ich dachte ZFS vereint "Raid/Volume-manager" und "Filesystem")
2) Schade das viele Betriebsysteme nicht "vernünftig" auf einem USB-Stick laufen. Werde dann wohl eine HDD/SSD für das OS einsetzen.
Frage: Kann ich das ZIL dann auf die HDD/SSD des OS legen?
Frage 2: Was passiert eigentlich wenn die HDD/SSD des OS mit dem ZIL mal kaputt geht? Sind dann die Daten auf den 4x3TB (raidz) auch futsch?
3) So wie ich das verstande habe ist das zfs scrubbing nur für die Daten-Integrität dar. Kann z.B. Napp-it bei jeder art der ZFS-Konfiguration alle SMART-Werte auslesen? und besteht die Möglichkeit jede Platte auf media errors/bad sectors zu prüfen?
4) Welche sehr wichtigen Einstellungen (außer die Erstellung des tank's sowie den Freigaben) sind zu machen? Sind z.B. per Default bei OI oder Omni die Settings in der "/boot/loader.conf" oder "ashift 12" richtig eingestellt?

thx im vorraus

 

[gea]

Gut, also wird es aufjedenfall ein OpenSolaris basierendes OS. Omni-OS kanne ich vorher gar nicht, danke für den Tipp
(Welche OS außer Omni und OI sind noch Solaris basierend und bieten regelmäßige Updates und ZFS?)

OI eigentlich nicht mehr wirklich gepflegt, sondern eher:
- Oracle Solaris 11.1
- SmartOS

Ein paar Fragen sind noch aufgetaucht
1) Ist es notwenig die HDDs mit GPT zu initialisieren? (Ich dachte ZFS vereint "Raid/Volume-manager" und "Filesystem")

???? Initialisieren ist nur notwendig bei fehlender (neuer disk) oder unbekannter Partitionierung

2) Schade das viele Betriebsysteme nicht "vernünftig" auf einem USB-Stick laufen. Werde dann wohl eine HDD/SSD für das OS einsetzen.

Nö, Solaris ZFS wurde nicht für home use entwickelt, sondern für hardcore datacenter

Frage: Kann ich das ZIL dann auf die HDD/SSD des OS legen?

Nö, macht eigentlich keinen Sinn und ist "bad use"

Frage 2: Was passiert eigentlich wenn die HDD/SSD des OS mit dem ZIL mal kaputt geht? Sind dann die Daten auf den 4x3TB (raidz) auch futsch?

nö, das war mal bis pool v.19 so, heute wird einfach der on-pool Zil benutzt.
Lediglich bei einem Zil-Fehler mit Stromausfall sind max 5s Daten verloren.

3) So wie ich das verstande habe ist das zfs scrubbing nur für die Daten-Integrität dar. Kann z.B. Napp-it bei jeder art der ZFS-Konfiguration alle SMART-Werte auslesen? und besteht die Möglichkeit jede Platte auf media errors/bad sectors zu prüfen?

Das eine hat mit dem anderen nichts zu tin.
scrubbing prüft auf Daten-Checksum-Fehler, Smart auf Platten-Hardware Parameter (meist vergebens, die Dinger gehen einfach kaputt)

4) Welche sehr wichtigen Einstellungen (außer die Erstellung des tank's sowie den Freigaben) sind zu machen? Sind z.B. per Default bei OI oder Omni die Settings in der "/boot/loader.conf" oder "ashift 12" richtig eingestellt?

bei Solaris, Illumos & Co muss eigentlich garnichts angepasst werden
Ashift wird bei neueren Platten automatisch richtig gemacht

ansonsten:
- mirror der Bootplatte (optional)
- auto snapshots einstellen
- weekly scrubbing
- email -alert

 

[banane22]

@gea: gibt es ne Möglichkeit die Console von diesen Fehlermeldungen freizumachen:

Jan 11 00:05:28 OmniZFS2 sudo[2498]: [ID 574227 auth.alert] Solaris_audit mapping OmniZFS2 to 192.168.1.200: Error 0
Jan 11 00:05:28 OmniZFS2 sudo[2500]: [ID 574227 auth.alert] Solaris_audit getaddrinfo(OmniZFS2) failed[node name or service name not known]: Error 0

Ich habe versucht den Fehler bzw. seine Lösung zu suchen, bin aber nicht weiter gekommen als das es sich um nix wichtiges handelt und ignoriert werden kann ... ?!

Und eine weitere Sache die mir schon beim letzten Test mit OmniOS aufgefallen ist:
Wenn ich unter VMWare Workstation versuche einen zpool zu erstellen, zeigt er mir nur ein Device an, via format bekomme ich aber mehr bzw. die richtige anzahl angezeigt. liegt das an VMware? oder hab ich beim Installieren irgendwas übersehen?

Ich kann den Pool via Shell ohne Probleme erzeugen, er wird mir auch in napp-it angezeigt, aber es ist mir halt nicht möglich die platten beim erstellen eines neuen pools auszuwählen.

 

[bogomil22]

???? Initialisieren ist nur notwendig bei fehlender (neuer disk) oder unbekannter Partitionierung

Alle meine 4x3TB HDDs haben keinerlei Partitionen und 2 Platten sind sogar (laut windows) nicht initialisiert -> Ist eine initialisierung nun wichtig/pflicht bevor man einen zpool anlegt?

nö, das war mal bis pool v.19 so, heute wird einfach der on-pool Zil benutzt.
Lediglich bei einem Zil-Fehler mit Stromausfall sind max 5s Daten verloren.

Gut

scrubbing prüft auf Daten-Checksum-Fehler, Smart auf Platten-Hardware Parameter (meist vergebens, die Dinger gehen einfach kaputt)

Stimmt, das scrubbing und smart hat mit den bad sectors nichts zu tun
Ich denke aber schon dass es einen Sinn macht alle Sektoren einer Platte mal auf "bad sectors" zu prüfen,
geht das in ZFS bzw OI ohne den zpool offline zu schalten oder so?
(Bei meinem Windows Raid5 @ LSI-Controller gibt es halt einmal die Möglichkeit ein Consistency Check oder ein Patrol Read durchzuführen,
deswegen die Frage ob beides in ähnlicher Form auch bei ZFS exitiert)

bei Solaris, Illumos & Co muss eigentlich garnichts angepasst werden
Ashift wird bei neueren Platten automatisch richtig gemacht

Sehr gut
Meine WD30EZRX sind ja realtiv neu

ansonsten:
- mirror der Bootplatte (optional)

Da das OS doch eher unwichtig ist (ist zur not in 30min wieder neu installiert), verstehe ich den Sinn nicht ganz.
(wichtiger sind doch die richtigen Daten die auf dem raidz.. liegen.

- weekly scrubbing

Muss/sollte das scrubbing wirklich wöchentlich gemacht werden? So schnell schleichen sich da Fehler ein? Dachte so an alle 1-2 Monate, da
es ja auch zeitintensiv ist

 

[AG1M]

Alle meine 4x3TB HDDs haben keinerlei Partitionen und 2 Platten sind sogar (laut windows) nicht initialisiert -> Ist eine initialisierung nun wichtig/pflicht bevor man einen zpool anlegt?

Also mal folgendes Szenario (Hotplug hab ich Intern nicht) der Server ist aus (wurde heruntergefahren), die neuen Festplatten rein, hochfahren und Zpool anlegen fertig. Im laufenden Betrieb bei Hotlug nutzte ich einfach cfgadm nachdem ich die Festplatte eingesteckt habe und nach ein paar Sekunden kann auch diese Festplatte zum Zpool anlegen benutzt werden. Jede neue Festplatte die ich nachträglich in meinen ZFS Homeserver gepackt habe, wurde sofort erkannt und konnte entweder einem bestehenden Pool hinzugefügt werden, oder ein neuer Pool davon erstellt werden. Die HDDs wurden nur vorher auf Sektorenfehler geprüft, aber nichts wurde Formatiert oder sonstiges damit "angestellt".

Da das OS doch eher unwichtig ist (ist zur not in 30min wieder neu installiert), verstehe ich den Sinn nicht ganz.
(wichtiger sind doch die richtigen Daten die auf dem raidz.. liegen.

Deswegen sagte er ja optional, falls so ein System so gut wie immer Online sein soll um die Daten bereit stellen zu können. Hab das OS auch nur auf einer 32 GB SLC SSD.

Muss/sollte das scrubbing wirklich wöchentlich gemacht werden? So schnell schleichen sich da Fehler ein? Dachte so an alle 1-2 Monate, da
es ja auch zeitintensiv ist

Bei Consumer/Desktop Festplatten macht das schon viel Sinn (gerade wenn das System nicht nur ein paar Stunden täglich läuft/ab und zu läuft) und deine WD Greens zählen dazu, bei Enterprise/SAS Festplatten kann das seltener gemacht werden.

 

[gea]

Alle meine 4x3TB HDDs haben keinerlei Partitionen und 2 Platten sind sogar (laut windows) nicht initialisiert -> Ist eine initialisierung nun wichtig/pflicht bevor man einen zpool anlegt?

Das Problem ist das Programm parted, das die Partitionsdaten ausliest.
Wenn es die nicht richtig lesen kann, bleibt es einfach hängen. ZFS würde ansonsten die Platten beim Erstellen eines vdevs eh initialisieren. Wenn parted die Partition also nicht erkennt, dann die Platte manuell initialisieren (Menü disk - initialize).

Ich denke aber schon dass es einen Sinn macht alle Sektoren einer Platte mal auf "bad sectors" zu prüfen,
geht das in ZFS bzw OI ohne den zpool offline zu schalten oder so?
(Bei meinem Windows Raid5 @ LSI-Controller gibt es halt einmal die Möglichkeit ein Consistency Check oder ein Patrol Read durchzuführen, deswegen die Frage ob beides in ähnlicher Form auch bei ZFS exitiert)

Ein vorbeugende Prüfung auf bad-sectors ist bei ZFS nicht nötig. Da alle Daten (also nicht nur Metadaten) Prüfsummen haben, erkennt ZFS Probleme viel früher und viel umfassender als jeder andere Mechanismus. Einen normaler Bad-sector Fehler sollte die Platte selbstständig reparieren können und ist auch für ZFS kein Problem. Wenn ZFS allerdings zuviele Fehler (warum auch immer) entdeckt, wirft es die Platte aus dem Raid. Dann und nur dann ist eine low-level Prüfung mit einem Prüftool des Plattenherstellers angebracht.

Die normale Prüfung aller Dateien auf Prüfsummenfehler (scrubbing) läuft online im Hintergrund. Das prüft (und repariert) aber nicht neue bad-sectors (macht also keinen Oberflächenscan) sondern sucht stille Dateifehler (den sogenannten Datenrost) - nicht nur ein statistischen Problem bei Multi-Terabyte Daten.

ZFS ist daher heute eine der wenigen sicheren Langzeitspeicher für Großdatenbestände.

 

[sharkbyte]

Nach dem Post auf dem großartigen Blog von Constantin Gonzales, habe ich mich jetzt auch für Mirrors entschieden. Wollte den Blog nur mal hier verlinken. Der Mann soweit ich es sehe lange Jahre SysAdmin bei SUN gewesen und hat einen tollen Blog, in dem vieles zu ZFS gut erklärt wird. Außerdem steckt er hinter "Systemhelden". Übrigens auch ein netter Podcast.

 

[millenniumpilot]

Hallo sharkbyte,

das sehe ich etwas anders, die Profis hier werden bestimmt auch noch das eine oder andere Wort verlieren.
Bei einem RaidZ2 z.B. können 2 beliebige Platten ausfallen, egal welche und der Pool ist noch OK.
Bei einem Pool aus mehreren Mirror müssen die nur die zwei falschen Platten ausfallen, nämlich die eines vdevs, und alle Deine Daten sind weg.

 

[sharkbyte]

Mein Setup wird sein:

- 2x500GB Mirror für Backups von Systemen - eigentlich unwichtig und kommen auch nicht auf das externe Backup
- 3x640GB Mirro für Daten - Auch exxentielle Daten, kommen auch auf eine externes Backup alle paar Wochen vermutlich

Ich habe jetzt halt schon eine 500GB und 3x 640GB Platten. Die wieder zu verkaufen und auf zum Beispiel 2x 2TB Platten umsteigen ist mir mittlerweile momentan zu teuer und kann ich auch noch in der Zukunft.

---------- Post added at 19:44 ---------- Previous post was at 19:43 ----------

3xfach Mirror ist von der Ausfallsicherheit auch wesentlich besser als RAIDZ1. Außerdem bin ich so auch flexibler bezüglich Aufrüstung UND spare Geld ;-)

---------- Post added at 19:46 ---------- Previous post was at 19:44 ----------

Falls ich mehr Platz brauche kaufe ich für ca. 35€ eine weitere 640GB und habe meine Netto-Kapazität um 640GB erhöht.

---------- Post added at 19:52 ---------- Previous post was at 19:46 ----------

Mal ne andere Frage. Ich finde ja mehrfach die Empfehlung, für dicke Systeme, auf PCIe SSD zu setzen. Diese sind ja häufig eigene RAID Verbünde aus kleineren "Platten". Kommt damit ZFS klar? Meine die sind ja soweit ich sehe nicht als JBOD zu konfigurieren.

 

[Bzzz]

3xfach Mirror ist von der Ausfallsicherheit auch wesentlich besser als RAIDZ1. Außerdem bin ich so auch flexibler bezüglich Aufrüstung UND spare Geld ;-)

Falls ich mehr Platz brauche kaufe ich für ca. 35€ eine weitere 640GB und habe meine Netto-Kapazität um 640GB erhöht.

Aber nur, wenn du deine Daten beiseite kopierst, den dreifach-Mirror auflöst, und zwei gestripte normale Mirrors draus machst. Ansonsten schraubst du dir ein RAID0 an deinen hochredundanten Pool dran...
Und billiger ist der Mirror auch nicht. Immerhin hat er nur halbe Nutzkapazität gegenüber einem RAIDZ1 aus den gleichen Komponenten. Und je größer der Pool, desto schlechter wird die Bilanz. Bei 6 Platten in der Config hast du 1,28TB vs. ~3,15 TB. Da kommt selbst ein Z3 drüber, ~1,89 TB und es dürfen drei beliebige Platten gleichzeitig verrecken.

 

[sharkbyte]

Aber nur, wenn du deine Daten beiseite kopierst, den dreifach-Mirror auflöst, und zwei gestripte normale Mirrors draus machst.

Das meinte ich.

Und billiger ist der Mirror auch nicht. Immerhin hat er nur halbe Nutzkapazität gegenüber einem RAIDZ1 aus den gleichen Komponenten.

Bei einer Betrachtung €/GB Netto Kapazität hast du recht.

Und je größer der Pool, desto schlechter wird die Bilanz.

Da stimme ich dir zu. Aber der Preis/GB fällt stetig (abgesehen von Naturkatastrophen) und irgendwann werden dann Platten mit mehr Kapazität verbaut.

Ich sollte überlegen die Platten zu verscheuern und 2x 2TB Platten zu holen.... Habe aber Angst zu viel Verlust zu machen.

 

[Ghandalf]

@gea: gibt es ne Möglichkeit die Console von diesen Fehlermeldungen freizumachen:

Jan 11 00:05:28 OmniZFS2 sudo[2498]: [ID 574227 auth.alert] Solaris_audit mapping OmniZFS2 to 192.168.1.200: Error 0
Jan 11 00:05:28 OmniZFS2 sudo[2500]: [ID 574227 auth.alert] Solaris_audit getaddrinfo(OmniZFS2) failed[node name or service name not known]: Error 0

Ich habe versucht den Fehler bzw. seine Lösung zu suchen, bin aber nicht weiter gekommen als das es sich um nix wichtiges handelt und ignoriert werden kann ... ?!

Die Warnung sagt, dass er den Namen des Servers nicht mit der IP in Einklang bringen kann.
Trage einfach in die /etc/hosts unten in eine neue Zeile deine IP ein und daneben den Namen des Servers.
In deinem Beispiel:
192.168.1.200 OmniZFS2

Und eine weitere Sache die mir schon beim letzten Test mit OmniOS aufgefallen ist:
Wenn ich unter VMWare Workstation versuche einen zpool zu erstellen, zeigt er mir nur ein Device an, via format bekomme ich aber mehr bzw. die richtige anzahl angezeigt. liegt das an VMware? oder hab ich beim Installieren irgendwas übersehen?

Ich kann den Pool via Shell ohne Probleme erzeugen, er wird mir auch in napp-it angezeigt, aber es ist mir halt nicht möglich die platten beim erstellen eines neuen pools auszuwählen.

Das ist bei der neuen Napp-it Version normal. Neue Festplatten ohne Partition werden leider nicht sofort erkannt.
Einfach im Menü Disk -> initialize auswählen und alle HDDs initialisieren.

Grüße Ghandalf

 

[Bzzz]

Ja, das Spielchen hab ich auch die letzten Jahre betrieben. Allerdings mit händischer Spiegelung.
Sobald der Platz eng wurde, hab ich mir zwei neue gekauft, in der Regel die größten oder zweitgrößten verfügbaren, die dann auch pro Platz die günstigsten waren. Effektiv bezahlt hab ich dabei nur den Zuwachs an Kapazität zum Preis pro GB der großen Platten, oft auch ein bisschen weniger. Super Tausch jedesmal. Thailand hat das empfindlich außer Takt gebracht, weswegen ich jetzt eben auf ne merklich größere Lösung schiele als bisher. Und wenn ich eh "kleinere" Platten einsetzen kann, weil ich ein RAID drüber ziehe, dann kann ichs auch mit 2TBs erstellen, die ja momentan schon vermehrt abgegeben werden. 3TB haben preislich überholt, 4TB sind nicht mehr extrem overpriced (jedenfalls externe...). Mir fehlt da zum Glück hauptsächlich ne SATA/SAS-Karte, denn die 6 Onboardports abzüglich einem für die Hotswap-OS-SSD sind schon etwas knapp. Einschübe werd ich, soferns mehr als 4-5 Disks werden, wohl über den großen Käfig des ausgeschlachteten Proliant U2 machen. Bevor die voll sind brauch ich noch ne zweite M1015

640er würd ich aber schnellstmöglich loswerden. Das ist ja bei 2,5" schon ne gängige Größe...

 

[AG1M]

Hab heute mal mit rsync Filmdateien (unkomprimierte Camcorder Aufnahmen, ab 10 GB aufwärts), auf meinen einfachen ZFS Mirror von einer einzelnen HDD übertragen, mit

rsync -av --progress --delete --human-readable /mnt/storage/RAW/ /mnt/backup/RAW

Waren es max. 85-90 MB/s möglic, mit --protocol=29 waren es oh Wunder gleich 140-145 MB/s im Schnitt. Ist damit SSH deaktiviert, oder warum der Boost?

sent 282.63G bytes  received 28.43K bytes  152.81M bytes/sec
total size is 282.59G  speedup is 1.00

Hab da etwas länger gesucht, warum gibt es das nicht als allgemeinen Tipp rsync mit --protocol=29 im lokalen System durchzuführen? Gibt es Nachteile?

 

[bogomil22]

Bis auf SmartOS sind jedoch die Solarisartigen Systeme nicht auf USB ausgelegt, was bedeutet dass USB geht, es aber ziemlich langsam ist. Wenn Solaris, würde ich auf jeden Fall eine kleine SSD (ab 20 GB oder Laptop-Platte) als Systemplatte nehmen. (N40 hat 6 x Sata onboard, eventuell anstatt des CD Laufwerk ein Bootlaufwerk einbauen oder eSATA wieder zurückführen. Eine kleine SSD kriegt man immer noch irgendwie unter - zur Not mit doppelseitigem Klebeband)

Die angepeilte Geschwindigkeit ist auf jeden Fall machbar.

Wenn ich hier nun 2 kleine SSD (60GB) habe und diese in mein HP Microserver N40L einbaue, stellen sich folgende Fragen:
1) Kann ich die beiden SSDs dann so verwenden:
-System/OS = 20GB als mirror
-log = 20GB als mirror
-cache = 15GB auf einer der beiden SSDs (die anderen 15GB der anderen SSD wären halt leer/unkonfiguriert) oder geht auch ein striped?
-> Ist das so möglich? ich müsste die SSDs ja dazu partitionieren und gleichzeitig vdevs anlegen.
Bin ein bisschen überfordert wie ich diese struktur hinbekommen
PS: Müsste ist dann einen zpool-tank für das OS und einen tank2 für log,cache und raidz anlegen?

2) Nochmal zum OS: Ich denke ich werde beide (SmartOS und OI) mal testweise installieren und anschauen. Klar ist der N40L keine Hight-End-Maschine aber ich denke ich fahre am besten mit OI.
-> Wird die Hardware des HP N40L zu 100% von OI und SmartOS unterstützt? (z.B. der LAN-Anschluss)

 

[banane22]

Die Warnung sagt, dass er den Namen des Servers nicht mit der IP in Einklang bringen kann.
Trage einfach in die /etc/hosts unten in eine neue Zeile deine IP ein und daneben den Namen des Servers.
In deinem Beispiel:
192.168.1.200 OmniZFS2



Das ist bei der neuen Napp-it Version normal. Neue Festplatten ohne Partition werden leider nicht sofort erkannt.
Einfach im Menü Disk -> initialize auswählen und alle HDDs initialisieren.

Grüße Ghandalf

Herzlichen Dank für den Hinweis, jetzt klappt alles wie gewünscht

 

[AG1M]

Wenn ich hier nun 2 kleine SSD (60GB) habe und diese in mein HP Microserver N40L einbaue, stellen sich folgende Fragen:
1) Kann ich die beiden SSDs dann so verwenden:
-System/OS = 20GB als mirror
-log = 20GB als mirror
-cache = 15GB auf einer der beiden SSDs (die anderen 15GB der anderen SSD wären halt leer/unkonfiguriert) oder geht auch ein striped?
-> Ist das so möglich? ich müsste die SSDs ja dazu partitionieren und gleichzeitig vdevs anlegen.
Bin ein bisschen überfordert wie ich diese struktur hinbekommen
PS: Müsste ist dann einen zpool-tank für das OS und einen tank2 für log,cache und raidz anlegen?

Was du vorhast ist mehr als Bad Practices, würde aber gehen. Für ZIL reicht 8 GB aus, da werden ja nur Daten von wenigen Sekunden geschrieben, wenn dann wäre der L2ARC je nach Datenpool viel größer einzustellen, wenn du nicht von deinen HDD Pool lesend auf die Daten zugreifen willst die du häufig brauchst. Wozu willst du überhaupt ein ZIL und L2ARC anlegen? Der HP N40L kann offiziell 8 GB ECC Ram nehmen, bzw. inoffiziell 16 GB ECC Ram. Das ist ausreichend um Gigabit LAN beim kopieren auszureizen, da brauchst du kein ZIL und L2ARC.

 

[bogomil22]

Da ich sowieso eine SSD für das OS brauche, da ja die USB-Stick Variante nicht toll ist, wollte ich halt die SSD nicht nur fuer das OS nehmen, sondern auch fuer log und cache da ich das system so schneller machen kann.
Waere es nicht blöd die ssd nur fuer das OS zu benutzen?

 

[bluesunset]

rsync -av --progress --delete --human-readable /mnt/storage/RAW/ /mnt/backup/RAW

Waren es max. 85-90 MB/s möglic, mit --protocol=29 waren es oh Wunder gleich 140-145 MB/s im Schnitt. Ist damit SSH deaktiviert, oder warum der Boost?

Hab da etwas länger gesucht, warum gibt es das nicht als allgemeinen Tipp rsync mit --protocol=29 im lokalen System durchzuführen? Gibt es Nachteile?

Aus der manpage:

--protocol=NUM
Force an older protocol version to be used. This is useful for
creating a batch file that is compatible with an older version
of rsync. For instance, if rsync 2.6.4 is being used with the
--write-batch option, but rsync 2.6.3 is what will be used to
run the --read-batch option, you should use “--protocol=28” when
creating the batch file to force the older protocol version to
be used in the batch file (assuming you can’t upgrade the rsync
on the reading system).

 

[AG1M]

Da ich sowieso eine SSD für das OS brauche, da ja die USB-Stick Variante nicht toll ist, wollte ich halt die SSD nicht nur fuer das OS nehmen, sondern auch fuer log und cache da ich das system so schneller machen kann.
Waere es nicht blöd die ssd nur fuer das OS zu benutzen?

Es macht keinen Sinn, wenn du ZIL+L2ARC+OS bei zwei 60 GB Consumer SSDs einsetzt. Das einzige was passiert ist, das deine SSD(s) eher defekt geht(en). Was sind das überhaupt für SSDs?

Entweder du installiert das OS auf SSD1 und nutzt SSD2 komplett als L2ARC (wenn das bei deinen Anwendungsgebiet Sinn macht), oder du machst ganz normal einen Mirror vom OS von beiden SSDs. ZIL kannst du komplett sparen, hat bei mir genau 0,0 MB/s gebracht, als ich 2 Intel SSDs als ZIL eingstellt habe, hatte ich ohne ZIL 124 MB/s und mit ZIL auch 124 MB/s, wüsste nicht wo im Homeuserbreich mit Gigabit LAN, ZIL deutlich etwas bringen würde.

 

[sharkbyte]

ZIL kannst du komplett sparen, hat bei mir genau 0,0 MB/s gebracht, als ich 2 Intel SSDs als ZIL eingstellt habe, hatte ich ohne ZIL 124 MB/s und mit ZIL auch 124 MB/s, wüsste nicht wo im Homeuserbreich mit Gigabit LAN, ZIL deutlich etwas bringen würde.

Danke, dass war sehr informativ!

 

[Asa]

So,
ich habe mal eine kniffelige Frage an die Experten:

Ich habe mich vor einigen Tagen (da mir napp-it nicht so gut gefallen hat) für ein debian basiertes ZFS-System mit zfs-fuse(0.7.0-10) entschieden.
Da die Daten auch verschlüsselt werden sollen, habe ich es wie folgt aufgebaut:
- 4 HDDs, jede ist einzelnt durch dmcrypt/LUKS verschlüsselt.
- Die Disks werden dann wie gewohnt nach /dev/mapper/xxx nach dem unlocken gemappt
- Auf die mapper-HDDs habe ich dann ein ZFS raidz1 angelegt.

Nach einigen Tests sagte mir die Performance nicht so zu (62Mb seq. write per bonnie++).
Habe das ashift kontrolliert und gesehen das auf dem Pool leider ashift=9 ist.

Habe den Pool destroyed und wollte ihn mit ashift=12 neu anlegen.
Leider gibt es unter der Version oder unter zfs-fuse die Option "ashift" nicht:

:~# zpool create -o ashift=12 tank1 raidz1 /dev/mapper/hdd1 /dev/mapper/hdd2 /dev/mapper/hdd3 /dev/mapper/hdd4
property 'ashift' is not a valid pool property

Meine fixe Idee war eine OI Live-CD zu booten um den zpool dort mit ashift=12 zu erstellen und exportieren, sowie dann anschließend unter Debian wieder zu importieren.
Leider geht das aber technisch nicht, da ich dort ja kein dmcrypt/LUKS zum entschlüsseln der Platten zur Verfügung habe!

Hat jemand ne Idee wie ich den Pool mit ashift=12 erstellt bekomme?

 

[AG1M]

Danke, dass war sehr informativ!

Kannst gerne dir auch mal das Projekt (bzw. die Seite allgemein) anesehen: ZFSBuild2012 – Specs and Parts Pictures » ZFS Build

Da steht auch viel Interessantes rund um ZFS

 

[sharkbyte]

Eine Frage die mir bezüglich der OS Installation jetzt seit Tagen im Kopf rumfliegt und die ich mich jetzt mal traue hier zu stellen:

Kann man nicht auch anstelle von (Consumer-)SSD auch einen Spiegel aus kleinen SAS einsetzen. Controller vorausgesetzt ist das doch auch performant und gebraucht habe ich bei ebay zwei 74GB 10k für den halben Preis einer gebrauchten Samsung 64GB SSD gesehen. Ich kenne den Unterschied in Lesegeschwindigkeit und I/O, aber ist SSD für ein HomeNAS nicht auch Overkill?

---------- Post added at 13:09 ---------- Previous post was at 13:06 ----------


@AG1M: Nette Hardware! Würde ich mir auch gerne gönnen. Aber ist doch für die meisten (selbst Luxxer) mehr als gebraucht.

 

[AG1M]

Also wenn du das OS auf einer 5400 rpm SATA HDD hast, einer 10k rpm SAS HDD oder einer SSD hast, wirst du sobald das System gebootet ist, mMn keinen Unterschied feststellen beim normalen benutzen. Hatte mal Solaris auf 2x USB Sticks sogar als Mirror -> wie zu erwarten -> sehr träge (nicht umsonst nicht empfohlen). Hab hier nur im Forum günstig eine kleine 32 GB SLC SSD als Single Disk für das OS gegönnt, weil ich das OS nicht als Mirror anlegen wollte und ich die SSD irgendwo platzieren kann im Tower wo ich will.

 

[TCM]

ZIL kannst du komplett sparen, hat bei mir genau 0,0 MB/s gebracht, als ich 2 Intel SSDs als ZIL eingstellt habe, hatte ich ohne ZIL 124 MB/s und mit ZIL auch 124 MB/s, wüsste nicht wo im Homeuserbreich mit Gigabit LAN, ZIL deutlich etwas bringen würde.

Du weißt aber schon, wozu ZIL überhaupt da ist, oder?

 

[sharkbyte]

Um das synchrone Schreiben zu verbessern.(?)

 

[TCM]

Genau. Wenn man also eh nur async schreibt, ist es klar, dass es nichts bringt.

 

[AG1M]

Genau um die synchrone Schreibperfomance zu erhöhen (NFS, Datenbanken etc.) um die Daten erstmal auf den schnellen Flashspeicher zu haben und dann erst auf die normalen Festplattenpool zu übertragen, aber früher hab ich nur gelesen "schneller mit ZIL Device etc." und die wichtigen Details überlesen und das es halt nichts bringt für solche normalen Aufgaben wie es bei mir der Fall ist.