[Sammelthread] ZFS Stammtisch

[millenniumpilot]

Hallo Gea,

vielen Dank. Wie ich aber gerade sehe, gibt es diese Stellen mehrfach im Script. Ist also auch nicht die ultimative Lösung.
Siehst Du eine andere einfache Möglichkeit, vorab mit separaten Job die Platten des Replikationspartners zu wecken und erst dann die Replikation zu starten? z.B. ein zfs list über ssh oder so? Vorausgesetzt, solch ein Befehl weckt den Pool. Hast Du einen Einzeiler, den ich auf dem Replikationsserver unter "create other Job" hierfür verwenden kann? Was ich selber kann, wäre ein Script, wo ich per SSH entsprechende Befehle auf dem Replikationspartner absetze, hierfür müsste ich aber das Rootpassword im Script verankern. Und dies will ich eigentlich nicht.

 

[gea]

ganz einfach

Fünf Minuten vor der Replikation einen "other job" starten.
Der muss den Pool aufwecken z.B. mit einem zfs list o.ä.

(per ntpdate zeitserver Zeit syncron halten, z.b. ntpdate ntp.ubuntu.com )

 

[millenniumpilot]

Hallo Gea,

was anderes habe ich glaube ich auch nicht geschrieben.
ich will/muss das aber Remote machen, da ich alle notwendigen Jobs auf einer Maschine haben möchte. Ich selbst kann das mit meinen Kenntnissen nur per ssh, und da muss ich leider das rootpasswort mit in das zu startende Script mit reinschreiben. Deine scripte kennen schon die Passwörter der Replikationspartner und daher meine Frage, ob man nicht hierüber irgendeine Lösung fuer mich finden kann.

---------- Post added at 21:23 ---------- Previous post was at 21:19 ----------

oder wenn nicht, welche der Zeilen in dem Replikationsscript ist fuer mein Timeout zuständig? Habe da schon 2 Stellen gefunden wo eine gewisse Zeit von 60Sekunden gewartet wird.

 

[TCM]

Ich selbst kann das mit meinen Kenntnissen nur per ssh, und da muss ich leider das rootpasswort mit in das zu startende Script mit reinschreiben.

SSH-Schlüsselpaare sind aber bekannt, oder? Und dass man bestimmte Schlüssel auf bestimmte Befehle begrenzen kann?

 

[millenniumpilot]

ja, aber habe das bisher nur unter Linux mal gemacht. Kann ich die dafuer benötigten Schritte/Befehle eins zu eins unter OmniOS und OI anwenden?

 

[TCM]

Wenn da OpenSSH läuft, ja.

 

[Pac2]

Hallo,

Ich habe ein Frage zu ZFS-Snapshots.
Vielleicht kann mir ja jemand von Euch weiterhelfen ;op.

Ich habe mir uhause ein NAS für Fotos, Dokumente usw eingerichtet.

Jetzt wollte Ich zwecks Datensicherheit gerne alle Daten auf ein 2. NAS spiegeln.

Ich habe einfach mit
zfs snapshot -r Volume/Backup@test
einen Snapshot angelegt,

und mit
zfs send -R Volume/Backup@test | ssh root@192.168.1.111 zfs receive -d backup
an den 2. NAS übertragen.

Was Ich noch nicht ganz hinbekomme, sind die Snapshots in Zukunft.
Ich möchte ja nur die neuen Dateien übertragen, also einen inkrementell Snapshot.
Muss Ich vor jeder Syncronisation auf dem Quellnas ein neuen Snapshot anlegen?
Und Ihn dann per
zfs send -i Volume/Backup@test Volume/Backup@juli2013 | ssh root@192.168.1.101 zfs recv backup
übertragen?

Dankeschön...

 

[hominidae]

Was Ich noch nicht ganz hinbekomme, sind die Snapshots in Zukunft.
Ich möchte ja nur die neuen Dateien übertragen, also einen inkrementell Snapshot.
Muss Ich vor jeder Syncronisation auf dem Quellnas ein neuen Snapshot anlegen?
Und Ihn dann per
zfs send -i Volume/Backup@test Volume/Backup@juli2013 | ssh root@192.168.1.101 zfs recv backup
übertragen?

Ja, Du brauchst für incrementelle snaps einen "alten" und einen "neuen" im Quell-Pool.
Siehe auch

You can send incremental data by using the zfs send -i option. For example:

host1# zfs send -i tank/dana@snap1 tank/dana@snap2 | ssh host2 zfs recv newtank/dana
Note that the first argument (snap1) is the earlier snapshot and the second argument (snap2) is the later snapshot. In this case, the newtank/dana file system must already exist for the incremental receive to be successful.

...aus: Sending and Receiving ZFS Data - Oracle Solaris ZFS Administration Guide

 

[trendco]

Gibts da auch eine Variante, wo man nur den aktuellen Snapshot angibt und dann alle Änderungen repliziert werden seit dem letzen send/receive?

Ich steig da irgendwie nicht ganz durch mit den -I -i Parametern.

 

[Timmie]

Wofür sind eigentlich die ganzen Partitionen auf den Festplatten gut? Habe ein Raidz1 aus 3 Platten erstellt.

******* Working on device /dev/ada0 *******
parameters extracted from in-core disklabel are:
cylinders=5814021 heads=16 sectors/track=63 (1008 blks/cyl)

Figures below won't work with BIOS for partitions not in cyl 1
parameters to be used for BIOS calculations are:
cylinders=5814021 heads=16 sectors/track=63 (1008 blks/cyl)

Media sector size is 512
Warning: BIOS sector numbering starts with sector 1
Information from DOS bootblock is:
The data for partition 1 is:
sysid 165 (0xa5),(FreeBSD/NetBSD/386BSD)
start 63, size 1565565057 (764436 Meg), flag 80 (active)
beg: cyl 0/ head 1/ sector 1;
end: cyl 755/ head 15/ sector 63
The data for partition 2 is:
<UNUSED>
The data for partition 3 is:
<UNUSED>
The data for partition 4 is:
<UNUSED>

 

[Pac2]

Gibts da auch eine Variante, wo man nur den aktuellen Snapshot angibt und dann alle Änderungen repliziert werden seit dem letzen send/receive?

Ich steig da irgendwie nicht ganz durch mit den -I -i Parametern.

Geht mir leider auch so.
Bekomme das nicht hin.

Wenn Ich das inkrementelle Snapshot einfügen möchte bekomme Ich immer folgende Fehlermeldung:

cannot receive incremental stream: destination backup has been modified
since most recent snapshot

Die Meldung ist ja eindeutig, aber verändert habe Ich nichts.
Ich war höchstens mal per Samba drauf, es kann also sein, das sich ein Zeitstempel geändert hat.
Aber das es daran schon scheitert....

Ich hab gelesen, das man die Partition Read Only setzten soll, aber das kann doch auch nicht die Lösung sein.
Hat jemand eine Idee?

 

[trendco]

mach mal beim receive noch -F mit rein

 

[TCM]

Wofür sind eigentlich die ganzen Partitionen auf den Festplatten gut? Habe ein Raidz1 aus 3 Platten erstellt.

Zu nichts. Wozu hast du sie erstellt?

 

[Timmie]

Habe es über die NAS4Free Gui eingerichtet. Aber nicht explizit soviele Partitionen, sondern jede Festplatte mit ZFS formatiert, vdev erstellt und dann den Pool drauf.


Hab auch mal mit dedup rumgespielt aber irgendwie scheint es nicht zu funktionieren wie ich mir das vorstelle und bleibt ständig bei 1.00x stehen. Nur wirkliche 1:1 Kopien der gleichen Datei lassen den Wert steigen.

Bei TV-Serien jeweils mit gleichem Intro, bei Filmen mal in einer mkv, mal der identische Videostream in einer ISO Struktur, oder sogar jpegs einmal nur die EXIF Informationen entfernt und einmal mit, erkennt dedup alles nicht.

 

[Pac2]

mach mal beim receive noch -F mit rein

Super, dankeschön.
Das scheint zu funktionieren

 

[trendco]

wie schaut Dein "Backup-Plan" genau aus?

 

[Pac2]

Meiner?
Ich habe keinen echten Plan.

Auf meinem NAS liegt eigentlich "nur" meine private Fotosammlung.
Unregelmäßig (so einmal im Quartal) möchte Ich den 2. NAS hochfahren und alles syncronisieren.
Falls der erste doch einmal ausfällt, das nicht gleich alle Fotos weg sind.

Das Ganze ist aber auch zu einem nicht unerheblichen Teil mein Spieltrieb ;op

 

[MrDeluxe]

Welchen Nachteil hat "ZFS on Linux" nun eigentlich kurz und knapp? Das es nun von der Performance ein wenig hinterherhinkt find ich nicht so dramatisch solange das Gbit ausgereizt werden kann. Ist es stabil genug?
0.6.1 als Versionsnummer hat immer so einen bitteren Beigeschmack und wirkt unfertig. Wie seht ihr das. Habt ihr es im Gebrauch? Gibt es Bugs?

 

[GrafikTreiber]

Bitte die letzten paar Seiten durch lesen, wir hatten dazu doch vor nicht mal drei Wochen wieder eine große Diskussion die auch recht ausgeartet ist.

Ob die Versionsnummer 28 oder 0.2.1 ist sagt rein gar nichts über die Stabilität oder die Performance einer Software aus, das macht jeder Entwickler anders. Es gibt unzählige große Softwareprojekte die Versionsnummern unter 1.0 verwenden obwohl sie schon steinalt und sehr stabil sind.
ZFSonLinux wird bereits seit längerem produktiv von vielen Firmen und Institutionen eingesetzt, die Entwickler bezeichnen es seit dem letzten Release auch offiziell als produktion-ready. Es gab niemals einen Bericht oder Bug über ZoL bei dem Daten verloren gegangen sind, dieser Teil des Codes ist nämlich zu 99% der selbe wie unter Solaris.

Beim Punkt "Gbit ausreizen" von dem du hier vielleicht vor kurzem gelesen hat geht es um den Netzwerk-Zugriff via CIFS/SMB. Das ist nicht von der ZFS-Implementation von Linux oder Solaris abhängig sondern vom verwendeten SMB/CIFS-Server, ganz unabhängig vom Dateisystem. Wenn du unter Solaris Samba für SMB/CIFS statt dem Solaris eigenen SMB-Server verwendest ist es genau so schnell wie unter Linux oder BSD. Der Solaris eigene SMB/CIFS-Server ist besser als Samba.

Zum Thema Performance "hinterherhinken" von ZFSonLinux, schau dir mal diesen Thread an:
Scientific Linux Forum.org -> SL + Linux ZFS

Money-Quote:

The same HW setup with Solaris 11 was ~20% slower across the board.

None the less pretty damn impressive Linux+ZFS is able to outperform Solaris native ZFS by that much margin with the same HW setup.

Upon closer examination something of note that gives ZOL a boost is how ZIL devices are handled in a striped configuration:
--> FASTWRITE algorithm for synchronous writes

Thus ZOL better handles and avoids the situation with the BSD and native Solaris.

Und das im Mai 2012 wo ZFSonLinux noch nicht so weit war wie jetzt und zusätzlich noch unter einem recht alten Kernel.

http://listserv.fnal.gov/scripts/wa...3040DD&Y=christopher.brown@med.ge.com&P=21882
Money-Quote:

ISCSI/NFS testing
NFS and ISCSI performance was better with ZOL than with the native "Fishworks Solaris" on the above Sun/Oracle storage HW.

Sicherlich ist Solaris hier und da ein bisschen schneller (SMB/CIFS). Nur hier und da ist auch Linux ein bisschen schneller wie du hier sehen kannst (NFS, iSCSI, Encryption).

Einen ganz großen Vergleich mit etlichen Konfigurationen und auf unterschiedlicher Hardware gibt es leider nicht. Man findet immer nur vereinzelte Tests und Aussagen.

Stell mir unterschiedliche Hardware für einen großen Versuchsaufbau bereit und bezahle mich für eine Woche und ich liefere dir einen ausführlichen und objektiven Bericht, interessiert mich und viele andere nämlich brennend. Genau solche Arbeiten sind zufälligerweise mein Job.

 

[MrDeluxe]

Danke GrafikTreiber! Das ist balsam für die Seele.
Als HomeUser der ZFS+Encryption verwenden möchte, finde ich ein Debian mit dem ich bereits Erfahrung sammeln konnte (lvm+mdadm+cryptsetup) einfach ansprechender als ein Solaris-Derivat.

Mal sehen ob das der alte P4 mit 1GB RAM noch bringt

Stell mir unterschiedliche Hardware für einen großen Versuchsaufbau bereit und bezahle mich für eine Woche und ich liefere dir einen ausführlichen und objektiven Bericht, interessiert mich und viele andere nämlich brennend.

Dafür würde ich sogar Urlaub nehmen und kein Geld verlangen, wenn die Hardware danach mir gehört

 

[gea]

ISCSI/NFS testing
NFS and ISCSI performance was better with ZOL than with the native "Fishworks Solaris" on the above Sun/Oracle storage HW. )

Ich möchte jetzt keine Linux Diskussion anfangen aber "Sun Fishworks" klingt im Zweifel nach Uralt-Hardware und ZFS/Solaris auf dem Stand von vor mehreren Jahren. Ehrlicherweise müsste man ein aktuelles Solaris 11/OmniOS mit Comstar iSCSI zum Vergleich nehmen.

Für mich ist aber ohnehin der Aspekt, tut einfach, läuft out of the Box, ohne Anpassungen und Sonderdinge mit ordentlicher Usability wichtiger als das letzte Quentchen Performance. Und da ist für mich Apple und Solaris erste Wahl für alles was damit direkt geht. Linux und Windows nehme ich für alles was damit nicht auf Anhieb läuft.

 

[ludwinator]

Leider "very scientific", dieser Test.
Ergebnisse bis zur 2. Stelle hinterm Komma aber kein Wort über die verwendete Software, weder Solaris noch Linux.
Keine einzige Reaktion seit März auf dieses Posting in der Mailingliste?
Da kann jetzt jeder seiner Schlüsse draus ziehen...

cu

 

[hominidae]

Danke GrafikTreiber! Das ist balsam für die Seele.
Als HomeUser der ZFS+Encryption verwenden möchte, finde ich ein Debian mit dem ich bereits Erfahrung sammeln konnte (lvm+mdadm+cryptsetup) einfach ansprechender als ein Solaris-Derivat.

Mal sehen ob das der alte P4 mit 1GB RAM noch bringt

...mit der Möhre kannst Du bei Verschlüsselung das Thema Performance vergessen.
Du brauchst dafür einige Kernchen extra oder eine CPU mit AES-NI Unhterstützung.

ECC willst Du i.d.R. auch, damit also entweder XEON S1155er (oder neuer) mit Server Board oder im Desktop Bereich ein AMD SAM3+ (FX oder Opteron 3300er) auf nem ASUS Board (wg. ECC).
Dann fluppt es auch mit Verschlüsselung...erst recht mit LUKS/dm-crypt und ZFS-On-Linux.

 

[mlampe]

Hallo zusammen,

Ich beschäftige mich schon sehr lange mit ZFS und betreibe einen Server damit auch zu Hause. Im Moment ein OI151a7 + Nappit.

Auf der Arbeit habe ich für uns ein Storage-Backend aus 4 Servern erzeugt.
Die verwendete Hardware sind Fujitsu RX300S4 Server, 16GB RAM, 2x Quadcore XEON's, 12x 146GB SAS an einem LSI-HBA und 6x 1GBit Nics.
Die Server sind schon älter und wir haben diese für "kleines Geld" in dieser Ausstattung übernehmen können.
Diese habe ich mit Debian Wheezy + ZFS on Linux + selbst kompiliertem SCST-iSCSI server zusammengebaut.
Den SCST-iscsi Server habe ich wegen SCSI-3 persistant Reservation und der höheren (laut meiner Recherche) Performance gewählt.
Obwohl ich dort ein raidz2 mit 10x 146GB SAS Festplatten gebaut habe ist die Performance richtig gut.
Diese 4 Debian ZFS Storage-Server dienen einem 4 Knoten Windows 2012 Hyper-V Cluster als Storage.
Die 6x 1GBit nics sind als LACP-Trunk zusammengeschlossen (5 hätten es vom Durchsatz her auch getan ), die Hyper-V 2012 Server sind per Multipath iSCSI konfiguriert.

Lesend bekommen wir ca. 500MB/s hin, schreibend sind es dann ca. 190MB/s.

Auf jedem der 4 Debian ZFS Storage Server laufen in der iSCSI-LUN aktuell ca. 10-12 virtuelle Server.
Die Reaktionszeit / Performance ist bei allen VM's wesentlich höher als bei einer physikalischen Installation.

Dieses Storage-Backend läuft seit ca. Ende März 24/7 ohne Probleme und Fehler.

Ich müsste vielleicht noch dazusagen, dass diese 8 Server (Storage-Backend + Hyper-V Cluster) unsere eigene Testcenter-Cloud (Ja, es ist dort auch System-Center + Asure installiert) darstellen. Es ist also kein Produktiv-System.

Nebenbei: Heute habe ich von einem Kollegen erfahren, dass die Firma QuantaStor eine Storage-Appliance im Produkt-Portfolio hat die auf Ubuntu-Server + ZOL aufbaut. Die Firma bietet dafür auch Support. Das finde ich sehr interessant.



Ich könnte mir durchaus vorstellen in ein paar Monaten mit meinen beiden Pools (V28) zu Hause von OI151a7 auf Debian + ZFS on Linux zu wechseln.
Meine Gründe liegen darin, dass eine Anwendung nur unter Linux zufriedenstellend performant läuft. Meine Portierung davon auf OI läuft, aber alles andere wie ich es gerne hätte.


Gruß
mlampe

 

[connorxxl]

Hallo zusammen,

Ich habe einen scrub über einen meiner ZFS Pools laufen lassen (OI151a7) laufen lassen, und folgendes als Ergebnis:

pool: tank-large
state: ONLINE
status: One or more devices has experienced an unrecoverable error. An
attempt was made to correct the error. Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
using 'zpool clear' or replace the device with 'zpool replace'.
see: ZFS-8000-9P
scan: scrub repaired 71.5K in 56h3m with 0 errors on Thu Jul 4 06:16:41 2013
config:

NAME STATE READ WRITE CKSUM
tank-large ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
c5t50024E9003C3372Dd0 ONLINE 0 0 0
c5t50024E9003C33714d0 ONLINE 0 0 0
c5t50024E9003C33710d0 ONLINE 0 0 1
c5t50024E9003C3372Fd0 ONLINE 0 0 12
c5t50024E9003C33731d0 ONLINE 0 0 0
c5t50024E9003C33712d0 ONLINE 0 0 0

errors: No known data errors

Der Pool ist schon relativ "alt", hatte ihn schon mit OpenSolaris. Sind auch alte Samsung 2tb Platten.
Die Smart-Values der Platten sind allesamt in Ordnung, kein einziger Fehler. Was bedeutet das dann? Kann ich einfach "zpool clear" ausführen, und gut ist?

Habe ich irgendwelche Daten verloren oder sind sie vielleicht fehlerhaft?

Vielen Dank für Eure Hilfe!

Gruss,

Chris

 

[mlampe]

Wie Du gepostet hast besteht dein raidz2 aus 6 HDD's. Auf der dritten HDD hast Du 1 Checksumenfehler (CHKSUM) und bei der vierten HDD hast Du 12 Checksummenfehler.
Scrub hat ja 71.5KB repariert. Du könntest jetzt also mit zpool clear die "Anzeige" löschen und danach den pool status beobachten. Spätestens nach einem erneuten scrub (Alle Daten werden gelesen) wüsstest Du bescheid, ob die Fehler einmalig waren oder wieder auftreten.

Sollten die Fehler wieder auftauchen müsstest Du Dir überlegen, ob Du dann (eine nach der anderen, dazwischen replizieren (resilvern) lassen) mit zpool replace ersetzt.

Das schöne ist ja, dass Du in den Spalten READ, WRITE und CHKSUM einzelne Fehler sehen kannst, die Du in SMART nicht unbedingt siehst.

Gruß
mlampe

EDIT: Du hast ja ein raidz2, das bedeutet dein Pool kann den Totalausfall von 2 HDD's OHNE DATENVERLUST verkraften. Natürlich besteht während der Resilverzeit die Gefahr, dass eventuell eine weitere ausfällt.
Bei 3 ausgefallenen HDD's hättest du dann einen Totalverlust.

Hier http://www.solarisday.de/downloads/zfstutorial.pdf findest Du auf Seite 14 den Vorgang, wie er bei einem gefundenen Fehler beim lesen (lesen durch applikation, scrub) stattfindet.

 

[MrDeluxe]

...mit der Möhre kannst Du bei Verschlüsselung das Thema Performance vergessen.
Du brauchst dafür einige Kernchen extra oder eine CPU mit AES-NI Unhterstützung.

ECC willst Du i.d.R. auch, damit also entweder XEON S1155er (oder neuer) mit Server Board oder im Desktop Bereich ein AMD SAM3+ (FX oder Opteron 3300er) auf nem ASUS Board (wg. ECC).
Dann fluppt es auch mit Verschlüsselung...erst recht mit LUKS/dm-crypt und ZFS-On-Linux.

Muss ich erstmal drauf verzichten.
Wollt nichts weiter für den Backup-Server investieren. Der ist eh nur aus Überresten endstanden... 2x250GB + 8x80GB IDE Muss nicht fluppen, hauptsache die Daten sind erstmal sicher verstaut^^

 

[trendco]

Gibt es eigentlich für ZFSonLinux eine Web-GUI?
Hab schon paarmal danach gesucht, ideal wäre ein Modul für Webmin, aber ich bin leider noch nicht fündig geworden.

 

[connorxxl]

Vielen Dank für die schnelle Antwort. Ich werde jetzt nochmal einen Scrub laufen lassen, und dann sehen, was passiert. Wundert mich nur, dass die ganzen Smart-Werte der Platten in Ordnung sind. Naja, neue Platten sind bereits auf der Einkaufsliste.

Werde Euch auf dem laufenden halten.

Gruss,

Chris

 

[mlampe]

Ich bin bis jetzt ebenfalls nicht fündig geworden bezüglich einer Web-GUI für ZFSonLinux.
Es würde mich ebenfalls interessieren.

Wobei wir auf der Arbeit ohne auskommen. Wir haben auf dem ZSF Pool ja lediglich eine Datei als iSCSI-LUN liegen.
Ich habe auch schonmal mit dem Gedanken gespielt mit einer einfachen Webseite mir einen "zpool status" ausgeben zu lassen.

Mit bißchen mehr Zeit werde ich da hoffentlich mal was machen / ausprobieren können.