[Sammelthread] ZFS Stammtisch

[Bzzz]

Das spricht für einen Pool aus 2 VDEVs mit je 3 Platten in jeweils einem RAID-Z1.
Alternativ könnte man auch ein VDEV mit RAID-Z2 aus 6 Platten machen.

Beide Varianten haben 2 Paritätsplatten - nur was ist hier sinnvoller von der Ausfallsicherheit?
- Den Pool mit jeweils 3 Platten zu erweitern ist angenehmer und ich könnte später auf 9 oder 12 HDDs aufstocken (12 ohne ZIL/L2ARC bzw. Brenner).
- Die Initialen Platten würde ich bei 3 Läden kaufen um nicht aufeinander folgende Seriennummern zu erhalten.
Dies war bei den 6 Samsung Platten für ein Qnap Setup der Fall - und das ist für das gleichzeitige Ausfallrisiko in einem VDEV eher schlecht.
- Beim Ausfall einer Platte in einem VDEV genügt es doch, nur die eine Platte desVDEVs nach dem Austausch zu resilvern?
- Das sollte doch verhältnismäßig schnell gehen, und kürzer sein als der selbe Vorgang in einem Z2-Verbund?

Kommt auf deinen Datenfüllstand an. Wenn Z1 und Z2 gleichvoll sind (absolut, nicht prozentual), dann dauerts gleich lang. Die übrigen Platten werden ja parallel ausgelesen. Wenn du zwei kleinere Z1 hast, gehts natürlich fixer. Dafür ist im Fall eines erneuten Schadens in 50% der Fälle dein halber Datenbestand weg

Hier sind noch ein paar andere Fragen:
Kann man nur HDDs in einem VDEV ersetzen oder kann man auch ein komplettes VDEV in einem Pool mit einem neuen (größerem) VDEV ersetzen?

Reihum austauschen und dann entweder manuell vergrößern, oder autoexpand seinen Job machen lassen.

Langen für mein Setup die 16 GB RAM oder sollte ich gleich zu Beginn auf 32 GB aufstocken?

Wenn du nicht heimlich an Dedup denkst...
Kauf halt gleich möglichst große Riegel, dann kannst du dazustecken und musst nichts austauschen.

Verschlüsselung ist auch ein Thema, hier dachte ich an TrueCrypt, da ich nicht alle Platten verschlüsseln möchte.

Vergrößert den Aufwand eben gegenüber einer ZFS-eingebauten Lösung. Bei mir gleiches Szenario, wobei man Verschlüsselung dennoch (bei Erstellung) an- und ausschalten können müsste. Aber man legt sich dann auf seinen Pfad fest, wenn ich also unter Solaris mit v34 (afaik) anfange, dann werd ich ohne destroy nicht mehr auf z.B. OI wechseln können...

 

[antilope114]

Gibt es Erfahrungen zur Dimensionierung von ZIL bzw. L2ARC?

Was du meinst sind Log-Devices, ZIL nutzt jedes ZFS System von Haus aus.
Warum bist du der Meinung, dass du das brauchst? Gefühlte 90% der user profitieren von zusätzlichem L2ARC nämlich genau 0, zusätzliche Log-Devices machen nur in den allerseltensten Fällen Sinn für Privatanwender. Falls man der Meinung ist man benötigt es trotzdem: z.b. mal Scripte wie arcstat.pl laufen lassen.
Spar das Geld für die SSDs und investiere lieber in Ram (wobe 2x8 auch erstmal ausreichend sind)

Bzgl. Pool-Setup: denke mal über Raid10 nach (also 3x2x2). Leicht erweiterbar, beste IO-Performance und bei Ausfall einer Platte geht das resilvering deutlich schneller als bei einem Raidz2 aus 6 Platten.
Und nein, du kannst ein VDEV nicht so ohne Weiteres durch ein Größeres ersetzen.

 

[Night-Hawk]

Was du meinst sind Log-Devices, ZIL nutzt jedes ZFS System von Haus aus.
Warum bist du der Meinung, dass du das brauchst? Gefühlte 90% der user profitieren von zusätzlichem L2ARC nämlich genau 0, zusätzliche Log-Devices machen nur in den allerseltensten Fällen Sinn für Privatanwender. Falls man der Meinung ist man benötigt es trotzdem: z.b. mal Scripte wie arcstat.pl laufen lassen.
Spar das Geld für die SSDs und investiere lieber in Ram (wobe 2x8 auch erstmal ausreichend sind)

Bzgl. Pool-Setup: denke mal über Raid10 nach (also 3x2x2). Leicht erweiterbar, beste IO-Performance und bei Ausfall einer Platte geht das resilvering deutlich schneller als bei einem Raidz2 aus 6 Platten.
Und nein, du kannst ein VDEV nicht so ohne Weiteres durch ein Größeres ersetzen.

Ja, ich dachte schon an ein Log-Device.
Ich kann das Setup je erst ohne Laufen lassen und dann in den Stats nachsehen, ob es Sinn macht.
Dann scheine ich das Caching beider Varianten wohl missverstanden zu haben - ich war der Annahme, dass ich mit diesen Mechanismen unter anderem auch das Spinup der HDDs minimieren könnte und auf häufig genutzte Objekte, die hohe IOPS benötigen, wie Bild-Kataloge, deutlich beschleunigen könnte.
Das es kein Read-Ahead ist, das war mir schon klar.
Und der Sequenzielle Zugriff auf verschlüsselte Container dachte ich, würde dadurch sicher auch verbessert werden.

Bzgl. RAID 10 - wenn ich damit meinen Pool immer paarweise Mirror-VDEVs erweitere (ich hoffe, es richtig verstanden zu haben), dann verliere ich immerhin satte 50% der Kapazität - das wollte ich etwas minimieren (Backup fahre ich natürlich auch).
Bei potentiell 12 HDDs würde ich aber auf 2 Pools setzten, bei 9 eher noch auf einen (bzw. 10 HDDs bei anderem Pool-Aufbau).

Ok, dann kann ich mit Replace nur einzelne HDDs aus VDEVs erneuern und wenn alle HDDs in einem VDEV ersetzt sind mit autoexpand das VDEV (und damit den Pool) vergrößern?

---------- Post added at 19:53 ---------- Previous post was at 19:48 ----------

Vergrößert den Aufwand eben gegenüber einer ZFS-eingebauten Lösung. Bei mir gleiches Szenario, wobei man Verschlüsselung dennoch (bei Erstellung) an- und ausschalten können müsste. Aber man legt sich dann auf seinen Pfad fest, wenn ich also unter Solaris mit v34 (afaik) anfange, dann werd ich ohne destroy nicht mehr auf z.B. OI wechseln können...

Ja, wenn ich direkt Solaris 11 von Oracle nutzen würde, dann könnte man die Pool-Version 34 nutzen.
Aber alle anderen Distros sind mit 28 (bzw. 5000 genannt) und Feature-Sets unterwegs - und da gibt es noch nix außer auf Blockebene unterhalb von ZFS.

 

[antilope114]

Ja, ich dachte schon an ein Log-Device.
Ich kann das Setup je erst ohne Laufen lassen und dann in den Stats nachsehen, ob es Sinn macht.
Dann scheine ich das Caching beider Varianten wohl missverstanden zu haben - ich war der Annahme, dass ich mit diesen Mechanismen unter anderem auch das Spinup der HDDs minimieren könnte und auf häufig genutzte Objekte, die hohe IOPS benötigen, wie Bild-Kataloge, deutlich beschleunigen könnte.
Das es kein Read-Ahead ist, das war mir schon klar.

Ich habe mich vielleicht mißverständlich ausgedrückt:
Im Prinzip stimmt das so. Und es gibt auch einen file level prefetch, heißt, wenn du einen Block liest wird der nächste gleich mit besorgt etc. - der springende Punkt ist nur: Für die meisten Anwender sind dafür 16 GB Ram mehr als ausreichend. Das wollte ich damit sagen. Es kann sein, dass das bei dir anders ist - aber dafür gibt es ja die testscripte. Einfach kopflos SSDs kaufen wie das viele neuerdings machen ist erstmal die falsche Strategie. Kauf dir auf jeden Fall 2x8 GB - das ist die erste Stelle, wo du später optimieren kannst durch upgrade auf 32 GB - lange bevor du über SSDs nachdenken solltest.

Bzgl. RAID 10 - wenn ich damit meinen Pool immer paarweise Mirror-VDEVs erweitere (ich hoffe, es richtig verstanden zu haben), dann verliere ich immerhin satte 50% der Kapazität - das wollte ich etwas minimieren (Backup fahre ich natürlich auch).
Bei potentiell 12 HDDs würde ich aber auf 2 Pools setzten, bei 9 eher noch auf einen (bzw. 10 HDDs bei anderem Pool-Aufbau).

Als kompromiss könntest du noch über ein raidz3 vdev bestehend aus 7 Laufwerken setzen, erhöhte Ausfallsicherheit. Alternativ erstmal Raidz2 mit 6x3 TB, bei SATA Platten ab 3TB+ würde ich aber eher zu ersterm raten.

Ok, dann kann ich mit Replace nur einzelne HDDs aus VDEVs erneuern und wenn alle HDDs in einem VDEV ersetzt sind mit autoexpand das VDEV (und damit den Pool) vergrößern?

Korrekt.

 

[habri]

Probleme mit OpenIndiana "Disk full" und Import eines größeren vorhandenen ZPools

Hallo,
ich habe seit gut 2 Jahren ein mit ESXi virtualisiertes NAS am laufen, das ich nach der Anleitung von napp-it.org (hier erstmal vielen Dank!) aufgebaut habe:
- SUPER Micro X8SIL-F, XEON L3426 1.86GHZ
- 8 Kanal Controller: Intel RAID Controller SASUC8I mit 8 HDs
- 16 GB SSD HD für ESXi

Auf der 16 GB großen SSD ist ESXi 5.0 installiert und beherbergt als einzige VM ein OpenIndiana-System (NAS-VM). Die NAS-VM bekommt den 8 Kanal-Controller nativ über vt-d zugeordnet und verwaltet HDs mit ZFS. Wenn die NAS-VM läuft, stellt es dem ESXi-Server über NFS Storage zur Verfügung und agiert als Fileserver.

Das System lief bis jetzt wunderbar stabil. Leider habe ich gestern ein update der NAS-VM gemacht, was den geringen Plattenplatz wohl vollständig aufgebraucht hat.
Beim nächsten Booten kamen Fehlermeldungen wie "...fatal error backend copy failed fails to write to /etc/svc/repository-boot ... Fatal error: unable to create "boot" backup of /etc/svc/repository.db".

Nachdem ich als Opensolaris-Laie über die google-Suche nach möglichen Lösungen gesucht habe, wurde folgendes probiert:
Booten von der Live-CD, die ich seinerzeit verwendet habe, mounten des vorhanden Dateissystems. Dann habe ich versucht, manuell Dateien zu löschen (z.B. alles in /var/pkg/download). Aber hier kommt immer die Fehlermeldung "No space left on device" bei dem rm-Befehl oder auch bei #cat /dev/null >./myfile.

Da ich hier nicht weiter gekommen bin, habe ich mir ein aktuelles OpenIndiana-ISO-Image gezogen und auf einer neu hinzugefügten Festplatte eine weitere VM aufgebaut, um dann den Pool meiner vorhandenen Festplatten wieder zu importieren.
Also das aktuelle napp-it installiert und das Webinterface aufgerufen.
Beim Aufruf von >Pool>Importieren über das Web-Interface oder auch auf der Kommandozeile "zpool import tank" führt dazu dass nach kurzer Zeit das System "steht", d.h. ich kann nichts machen, alle ist wie eingefroren. Nach 1 Stunde habe ich dann die VM auch wieder abgeschossen.

Mein altes sah so aus:
c2t0d0 via dd ONLINE c2 configured Error: S:0 H:0 T:0 VMware Virtual disk - 13.96 GB rpool
c3t0d0 via dd ONLINE c3 configured Error: S:0 H:0 T:0 ATA Hitachi HDS72302 - 2.00 TB tank
c3t1d0 via dd ONLINE c3 configured Error: S:0 H:0 T:0 ATA Hitachi HDS72302 - 2.00 TB tank
c3t2d0 via dd ONLINE c3 configured Error: S:0 H:0 T:0 ATA Hitachi HDS72302 - 2.00 TB tank
c3t3d0 via dd ONLINE c3 configured Error: S:0 H:0 T:0 ATA Hitachi HDS72302 - 2.00 TB tank
c3t4d0 via dd ONLINE c3 configured Error: S:0 H:0 T:0 ATA Hitachi HDS72302 - 2.00 TB tank
c3t5d0 via dd ONLINE c3 configured Error: S:0 H:0 T:0 ATA Hitachi HDS72302 - 2.00 TB tank
c3t6d0 via dd ONLINE c3 configured Error: S:0 H:0 T:0 ATA ST32000542AS - 2.00 TB tank
c3t7d0 via dd AVAIL c3 configured Error: S:0 H:0 T:0 ATA ST32000542AS - 2.00 TB tank

Frage:
1. Was muss ich machen, um den vorhandenen Pool tank zu importieren? Dauert das bei 8 2TB-Platten wirklich so lange und steht dann der Rest vom System? Ich will meine vorhanden Daten natürlich nicht verlieren (also nur Lösungen, die auch sicher sind).
2. Wäre es eventuell einfacher, meine "vollgelaufene" alte VM zu reparieren, denn dort ist der Pool tank ja online? Was wäre hier der richtige Weg?

Danke für Hilfe im voraus.

 

[mlampe]

Hallo habri,

Ich hätte da eine Idee, weiß aber nicht ob das funktioniert. Diese Idee hat erstmal nichts mit Deinem Pool zu tun (oder den HDD's), sondern mit der VM.

Da du ja mit der zusätzlichen HDD Platz für die neue VM geschaffen hast wäre der Teil schonmal erledigt. Nun meine Idee:
1. Lege in der alten VM eine zusätzliche virtuelle HDD an, die "ein gutes Stück" größer ist als die alte vHDD.
2. Starte in dieser alten VM das OpenIndiana Live-ISO.
3. Ermittle, welche im laufenden Live-Openindiana deine alte und welche die neue vHDD ist.
4. mit dd kannst Du nun eine 1:1 Kopie der alten vHDD auf die neue vHDD durchführen
Unter Linux würde man dazu folgendes aufrufen: dd if=/dev/sda of=/dev/sdb bs=1M. "sda" ist die Quelle und "sdb" ist das Ziel.
Die namen der devices sind für Openindiana entsprechend anzupassen. Mit gparted bekommst Du Sie einfach und unkompliziert angezeigt.
5. Wenn das durch ist, dann die alte vHDD aus der alten VM entfernen (nicht löschen) und von der neuen vHDD booten.
6. Den rpool (neue, gebootete vHDD) expandieren, z.B. autoexpand aktivieren. Damit sollte der rpool der neuen vHDD um den entsprechenden Platz vergrößert werden.

Andere Möglichkeit:
Nebenbei habe ich gerade meinen ZFS Server mal mit OpenIndiana 151a7 Live gestartet und einen 6x 3TB Pool (raidz2 an IBM 1015 IT Controller) per Console importiert. Dabei musste ich mit su und openindiana als passwort die notwendigen Rechte holen. Dann hat der import mit "-f" (force) in 3-5 Sekunden funktioniert. Das "force" deshalb, da der Pool eigentlich in einem Festinstallierten (ohne ESXi) OI151a7 importiert war.

Ich hoffe Dir bringt das etwas.

PS: Ich habe das gleiche Board, gleiche CPU und hatte auch bei meinen 2TB Platten den gleichen SASUC8I-Controller. Habe damals auch mit einem ESXi All in One angefangen.

Gruß
mlampe

 

[gea]

16 GB für ESXi und OI live sind recht knapp und wenn der rpool-Pool voll ist geht gar nichts mehr.
Als Sofortlösung würde ich erst mal versuchen Platz zu schaffen, indem Systemsnaps gelöscht werden.
(per napp-it Menü Snaps - Systemsnaps oder mit beadm list, beadm destroy snapname).

(Neben dem aktuellen den letzten "funktionierenden" Stand beibehalten, ältere löschen)

ansonsten eventuell system-messages und Installationsdateien in /root löschen um etwas Platz zu schaffen
cat /dev/null > /var/adm/messages.1
Sun's ZFS file system on Solaris ()

Falls dann nicht wenigstens 3 GB frei sind:
Ist die Neuinstallation von ESXi auf USB stick + Neuinstallation von OI Server oder OmniOS auf der 16 GB Platte eine Option. (Am Besten keine Live Version nehmen, die braucht mehr Platz - ohne ESXi sollte aber die Live Version zur Not gehen). Dann Datenpool importieren.

Über die zweite Installation auf der zweiten Platte sollte ein Import auch funktionieren.
Ist dedup an, kann es aber dauern.

 

[Gelöschtes Mitglied 184103]

Hallo,

ich habe jetzt an einem M1015 2 Platten angeschlossen mit jeweils 2TB.
Ich habe einen gespiegelten Pool erstellt und 2 ZFS Filesysteme.

Was mich irritiert sind die 184G, die im Pool unter "RFRES" auftauchen. Kann ich das gefahrlos verringern?
Habe bisher nur einen Post von gea gefunden, dass es wohl eine Vorsichtsmaßnahme ist, den Pool nicht zu mehr als 90% zu befüllen, da sonst die Performance sehr schlecht werden kann.


datapool (pool) - - - off 1.29T [65%] 689G none 184G none none disabled off off n.a. special - ACL off
datapool/daten daten off unavail on 1.11T 357G none none none none disabled off off n.a. every@=mod full_set ACL off
datapool/esxdatastore esxdatastore on unavail on 1.11T 147G none none none none disabled off off n.a. every@=mod full_set ACL off

Ansonsten bin ich erstmal sehr positiv überrascht. Volle GBit Geschwindigkeit per SMB schreibend und auch die AD Integration hat sofort geklappt

 

[1chris]

Virtualisierung ist grundsätzlich mit der Hardware möglich, aber ich will eigentlich darauf verzichten.
Ich will allerdings Software verwenden, die es (derzeit noch) nicht auf Solaris gibt (Mediaserver, ...).
Gibt es Erfahrungen zu ZFS on Linux, denn mit Debian und Ubuntu habe ich Erfahrungen, mit Solaris und BSD nicht.

Du kannst auf Openindiana oder OmniOS Mediatomb als Mediaserver einsetzen. Ich habe hierzu ein Addon für napp-it gebaut, dass dir ermöglicht das ganze relativ einfach per Skript zu installieren und bequem per napp-it zu verwalten.
Welchen Mediaserver würdest du auf Linux-Basis eisetzen wollen?

 

[gea]

Hallo,

ich habe jetzt an einem M1015 2 Platten angeschlossen mit jeweils 2TB.
Ich habe einen gespiegelten Pool erstellt und 2 ZFS Filesysteme.

Was mich irritiert sind die 184G, die im Pool unter "RFRES" auftauchen. Kann ich das gefahrlos verringern?
Habe bisher nur einen Post von gea gefunden, dass es wohl eine Vorsichtsmaßnahme ist, den Pool nicht zu mehr als 90% zu befüllen, da sonst die Performance sehr schlecht werden kann.

Unter ZFS kann die Größe eines Dateisystems (sowas wie eine Partition bei anderen Dateisystemen) dynamisch bis zur Poolgröße wachsen. Verwaltet wird das mit Quotas und Reservierungen. Die genannte Reservierung arbeitet auf Poolebene und sorgt dafür dass sich kein Dateisystem mehr Platz als 90% der Poolgröße nehmen kann. Das kann man unter Reservierung ändern.

Durchsatz und Füllgrad haben aber eine direkte Abhängigkeit, siehe ZFS Write Performance (Impact of fragmentation) | Uday
Danach sinkt der mögliche Datendurchsatz mit dem Füllgrad recht heftig. Für gute Performance sollte man nicht über 60-70% gehen.

 

[habri]

@mlampe und gea

vielen Dank für die guten Ratschläge!

Ich bin dann doch den Weg gegangen, den vorhanden Pool in einer frisch aufgesetzten VM zu importieren.
Hierzu habe ich nochmals eine neue VM mit der aktuellen OpenIndiana ISO aufgesetzt, bin aber etwas anders vorgegangen:
- 50 GB Speiche statt 20 GB (daran wird es wohl nicht gelegen haben)
- vor der napp-it Installation alle Updates in OpenIndiana installiert
- VMware Tools vor der napp-it Installation installiert

Beim Importieren über das napp-it GUI kam nach erster Freude, da diesmal das System nicht "eingefroren war" erst ein Schreck, hervorgerufen durch eine rote Meldung von napp-it:

--- Meldung kopiert
oops...

Could not proceed due to an error. Please try again later or ask your sysadmin.
Maybee a reboot after power-off may help.
cannot share 'tank/business': smb add share failed
back/ return to former menu
----

Dann zeigte das Kommando "zpool status", dass wohl eine meiner Platten einen Checksum Fehler hatte und das System am "resivlern" ist. Für mein Verständnis wurde meine Spare Platte in das Raid gesynct. Die erste Zeitangaben liesen auf eine Dauer von 2 Wochen schließen. Nach 3 Stunden pendelte sich die Zeitangabe auf reale Werte ein, wenn man "zpool status" aufrief. Und nach ca. 9 Stunden war mein Pool "tank" wieder online.
Weitere Schrecksekunden folgten, nachdem meine Filesystems unter tank (Mountpoints für meine SMB-Shares) teilweise leer oder mit sehr wenigen Daten vorhanden waren. Die Meldung der napp-it "oops..."-Meldung folgend "Maybee a reboot after power-off may help" hat dann alles wieder in Ordnung gemacht.


Mittlerweile läuft wieder alles .

Mein Pool tank scheint allerdings jetzt einer meiner Spare-Platten zu verwenden. Warum und ob das sein muss, werde ich aber erst am Wochenende evaluieren können.

pool: tank
state: ONLINE
status: The pool is formatted using a legacy on-disk format. The pool can
still be used, but some features are unavailable.
action: Upgrade the pool using 'zpool upgrade'. Once this is done, the
pool will no longer be accessible on software that does not support feature
flags.
scan: resilvered 892G in 7h46m with 0 errors on Tue Apr 9 16:31:35 2013
config:

NAME STATE READ WRITE CKSUM CAP Product
tank ONLINE 0 0 0
raidz3-0 ONLINE 0 0 0
c5t0d0 ONLINE 0 0 0 2 TB Hitachi HDS72302
c5t1d0 ONLINE 0 0 0 2 TB Hitachi HDS72302
spare-2 ONLINE 0 0 0
c5t2d0 ONLINE 0 0 0 2 TB Hitachi HDS72302
c5t7d0 ONLINE 0 0 0 2 TB ST32000542AS
c5t3d0 ONLINE 0 0 0 2 TB Hitachi HDS72302
c5t4d0 ONLINE 0 0 0 2 TB Hitachi HDS72302
c5t5d0 ONLINE 0 0 0 2 TB Hitachi HDS72302
c5t6d0 ONLINE 0 0 0 2 TB ST32000542AS
spares
c5t7d0 INUSE currently in use 2 TB ST32000542AS

errors: No known data errors

 

[mlampe]

Hallo habri,

Freut mich dass Du erfolgreich warst. Ich bekomme übrigens mit meinem ältesten raidz1 Pool die gleichen Fehlermeldungen beim importieren in ein aktuelles OI 151a7 per napp-it wie Du auch. Die Pool-Version dieses alten Pools ist 28, wie die neueren pools auch. Bei mir fehlt dann (wenn ich Ihn importiere) auch immer die SMB-Freigabe des Filesystems.
Ich glaube dass bei mir die ACLs der Grund dafür sind. Zu Begin hatte ich, Aufgrund von Unwissenheit, wohl zu viel damit "herumgespielt" bis es so lief wie es aktuell für diesen Pool noch funktioniert. Das werde ich in den nächsten Tagen durch Daten wegkopieren, Pool auflösen und Datenplatten "reorganisieren" beheben.

Auf Anhieb habe ich zu deinem Pool bezüglich der augenscheinlichen Verwendung einer der Spare HDD's keine Idee.

Gruß
mlampe

 

[Night-Hawk]

Du kannst auf Openindiana oder OmniOS Mediatomb als Mediaserver einsetzen. Ich habe hierzu ein Addon für napp-it gebaut, dass dir ermöglicht das ganze relativ einfach per Skript zu installieren und bequem per napp-it zu verwalten.
Welchen Mediaserver würdest du auf Linux-Basis eisetzen wollen?

Mein bisher eingesetzter Media Server ist PLEX.
Die bieten aktuell Support für Windows, Mac OS X, Linux (verschiedene Distributionen) und verschiedene NAS Systeme auf x86- oder ARM-Basis.
Noch gibt es kein Feedback, ob Solaris oder FreeBSD einen Port bekommt.

Lohnt sich auf meiner angegeben Hardware ein ESXi mit nativem OS für ZFS als eine VM und Ubuntu x64 als andere VM aufzusetzen?
Den LSI-Controller könnte ich durchreichen, wie sieht es mit SATA-Ports des Chipsatzes aus, wenn ich mehr als 8 HDDs nutzen möchte?
32GB RAM wären dann sicher auch nötig, oder sehe ich das falsch?

Oder ist aktuell der Einsatz von ZFS on Linux vertretbar - mir ist klar dass es nicht 100% die Performanz von Solaris hat, aber im Home-Betrieb sollte es immer noch eine kleine Anzahl von Clienten mit 100 mbps und 1 gbps solide beliefern können - im Notfall mit ZIL-Log Device und L2ARC...

 

[1chris]

Mein bisher eingesetzter Media Server ist PLEX.
Die bieten aktuell Support für Windows, Mac OS X, Linux (verschiedene Distributionen) und verschiedene NAS Systeme auf x86- oder ARM-Basis.
Noch gibt es kein Feedback, ob Solaris oder FreeBSD einen Port bekommt.

Du kannst ja eine Testinstallation mit Mediatomb machen. So kannst du sehen, ob alle Features, die du benötigst unterstützt sind und ob deine Geräte damit klar kommen. Da der Server die UPnP MediaServer V 1.0 spezifikation implementiert, sollten alle Geräte damit "sprechen" können. Dateiformate können relativ frei gemapped werden, sodass deine Geräte das Format erhalten, welches sie auch erwarten.
Wenn du zu Einstellungen Fragen hast oder etwas nicht auf Anhieb klappt, kannst du dich gerne per PM an mich wenden.

 

[Gelöschtes Mitglied 184103]

Unter ZFS kann die Größe eines Dateisystems (sowas wie eine Partition bei anderen Dateisystemen) dynamisch bis zur Poolgröße wachsen. Verwaltet wird das mit Quotas und Reservierungen. Die genannte Reservierung arbeitet auf Poolebene und sorgt dafür dass sich kein Dateisystem mehr Platz als 90% der Poolgröße nehmen kann. Das kann man unter Reservierung ändern.

Durchsatz und Füllgrad haben aber eine direkte Abhängigkeit, siehe ZFS Write Performance (Impact of fragmentation) | Uday
Danach sinkt der mögliche Datendurchsatz mit dem Füllgrad recht heftig. Für gute Performance sollte man nicht über 60-70% gehen.

Hallo,

danke für die Info. Direkt noch mal 2 weitere Platten bestellt (wo man plötzlich überall Sachen findet, die man gerne zentral gelagert haben möchte...).
Habe jetzt ein Backup auf eine alte 2TB Platte von dem Pool mittels Replikation gemacht.
Wenn jetzt die Platten ankommen, kann ich dann einfach dem Pool die Platten hinzufügen und die beiden ZFS Filesysteme löschen und dann vom Backup aus wieder dorthin replizieren (zwecks Verteilung der Daten auf 4 Spindeln)?

 

[gea]

Hallo,
Wenn jetzt die Platten ankommen, kann ich dann einfach dem Pool die Platten hinzufügen und die beiden ZFS Filesysteme löschen und dann vom Backup aus wieder dorthin replizieren (zwecks Verteilung der Daten auf 4 Spindeln)?

Viel zu gefährlich, wenn da was passiert und das Backup gerade dann abraucht.
Alle aktuellen Daten die geändert werden, verteilen sich ja automatisch.

Wenn man es unbedingt von Hand verteilen will:
- Dateisystem umbenennen z.B. daten -> daten.alt
- neues Dateisystem daten anlegen und Daten verschieben oder

- per zfs send replizieren und

- anschließend Dateisystem daten.alt löschen

 

[Gelöschtes Mitglied 184103]

Hat alles gut geklappt danke

Jetzt muss ich nur noch meinen WD TV Live davon überzeugen, die Shares nicht nur sporadisch, sondern dauerhaft zu sehen.
Wenn alles nichts hilft mappe ich das Share einfach auf einer Linuxmaschine und gebe es dort frei. Mit den Linux Shares scheint das Teil kein Problem zu haben.

 

[1chris]

Hat alles gut geklappt danke

Jetzt muss ich nur noch meinen WD TV Live davon überzeugen, die Shares nicht nur sporadisch, sondern dauerhaft zu sehen.
Wenn alles nichts hilft mappe ich das Share einfach auf einer Linuxmaschine und gebe es dort frei. Mit den Linux Shares scheint das Teil kein Problem zu haben.

Wenn deine WD TV Live Box DLNA-fähig ist und du OmniOS oder Openindiana nutzt, kannst du auch das Mediatomb AddOn für napp-it nutzen. Damit bekommst du einen vollwertigen Mediaserver (DLNA), mit dem du deine Mediendateien dirket von deinem ZFS-System streamen kannst.

 

[supemole]

Ich habe letzte Woche eine Test-Storage aufgebaut mit Solaris 11, einem Board von Supermicro X9SCL-+F und einem Host Bus Adapter LSI SAS 9211-8i. Der Pool besteht aus 5 SAMSUNG HD103UJ bzw. HD103SJ Platten, mit RAIDZ1 und 1 Spare Platte. Aus ZFS Sicht ist alles ok, der Pool meldet keine Fehler, der Zugriff ist sehr flott. Allerdings werden im napp-it Menü home->Disks bei 4 Platten (3 von 4 aus dem RAIDZ1 und die Spare Platte) einige Tausend hard-errors gemeldet:
-> S:0 H:2868 T:0
Die Anzahl der hard-errors ist bei allen 4 Platten exakt gleich!

Was ist da los?

 

[TCM]

Mal auf die Kiste einloggen und nachgucken?

 

[hominidae]

nach Absturz, data corruption ... wie finde ich raus was kaputt ist?

Hi Leutz,

ich hatte heute Nacht einen ESXI Absturz wg. Speicher-Fehler....R-ECC hat wohl nix genützt, obwohl im IPMILog was von "correctable Error" steht.

Nun sieht es in einem Pool so aus:

root@tank:~# zpool status -v tank
  pool: tank
 state: ONLINE
status: One or more devices has experienced an error resulting in data
        corruption.  Applications may be affected.

[...]

errors: Permanent errors have been detected in the following files:

        tank/media@2013.03.11.19.25.41:<0xfffffffffffffffe>
        tank/media@2013.03.11.19.25.41:<0xffffffffffffffff>

... tank/media@2013.03.11.19.25.41 ist ein data-snap.
Was ist denn jetzt kaputt?...kann ich den Snap löschen ohne Datein zu verlieren?

TIA,
Hominidae

 

[supemole]

Wenn ich nur wüsste wo ich nachgucken soll. Der Pool und die ZFS-Filesysteme funktionieren ja. Gibt es denn spezielle logs in denen die hard-errors der disks auftauchen?

 

[k0rben]

Die ganze Geschichte mit OI, Napp-it etc sollte ich doch eigentlich problemlos in einer vm testen können, oder? Paar virtuelle Platten erstellen und los geht das basteln..
Wollte mich jetzt auch endlich mal mit der zfs-Materie befassen.

 

[TCM]

Wenn ich nur wüsste wo ich nachgucken soll. Der Pool und die ZFS-Filesysteme funktionieren ja. Gibt es denn spezielle logs in denen die hard-errors der disks auftauchen?

Das wollte ich eigtl verdeutlichen. Es ist schön und gut, wenn man ein System zum Laufen kriegt. Am wichtigsten ist aber, dass man Ernstfall weiß, wie man zur Not zu Fuß zurechtkommt, ohne die Klickibunti-Oberfläche.

Klingt irgendwie nach einem Kabelproblem. Stutzig macht, dass eine Platte nicht betroffen ist und die Spare-Platte involviert ist. Ist denn ersichtlich, dass die Spare-Platte schon zu benutzen versucht wurde? Dann wäre es wiederum sehr merkwürdig, dass alle die gleiche Anzahl an Fehlern haben.

 

[St3fan]

Ich brauche euren Rat liebe ZFS User,
da ihr es nach langen Widerstand geschafft hab mich für einen Homeserver mit ZFS zu entscheiden brauche ich eure Hilfe.

Ich bin ziemlich Ratlos beim Thema Festplatten.

Da ich auf der einen Seite zwischen 3*3TB im RaidZ und 2*4TB im Mirror schwanke.

Welche Konfiguration würdet ihr empfehlen und warum?

Welche Festplatten soll ich Kaufen?

MfG

 

[supemole]

Das wollte ich eigtl verdeutlichen. Es ist schön und gut, wenn man ein System zum Laufen kriegt. Am wichtigsten ist aber, dass man Ernstfall weiß, wie man zur Not zu Fuß zurechtkommt, ohne die Klickibunti-Oberfläche.

Klingt irgendwie nach einem Kabelproblem. Stutzig macht, dass eine Platte nicht betroffen ist und die Spare-Platte involviert ist. Ist denn ersichtlich, dass die Spare-Platte schon zu benutzen versucht wurde? Dann wäre es wiederum sehr merkwürdig, dass alle die gleiche Anzahl an Fehlern haben.

Ich gebe Dir Recht, deshalb hatte ich auch bevor ich mit napp-it drauf geschaut habe, einiges untersucht. Da ich aber wenig Erfahrung mit Hardware habe stehe ich nun auf dem Schlauch. Ich werde mal die Kabel tauschen und sehen was passiert.


root@Solaris11:~# zpool status tank
pool: tank
state: ONLINE
scan: scrub repaired 0 in 0h0m with 0 errors on Sat Apr 6 10:09:40 2013
config:

NAME STATE READ WRITE CKSUM
tank ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
c0t50000F00071C9357d0 ONLINE 0 0 0
c0t50000F000B0A4094d0 ONLINE 0 0 0
c0t50024E90033D7114d0 ONLINE 0 0 0
c0t50024E90033D793Fd0 ONLINE 0 0 0
spares
c0t50024E90033D798Ed0 AVAIL

errors: No known data errors


root@Solaris11:~# iostat -exn
extended device statistics ---- errors ---
r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b s/w h/w trn tot device
0.4 0.6 7.1 11.7 0.0 0.0 0.8 1.0 0 0 0 0 0 0 c8t0d0
1.6 7.4 90.0 377.9 0.0 0.1 0.0 6.9 0 1 0 2940 0 2940 c0t50000F00071C9357d0
0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0 0 0 2940 0 2940 c0t50024E90033D798Ed0
1.6 7.4 90.1 377.9 0.0 0.0 0.0 4.3 0 1 0 2940 0 2940 c0t50024E90033D793Fd0
1.6 7.4 90.1 377.9 0.0 0.0 0.0 4.2 0 1 0 2940 0 2940 c0t50024E90033D7114d0
1.7 7.4 90.4 377.9 0.0 0.0 0.0 5.5 0 1 0 0 0 0 c0t50000F000B0A4094d0

 

[antilope114]

Da ich auf der einen Seite zwischen 3*3TB im RaidZ und 2*4TB im Mirror schwanke.

Welche Konfiguration würdet ihr empfehlen und warum?

Schau dir doch erstmal an wo genau die Unterschiede zw. den beiden Konfigurationen liegen?
Dann überlegst du dir, welches Setup wahrscheinlich besser zu deinen Anforderungen (die wir ja gar nicht kennen können?) passt.
Dann kannst du gerne nochmal gezielt nachfragen.

@supermole
Lasst mal das "X" weg bei iostat, also iostat -en.
Ist übersichtlicher.

 

[Gelöschtes Mitglied 184103]

Wenn deine WD TV Live Box DLNA-fähig ist und du OmniOS oder Openindiana nutzt, kannst du auch das Mediatomb AddOn für napp-it nutzen. Damit bekommst du einen vollwertigen Mediaserver (DLNA), mit dem du deine Mediendateien dirket von deinem ZFS-System streamen kannst.

Hallo,

ja das funktioniert auch einwandfrei, allerdings finde ich mich so nicht in meiner MP3-Sammlung zurecht, da mir Mediatomb keinen Zugriff auf die Ordnerstruktur gibt (evtl. Konfigurationssache, habe ich nicht weiter verfolgt).

Der Zugriff auf das SMB Share klappt jetzt auch seit 2 Tagen problemlos, seitdem ich auf meinem DC den Dienst Computerbrowser gestartet habe und nicht mehr die Medienbibliothek Funktion des WD Live verwende. Woran genau es jetzt gelegen hat, weiß ich nicht, werde aber auch nicht mehr dran rumschrauben. Warum man nicht einfach eine IP+Sharename und Credentials eingeben kann, wissen wohl auch nur die WD Leute...

edit: Kennt jemand zufällig einen guten (möglichst kostenlosen) Ipad DLNA Client? Ich benutze z.Z. Media Link Player Lite, allerdings öffnet der nur MP3s und ganz wenige Videos.

 

[Bzzz]

Die ganze Geschichte mit OI, Napp-it etc sollte ich doch eigentlich problemlos in einer vm testen können, oder? Paar virtuelle Platten erstellen und los geht das basteln..
Wollte mich jetzt auch endlich mal mit der zfs-Materie befassen.

Platten einzeln erstellen und nicht eine machen und den Rest daraus kopieren. Sonst haben die intern gleiche IDs

Performance ist damit natürlich nicht ansatzweise testbar. Und Plattenausfälle nur bedingt simulierbar. Zeug mutwillig überschreiben geht nur innerhalb der VM, direkt im Disk-File macht es gern mal unbrauchbar.

 

[gea]

Wenn ich nur wüsste wo ich nachgucken soll. Der Pool und die ZFS-Filesysteme funktionieren ja. Gibt es denn spezielle logs in denen die hard-errors der disks auftauchen?

Solange es keinen ZFS Fehler gibt, ist zunächst alles im grünen Bereich. Dennoch sind diese Iostat-Hard/Transfer Meldungen ein Indiz für ein künftiges Problem. Es ist aber auch für mich nach vielen Jahren immer ein Puzzlespiel um aus den Indizien auf ein Problem zu schließen.

Ich schaue da immer auf das Systemlog und den Faultmanager, vergleiche die unterschiedliche Daten mit dem Treiberinventar, führe einen Smartcheck durch und versuche aus den Symptomen auf das Problem zu schließen.

Eine Gui mit den entsprechenden Tools hilft da immens. Im Problemfall aus den 2m Handbuch die entsprechenden CLI Kommandos raussuchen, na danke. napp-it habe ich genau aus dem Grund für den Eigenbedarf begonnen.

Indizien (napp-it menus):
- Systen-Log
- System- Faults
- Disk - Smartmontools ..smarttest
- Disk - Details - Prtconfig (Inventar)

- Erfahrung...(was kann es sein, Fehler ausgrenzen etc, hat nichts mit dem jeweiligen OS zu tun)