[Sammelthread] ZFS Stammtisch

[barnacle2k]

das Openoffice Calc sheet kommt hierher:
Sample RAIDoptimizer output : Ramblings from Richard's Ranch

ist eigentlich für einen 48 disk server aber man kann oben
die gewünschte anzahl Vdevs und disks in den Vdevs einstellen.
Die daten sind Vorberechnet es wird also nur neu sortiert.

 

[DirkW]

Hab mir grad mal den Thread zu gemüte geführt und muß sagen das es auf jedenfall sehr interessant klingt, das ZFS Thema.

E: Ich hab da mal was nettes bei Youtube gefunden: ZFS in Aktion

 

[barnacle2k]

gea hat hier ein schöne zusammenfassung für ZFS mit Solaris geschrieben.
Gut zum einsteigen.

 

[baldi]

Mal angekommen ich verwende 4 * Raidz1 Arrays in einem Pool.
1 Platte im ersten Array fällt aus.

Wie lange würde dann das resilvering dauern? Hier wird dann nur das eine Raidz1-Array angegriffen/resilvered und beim restlichen Pool muss nix gemacht werden - soweit ich das richtig verstehe.

 

[negotiator]

Ich konfiguriere seit ein paar Tagen an eine NexentaStor Community Edition Installation. Das ganze läuft auf einem ESXi 4.1, an einem per Passthrough durchgereichten LSI1068E hängen 5 WD15EADS als RAID-Z. Die Einbindung in AD und CIFS-Freigaben laufen nach einigen Startschwierigkeiten.

Nun wollte ich mich daran machen, die Platten bei ausbleibenden Zugriffen (bei mir insb. Nachts) zu einem Spindown zu motivieren. /etc/power.cfg wurde nach diversen Beispielen aus dem Netz konfiguriert, doch die Platten fahren nicht herunter, da offensichtlich in regelmäßigen Abständen auf vom System diese zugegriffen wird (LEDs blinken).
Das System liegt auf einer anderen Platte, auf dem ZFS-Pool liegen lediglich die Shares, auf die jedoch nicht zugegriffen wurde. Wie kann ich nun feststellen, was und wer da systemseitig auf den Pool zugreift und wie kann ich es ggf. abstellen?

Vielen Dank vorab
Oliver

 

[Gelöschtes Mitglied 117520]

Servus,
nachdem nun mein neuer Intel SASUC8i angekommen ist, habe ich diesem auch gleich die "IT" Firmware von LSI verpasst - klappte prima.

Jetzt stellt sich mir die Frage: Macht es mehr Sinn:

a)
6x 1TB Hitachi onboard -> ZFS Pool A (Mediapool)
4x 1TB WD 10EADS LSI -> ZFS Pool B (Privat & Firmendaten)
3x 1.5TB WD EARS + 1x Samsung -> ZFS Pool C (Backup)

oder

b)
6x 1TB Hitachi + 4x WD 1TB 10EADS -> ZFS Pool A (alle Daten, mit mehreren Pools ineinander)
3x 1.5TB WD EARS + 1x Samsung -> ZFS Pool B (Backup)

zu verwenden.

Bei a) würde ich 3x RAIDz1 nehmen, bei b) bei den 10 Platten dann RAIDz2, bei den 4 eben RAIDz1 (Backup).

Was meint Ihr?

Die Hitachis sind onboard, die restlichen an dem LSI/Intel SASUC8i. Das Bootlaufwerk ist eine WD 160GB IDE.

 

[mlampe]

neue Hardware muss her...

Hallo zusammen,

In #185 hatte ich Ende November meine momentane Hardware meines ZFS basierten NAS incl. meiner Schwierigkeiten gepostet.

Installiert ist NexentaCore aktuell direkt auf einer 80GB 3.5" HDD mit den 3 x 2TB WD20EADS als Datenpool.

Mit iperf konnte ich zwischen einem Win7 Client und dem NAS zwischen 105 - 109 MB/s messen. Die Leistung ist zwar per CIFS Freigabe geringer, aber so habe ich das die letzten Wochen erstmal benutzt.

Ich habe festgestellt, dass ich nun doch die Virtualisierung (wie ich es ursprünglich auch geplant hatte) mit einem ESXi als Hypervisor nutzen möchte.
Ich möchte nämlich neben den Vorteilen des virtualisierten ZFS Betriebssystems auch 1-2 virtuelle Maschinen zusätzlich darauf installieren.
Damit das sinnvoll funktioniert wollte ich in dem 16x PCIe Steckplatz einen Intel SASUC8i Controller benutzen und diesen dann per vt-d weiterreichen.
Zu meinem Entsetzen werden, entgegen meiner recherchierten Informationen zu dem Mainboard, dort nur Grafikkarten unterstützt.

Daher ziehe ich jetzt einen Schlußstrich und lege mir neue Komponenten zu:

Supermicro X8SIL-F

Intel Xeon L3426 (4 x 1.86Ghz / 45W TDP)
oder
Intel Xeon X3430 (4 x 2.40Ghz / 95W TDP)
oder
Intel Xeon X3440 (4 x 2.53Ghz / 95W TDP)

32GB Kingston DDR3 1066 oder 1333 ECC
Intel SASUC8i Controller


Kingston search results for supermicro x8sil-f MB

Ich habe bei Kingston nach 8GB Modulen nachgesehen und Diese als kompatibel gefunden. Leider sind das nur 1066Mhz Module anstatt 1333Mhz.
Wenn ich das Handbuch zum Mainboard richtig verstehe, laufen 4 x 1066Mhz module dann nur noch mit 800Mhz.
Ist das richtig?



Zu der HW-Auswahl habe ich noch Fragen:

1. Welche der genannten CPU's wäre zu bevorzugen (auch bezogen auf den tatsächlichen Stromverbrauch)?
2. Könnte man (wegen dem Stromverbrauch ) eine z.B. X3430 CPU auf diesem Mainboard undervolten?
3. Gibt es anderen / "besseren" Speicher für das MB mit 1066 / 1333Mhz, der hier in Deutschland zu einem "humanen" Preis zu bekommen ist?

Das Lian-Li Q08 Gehäuse habe ich auf Micro-ATX Format gemodded und übernehme dies mitsamt dem Netzteil.

Gibt's es sinnvollere Komponenten als Basis?
Ich möchte mit der neuen Hardware "zukunftssicherer" sein und ohne Probleme Erweiterungen durchführen können
(OK, bei mehr als 6 oder eventuell auch 8 Festplatten wird das Q08 zu eng )

Ich wäre sehr dankbar für Meinungen / Kritik / Vorschläge

Gruß
mlampe

 

[DarkDeveloper]

Danke für die Zahlen.
Klingen intressant ... Wobei mir der MTTDL Wert "mir persönlich" nicht schlüssig ist. Ich empfinde Raidz1 schon kritischer als Raidz2 - egal in welchen Pool es betrieben wird.

Das ist es auch, die MTTDL für das RAID-Z2 ist 97412 Jahre, die 25 sind für einen Pool aus 2*10 RAID-Z1.
Das ist übrigens die MTTDL , in denen "bit rot" mit einkalkuliert ist. Ab und an ein "scrub" kann also nicht schaden.

 

[baldi]

Das ist es auch, die MTTDL für das RAID-Z2 ist 97412 Jahre, die 25 sind für einen Pool aus 2*10 RAID-Z1.

Dann schreib das bitte auch in deinen ersten Beitrag so rein ... dort steht nämlich 2 * Raidz2.

 

[barnacle2k]

Das sind Ja Verdammt viele fragen auf einmal...

Wie kann ich nun feststellen, was und wer da systemseitig auf den Pool zugreift und wie kann ich es ggf. abstellen?

Vielen Dank vorab
Oliver

Da du ja keinen X-Desktop hast würde mir nur DTRACE einfallen.
Da gibt es ein vorgefertigtes skript was tun sollte was du möchtest.
nennt sich iotop.
Schau mal HIER

Jetzt stellt sich mir die Frage: Macht es mehr Sinn:

a)

oder

b)

Würde zu A Tendieren.
Mischen von verschiedenen Platten sollte zwar nicht zu ausfällen führen aber Performancemässig dürfte das nicht das Optimum sein.
(zumindest wenns um Random Access geht)
Wenn die Performance nicht so wichtig ist kannst du es auch mit Lösung B versuchen.

Zu der HW-Auswahl habe ich noch Fragen:

1. Welche der genannten CPU's wäre zu bevorzugen (auch bezogen auf den tatsächlichen Stromverbrauch)?
2. Könnte man (wegen dem Stromverbrauch ) eine z.B. X3430 CPU auf diesem Mainboard undervolten?
3. Gibt es anderen / "besseren" Speicher für das MB mit 1066 / 1333Mhz, der hier in Deutschland zu einem "humanen" Preis zu bekommen ist?

Du kannst auf dem Board auch einen i3 oder i5 einsetzen (siehe meine config)
Dann hast du aber keinen support für REG ram, ECC geht aber.
Daher bist du auf 4 Module und 16GB beschränkt.
Undervolten GEHT NICHT mit diesen Serverboards.
Und DDR3 ECC REG Speicher gibt es SEHR günstig bei Ebay.
Zum runtertakten des RAMs:
Bei meinem Board stand zwar auch im Handbuch das er Runtertaktet.
Der Speicher läuft aber trotzdem mit 1333Mhz bei 4 Unbuffered Modulen.

 

[DirkW]

Servus, ich könnt mal eure Hilfe gebrauchen, ich bekomm Nexentastor nicht vom USB Stick installiert.

Könntet ihr mir helfen, danke

 

[barnacle2k]

Ohne detailliertere Informationen können wir dir nicht helfen.

Kristallkugel Lösung:
Brenn es auf eine CD...


Baldi und DarkDeveloper: Fragwürdiger Beitrag gelöscht.

 

[DarkDeveloper]

Dann schreib das bitte auch in deinen ersten Beitrag so rein ... dort steht nämlich 2 * Raidz2.

Das ist nicht mein Beitrag, ich fand die Werte auch nur sehr merkwürdig.

 

[DirkW]

Ohne detailliertere Informationen können wir dir nicht helfen.

Kristallkugel Lösung:
Brenn es auf eine CD...

Ähm, Nein, nen Laufwerk existiert net, des wäre ja zu einfach.

Wie muß ich denn den Stick einstellen, damit die Inst. startet, am Rechner kommt die Meldung BootMgr fehlt, das kenn ich doch von Windows??

 

[layerbreak]

Würd gern mein Horizont erweitern: OpenIndiana 148 oder Solaris 11 Express? Was ist besser unterstützt?

OpenIndiana ist einer der "Nachfolger" von OpenSolaris und OpenSource. Sol11Exp ist jetzt CloseSource und nur für den privaten Gebrauch kostenfrei. Du darfst laut EULA nicht mal deine Geschäftsdaten drauf speichern.

Mit Erscheinen von Sol11Exp sind die ZFS Versionen ab v28 nicht mehr zueinander kompatibel - zumindest was die neuen Features betrifft. Bei Oracles Crypto ZFS liegt der Code auch nicht offen - so kann niemand überprüfen, ob nicht doch ein Backdoor mit eingebaut wurde, um die US-staatlichen Forderungen zu erfüllen.

 

[Gr3yh0und]

Tendiere gerade zur Solaris 11 Express Version, da mein ZFS Pool aktuell eh 26 ist und ich nicht vorhabe ihn upzugraden, dürfte ich ja weiterhin dann wechseln können. (Erstellt per Nexenta)
Nexenta ist halt gefühlt nur sehr festgeschnürt auf Data Storage - Ich wollte einige weitere Geschichten wie Virtualbox, PHP etc machen und war aufgrund der Packages schon aufgeschmissen. Das würde ich eigentlich gerne umgehen. (Meine Hoffnung auf mehr Support seitens dem offiziellem Solaris)

 

[layerbreak]

Tendiere gerade zur Solaris 11 Express Version, ...
(Meine Hoffnung auf mehr Support seitens dem offiziellem Solaris)

Die Hoffnung stirbt zuletzt.
Wenn du die Seiten Oracles mal genau liest, stellst du fest, dass Support nur gegen Bares gibt.
Schau dir die opensolaris-Foren an - die sind seit der Übernahme so gut wie Tod. Selten meldet sich mal ein Oracle Mitarbeiter und gibt Antworten.

 

[DirkW]

Neue Nachrichten von der USB-Stick Front, hab irgendwo gelesen, das es wohl nur unter Solaris-Maschinen möglich ist, einen Bootfähigen USB-Stick zu erstellen.

Nun ja, die Inst. läuft trotzdem, blieb mir nix anderes übrig als ein CD Laufwerk nachzurüsten.

Gruß Dirk

 

[Gelöschtes Mitglied 117520]

Würde zu A Tendieren.
Mischen von verschiedenen Platten sollte zwar nicht zu ausfällen führen aber Performancemässig dürfte das nicht das Optimum sein.
(zumindest wenns um Random Access geht)
Wenn die Performance nicht so wichtig ist kannst du es auch mit Lösung B versuchen.

Danke! Habe ich auch feststellen müssen Die Uploadraten knickten ungewöhnlich ein - jetzt wo ich die 6x Hitachis solo als RAIDz1 laufen habe, ist der Upload stabil bei ~100MB/s, der Download bei ~95MB/s (16GB MKV Testdatei ).

Aber mal eine Fragen an die Nexperten hier: Wie bitte kann ich die Temperaturen meines Systems aus Nexenta heraus abbilden? hddtemp geht nicht und mbm finde ich auch nicht. Gibt's da eine Lösung für?

Virtualisierungssoftware läuft nur per qemu, wenn ich das richtig gelesen habe, oder?

Sorry für den Fragemarathon

 

[layerbreak]

Danke! Habe ich auch feststellen müssen Die Uploadraten knickten ungewöhnlich ein - jetzt wo ich die 6x Hitachis solo als RAIDz1 laufen habe, ist der Upload stabil bei ~100MB/s, der Download bei ~95MB/s (16GB MKV Testdatei ).

Aber mal eine Fragen an die Nexperten hier: Wie bitte kann ich die Temperaturen meines Systems aus Nexenta heraus abbilden? hddtemp geht nicht und mbm finde ich auch nicht. Gibt's da eine Lösung für?

Virtualisierungssoftware läuft nur per qemu, wenn ich das richtig gelesen habe, oder?

Sorry für den Fragemarathon

DieTa, du hast dir doch ein z1 und z2 pools erstellt. Wenn ich mich richtig erinnere sind diese pools über 10 HDs. Hast du schon mal ein scrubbing gemacht und kannst hier berichten wie lange Dies gedauert hat. Mit Angabe zur Gesamtspeicherplatz und genutztem Platz.

Jetzt zu deiner Frage:
Ich kenn hddtemp und mbm nicht, sind sie unter Debian lauffähig?
Nexenta ist auf Basis Debian/Ubuntu, also kannst du auf Konsolenebene doch auch Programme installieren. Dies wird aber von Nexenta nicht supported.

Wenn du auf der Konsole

option expert_mode=1
!bash

eintippst, bist du aus NMS raus und kann die Progis Debian-mässig installieren.

Der expert_mode ist bis zum nächsten Restart gültig, wenn du dauerhaft haben willst, musst du

option expert_mode=1 -s

eingeben.

 

[Gelöschtes Mitglied 117520]

DieTa, du hast dir doch ein z1 und z2 pools erstellt. Wenn ich mich richtig erinnere sind diese pools über 10 HDs. Hast du schon mal ein scrubbing gemacht und kannst hier berichten wie lange Dies gedauert hat. Mit Angabe zur Gesamtspeicherplatz und genutztem Platz.

Ich muss gestehen, dass war eine Sache von ~5h in der ich das probiert habe Ich habe diesen Server heute erst frisch aufgesetzt und damit meinen Interims-Debian-SW RAID5 in Rente geschickt.

Insofern gab es auch nichts zu scrubben.

10 Platten = RAIDz2
vs.
6 Platten = RAIDz1

Jetzt zu deiner Frage:
Ich kenn hddtemp und mbm nicht, sind sie unter Debian lauffähig?
Nexenta ist auf Basis Debian/Ubuntu, also kannst du auf Konsolenebene doch auch Programme installieren. Dies wird aber von Nexenta nicht supported.

Wenn du auf der Konsole

option expert_mode=1
!bash

eintippst, bist du aus NMS raus und kann die Progis Debian-mässig installieren.

Der expert_mode ist bis zum nächsten Restart gültig, wenn du dauerhaft haben willst, musst du

option expert_mode=1 -s

eingeben.

Hmm... sehr interessant, allerdings kennt mein Nexenta den Befehl "option" nicht:

root@nexentatest:/usr/share/munin# option expert_mode=1
bash: option: command not found

 

[layerbreak]

Ich muss gestehen, dass war eine Sache von ~5h in der ich das probiert habe Ich habe diesen Server heute erst frisch aufgesetzt und damit meinen Interims-Debian-SW RAID5 in Rente geschickt.

Insofern gab es auch nichts zu scrubben.

10 Platten = RAIDz2
vs.
6 Platten = RAIDz1

Dann teste das mal. Im zfs-discuss ist dies alle paar Wochen ein Thema, wenn mal wieder eine HD stirbt und gegen eine Neue ausgetauscht wird. Dann dauert das resilvering je nach Anzahl der HDs und gespeicherten Menge viele Stunden bzw. mehrere Tage.

Hmm... sehr interessant, allerdings kennt mein Nexenta den Befehl "option" nicht:

root@nexentatest:/usr/share/munin# option expert_mode=1
bash: option: command not found

Du bist ja auch schon auf Unix Ebene.

Auf Nexenta Ebene sieht es so aus:

nmc$ option expert_mode=1

 

[Gelöschtes Mitglied 117520]

Ach daher die Unstimmigkeit. Ich habe NexentaCore (NCP) und NICHT NexentaStor installiert Ich denke deswegen finde ich das nicht.

 

[layerbreak]

Ok, kommte ich nicht ahnen.

Übrigens ich hatte das gleiche Asus Board und LSI Karte verbaut wie du. Auch lief die LSI nicht richtig.
LSI teilte mir mit, dass das am Asus Board bzw. an deren Bios liegt. Die PCIe sind auf Graphikkarten im Bios programmiert, daher geht z.B. der AHCI Modus nicht. Asus Support hat mir zweimal ein angepasstes Bios per eMail mir geschickt - aber ohne Erfolg.

Ich habs dann im Nov aufgegeben, da mir NexentaStor auch immer in Maintenance ging. Zur Zeit stelle ich mir meine Hardware zusammen und fange dann von vorne nochmals an.

So langsam wird dieser Thread ziemlich unübersichtlich. Vielleicht lassen sich die Mods erweichen hier im (Home-) Server/Workstation Forum ein Unterforum für ZFS zu erstellen. Ich würde dann gerne meine Zusammenstellung vorstellen.

 

[Gelöschtes Mitglied 117520]

Hmm steht aber in der Signatur :P

Also ich habe (mit frisch geflashter IT-Firmware) festgestellt, dass ich den Controller im eigenen BIOS für das Board-BIOS/Boot komplett deaktivieren musste - ansonsten hing sich auch beim Gigabyteboard der AHCI Scan weg. Immerhin komme ich auf dem Gigabyteboard aber überhaupt ins BIOS. Vielleicht mal als wichtige Info für alle Intel SASUC8i bzw. LSI1068E User hier

Ja ich denke auch das ZFS recht wichtig ist und immer mehr wird. Gut - ich habe jetzt einiges auf Nexenta was nicht so läuft wie ich es gerne hätte, bin aber froh nach einer sehr langen Odyssee (kannst gerne meine Projekte durchscannen) endgültig ein System zu haben was sicher ist (Yey!).

Nur eines geht mir etwas auf den Zeiger - die Tastenbelegung im System - Solaris-typisch denke ich, denn Backspace ist Entf. - gibt's da ne Einstellung? Lustiger Weise ist das nämlich nicht nur unten am Server direkt, sondern auch hier im Terminal auf meinem Mac Pro der Fall

 

[underclocker2k4]

@Unterforum Sowas wird es nicht geben. Das ist halt nen "Sammelthread" und da geht es aktuell schlag auf schlag, weil ihr alle so "geil" auf ZFS seid. Aber die Ausmaße sind nicht so, dass man dafür nen extra Forum braucht. Dazu ist das Thema als solches zu klein.

Du kannst gerne einen Thread aufmachen mit deiner Zusammenstellung. Und wenn alles läuft, wollen wir HW Fotos im Bilderthread hier sehen.

 

[layerbreak]

@Unterforum Sowas wird es nicht geben. Das ist halt nen "Sammelthread" und da geht es aktuell schlag auf schlag, weil ihr alle so "geil" auf ZFS seid. Aber die Ausmaße sind nicht so, dass man dafür nen extra Forum braucht. Dazu ist das Thema als solches zu klein.

Du kannst gerne einen Thread aufmachen mit deiner Zusammenstellung. Und wenn alles läuft, wollen wir HW Fotos im Bilderthread hier sehen.

Schade.
Dachte an so was wie "Server/Workstation Profibereich" - dann halt Server/Workstation ZFS.

ZFS ist halt auch geil und hat so viele Vorteile gegenüber einen HW-Raid. Der einzige Nachteil, den ich sehe, ist halt die steile Lernkurve, wenn man aus der Klicki-bunti-Welt kommt.

 

[Gr3yh0und]

Wollte eigentlich den Thread hier bis Weihnachten übernommen haben, aber bin nicht dazu gekommen. Meine Ferien sind leider auch sogut wie rum und dank Krankheit auch verloren. Da jetzt Klausuren anstehen wirds erstmal eng.

Hätte mir vorgestellt dass man mal paar Configs einfach sammelt wies rennt - am besten mal mit ner Handvoll brauchbarer Benchmarks/Leistungsaufnahmen - damit man nen Ansatzpunkt hat. Die würd ich dann mit in den ersten Thread aufnehmen und hier mal eine verstärkte ZFS bzw. Solarisfront einziehen

 

[baldi]

Aber mal eine Fragen an die Nexperten hier: Wie bitte kann ich die Temperaturen meines Systems aus Nexenta heraus abbilden? hddtemp geht nicht und mbm finde ich auch nicht. Gibt's da eine Lösung für?

Du kannst dir smartmontools installieren, damit kannst du jede Menge Infos einer Festplatte auslesen (u.a. Temperatur).

Eine kleine Anleitung + Script um nur die Temperaturen auzulesen findest du hier:
Home Fileserver: Drive temps
Ich selber verwende im Moment smartmontools-5.39.1 auf Nexenta.

//edit:
will grad eine festplatte formatieren ->

Ready to format. Formatting cannot be interrupted
and takes 7631 minutes (estimated)

dauert aber zimlich lange?! :-/
Ist das low-level formatieren?

 

[Gelöschtes Mitglied 117520]

Du kannst dir smartmontools installieren, damit kannst du jede Menge Infos einer Festplatte auslesen (u.a. Temperatur).

Eine kleine Anleitung + Script um nur die Temperaturen auzulesen findest du hier:
Home Fileserver: Drive temps
Ich selber verwende im Moment smartmontools-5.39.1 auf Nexenta.

Danke für die Info! Musste auf apt-get zurückgreifen, aber läuft nun. Habe eine kleine Anleitung gebloggt auf Nexenta angepasst (denn der Source ist nicht mehr verfügbar für Solaris): Nexenta and HDD temperatures « klein2 blog