[Sammelthread] ZFS Stammtisch

[bluesunset]

*lol* wann hast du auf einen 3-way mirror umgestellt?
Diese Meldung ist nichtssagend, lass mal langen smart Selbsttest laufen. Dürfte bei den 3TB Platten bis morgen dauern...

 

[antilope114]

Wann oder warum?
Habe eine ST33000651SS für 140 bekommen - da konnte ich nicht nein sagen. Hoffe mal, dass ich jetzt das GbE bei seq. Lesetransfers in die Sättigung treiben kann Bisher war das max sequentiell ~80 MB/s.

Den smartctl long self-test lass' ich dann mal laufen sobald das resilvering abgeschlossen ist.

 

[bluesunset]

80MB/sec ist schon etwas mager. Das lief auf einer 15k SCSI Fujitsu schon mit XFS besser. (115MB/sec max.) - mein Backup(P3)server.

 

[antilope114]

Sind halt 7,2k- Laufwerke... Dazu muss man aber fairerweise sagen, dass der Pool relativ voll ist (~90% cap) - auf absehbare Zeit wird das also eher ein Raid10 als ein 3-way mirror werden. Aber erstmal benchen mit der jetztigen Config, dann weitersehen.

 

[aschrate]

Seit Längerem dauert bei mir der zfs scrub der ersten 1-2 GByte realtiv lange (150Kbytes/s ca.). Danach geht es auf >80-90M/s hoch bzw. läuft in etwa 9 Stunden durch bei 2,6 TB Nutzdaten.

Gleiches fällt mir jetzt beim resilvern auf - auch nur 50-200K/s.

sowas hatte ich auch mal, dann habe ich im io-monitor gesehen, das eine platte viele waits verursacht hat. nach tausch der betreffenden platte war's dann wieder OK. die platte wurde auch problemlos getauscht.

 

[RobertJ]

Ich hänge mich hier mal rein.Hoffe es passt.

Zur Zeit habe ich einen SBS2011 Essentials am laufen.Da ich ja experimentierfreudig bin,habe ich mir mal ein paar Linuxlösungen angeschaut.
Werde aber nicht so wirklich schlau.

ZFS wäre dann natürlich schon toll.
Jetzt haben ja WHS2011 und die SBS2011-Server so eine schöne Remote Web Access Seite mit persönlicher Domaineinbindung.
Gibt es sowas auch bei den ganzen Linuxlösungen?
Einfach von außen über die Domain erreichbar inkl. SSL so wie jetzt beim meinem SBS.

 

[van_haakonnen]

Ich hätte da auch mal eine kleine Frage an euch:
Ich habe bisher ein ZFS aus 4 Festplatten die wie folgt konfiguriert sind: mirror groups: 2, devices: 4

Kann ich nun z.B. vier weitere Festplatten hinzufügen in den Haupt-Mirror (jeweils wieder mit 2x2) vergrößren und den verfügbaren Speicherplatz damit erweitern? Ist ZFS so "schlau" und verteilt die Daten über die freien Festplatten neu um auch die Performance zu verbessern?

 

[bluesunset]

ZFS unterstützt kein rebalancing!

 

[ron2105]

Hallo,


@van_Haakonnen
die Daten werden nicht durch einen speziellen Mechanismus verteilt, sondern verteilen sich "von selbst" durch COW, funktioniert natürlich nur wenn Daten gelesen und wieder geschrieben werden. Werden Daten immer nur dazu geschrieben, dann in Zukunft, abhängig von der jetzigen Belegung, erst einmal fast nur auf die neuen vdev (2 neue mirror).

Gruß
Ron

 

[van_haakonnen]

Okay. Danke für eure Antworten!

 

[XTaZY]

Ich würde gern demnächst ein ZFS Storage ( Solaris 11 + napp-it ) in Betrieb nehmen ...

Aufteilen würde ich das ganze gerne so:

8 HDD -> Stroage ( raidz2 )
4 HDD + 2 SSD -> Applikationen, NFS-Share, etc. ( raidz1 + write- & read-cache )

Vielleicht könnt ihr mir da ein ein paar Fragen beantworten

Ich wollte am Anfang erstmal nur mit 3 oder 4 Festplatten für den Storage ( raidz2 ) kaufen.
Kann ich dem raidz2-pool ohne Probleme mit den restlichen 4 Festplatten erweitern ?

Gibt es Probleme bei HDDs mit 4KB-Sektoren ?

Was würde im Falle eines Ausfalles der SSDs, die als Read- und Write-cache fungieren, passieren ?
Würden meine Daten meines raidz1-pools flöten gehen ?

Unterstützt Napp-It und Solaris 11 Port-Trunking ?

Ist die Betriebssystem-Installation bei einem 24/7-Betrieb auf einen USB-Stick zu empfehlen oder soll ich besser auf zwei kleine Festplatten ( raidz1 ) installieren ?



Würde mich über ein paar Fragen freuen, vorallem bin ich neu auf dem Sektor das Thema interessiert mich schon sehr

 

[gea]

Ich würde gern demnächst ein ZFS Storage ( Solaris 11 + napp-it ) in Betrieb nehmen ...

Aufteilen würde ich das ganze gerne so:

8 HDD -> Stroage ( raidz2 )
4 HDD + 2 SSD -> Applikationen, NFS-Share, etc. ( raidz1 + write- & read-cache )

Vielleicht könnt ihr mir da ein ein paar Fragen beantworten

Ich wollte am Anfang erstmal nur mit 3 oder 4 Festplatten für den Storage ( raidz2 ) kaufen.
Kann ich dem raidz2-pool ohne Probleme mit den restlichen 4 Festplatten erweitern ?

Ein Pool läßt sich durch Hinzufügen weiterer vdevs (Ein vdev ist eine Platte, Ein Mirror oder ein Raid-Z) erweitern. Ein optimaler Raid-Z2 Pool würde aber eher aus 6 Platten bestehen.

Ein Raid-Z vdev selber läßt sich nicht erweitern.

Gibt es Probleme bei HDDs mit 4KB-Sektoren ?

Probleme: nein, es gibt aber einen Geschwindigkeitsverlust falls der Pool die 512B Emulation nutzt

Was würde im Falle eines Ausfalles der SSDs, die als Read- und Write-cache fungieren, passieren ?
Würden meine Daten meines raidz1-pools flöten gehen ?

Read-cache: es passiert garnichts, der extra Cache fehlt halt
Write Cache (besser Log-device nennen): Es passiert nichts, es sei denn, dass ein Stromausfall
beim Schreiben auftritt und das Logdevice kaputtgeht. Dann sind die letzten 5s Schreiben verloren.

Unterstützt Napp-It und Solaris 11 Port-Trunking ?

napp-it: nein
Solaris: ja

muss man dann halt per CLI einrichten

Ist die Betriebssystem-Installation bei einem 24/7-Betrieb auf einen USB-Stick zu empfehlen oder soll ich besser auf zwei kleine Festplatten ( raidz1 ) installieren ?

nein. Solaris läuft nicht aus dem RAM und von USB wird es dabei unerträglich langsam.

 

[XTaZY]

Ein Pool läßt sich durch Hinzufügen weiterer vdevs (Ein vdev ist eine Platte, Ein Mirror oder ein Raid-Z) erweitern.



Probleme: nein, es gibt aber einen Geschwindigkeitsverlust falls der Pool die 512B Emulation nutzt



Read-cache: es passiert garnichts, der extra Cache fehlt halt
Write Cache (besser Log-device nennen): Es passiert nichts, es sei denn, dass ein Stromausfall
beim Schreiben auftritt und das Logdevice kaputtgeht. Dann sind die letzten 5s Schreiben verloren.


napp-it: nein
Solaris: ja

muss man dann halt per CLI einrichten



nein. Solaris läuft nicht aus dem RAM und von USB wird es dabei unerträglich langsam.

Danke für die ausführliche Antwort, gea !

 

[AG1M]

Kann ich nur bestätigen, ich hatte mal Solaris auf einem USB Stick mirror laufen, das ging war aber alles als optimal und ist nicht zu empfehlen (wirklich träge). 2 kleine HDDs als mirror ist die bessere Wahl.

 

[XTaZY]

Kann ich nur bestätigen, ich hatte mal Solaris auf einem USB Stick mirror laufen, das ging war aber alles als optimal und ist nicht zu empfehlen (wirklich träge). 2 kleine HDDs als mirror ist die bessere Wahl.

Dann wird es wohl ein raidz1-pool aus zwei 2,5" 160GB-Festplatten

Napp-It unterstützt momentan noch nicht die Powermanagement-Funktionen von Solaris.
Dennoch müsste ich doch per CLI angeben können, dass die Stromspar-Funktion ( z.B. HDD-Spindown ) nach einer gewissen Zeit durchgeführt werden, oder ?

Solaris 11 kann den Arbeitsspeicher als zusätzlichen Schreibcache nutzen - nimmt er von Haus aus den ganzen Speicher oder müssen hier noch Einstellungen getroffen werden ?

Angedachte Hardware:
- Intel Xeon E3-1220L
- 16GB Kingston DDR3-ECC
- ASUS P8B-C/SAS/4L
- 8x Hitachi Deskstar 7K3000 2TB

 

[gea]

Dann wird es wohl ein raidz1-pool aus zwei 2,5" 160GB-Festplatten

Napp-It unterstützt momentan noch nicht die Powermanagement-Funktionen von Solaris.
Dennoch müsste ich doch per CLI angeben können, dass die Stromspar-Funktion ( z.B. HDD-Spindown ) nach einer gewissen Zeit durchgeführt werden, oder ?

Solaris 11 kann den Arbeitsspeicher als zusätzlichen Schreibcache nutzen - nimmt er von Haus aus den ganzen Speicher oder müssen hier noch Einstellungen getroffen werden ?

Angedachte Hardware:
- Intel Xeon E3-1220L
- 16GB Kingston DDR3-ECC
- ASUS P8B-C/SAS/4L
- 8x Hitachi Deskstar 7K3000 2TB

Disk Powermanagement:
wird von Solaris 11 derzeit (im Gegensatz zu OI) nicht unterstützt

Cache
Solaris/ OI nutzt freien Speicher als Cache per default

Mainboard
Ich mag zwar Asus bei Desktops, würde aber bei Servern SuperMicro bevorzugen
Zudem hat das Asus jede Menge alte langsame 32 Bit PCI Slots aber nur zwei schnelle PCI-e.
Hat das einen Grund?

 

[XTaZY]

Disk Powermanagement:
wird von Solaris 11 derzeit (im Gegensatz zu OI) nicht unterstützt

Cache
Solaris/ OI nutzt freien Speicher als Cache per default

Mainboard
Ich mag zwar Asus bei Desktops, würde aber bei Servern SuperMicro bevorzugen
Zudem hat das Asus jede Menge alte langsame 32 Bit PCI Slots aber nur zwei schnelle PCI-e.
Hat das einen Grund?

Das heisst zum jetzigen Stand der Software würden die Festplatten also dauerhaft laufen ?
Zu OpenIndiana wollte ich eigentlich nicht greifen weil ich gerne die ZFS-Verschlüsselung von Solaris 11 nutzen würde.

Ich hab mich für das Asus entschieden weil der SAS-Controller schon integriert ist und 4 Intel NICs Onboard sind.
Ich benötige eigentlich nur ein PCIe-Slot für eine zusätzliche InfiniBand-Karte.

Ist es empfehlenswerter zu einem SuperMicro-Board und einen seperaten RAID-Controller ( z.B. Intel SASUC8I ) zu verbauen ?

 

[gea]

Das heisst zum jetzigen Stand der Software würden die Festplatten also dauerhaft laufen ?
Zu OpenIndiana wollte ich eigentlich nicht greifen weil ich gerne die ZFS-Verschlüsselung von Solaris 11 nutzen würde.

Ich hab mich für das Asus entschieden weil der SAS-Controller schon integriert ist und 4 Intel NICs Onboard sind.
Ich benötige eigentlich nur ein PCIe-Slot für eine zusätzliche InfiniBand-Karte.

Ist es empfehlenswerter zu einem SuperMicro-Board und einen seperaten RAID-Controller ( z.B. Intel SASUC8I ) zu verbauen ?

- Ja Platten laufen bei Solaris 11 dauerhaft (wobei ein Spin-down bei OI auch sehr lange zum
Aufwachen braucht)
- Unter OI könnte man Verschlüsselung auf encrypted devices und Pool V28 machen -
die lassen sich sogar extern sichern - ohne die ZFS Sicherheitsfeatures zu verlieren
- SuperMicro und Solaris ist die übliche und mit Abstand meistgenutze/ getestete Kombination
- Intel SASUCI würde ich nicht mehr nehmen (LSI 1068 Chipsatz, nur 3G und max 2 TB),
billigste Option mit LSI 2008 ist IBM 1015
- SAS Controller sollte nach Möglichkeit mit IT Firmware geflasht werden

 

[XTaZY]

- Ja Platten laufen bei Solaris 11 dauerhaft (wobei ein Spin-down bei OI auch sehr lange zum
Aufwachen braucht)
- Unter OI könnte man Verschlüsselung auf encrypted devices und Pool V28 machen -
die lassen sich sogar extern sichern - ohne die ZFS Sicherheitsfeatures zu verlieren
- SuperMicro und Solaris ist die übliche und mit Abstand meistgenutze/ getestete Kombination
- Intel SASUCI würde ich nicht mehr nehmen (LSI 1068 Chipsatz, nur 3G und max 2 TB),
billigste Option mit LSI 2008 ist IBM 1015
- SAS Controller sollte nach Möglichkeit mit IT Firmware geflasht werden

Ein HDD-Spindown wäre sehr vorteilhaft, da der Server ja recht sparsam sein sollte.
Glaubst du die HDD-Spindown oder generell die Energiesparmechanismen werden später noch folgen ?

Ich glaub ich werd erstmal alles auf mich zukommen lassen ... am Ende kommt es wieso wieder zu etwas anderem

Der LSI 2008-Controller ist genau der SAS-Controller, der direkt auf dem Asus-Board sitzt.
Die passende Firmware zum Flashen des Controllers hab ich mir schon rausgesucht.

 

[antilope114]

Zudem hat das Asus jede Menge alte langsame 32 Bit PCI Slots aber nur zwei schnelle PCI-e.
Hat das einen Grund?

Ich denke mal die 4 Intel NICs sind schon alle über PCIe angebunden, das wird der Grund sein.

Ich würde aber auch das Asus nicht kaufen. Selbst wenn du (warum auch immer) 4 onBoard Nics brauchst würde ich ein Supermicro X9SCI-LN4 kaufen. Mit separatem LSI Controller (z.B. m1015 oder AOC-USAS2-L8i) liegst du preislich in etwa gleich auf mit dem Asus hast aber den Vorteil erwiesener Stabilität.

Alternative 2: Supermicro X9SCM-* - bist du flexibler, was die Belegung der PCIe-Steckplätze angeht. Intel GBit-Adapter gibt es ab 20 EUR.

 

[Digi-Quick]

Gibt es Probleme bei HDDs mit 4KB-Sektoren ?

Probleme: nein, es gibt aber einen Geschwindigkeitsverlust falls der Pool die 512B Emulation nutzt

Es gibt doch gar keine 4K Platten ohne 512byte Emulation (ist halt im Plattencontroller fest integriert) deswegen heissen die ja auch AF/4K Platten (Advanced Format) wobei ich mich frage, was an einer Emulation fortschrittlich sein soll .
Für das richtige Alignment ist das OS verantwortlich.

 

[AG1M]

Mal eine kleine Frage, wenn ich einen ZFS pool (zfs v5, zpool v28) expotiere und dann mit einem OS ala Solaris 11 / Express was ja normal zpool v33 bzw. v31 hat, importieren möchte - geht das ohne Probleme? Oder ist das nicht möglich?

 

[antilope114]

Mal eine kleine Frage, wenn ich einen ZFS pool (zfs v5, zpool v28) expotiere und dann mit einem OS ala Solaris 11 / Express was ja normal zpool v33 bzw. v31 hat, importieren möchte - geht das ohne Probleme? Oder ist das nicht möglich?

Das geht. Allerdings nicht umgekehrt. Von daher, wenn du irgendwann doch wieder auf OI umsteigen willst (die entwickeln zfs ja jetzt sozusagen quasi "parallel" zu Oracle weiter) die Pools lieber nicht upgraden.

 

[XTaZY]

Ich denke mal die 4 Intel NICs sind schon alle über PCIe angebunden, das wird der Grund sein.

Ich würde aber auch das Asus nicht kaufen. Selbst wenn du (warum auch immer) 4 onBoard Nics brauchst würde ich ein Supermicro X9SCI-LN4 kaufen. Mit separatem LSI Controller (z.B. m1015 oder AOC-USAS2-L8i) liegst du preislich in etwa gleich auf mit dem Asus hast aber den Vorteil erwiesener Stabilität.

Alternative 2: Supermicro X9SCM-* - bist du flexibler, was die Belegung der PCIe-Steckplätze angeht. Intel GBit-Adapter gibt es ab 20 EUR.

Ich glaub ich werd zu den Komponenten greifen, da ich hier auch noch eine Intel Dual-NIC PCIe-Netzwerkkarte rumliegen habe:

Supermicro X9SCM-F Bulk, C204 | Geizhals.at Deutschland



Supermicro AOC-USAS2-L8i, PCIe 2.0 x8 | Geizhals.at Deutschland

Den Controller muss auch mit einer "Custom Firmware" geflashed werden oder ?

 

[antilope114]

Ich glaub ich werd zu den Komponenten greifen, da ich hier auch noch eine Intel Dual-NIC PCIe-Netzwerkkarte rumliegen habe:

Supermicro X9SCM-F Bulk, C204 (Sockel-1155, dual PC3-10667E DDR3) | Geizhals.at Deutschland

Ich kann irgendwie kein großen Unterschied zwischen den 4 Board-Versionen erkennen.
( Supermicro X9SCM | Geizhals.at Deutschland )

Das X9SCM-F hat zusätzlich IPMI Unterstützung. Würde das empfehlen. Ob Bulk oder Retail macht keinen Unterschied (Retail hat i.d.R. mehr Zubehör)

Ich glaub ich werd zu den Komponenten greifen, da ich hier auch noch eine Intel Dual-NIC PCIe-Netzwerkkarte rumliegen habe:

Supermicro AOC-USAS2-L8i, PCIe 2.0 x8 | Geizhals.at Deutschland

Den Controller muss auch mit einer "Custom Firmware" geflashed werden oder ?

Ja, ist aber i.d.R. auch nur eine Sache von wenigen Minuten.

 

[XTaZY]

Das X9SCM-F hat zusätzlich IPMI Unterstützung. Würde das empfehlen. Ob Bulk oder Retail macht keinen Unterschied (Retail hat i.d.R. mehr Zubehör)




Ja, ist aber i.d.R. auch nur eine Sache von wenigen Minuten.

Ich hab mein Beitrag schon editiert gehabt weil ich den Unterschied doch entdeckt hatte

Gut dann werd ich mal den sicheren Weg gehen und mir die Hardware von Supermicro zulegen.
Hoff nur dass sich mein RAM mit dem Board verträgt ...

Danke für die Hilfe

 

[antilope114]

Noch ein Tipp: die USAS2-l8i hat standardmäßig keine ATX-Blende sondern ist für UIO ausgelegt. Je nachdem wo man kauft. Bei eBay habe ich sie auch schon mit Standard-PCI-Blende gesehen.

Also sowas hier brauchst du ggf. oder du machst die Karte mit Draht fest, je nachdem was du für Anforderungen hast.
9203 Keystone Electronics | Mouser

Falls dir das zuviel Stress ist: M1015 auf 9211-8i umflashen

http://www.ebay.de/itm/IBM-ExpressS...Controller&hash=item231f40f066#ht_2367wt_1065

 

[XTaZY]

Noch ein Tipp: die USAS2-l8i hat standardmäßig keine ATX-Blende sondern ist für UIO ausgelegt. Je nachdem wo man kauft. Bei eBay habe ich sie auch schon mit Standard-PCI-Blende gesehen.

Also sowas hier brauchst du ggf. oder du machst die Karte mit Draht fest, je nachdem was du für Anforderungen hast.
9203 Keystone Electronics | Mouser

Falls dir das zuviel Stress ist: M1015 auf 9211-8i umflashen

IBM ExpressSeller ServeRaid-M1015 M1015 SAS/SATA Controller =46M0831 0883436127332 | eBay

Danke für den Tipp - ich schau mich mal um

 

[gea]

Ich glaub ich werd zu den Komponenten greifen, da ich hier auch noch eine Intel Dual-NIC PCIe-Netzwerkkarte rumliegen habe:

Supermicro X9SCM-F Bulk, C204 | Geizhals.at Deutschland



Supermicro AOC-USAS2-L8i, PCIe 2.0 x8 | Geizhals.at Deutschland

Den Controller muss auch mit einer "Custom Firmware" geflashed werden oder ?

AOC-USAS2-L8e wäre der richtige mit IT Firmware, aber etwas Bastelei oder Kabelbinder nötig..
Super Micro Computer, Inc. - Products | Accessories | Add-on Cards | AOC-USAS2-L8e

 

[XTaZY]

AOC-USAS2-L8e wäre der richtige mit IT Firmware, aber etwas Bastelei oder Kabelbinder nötig..
Super Micro Computer, Inc. - Products | Accessories | Add-on Cards | AOC-USAS2-L8e

Welcher ist den jetzt besser ?!

Supermicro AOC-USAS2-L8i oder Supermicro AOC-USAS2-L8e ?
Der Supermicro AOC-USAS2-L8e kann 122 Geräte verwalten ...