[Sammelthread] ZFS Stammtisch

[gea]

Mal ne Frage an die All-in-one Nutzer.

Wie habt ihr das eigentlich gemacht mit der Ausfallsicherheit der OI HDD?
Ich meine ist die defekt geht nix mehr!

ESXi Auf USB-Stick, dann OI z.B. auf ein RAID1 und den rest (HDDs) dann durchgereicht an OI?
Oder gleich den ganzen ESXi mit Datastore für OI auf ein RAID1?

ESXi auf USB und OI auf Raid-1 wäre eine Möglichkeit.

Die Alternativen sind:
- nichts tun. Selbst der worst case (ESXi Installation, OI+napp-it-Installation, Pool import) ist handhabbar. SSD als Bootplatten sind inzwischen auch recht zuverlässig.
Komplexität wenn man es schon mal gemacht hat oder einer Anleitung folgt (v.a. passthrough konfigurieren): gering; Zeitaufwand ca 45min.

ansonst:
-Hardware Raid Controller für ESXi und OI (muss von ESXi unterstützt werden)
-3,5" Sata Hardware Raid Hot-Wechselrahmen für zwei Platten (arbeitet ohne Treiber)

Am zuverlässigsten aber auch am teuersten sind gute Hardware Raid Controller. Ich nehme aber zunehmend die letzte Option, lasse aber nach dem Rebuild nur eine Platte im Raid. Die andere sind Reserve/ Backupplatten. Diese 3,5" Raid-1 Wechsel-Einschübe für zwei Platten gibt es ab ca 50 Euro. Wenn man mehrere gleiche Hardware hat, kann man zudem ein neues Bootsystem (ESXi+OI) vorbereiten und nach einem Wechsel der Bootplatte hochfahren. Bei Problemen einfach die alte Platte wieder einschieben.

 

[millenniumpilot]

Hallo Gea,

Diese 3,5" Raid-1 Wechsel-Einschübe für zwei Platten gibt es ab ca 50 Euro.

Deine oft empfohlenden Raidsonic SR2760-2S-S2 sind aktuell exorbitant teuer. Gibt es noch andere Produkte im den von Dir genannten Preisfeld?
Aktuell suche ich schon nach einem billigen alten kleinen 3ware mit 2 Ports oä. für das Raid1 des ESXi/OI, leider tauchen die in der HCL nicht mehr auf.

 

[gea]

Hallo Gea,



Deine oft empfohlenden Raidsonic SR2760-2S-S2 sind aktuell exorbitant teuer. Gibt es noch andere Produkte im den von Dir genannten Preisfeld?
Aktuell suche ich schon nach einem billigen alten kleinen 3ware mit 2 Ports oä. für das Raid1 des ESXi/OI, leider tauchen die in der HCL nicht mehr auf.

Das FANTEC MR-25DR wäre eine günstigere Alternative.
FANTEC GmbH - MR-Serie

 

[bluesunset]

Wie weit geht denn die HCL bei 3ware zurück? Der 8002er für auch normale PCI-Steckplätze unterstützt nur max. 1Tbyte HDDs.
Ansonsten gab es relativ spät noch einen 9690 oder so mit nur zwei Ports.

 

[Snuskhammer]

Dieses WE soll die Migration laufen...

Ist Zustand:
1x HomeServer 10HDDs ca. 4TB Raid5 Windows HomeServer 2011
1x OI mit Nappit 12 HDD ca. 4TB Mirror SAN Storage für VMWare
1x ESXi USB Stick NFS Zugriff auf OI

Soll Zustand:
Nappit all in one

Wie würdet ihr das mit den Platten machen? Wieder Mirrors?
Und welche Controller würdet ihr nehmen? Habe hier IBM M1015 mit IT, ein BRI10 und ein Dell Perc 5.
2 Controller kann ich einbauen.

Danke und Gruß

 

[bluesunset]

10 HDDs in einem Raid5 ist sehr gewagt.
Der BRI10 und Perc werden beide wohl kaum HDDs über 2,2TB unterstützen.

 

[Snuskhammer]

10 HDDs in einem Raid5 ist sehr gewagt.
Der BRI10 und Perc werden beide wohl kaum HDDs über 2,2TB unterstützen.

Deswegen soll es ja weg.
Ich erhoffe mir dadurch auch ein gewissen Vorteil beim Stromverbrauch!

Meine größten Platten sind 2TB groß.

 

[bluesunset]

Dann nimm den BR10 für die älteren HDDs mit einem Raidz2 oder auch Raidz3, je nach alter der HDDs und wie wichtig dir die Daten sind.
Den Perc5 könntest du mit dem Hardware Raid5? und 3 oder 4 HDDs z.B. noch für Backups nutzen.
An den neueren LSI Controller kannst du später auch SAS2.0 Expander dran hängen.

 

[millenniumpilot]

Hallo Bluesunset,

es sollen nur 1..2 VMs auf den Store (Gea's AllInOne), 2x 80GB-HDs sind völlig ausreichend. Muss auch kein Perfomancewunder sein. Hauptsache das RAID1 ist für den ESXi korrekt ansprechbar.
Kenn mich aber leider mit den 3ware's überhaupt nicht aus.
Gruß Millenniumpilot.

 

[bluesunset]

Dann hätte es der 8002-LP doch auch getan. Sollte aber eigentlich unterstützt sein. Gibt sich ja immerhin als SCSI-Controller aus. Die neueren scheiden vom Preis her eher aus. Da ist selbst der M1015 mit Raid1 günstiger und sogar dann mit 8 Ports.

 

[Snuskhammer]

@bluesunset

Wie sieht das mit dem Datastore für den ESX ist. auch auf ein RAIDz? Oder lieber Mirror?

Und wie komme ich beim BR10i in die Konfiguration rein??

 

[bluesunset]

Von LSI gibt es ein MegaCLI welches auf den meisten Systemen läuft, steck im Zweifelsfall den IBM1015 einfach ab. Wobei man auch den Adapter auswählen kann.
Bei Geschwindigkeit immer mirrors! Wurde in diesem Thread bezüglich zfs aber sehr oft genannt.

 

[Snuskhammer]

Könnt ihr mir noch nen guten Dealer für SFF-8087 auf SATA Kabel nennen?

Habe 2 Kabel von unterschiedlichen Dealern bei ebay gekauft. Beide Kabel wollen net. Weder am 1015 noch am BR10i.

 

[Strok3rAce]

Hi,

wolte mal anfragen, da ich im Netz nichts finden konnte. Wie ich den IBM ServeRaid M1015 mit FreeNAS zum laufen bekomme?

Vielen Dank.

---------- Post added at 19:28 ---------- Previous post was at 19:27 ----------

@Snuskhammer: Welche Kabel hast du denn gkauft? Poste mal nen Link. Kann gut sein das du die falschen gekauft hast.

 

[Snuskhammer]

@Strok3rAce
WIe meinst du das mit zum laufen bekomen?

Hier die Links
InLine® SAS Anschlusskabel, Mini SAS SFF8087 an 4x SATA, 1:1, 0,75m 4043718113637 | eBay
0.75m SAS 3Gb/s Anschlusskabel SFF-8087 Stecker auf 4xSATA Backplane Stecker 4014619476886 | eBay

 

[Strok3rAce]

Wenn ich FreeNAS mit dem IBM M1015 Installieren will wird die Installation nicht beendet. Ohne Controller funktioniert es ohne Probleme. Habe nur gelesen das wohl das FreeNAS probleme mit dem besagten Controller hat.

Bin mir nicht sicher aber ich glaube du hast Reverse Kabel - du benötigst aber Forward Kabel. Sieher hier: http://www.hardwareluxx.de/communit...9240-8i-erkennt-keine-festplatten-919333.html

edit: Mit OpenFiler genau das gleiche. Beim Initialisieren/Installieren geht die Insallation mit dem Controller nicht weiter. Denke mal das keine brauchbaren Treiber vorhanden sind?

edit2: Hier die Lösung: http://forums.freenas.org/showthrea...hat-SATA-Controller-works&highlight=IBM+M1015

 

[Snuskhammer]

Bin mir nicht sicher aber ich glaube du hast Reverse Kabel - du benötigst aber Forward Kabel. Sieher hier: http://www.hardwareluxx.de/communit...9240-8i-erkennt-keine-festplatten-919333.html

Mist, das mit den Kabeln kann natürlich sein.

Mal ne andere Frage. Habe ein Gigabyte Z68AP-D3 Board mit 2x PCIe 16x.
In einem PCIe-16x ahbe ich den Perc 5i drin und im anderen den M1015.

Jetzt wollte ich die Controller durchreichen, mir wird aber nur der DELL angezeigt!

Jmd ne Idee?

 

[bluesunset]

Du hast die anderen PCIe x1 Steckplätze auch belegt?

Erweiterungsslots: 1x PCIe 2.0 x16, 1x PCIe 2.0 x16 (elektrisch nur x4 oder shared mit PCIe 2.0 x1 dann nur x1), 3x PCIe 2.0 x1

Noch genauer von der Gigabyte HP

# 1 x PCI Express x16 (läuft mit x4) (PCIEX4)
* Der PCIEX4-Slot teilt die Bandbreite mit den Steckplätzen PCIEX1_1 und PCIEX1_2 slots. Wenn der PCIEX1_1- oder der PCIEX1_2-Slot belegt ist, arbeitet der PCIEX4-Slot im x1-Modus.

Auch würde ich den M1015 eher in den ersten x16 Slot stecken. Der Perc ist eh nicht gerade der schnellste und es müssen bei diesem auch nicht so viele Daten über den Bus übertragen werden da es ein Hardware Raidcontroller ist.

 

[Snuskhammer]

Du hast die anderen PCIe x1 Steckplätze auch belegt?

Noch genauer von der Gigabyte HP


Auch würde ich den M1015 eher in den ersten x16 Slot stecken. Der Perc ist eh nicht gerade der schnellste und es müssen bei diesem auch nicht so viele Daten über den Bus übertragen werden da es ein Hardware Raidcontroller ist.

Japp, da steckt noch eine TV Karte drin. Aber ganz unten im letzten x1. Ich dachte die sharren nur die direkt übereinander sind. (x16 und x1)
Oder ist das egal in welchem x1 die Karte steckt wegen dem sharing?

Ich steckt das später mal um.


EDIT: Könnte das shared "problem" mit den Karten auch schuld an meinem Systemfreez haben?

EDIT2: So das Feezen kommt net von der TV Karte und auch nicht vom Board, habe ein anderes mal ausprobiert.
Nach dem ich mal ne Graka eingebaut habe, habe ich bemerkt das der ESXi sich mit einem PSOD verabschiedet sobald ich den Perc durchreiche.
Habe ihn jetzt gegen den BR10i getauscht. Damit gehts. Im Anhang noch ein Bild von der Mirror Konfig und einem Benchmark.

Gruß

 

[Digi-Quick]

Welche CPU?
Anforderung: reines Online Datensicherungssystem in anderer Brandzone für 4 Rechner mit zeitlich versetzen Backupjobs. Anbindung zur Zeit nur 1x GBit. (Ausbau auf 2 oder 4x 1GBit wäre eine Option für die Zukunft)
Grundausbau 5 x 2TB im Raidz1.
Das System wird einen Qnap TS-410 ersetzen.

AMD Phenom II X6 1045T 6x 2.70GHz
oder
AMD FX Series FX-4300 4x 3.80GHz

Wovon Profitiert Openindiana / Napp-It / ZFS mehr
Mehr Threads beim Phenom X6 oder höherer IPC und Takt beim Viushera
Preislich liegen beide recht dicht beisammen, und sollten bei 1x 1GBit sicherlich noch nicht ins Limit laufen.

Bitte keine Diskussion daß Intel besser ist, ich habe einen Grund für AMD - ECC Unterstützung!

 

[bluesunset]

Angeblich sollen sich auch bei den neueren Desktop Intel CPUs mit entsprechendem Mainboardchipsatz ECC im Speicherkontroller freischalten lassen.
Habe den FX wegen AES-NI support, dieser fehlt dem Phenom II.
Habt ihr Kupfer oder LWL zum anderen Brandabschnitt?

 

[gea]

Welche CPU?
Anforderung: reines Online Datensicherungssystem in anderer Brandzone für 4 Rechner mit zeitlich versetzen Backupjobs. Anbindung zur Zeit nur 1x GBit. (Ausbau auf 2 oder 4x 1GBit wäre eine Option für die Zukunft)
Grundausbau 5 x 2TB im Raidz1.
Das System wird einen Qnap TS-410 ersetzen.

AMD Phenom II X6 1045T 6x 2.70GHz
oder
AMD FX Series FX-4300 4x 3.80GHz

Wovon Profitiert Openindiana / Napp-It / ZFS mehr
Mehr Threads beim Phenom X6 oder höherer IPC und Takt beim Viushera
Preislich liegen beide recht dicht beisammen, und sollten bei 1x 1GBit sicherlich noch nicht ins Limit laufen.

Bitte keine Diskussion daß Intel besser ist, ich habe einen Grund für AMD - ECC Unterstützung!

Wenn es ein reines Backup-System ist, dann ist die CPU (falls keine Verschlüssellung aktiviert wird) in diser Klasse relativ egal. Wichtiger ist die Qualität der Netzwerkkarte (bevorzugt Intel) und ausreichend RAM (wobei das vor allem das Lesen beschleunigt).

Für die Schreibraten ist der Raid-Level und die Performance des Pools entscheidend. Für zeitlich versetzte Backups ist das aber alles eher sekundär. Ich würde mir aber ein Raid Z1 zweimal überlegen. Da hätte ich bei jedem Plattenausfall einen Tag lang Schweißperlen auf der Stirn. Ich würde eher auf Raid-Z2 oder Z3 gehen und dazu noch eine Platte oder zwei Platten kaufen.

 

[Digi-Quick]

@Gea
Danke für deine Einschätzung - ich hatte es fast vermutet - oder anders ausgedrückt fast jeder Prozessor ist schneller als ein ATOM.

ICH (!) hätte auch Z2 genommen
Aber Geiz ist Geil.... (- bis zum Supergau)
Auf der anderen Seite müsste es dann auch das Raid1 in einem der Server zerlegen, um vollständigen Datenverlust auf einem Rechner zu haben - wir würden allerdings ältere Datenstände verlieren (Datenbank).
Viel wichtiger ist, daß noch eine Offline / Off-Site Lösung dazu kommt - da sind wir noch am tüfteln, da die EDV in angemieteten abgeschglossenen Räumen steht, wo mal alle 2 Monate mal einer reinschaut. alles andere geht Remote. (sebst die Steckdosen können per SMS geschaltet werden).

Wenn ich mich recht entsinne (und alles richtiug verstanden habe, was ich in den letzten Monaten zu ZFS gelesen habe), ist es ja nicht möglich ein VDEV zu verändern - also weder RLM (Raid Level Migration) noch OCE (Online Capacity Expansion) - man kann allerdings im ggs. zu den meisten Raidcontrollern die HDDs gegen grössere tauschen (nacheinander mit jeweils vollsträndigem Rebuild/Resilver) und hat dann auf diese weise ein vergrössertes VDV >>> Gott bewahre, das wird hoffentlich niemals einer von mir verlangen

Das täglich zu sichernde Datenvolumen beträgt etwa 100 GB (davon CA: 75 gb Vollsicherung von einem SBS mit Exchange) Die Logfiles für Exchange werden nochmal separat alle 5 Minuten per VSS gesichert.

Apropos Napp-It: ich war der Meinung auch schonmal eine Anleitung von dir auf deutsch gelesen zu haben - oder irre ich mich da?
Offen gestanden springe ich da ins Kalte Wasser -> ZFS hast mich halt überzeugt, den Rest muss ich mir erarbeiten / erlesen.

@Bluesunset
noch haben wir da gar nichts liegen, daß ganze muss noch mit dem Vermieter und vermutlich einem Brandschutzmenschen besprochen werden, da müssen wir durch mindestens eine Brandschutzwand durch, da darf man nicht mal eben ein Loch durchbohren und die Leitungen sind auch nicht die normalen

Verschlüsselung ist bislang nicht angedacht, wäre aber ein Kriterium, was zu überlegen wäre.

 

[bluesunset]

Viel wichtiger ist, daß noch eine Offline / Off-Site Lösung dazu kommt - da sind wir noch am tüfteln, da die EDV in angemieteten abgeschglossenen Räumen steht, wo mal alle 2 Monate mal einer reinschaut. alles andere geht Remote. (sebst die Steckdosen können per SMS geschaltet werden).

Das täglich zu sichernde Datenvolumen beträgt etwa 100 GB (davon CA: 75 gb Vollsicherung von einem SBS mit Exchange) Die Logfiles für Exchange werden nochmal separat alle 5 Minuten per VSS gesichert.

@Bluesunset
noch haben wir da gar nichts liegen, daß ganze muss noch mit dem Vermieter und vermutlich einem Brandschutzmenschen besprochen werden, da müssen wir durch mindestens eine Brandschutzwand durch, da darf man nicht mal eben ein Loch durchbohren und die Leitungen sind auch nicht die normalen

Verschlüsselung ist bislang nicht angedacht, wäre aber ein Kriterium, was zu überlegen wäre.

Aber auf jeden Fall! Wegen Brandschutz da gibts so verschließbares Zeugs für ~50 Euro. Kabel halt halogenfreie nehmen, kostet nicht viel mehr und LWL-Kabel sind es ohnehin schon.

100GB sind nicht mal 4MB/sec bei einem 8h Zeitfenster. Ist also mehr als ausreichend. Geregelt werden sollte ggf. noch wer die HDDs aus dem Server zieht im Brandfall, wenn man befürchten muss, dass es nicht gelöscht werden kann. Vor allem, dass der Raum auch gefunden wird. Ihr wärt nicht die erste Firma bei der Kabel in der Wand verschwinden und keiner weiß mehr was dahinter ist.
Eigentlich könntet ihr ja auf ein Raidz verzichten bei der Datenmenge und lieber die aktuelleren Sicherungen auf einem mirror parken und längere wichtige Sicherungen dann ggf. auch noch.
Ein kleines Script sollte ausreichen um die Daten auf den HDDs zu kopieren. Disk2Disk Backup bzw. "HSM" für arme.

 

[Digi-Quick]

Also für die tägliche Sicherung reicht die Performance des gegenwärtiugen Qnap absolut aus, Problematisch sind die Monats oder Quartalswechsel, wenn dann auf den anderen Servern auch noch eine Vollsciherung läuft - die mache ich zur Zeit "im Kreis" (Server 2 Sichert auf eine dafür eingerichtete Partition auf Server 3, Server 3 auzf 4, 4 auf 2, danch werden die gesicherten Daten aufs NAS geschoben, so laufen die Backup-Jobs selbst schneller durch, und ich kann die Gsicherten Daten dann im laufe der nächsten Tage auf's NAS schieben. praktischer wäre es, wenn ich die Backups gleich aufs NAS bringen könnte....

Deswegen ein Performanteres NAS, als das SoHo-NAS von Qnap. und mit dem Selbstbau sind wir flexiblker was Erweiterungen angeht (12 HDD Plätze stehen zur Verfügung - also noch reichlich Ausbaureserve - vielleicht wird das nächste VDEV dann ja ein Raidz2 )

 

[bluesunset]

Nur mal so aus Neugierde, warum verwendet ihr nicht iSCSI vom qnap? Das sollte doch dann von der Performance her ausreichend sein bei den Vollbackups.
"12 HDD Plätze und ausreichend (Ausbaureserve!)", hab ich gelacht. *schnief*
Neue Systeme wecken immer Begehrlichkeiten. Dies noch und das hier, ach das reicht sogar für jenes...

 

[Digi-Quick]

1. iSCSI habe ich noch nie verwendet (genauso wie ZFS)
2. Ich habe einen Kollegen gefragt, ob iSCS eventuell performanter als SMB sein würde, dies hat er angesichts des kleinen ATOMs im QNAP TS410 eher verneint.
3. bei dem neuen NAS werde ich iSCSI auf jeden Fall testen.... denn soweit mitbekommen habe ist hier der Verwaltungsoverhead deutlich geringer ggü. SMB Freigaben

JAJA, Das ganze ist im stetigen Wandel, man wird nie fertig ... (wie war noch gleich das berühmte Zitat von Bill Gates? "640 KB reichen für die Ewigkeit" *gg*)

 

[bluesunset]

iSCSI ist wie natives FC eigentlich das einzige - neben ftp - bei dem ein Atom oder entsprechend älterer Pentium3 recht schnell ist.

 

[otto123]

Hi zusammen,

hatte mich so ein Jahr ausgeklinkt. Alles gut gelaufen Eine kurze Frage. Habe auf einem VmWare Server bisher Solaris Express 11 laufen. Überlege ich nun durch Openindiana zu ersetzen. Das habe ich schon auf meinem kleinen HP Microserver laufen. Updaten geht da einfach. Ok, nun die Frage - hat es jemand mit aktuellem Pool am laufen und geht da Verschlüsselung und zwar auch im Zuammenspiel mit napp-it?
Kurze Info wäre nett.
Otto

 

[KurzGedacht]

Hi zusammen,

hatte mich so ein Jahr ausgeklinkt. Alles gut gelaufen Eine kurze Frage. Habe auf einem VmWare Server bisher Solaris Express 11 laufen. Überlege ich nun durch Openindiana zu ersetzen. Das habe ich schon auf meinem kleinen HP Microserver laufen. Updaten geht da einfach. Ok, nun die Frage - hat es jemand mit aktuellem Pool am laufen und geht da Verschlüsselung und zwar auch im Zuammenspiel mit napp-it?
Kurze Info wäre nett.
Otto

Geht soweit ich weiß nicht, da die ZFS Version von Solaris Express 11 in Openindiana nicht unterstützt wird (Oracle hat den Code nie freigegeben).