[Sammelthread] ZFS Stammtisch

[Gelöschtes Mitglied 117520]

Moment mal! Du bist hier zwar im Homeuser Forum ABER jetzt mal "all the way to the end" - früher oder später kommt der Tsunami zur auch Dir.
Und dann? Ich will zusätzlich die Plan C Lösung - dezentral, außer Haus, voll verschlüsselt. Ich nutze dazu Spideroak. Wir könnten natürlich auch ein Netzwerk aus unseren Storage Monstern aufbauen (habe nun auch ca. 16 TB HDD Kapazität im Haus. Was ein Wahnsinn wenn man sich das überlegt. Unsere erste HDD hatte schon 40 MB...)

Gruss
Otto

Ich habe vorgestern noch mehr oder weniger in letzter Sekunde von dem Strato Angebot gebrauch gemacht (CeBIT Aktion: 100GB für 1€ für's 1. Jahr). Die Server auf denen das läuft, sind übrigens auch welche mit ZFS - merkt man schon wie mühevoll die die Snapshots versuchen zu umschreiben

Außerdem gehen die Firmendaten inkrementell nochmal nach Amazon S3. So!

Weiterhin sei angemerkt, dass das Büro in der 1. Etage ist Aber mit nur komplett NL vor der Tür zwischen uns und der Nordsee... jaja - kritisch.

PS. Meine erste Platte war auch eine 40MB von Connor (später: Seagate (oder Seagate-nicht)) - MFM

 

[otto123]

Ich habe vorgestern noch mehr oder weniger in letzter Sekunde von dem Strato Angebot gebrauch gemacht (CeBIT Aktion: 100GB für 1€ für's 1. Jahr). Die Server auf denen das läuft, sind übrigens auch welche mit ZFS - merkt man schon wie mühevoll die die Snapshots versuchen zu umschreiben

Außerdem gehen die Firmendaten inkrementell nochmal nach Amazon S3. So!

Weiterhin sei angemerkt, dass das Büro in der 1. Etage ist Aber mit nur komplett NL vor der Tür zwischen uns und der Nordsee... jaja - kritisch.

PS. Meine erste Platte war auch eine 40MB von Connor (später: Seagate (oder Seagate-nicht)) - MFM

Hi,

womit machst Du den Upload und wie verschlüsselst Du?

Gruss
Otto

 

[gea]

@gea Ich hab da mal ne Frage.. wieso habe ich bei 10x 1TB in RAIDz2 lt. napp-it 0.415m 9T unter Pools verfügbar!? Sollten das nicht 8T sein?

storage	31	9.06T	310K	9.06T	0%	1.00x

- unter "folder" sind's nun nur noch traurige 7.11T Aber das mit der Angabe in den Pools interessiert mich dennoch

eines ist die Ausgabe von zpool list, die andere Angabe kommt aus zfs list

Ursache siehe:
www.cuddletech.com/blog/pivot/entry.php?id=1013

Gea

 

[layerbreak]

@otto123

Bezüglich Link-Aggregations kennst du den The Great vSwitch Debate schon?

womit machst Du den Upload und wie verschlüsselst Du?

In einer der letzten ct gab ein paar interessante Anleitungen zu.

@DieTa

Wäre Platztechnisch was eng geworden.

Wolltest du dir nicht ein schickes Gehäuse namens Norco RPC-4224 zulegen.
Da passen jede Menge Festplatten rein.

 

[otto123]

@otto123

Bezüglich Link-Aggregations kennst du den The Great vSwitch Debate schon?

Wolltest du dir nicht ein schickes Gehäuse namens Norco RPC-4224 zulegen.
Da passen jede Menge Festplatten rein.

Hi,

nachdem es nun endlich läuft, so denke ich, traue ich mich nicht mehr den Link aufzumachen. Steht da am Ende "alles Quatsch"?

Gruss,
Otto

Edit: Habe mich getraut. Wow. So ich das sehe eine Fundgrube! Dankeschön!

So, nur wie teste ich nun die Bandbreite der Kiste. GErade alten Rechner aus dem Keller geholt -> alles was kann soll nun aufs ZFS schaufeln.

 

[Gelöschtes Mitglied 117520]

@otto123
@DieTa

Wolltest du dir nicht ein schickes Gehäuse namens Norco RPC-4224 zulegen.
Da passen jede Menge Festplatten rein.

Hehe würde ich zu gerne machen :P

Habe ich mich vorhin mal informiert :/ Sieht so aus als dürfte ich nun Solaris 11 Express nochmal kicken. Mag zwar sein, dass kein "Kläger" geben wird, aber... als Software-Käufer (ehrlicher :S)... nee dann eben nicht *rumzick*

 

[layerbreak]

Hehe würde ich zu gerne machen :P

Weist du wo du das Gehäuse hier in Europa bekommst?
Denn von Norcotec sind die Frachtkosten erschreckend hoch.

So sieht das Teil aus.

 

[Gelöschtes Mitglied 117520]

In Deutschland wohl gar nicht.

Aber in NL ist ein Lieferant: 4U Rack mount Case : Ri-Vier Automatisering, Linux servers and Norco Products, Your European partner

 

[layerbreak]

In Deutschland wohl gar nicht.

Aber in NL ist ein Lieferant: 4U Rack mount Case : Ri-Vier Automatisering, Linux servers and Norco Products, Your European partner

Jep, nur dass die Holländer schon seit Dezember keins mehr auf Lager haben.

Ich habe meins X-Case RM 424 - 24 Hotswap Bay Mini SAS (SATA/SAS Backplane) - Rail Kit included gekauft. Paket war nach 4 Tagen da.

 

[otto123]

Jep, nur dass die Holländer schon seit Dezember keins mehr auf Lager haben.

Ich habe meins X-Case RM 424 - 24 Hotswap Bay Mini SAS (SATA/SAS Backplane) - Rail Kit included gekauft. Paket war nach 4 Tagen da.

So, also Aggregation läuft. LACP habe ich auf Auto gemacht. Tut nun ganz gut. Aber: Viel mehr als so 120 Mb/s macht es auch nicht. CPU des Microservers ist dann am Anschlag. Naja, als nächstes wird die Xeon Kiste verarztet

Gehäuse schauen gut aus. Blöde FRage aber normales ATX Netzteil geht nur in 4HE oder größer oder? Dachte noch ein kleines wie X-Case RM 404 short 19" Rack mount case just 390mm deep. oder das von Chenbro (da hat es ein kurzes 4HE für ca nen 100er).

Ok, Schicht für heute. Sonst gibts Hiebe.

 

[Gelöschtes Mitglied 117520]

Moin,

bevor ich mich jetzt auf die Terrasse in die Sonne lege noch ein kleines Update von meiner Seite

Ich habe Solaris 11 Express wieder runtergeschmissen - möchte auch in keiner Grauzone etwas machen - und OpenIndiana wieder installiert.

Also Pool habe ich wieder einen aus 10x 1TB (bzw. 1x 1.5TB) HDs bestehenden RAIDz2 gebaut. Gestern ist eine von meinen WD10EADS defekt gemeldet worden. WD schickt mir freundlicher Weise eine im Vorausersatz Diese wird dann später als Hot Spare dazugehängt. Weiterhin ist meine Intel 80GB SSD als Read-Cache eingehängt.

Bonnie++ meldet mir nun Schreibwerte (sequentiell von 261MB/s) und Lesewerte von 669MB/s (auch sequentiell). Klasse

Noch eine Anmerkung für die User die gerne VirtualBox nutzen möchten. Ich weiß nicht wieso ich dachte es geht nicht - ich hab es eben drauf ankommen lassen und einfach die .tar.gz von virtualbox.org geladen und per "pkgadd -d VirtualBox-404-SunOS.pkg" installiert - rennt! Einwandfrei.

Dachte ich teile nach dem ganzen Hickhack hier dies noch mit.

Auf in die Sonne

 

[layerbreak]

So, also Aggregation läuft. LACP habe ich auf Auto gemacht. Tut nun ganz gut. Aber: Viel mehr als so 120 Mb/s macht es auch nicht. CPU des Microservers ist dann am Anschlag. Naja, als nächstes wird die Xeon Kiste verarztet

Super, wenn ich so weit bin frage ich nochmals bei dir nach.

Gehäuse schauen gut aus. Blöde FRage aber normales ATX Netzteil geht nur in 4HE oder größer oder? Dachte noch ein kleines wie X-Case RM 404 short 19" Rack mount case just 390mm deep. oder das von Chenbro (da hat es ein kurzes 4HE für ca nen 100er).

Ja, ich habe auch nur ein normales ATX Netzteil verbaut, kein Redundantes. IMHO kann ich auch 2 Tage aussitzen, wenn das Netzteil die Flügel streckt.

Was willste denn mit dem Teil. Wenn du schon Geld für ein neues Gehäuse ausgibst, würde ich ein Case nehmen, welches hot-swap und ein Backplane hat. Von meiner HBA (LSI 9211-8i) gehen gerade mal 2 Kabel an die Backplane und versorgt 8 Festplatten - also Schluß mit dem Kabelgedöns. Und nur ein Kabel für 4 Platten für die Stromversorgung.

---------- Beitrag hinzugefügt um 14:32 ---------- Vorheriger Beitrag war um 14:27 ----------

Moin,

bevor ich mich jetzt auf die Terrasse in die Sonne lege noch ein kleines Update von meiner Seite

Ich habe Solaris 11 Express wieder rungeschmissen - möchte auch in keiner Grauzone etwas machen - und OpenIndiana wieder installiert.

Noch eine Anmerkung für die User die gerne VirtualBox nutzen möchten. Ich weiß nicht wieso ich dachte es geht nicht - ich hab es eben drauf ankommen lassen und einfach die .tar.gz von virtualbox.org geladen und per "pkgadd -d VirtualBox-404-SunOS.pkg" installiert - rennt! Einwandfrei.

Dachte ich teile nach dem ganzen Hickhack hier dies noch mit.

Auf in die Sonne

Dein Server rennt doch im Keller, wenn ich mich richtig erinnere. Wie greifst du dann auf die VMs zu?

Keinen Sonnenbrand holen.

 

[otto123]

Super, wenn ich so weit bin frage ich nochmals bei dir nach.

Gerne.


Ja, ich habe auch nur ein normales ATX Netzteil verbaut, kein Redundantes. IMHO kann ich auch 2 Tage aussitzen, wenn das Netzteil die Flügel streckt.

Was willste denn mit dem Teil. Wenn du schon Geld für ein neues Gehäuse ausgibst, würde ich ein Case nehmen, welches hot-swap und ein Backplane hat. Von meiner HBA (LSI 9211-8i) gehen gerade mal 2 Kabel an die Backplane und versorgt 8 Festplatten - also Schluß mit dem Kabelgedöns. Und nur ein Kabel für 4 Platten für die Stromversorgung.
.

Ok, muss gestehen ich kenne mich den Servergehäuse/-technik nicht so aus. Ich habe ein 2 Meter 19 Zoll Rack. Zur Zeit liegt der Xeon Server in einem Tower auf einem Brett. Ist aber Mist wenn Du ran willst. Dachte ein kleines 4HE Gehäuse mit Scheinen ist wesentlich besser (der Schrank steht an der Wand und kann nicht so leicht vorgezogen werden, und da hinten die 5 Nics...).

Daher die Fragen:
Hotswap ist - HDD ist in einem Caddy und kann ich von vorne ziehen, notfalls auch im Betrieb?

Was macht das Backplane? Aus Wikipedia bin ich nicht schlau geworden. Und:

Ich hole mir wohl noch den Controller für Napp-it all in one. Soweit ich das sehe hat der zwei Anschlüsse. Da kommt dann was dran? Wie schließe ich es dann an meine SATA HDDs? Und dieses Backplane - geht da auch SATA ran? Ich habe ja auch noch die Obard 6x SATA auf dem Supermicro. Das muss dann ja an einen Teil der HDDs.

Sorry für blöde Fragen aber Aufklärung wäre nett.

Und: Der Server steht bei mir im Büro. Einen Rasenmäher will ich nicht ;-) Sollte also was sein wo leise Lüfter drinnen sind oder einbaubar.

Danke vorab für Info. Ahja, wenn Du ein Gehäuse empfehle kannst - gerne. Also 4HE, möglichst kurz, max. 8 HDDs, ATX Board, leise. Gerne auch, dass man es mit Füßen versehen kann. Das schaut ganu gut aus http://www.chenbro.eu/corporatesite/products_detail.php?sku=156 verstehe aber nicht wie man da mehr 3.5 Zoll HDDs reinbaut.

Lege mich nun auch mal in die Sonne. Heute ist fauler Tag.

Gruss,
Otto

Sagte ich schon, dass der Microserver nun FERTIG ist? Steht auch im Rack, alles dran. Was mir noch zu meinem Glück fehlt: Kann man die verschlüsselten ZFS Folder auch über Cifs öffnen - also wenn Freundin ran will von ihrem Win Rechner auf Netzwerkshare und dann Passwd. eingeben? Oder muss man da immer auch napp-iz öffne, aufschließen und dann erst...

 

[Gr3yh0und]

Bitte wieder weniger Hartes und mehr Softes, damit wir nicht zu sehr OT landen

Die Tage kommt mein 1068er aus nem IBM Server, dann werd ich meinen Server auf Sandy Bridge umbauen und hoffentlich dann VT-D nutzen können

 

[Gelöschtes Mitglied 117520]

Dein Server rennt doch im Keller, wenn ich mich richtig erinnere. Wie greifst du dann auf die VMs zu?

Wie hab ich den jubilierende Banane zu verstehen?

Zum Thema: Ich habe einen X-Forwarder eingerichtet. Aktuell oder zukünftig ist Mac OS ja selbst bei mir recht weit "unten durch", aber immerhin basiert es noch auf einem BSD Kernel - ergo habe ich X11 installiert - damit lassen sich sehr praktische Sachen machen.

Aktuell sieht es hier so aus:

Zusätzlich - oder vom Anlegen der VMs abgesehen - verwende ich allerdings die Konsole. Ich hatte mal was dazu gebloggt, als ich noch unter Nexenta ZFS und VBox (3.2) betrieben habe. Hier der Link: Move a VMware Fusion VM to VirtualBox on NexentaCore « klein2 blog

Oder auch gut zu wissen: http://www.virtualbox.org/manual/ch08.html

UPDATE
@layerbreak Für X-Forwarding unter Windows: Schau mal hier: http://www.how2blog.de/?p=14

 

[otto123]

Fehler im Pool

Hallo zusammen,

habe Scrub durchgeführt und diesen Feher bekommen. Kann es sein, dass verschlüsselte Folder geöffnet sein müssen bevor man Scrub macht?

Andererseits bezieht sich die Fehlermeldung auf die HDD die im Raidsonichalter steckt - haben diese Kisten einen Controller der Ärger machen könnte?
http://www.raidsonic.de/de/products/mobile-racks.php?we_objectID=6269

Gruss
Otto

pool: sola
state: ONLINE
status: One or more devices has experienced an error resulting in data
corruption. Applications may be affected.
action: Restore the file in question if possible. Otherwise restore the
entire pool from backup.
see: http://www.sun.com/msg/ZFS-8000-8A
scan: scrub in progress since Sun Apr 3 11:22:33 2011
448G scanned out of 2.08T at 130M/s, 3h41m to go
21.5K repaired, 21.04% done
config:

NAME STATE READ WRITE CKSUM
sola ONLINE 948 0 0
raidz2-0 ONLINE 0 0 0
c7t0d0 ONLINE 0 0 0
c7t1d0 ONLINE 0 0 0
c7t2d0 ONLINE 0 0 0
c7t3d0 ONLINE 0 0 0
c9d1 ONLINE 0 0 1 (repairing)

errors: Permanent errors have been detected in the following files:

sola/crypto:<0xfffffffffffffffe>
sola/crypto:<0xffffffffffffffff>

 

[barnacle2k]

FUFUUFUFUUUFUUUFUFUFUFUFUUUUUUUUU!!!!

Der SAS2008er im kann gegensatz zum 1068er kein Spindown.

Zum "Originalen" 9211-8 habe ich keine schlüssigen infos gefunden aber der 9240-8i ist definitiv ein No-Go.

Dann werde ich mal versuchen die Firmware auf den Expandern zu aktualisieren.

 

[otto123]

Hi, wie, wo was? Ich muss mir auch bald nen Controller holen. Bitte schreibe noch genau welcher das Problem macht und ob Du es lösen kannst. Ist das der Original LSI? Ich wollte mir den Intel holen - oder betrifft das den Chip d.h. bei Intel gleiches Problem?

 

[baldi]

FUFUUFUFUUUFUUUFUFUFUFUFUUUUUUUUU!!!!

Der SAS2008er im kann gegensatz zum 1068er kein Spindown.

Zum "Originalen" 9211-8 habe ich keine schlüssigen infos gefunden aber der 9240-8i ist definitiv ein No-Go.

Dann werde ich mal versuchen die Firmware auf den Expandern zu aktualisieren.

Ist doch egal ... für was brauchst denn das?
Bei ZFS macht Spindown soweit ich weiß eh nur Probleme ... oder?!

 

[barnacle2k]

@Otto:
für Direkten Platten Anschluss sind LSI 1068e basierte Controller mit IT Firmware am besten.
Da gibt es 1001 OEM versionen von HP, IBM, Supermicro, Sun, Intel und Originale von LSI.

Probleme gabs mit dem 1068e nur bei der Verwendung von SAS Expandern.
Diese gibts beim SAS2008 Basierten controllern Nicht. (Auch hier wieder eine Fülle von OEM Versionen).
Aber mit denen Kann man die Platten nicht Schlafen
legen wenn sie nicht gebraucht werden.

@baldi:
Naja bei nem 24/7 Server und >10 Platten freut sich ansonsten der Energieversorger sehr.
Momentan 150W Idle - Aber das ist ja NUR der ZFS Server.

Probleme hatte ich mit einem Testsatz von 6 Platten
RAIDZ1 am AHCI nicht gehabt.
Spindown und wieder aufwachen ohne probleme.
Man muss Solaris nur richtig konfigurieren.

Weil DiTa ja beklagt das hier zu wenig bilder sind.
Meine Aktuelle Solaris Platform:

 

[otto123]

Danke für die Info. Jetzt muss nur noch der Sch... Cryptofehler...
Hab mal hier gepostet:
OTN Discussion Forums : Solaris 11 Express for SysAdmins

Schluß für heute, guten Wochenstart.
Otto

 

[Snuskhammer]

Mal eine Frage in die Runde.

Wenn ich wget -O - www.napp-it.org/nappit | perl
aus dem Webinterface ausführe bekomme ich den Fehler: "You must call wget from your HOME-directory.
Please do a cd /$HOME and try again."

Wie kann ich ins Home wechseln? "cd /$HOME" nimmt er nicht.

Habe mich auch versucht mit Putty auf das Openindiana zu schalten, nur kann ich mich als root nicht einloggen.
Kann ich mich mit root nicht direkt einloggen?

 

[Gelöschtes Mitglied 117520]

@Snuskhammer:

cd $HOME

PS. Was heißt "nimmt der nicht"? Optisch wird sich da teilweise wenig ändern. Mal "pwd" eingegeben um das aktuelle Verzeichnis zu sehen? Sollte nach cd $HOME dann /home/$USERNAME sein.

root darf sich bei Solaris nicht direkt einloggen. Logge Dich als Dein User ein und dann mit "su" als Root. Hat Sicherheitsgründe.

 

[Snuskhammer]

PWD sagt mir das ich in: "/var/web-gui/wwwroot/cgi-bin/napp-it" bin.

ein cd $HOME bringt dann nur: "No such file or directory"

Habe auch schon "cd .." versucht, aber auch das endet mit: "No such file or directory"

 

[Gelöschtes Mitglied 117520]

Hö? Das klingt ja komisch - was sagt denn cd /home/$USERNAME (also mit dem Du Dich eingeloggt hast?)

 

[Snuskhammer]

Verstehe ich auch nicht.

Auch da bekomme ich "No such File or directory".
Habe mich jetzt per putty eingelogt und napp-it aktualisiert.
Trotzdem Danke für die Hilfe.

Was erreicht ihr eigentlich für Lese und Schreibwerte?
Ich habe ein Gigabit Netzwerk mit Gigabit Netzwerkkarten und komme auf:
Schreiben: 18MB/s
Lesen: 47MB/s

eher schlecht als recht, oder?

 

[Gelöschtes Mitglied 117520]

Ich würde an Deiner Stelle nochmal alles frisch installieren. Da ist doch irgendwas nicht ganz koscher.

Vom Fileserver zum Mac (AFP): ~100-110MB/s
Vom Fileserver zum Mac (SMB): ~60-70MB/s
Vom Fileserver zu Win 7 (SMB): ~100-110MB/s

Sowohl schreibend als auch lesend.

 

[Snuskhammer]

Hmm,
das System ist relativ frisch.

Ich werd mal eine andere Netzwerkkarte probieren. Ala Intel 1000GT.

 

[Gelöschtes Mitglied 117520]

Bezog sich mehr auf die Verzeichnisstruktur und nicht auf den Datendurchsatz. Natürlich ist gegen eine gute Intel GBit NIC nichts einzuwenden.

 

[Gr3yh0und]

Mal wieder ein Bild:

Sind 1068er aus IBM Servern, daher keine Blende. Aber BEIDE für 118 inklusive aus UK

Hoffe ich komme nächste Woche dazu auf i5-2500 und Q67 umzusteigen