[Projekt] [FERTIG] dockmaster fs 20000 | Letztes Update: 10.11.2010 10:00

[Gelöschtes Mitglied 117520]

Servus,

da isser wieder! Wieder mit einer Idee eines Fileservers, aber diesmal mit Happy End!

​

Geplanter Speicher
Advertised Space: 22,08TB
Formatted Space: 16,44TB

Intro
Vielleicht erinnert sich der eine oder andere geneigte Leser dieses Threads noch an "dieta's opensolaris fileserver" Projekt. Knapp 1 Jahr später, OpenSolaris wurde dicht gemacht (mehr oder weniger) und die bösen Buben von ORACLE haben die sympathische Firma Sun Microsystems aufgekauft.

Sehr schade, aber vielleicht war es doch ganz gut das OpenSolaris Projekt nicht durchzuziehen - rückblickend betrachtet.

Was es nicht wird...
Genug in der Vergangenheit gewühlt, dies ist kein "Boah ist das ein geiles Modding" Thread, sondern mehr eine Erfüllung eines Traums von mir und eine bittere Notwendigkeit, aber darauf gehe ich gleich noch ein. Also erwartet bitte nicht, dass ich Wasser über die neuen Komponenten strömen lasse - mit Flüssigkeiten an bzw. in Computern hatte ich wahrlich genug

Das neue Projekt ist aus folgendem Grund notwendig
- ich brauche mehr zusammenhängenden Speicher
- ich brauche schnellen Speicher
- ich brauche sichere und schnelle Backups

Für diese Zwecke hatte ich 2 Mac Minis gekauft sowie 4x Onnto DataTales. Wie würde MAFRI sagen? Murks! Recht hat der Gute!

Mit einer unterirdischen Schreibrate von 10MB/s wenn ich die Kompression im rsync ausschalte quälen sich die Daten (TBytes davon) superlangsam auf die 2. RAIDBox. Meeeehh...

Das MUSS schneller gehen. Wieso eigentlich?
Nun - lasst es mich Euch erklären: ich habe eine Web-Applikation für Unternehmen geschrieben. Details erwähne ich hier mal nicht, will ja keinen auf die Finger bekommen, auch wenn ich das Produkte gerne mal zeigen würde , und nun brauche ich Screencasts dazu. Dank einer Fülle von tollen Features werden das EINIGE. Ich bin außerdem so pedantisch unkomprimiert aufzeichnen zu wollen - und dann noch in 720p. Das frisst natürlich Speicherplatz ohne Ende, Final Cut Pro muss ja was zu tun haben.

Dazu gesellen sich noch weitere 3TB an privaten Daten, die gerne gesichert werden möchten, als DSLR Fuzzie macht man mit RAWs auch einfach verdammt viel schönen Speicherplatz zunichte.

Ich schwafel schon wieder:

Was es wird...
Es sollen insgesamt 16 Platten verbaut werden...
5x 1.5TB Samsung HD514UI (F2)
3x 1.5TB WD15EARS
6x 1TB WD Caviar Green (EADS, EACS, EAVS)
2x 1TB Hitachi
3x 640GB WD Caviar Blue


RAIDsets
5x 1.5TB im RAIDz1 = 6TB
3x 1.5TB im RAIDz1 = 3TB
7x 1.0TB im RAIDz1 = 6TB + 1x 1.0TB HotSpare
3x 640GB im RAIDz1 = 1.2TB

Nun möchten diese Platten natürlich erstmal wo rein - da bietet sich das Yeong Yang YY-B0221 Gehäuse an, welches im Gegensatz zu seinem großen Bruder tatsächlich deutlich mehr Platz für Platten zur Verfügung stellt.

Als System kommt Nexenta Core auf eine 30GB SSD (für das OS reicht's) zum Einsatz.

System
CPU: AMD Athlon X4 605e, 2.3GHz Quad Core CPU
Board: Asus M4A89GTD PRO
RAM: 12GB Kingston ECC RAM (2x2GB + 2x4GB)
HDDs: s.o.
Controller: 2x Intel SASUC8i PCIe x8
NICs: 2x Intel Desktop Pro CT 1000
OS: Nexenta Core mit ZFS

Über den Namen
Dockmaster, so hieß ein großer Server in "Das Kuckucksei" von Cliff Stoll (klasse Buch!). Schon früher hatte ich einen Fileserver gebaut, der Dockmaster FS 320 hieß (4x 80GB IDE, anno 2003). Heute führe ich die Tradition mal weiter und nenne diesen Rechner Dockmaster FS 20000, auch wenn ich die 20TB real knapp verfehle, aber ich denke das geht in Ordnung . Übrigens kommt die 20000 in meinem Lieblingsbuch "20000 Meilen unter dem Meer" von Jules Verne vor. Mein iMac heißt übrigens "Verne", aber das nur am Rande.

Fotos

Spoiler

02.11.2010

3x 92mm Arctic Cooling Lüfter

Einer der beiden Yeong Yang Festplattenrahmen (5 Platten auf 3x5.25" (hochkant))

Ein bisschen hochstapeln wird erlaubt sein

03.11.2010

6x MOLEX auf SATA Kabel

05.11.2010

Halter für die 2.5" SSD in einem 3.5" Schacht

Die Netzwerkkarte, eine Intel Desktop CT 1GBbit/s

4x 3ware MultiLane (SFF-8087) auf 4x SATA Breakout Kabel

4GB ECC RAM (2x2GB) 1333MHz

Corsair 650Watt Netzteil

Adaptec 51645 - das Herzstück des Projekts - irgendwie

Das Board - ein ASUS M4A89GTD PRO


Zusammengebauter Dockmaster (1. Lauf) - natürlich noch KEINE sauber verlegten Kabel und bis dato auch ohne Platten

07.11.2010

Der "Mediapool", 5x1.5TB in einem RAIDZ1 (RAID5)

Die eingebauten Platten im Gehäuse und jede Menge Kabel

Statt dem Adaptec kommen nun, dank Nexenta Core, doch die Intel SASUC8i Controller zum Einsatz, außerdem hat der Server nun 12GB ECC RAM und 2x GBit Intel Netzwerkkarten

Das Etikettiergerät war eine gute Anschaffung Sämtliche Platten sind SEHR einfach zu finden.

10.11.2010
Moin moin,

hiermit schließe ich den Thread, der Server läuft im Keller und hier sind die finalen Bilder

Final photos:

Seit gestern Abend läuft der Server im Keller und verrichtet seinen geplanten Dienst. Der Stromverbrauch liegt erwartungsgemäß bei ca. 130W, was so ziemlich dem entspricht, was vorher die Onnto DataTales gezogen haben

Hiermit schließe ich diesen Thread - das Ziel ist endlich erreicht und nun heißt es erstmal: reinkommen - in das Nexenta

Anbei noch ein paar Ausgaben aus der Console:

dieta@gigi:~$ zpool status
  pool: backup
 state: ONLINE
 scan: scrub repaired 0 in 3h27m with 0 errors on Tue Nov  9 21:16:06 2010
config:

        NAME        STATE     READ WRITE CKSUM
        backup      ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            c3t1d0  ONLINE       0     0     0
            c3t2d0  ONLINE       0     0     0
            c3t3d0  ONLINE       0     0     0

errors: No known data errors

  pool: mediapool
 state: ONLINE
 scan: scrub repaired 0 in 5h43m with 0 errors on Tue Nov  9 23:31:44 2010
config:

        NAME        STATE     READ WRITE CKSUM
        mediapool   ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            c0t0d0  ONLINE       0     0     0
            c0t4d0  ONLINE       0     0     0
            c0t5d0  ONLINE       0     0     0
            c0t6d0  ONLINE       0     0     0
            c0t7d0  ONLINE       0     0     0

errors: No known data errors

  pool: storagepool
 state: ONLINE
 scan: scrub repaired 0 in 0h0m with 0 errors on Tue Nov  9 21:47:42 2010
config:

        NAME        STATE     READ WRITE CKSUM
        storagepool  ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            c0t1d0  ONLINE       0     0     0
            c0t2d0  ONLINE       0     0     0
            c0t3d0  ONLINE       0     0     0
            c3t0d0  ONLINE       0     0     0
            c3t4d0  ONLINE       0     0     0
            c3t5d0  ONLINE       0     0     0
            c3t7d0  ONLINE       0     0     0

errors: No known data errors

  pool: syspool
 state: ONLINE
 scan: scrub repaired 0 in 0h3m with 0 errors on Tue Nov  9 21:17:48 2010
config:

        NAME        STATE     READ WRITE CKSUM
        syspool     ONLINE       0     0     0
          c1d0s0    ONLINE       0     0     0

errors: No known data errors

dieta@gigi:~$ zfs list
NAME                     USED  AVAIL  REFER  MOUNTPOINT
backup                   223G  2.45T   223G  /backup
mediapool               2.80T  2.56T  2.80T  /mediapool
storagepool              150K  5.29T  47.7K  /storagepool
syspool                 11.1G   135G  35.5K  legacy
syspool/dump            8.38G   135G  8.38G  -
syspool/rootfs-nmu-000  1.68G   135G  1.33G  legacy
syspool/rootfs-nmu-001  35.5K   135G  1.02G  legacy
syspool/swap            1.03G   136G    16K  -

dieta@gigi:~$ uname -a
SunOS gigi 5.11 NexentaOS_134f i86pc i386 i86pc Solaris

dieta@gigi:~$ df -h -F zfs
Filesystem             size   used  avail capacity  Mounted on
syspool/rootfs-nmu-000
                       146G   1.3G   135G     1%    /
backup                 2.7T   223G   2.4T     9%    /backup
mediapool              5.4T   2.8T   2.6T    53%    /mediapool
storagepool            5.3T    47K   5.3T     1%    /storagepool

Ciao
Dennis

Stand: 10.11.2010

 

[XX--MM]

Kling gut aber

ohne Bilder, glauben wir nichts....

;D

Viel Glück.

 

[Gelöschtes Mitglied 117520]

*lol* ja - die bekommst Du Aber erstmal was zum Ablichten haben!

 

[pajaa]

Pics or it didn't happen!!

 

[egal0000]

Könnt ihr ihm ruhig glauben

 

[Gelöschtes Mitglied 117520]

Na mal schauen - morgen sollte das Gehäuse ankommen Dann gibt es erste Fotos.

 

[Lightflasher]

Super ich freu mich schon

ich warte bei mir leider noch auf mein Board bevor es losgeht

 

[Gelöschtes Mitglied 117520]

Hier die ersten 3 Fotos

Fotos

3x 92mm Arctic Cooling Lüfter

Einer der beiden Yeong Yang Festplattenrahmen (5 Platten auf 3x5.25" (hochkant))

Ein bisschen hochstapeln wird erlaubt sein

---------- Beitrag hinzugefügt um 22:54 ---------- Vorheriger Beitrag war um 22:53 ----------

Super ich freu mich schon

ich warte bei mir leider noch auf mein Board bevor es losgeht

Was denn mit Deinem Board? Und was genau planst Du da?

 

[kAEsebrOEtchen]

cool, noch ein worklog! habe dienen blog auch schon gerne gelesen. gutes gelingen!

 

[Gelöschtes Mitglied 117520]

Moin!

Habe dem Kind nun einen richtigen Namen gegeben, Dockmaster FS 20000. Wieso und weshalb findet Ihr im Eingangsthread ergänzt

---------- Beitrag hinzugefügt um 12:16 ---------- Vorheriger Beitrag war um 08:36 ----------

03.11.2010

Ich hatte heute eigentlich das Yeong Yang Gehäuse erwartet, statt dessen kamen nur die MOLEX auf SATA Kabel an :/

 

[Gelöschtes Mitglied 117520]

Tja - unverhofft kommt oft

Eben stand der UPS Mensch vor der Tür und brachte mir dies:

 

[underclocker2k4]

Den Cube hatte ich auch mal. Wird aber leider sehr schnell viel zu klein und läßt sich auch schlecht in 19" integrieren.
Aber zum Modden sicher 1a.

Wünsch dir viel Spaß und lass die Finger dran.

WICHTIG:
Im Homeserverbereich das Ergebnis posten, innen als auch außen.

 

[v3nom]

Welches OS möchtest du dann auf dem Server nutzen? Evt FreeNAS?

 

[Gelöschtes Mitglied 117520]

WICHTIG:
Im Homeserverbereich das Ergebnis posten, innen als auch außen.

Na aber auf jeden Fall poste ich es dort

Welches OS möchtest du dann auf dem Server nutzen? Evt FreeNAS?

Ich bin mir noch nicht 100% sicher, schwanke zwischen Debian, CentOS und Win Server 2008 R2 x64.. wobei ich bei der reinen Mac Umgebung Win schon fast ausschließen würde. Ich werde ein paar kleinere VMs laufen lassen, daher definitv kein FreeNAS oder OpenFiler, von den Backup-Scripten die intern laufen sollen mal abgesehen.

 

[GM]

netter kleiner Würfel bin auf das Ergebnis gespannt

 

[Gelöschtes Mitglied 117520]

Moin moin,

tja - mit dem Zulauf an neuen Komponenten ist für heute wohl nichts. Beim einen Händler wo ich den Controller und fast alle inneren Dinge bestellt habe, fehlen die Platten nach wie vor beim Lieferanten, werde die Platten wohl nachher rausstornieren und woanders bestellen. Die CPU wurde von den Lüftern gesplittet, damit diese heute rausgeht, was mich schon wieder 4€ mehr Versandkosten gekostet hat. Die Lüfterhalterung und die 2x 80mm Lüfter zur Zusatzkühlung des RAID Controllers kommen dann nächste Woche. Erinnert mich an Star Trek VII "Kommt nächste Woche"

Irgendwie waren die Lieferanten früher durchweg mehr auf Zack und die Ware binnen 24h hier - aber das schafft ja selbst Amazon danke Hermes (brrr) nicht mehr

Na mal schauen was ich da drehen kann, Sonntag ist auch so ziemlich der einzige Tag wo ich Zeit für den Zusammenbau habe :/

Oh man.. eben schau ich nochmal nach, hat sich der Status in den letzten paar Minuten wohl geändert

Jetzt kommt allerdings die nächste Frage auf. Was soll das denn heißen?

 

[JojoTheMaster]

Den Cube hatte ich auch mal. Wird aber leider sehr schnell viel zu klein und läßt sich auch schlecht in 19" integrieren.
Aber zum Modden sicher 1a.

Wünsch dir viel Spaß und lass die Finger dran.

WICHTIG:
Im Homeserverbereich das Ergebnis posten, innen als auch außen.

Dein Cube steht jetzt (immer noch) bei mir

@DieTa: Ich bin gespannt was du draus machst

 

[Gelöschtes Mitglied 117520]

@DieTa: Ich bin gespannt was du draus machst

Bitte keine viel zu großen Erwartungen Wie ich im Eingangsthread geschrieben habe: Ich werde keine Wasserkühlungen, Lackierungs- oder Sägearbeiten vornehmen

Mein Fokus zielt hier klar auf ein paar nette technische Eckdaten und ein paar schöne Bilder. Natürlich werde ich mich bemühen die Kabel sauber zu verlegen. Nichts desto trotz wird der arme Dockmaster sein Leben in einem dunklen Kellerraum fristen müssen :/ Daher macht es auch wenig Sinn diesen zu "modden".

Zum Glück sind ja Rollen dabei, denn im Keller liegt bisher nur Estricht.

@underclocker2k4: Wenig Platz? Diese Version bietet immerhin (mit den Festplattenrahmen) Platz für 18 HDs + 2x 3.5" über den 5.25" Schächten. Denke das reicht "erstmal". Ansonsten hat der Adaptec ja zum Glück SFF-8088 und ich "könnte" dann ein externes Gehäuse Problemlos dranhängen

Memo an mich: Nicht mehr bei dem Händler bestellen - eine Warteschleife die einen nach 4min rauskickt ist sinnfrei, wenn zu viel los ist.

---------- Beitrag hinzugefügt um 12:47 ---------- Vorheriger Beitrag war um 09:42 ----------

Servus,

so ein dicker Rückschlag: Der Händler (blauer Hintergrund) bei dem ich alles bestellt hatte, hat nun das Netzteil auf den 5.11. verlegt: Sprich Lieferung bis Samstag kann ich "knicken".

Dementsprechend, und weil ich sauer über diese Behandlung durch den Laden war, habe ich nun erstmal alles storniert was ich dort bestellt hatte und werde wohl zukünftig bei Alternate bestellen. Vielleicht etwas teurer, dafür aber besserer Service und superschnelle Lieferung.

Allerdings keimen in mir Zweifel bzgl. des RAID Controllers auf. Irgendwie macht es mir nun Bauchschmerzen 670€ für ein Gerät auszugeben, was ZFS hier eleganter lösen kann und noch dazu: meine 4k Cluster HDs nutzen kann!

Ich erwäge also allen ernstes FreeBSD für den Fileserver zu verwenden (nein, mit OpenSolaris bin ich durch, das ist mir dann echt zu hardcore - FreeBSD fällt mir doch deutlich leichter).

Kennt Ihr evtl. gute SATA Controller für PCIe mit 8/16 Ports?

Bis auf die CPU ist nun alles offen, also Board, RAM, Netzteil etc pp.

 

[Gelöschtes Mitglied 117520]

Ich denke ich habe eine neuen Plan, der einiges (550€) günstiger ist. Hier mal die Bestellliste. Was meint Ihr?

http://dl.dropbox.com/u/157973/freebsd-zfs-fileserver.png

Wäre dann eben für FreeBSD mit ZFS ausgelegt.

 

[Gelöschtes Mitglied 117520]

Servus,

kleines Pre-Update von mir.

Heute kamen 2 unerwartete Pakete. Neben den bestellten Sachen von Alternate hatte mir der "andere" Händler nun doch (trotz Erstattung der Stornierung heute morgen) einige Kompnenten geschickt:

- Netzteil
- Adaptec Controller
- 8GB RAM
- Intel Desktop Pro/1000
- 4x SFF-8087 auf 4xSATA Kabel

Hmm... ich habe jetzt etwas in VMware mit FreeBSD gearbeitet :/ Was soll ich sagen? Es ist doch komplizierter als ich es in Erinnerung hatte.

Ich trage mich mit dem Gedanken die beiden Intel SASUC8i's zurückzuschicken und den Adaptec zu behalten und Debian (wie ursprünglich geplant) zu verwenden.

Fotos von dem Riesenstapel an eingetroffener Hardware kommt heute Abend noch

Irgendwie kann bei mir nie was geradeaus laufen :P Na wer weiß wozu es gut ist. Die SSD (30GB Kingston) & 3x Samsung HD154UI kommen morgen an. Dann kann es am Sonntag losgehen - evtl. kann ich aber nicht wiederstehen und baue heute Abend noch das Board schonmal ins Case

---------- Beitrag hinzugefügt um 19:10 ---------- Vorheriger Beitrag war um 18:36 ----------

So und mit dem Update werden es nun knapp 22TB und nein, ich nenne das Projekt nun NICHT um

---------- Beitrag hinzugefügt um 21:14 ---------- Vorheriger Beitrag war um 18:36 ----------

Nabend!

Wie versprochen: Hier die Fotos von den Komponenten die heute ankamen (zumindest denen, die hier blieben und verbaut werden)

05.11.2010

Halter für die 2.5" SSD in einem 3.5" Schacht

Die Netzwerkkarte, eine Intel Desktop CT 1GBbit/s

4x 3ware MultiLane (SFF-8087) auf 4x SATA Breakout Kabel

4GB ECC RAM (2x2GB) 1333MHz

Corsair 650Watt Netzteil

Adaptec 51645 - das Herzstück des Projekts - irgendwie

Das Board - ein ASUS M4A89GTD PRO

Ciao
Dennis

---------- Beitrag hinzugefügt um 22:28 ---------- Vorheriger Beitrag war um 18:36 ----------

Und noch mehr Bilder

Ich konnte die Finger nicht still halten und musste den Großteil der Komponenten schonmal einbauen

Zusammengebauter Dockmaster (1. Lauf) - natürlich noch KEINE sauber verlegten Kabel und bis dato auch ohne Platten

 

[Gelöschtes Mitglied 117520]

Moin moin,

habe mir eben mal die Yeong Yang Festplattenrahmen angeschaut - damit wurden keine Entkopplerschrauben geliefert. Nun ist guter Rat teuer, denn ich wollte jetzt am WE 10 Platten einbauen, wozu ich direkt 40 davon benötige.

Weiß jemand zufällig woher ich diese nun auf die Schnelle im Ruhegebiet/Niederrhein bekommen könnte!?

Diese sehen so aus:

(schnelles Foto mit dem iPhone)

 

[JustMe2p]

Zu Deinem Problem weiß ich nichts, aber das Projekt sieht sehr interessant aus!

Mit was machst Du die Fotos? Die sehen gut aus!

 

[Gelöschtes Mitglied 117520]

Zu Deinem Problem weiß ich nichts, aber das Projekt sieht sehr interessant aus!

Mit was machst Du die Fotos? Die sehen gut aus!

Danke

Die Fotos mache ich mit einer Sony Alpha 300 und einem Tamrom ƒ2.8 17-55mm Objektiv (außer dem letzten natürlich).

Kleines Update:
Die Samsung Platten sind da!
Die SSD NICHT :/ Naja nicht so dramatisch - dann muss ich einen Mac Mini bis dahin auseinandernehmen und diese Platte für den Server verwenden. Wenn die neue von Alternate dann mal eintrudelt, bekommt der Mini diese.

Ich war außerdem gerade im Metallfachhandel hier in Moers, die haben mich an den Elektrofachhandel verwiesen und der hat diese Schrauben nicht, genausowenig wie mittlerweile 3 angeklingelte PC Läden in der Region. Bin nachher bei Atelco in Duisburg, bzw. bei der Metro, aber der Atelco ist direkt daneben, aber irgendwie mache ich mir da keine Illusionen :S Da werden wohl andere Schrauben herhalten müssen. Hmm..

---------- Beitrag hinzugefügt um 11:24 ---------- Vorheriger Beitrag war um 10:54 ----------

Habe mir eben mal einen kleinen "Plan" in Excel gemacht wie ich die Platten aufteilen werde:

R = RAID Controller
B = Board Controller

 

[Gelöschtes Mitglied 117520]

Nabend!

Noch ein Update

Schrauben: Ich habe kompatible Schrauben nach langer Suche in verschiedenen Läden gefunden, die sowohl in der HD halten als auch lang genug sind und einen Kopf haben der breit genug ist um in den Gummihalterungen eines Yeong Yang Festplattengehäuses zu halten.

Es sind FAUST Zylinderschrauben DIN84 (20 Stk pro Packung). Diese Zylinderschrauben werden mit Muttern geliefert, aber das ist bei einem Preis von 2,39€ pro Packung denke ich mal verkraftbar

Einen kleinen Haken hat die Sachen allerdings: Es sind Schlitzschrauben! Aber da man wohl nicht dauernd seine Platten ein- & ausbaut ist das wohl verkraftbar und definitiv eine günstige Alternative zu Entkopplungsschrauben.

Hier ein Bild wie die Schrauben aussehen:

Des weiteren sind heute hinzugekommen:
- ein TT Dual-Slot Lüfter der die Wärme unter dem Adaptec 51645 aus dem Gehäuse bringen soll
- ein MOLEX auf 4x Lüfter Adapterkabel
- eine Brother Etikettiermaschine - Hintergrund ist die GENAUE Beschriftung der einzelnen Platten für den Fehlerfall. Ich habe mir folgendes Konzept ausgedacht:

Multilane Kabel A / Platten 1-4
Multilane Kabel B / Platten 1-4
Multilane Kabel C / Platten 1-4
Multilane Kabel D / Platten 1-4

Auf den Platten kommt dann ein Text wie z.B.: SAMSUNG 1500 A1

Ist dann eine Samsung HD154UI die am obersten Port des Controllers (also Multilane Kabel A) angeschlossen ist, und zwar an dem 1. SATA Breakout Kabel.

Morgen früh steht dann danke der nicht gelieferten SSD von Alternate heute (was mich sehr wundert) die Demontage einer 32GB OCZ SSD aus dem Mac Mini "Belldandy" an. Danach geht's es los mit dem SSD Einbau und dem Einbau der 5x Samsung HDs in das Yeong Yang Festplattengehäuse.

Ich halte Euch auf dem laufenden

 

[Gelöschtes Mitglied 117520]

Nabend!

Hier die Updates des heutigen Tages. Wie ich es geplant hatte, wurden heute die Platten eingebaut und das System installiert.

Nein, es ist nicht Debian geworden, sondern Nexenta Core, ein Ubuntu Derivat mit Solaris Kernel. Sprich: ZFS!

Das ganze wird über napp-it gemanaged (zumindest größtenteils).

Hier nun die Fotos:

Der "Mediapool", 5x1.5TB in einem RAIDZ1 (RAID5)

Die eingebauten Platten im Gehäuse und jede Menge Kabel

Statt dem Adaptec kommen nun, dank Nexenta Core, doch die Intel SASUC8i Controller zum Einsatz, außerdem hat der Server nun 12GB ECC RAM und 2x GBit Intel Netzwerkkarten

Das Etikettiergerät war eine gute Anschaffung Sämtliche Platten sind SEHR einfach zu finden.

Und als schmankerl mal ein paar Zahlen um zu sehen wie sich so ein ZFS Software RAID so schlägt:

Einzig die SSD aus dem Mac Mini bereitet mir etwas sorgen und wird auf jeden Fall noch gegen die bestellte Kingston getauscht. Das OS meldet mir einige Fehler auf der SSD, also muss die wohl retoure. Interessant finde ich, dass man das bei OS X nicht gemerkt hat. Ich sehe das nun eher als Stärke von ZFS, mir die Fehler auch zu melden.

Ciao
Dennis

 

[Gelöschtes Mitglied 117520]

Guten Morgen,

ein kleines Update (ohne Fotos diesmal).

Das OS Nexenta Core ist ein wunderbares OS wenn man eine Debian Base mit ZFS haben möchte OHNE den Umweg über FUSE zu gehen. Es läuft nun seit knapp 2 Tagen auf meinem "Dockmaster" (der übrigens nun "Gigi" heißt).

Allerdings machte meine OCZ 32GB SSD, die ich aus dem Mac mini ausgebaut hatte einige Probleme. Natürlich hing die neu bestellte Kingston 30GB SSD von Alternate ein paar Tage bei DHL fest - sollte aber heute morgen endlich ankommen.

Daher ist aktuell eine WD160GB IDE HD für das System eingebaut. Es scheinen einige Operationen über die Systemplatte zu laufen, auf jeden Fall habe ich mit der IDE deutlich langsamere Werte gemessen, aber die SSD wird's dann wieder richten Die Installation ist zum Glück in ca. 30 Minuten komplett erledigt (dank napp-it.org).

Zur Hardware:
Aktuell verbaut sind nun:
5x 1.5TB Samsung HD154UI (im RAIDz1 "mediapool")
6x 1TB WD Green + 2x 1TB Hitachi (im RAIDz2 "storage")

Neben dem Gehäuse zu Testzwecken liegen die 4k Cluster Platten:
3x 1.5TB WD15EARS (im RAIDz1 "backup")

Beim gestrigen einbauen der 8x 1TB HDs ist mir aufgefallen, dass der Platz doch etwas beengt ist, wenn man von 2 Seiten kommt (sprich: einmal von vorne die großen Festplattenrahmen mit je 5 Platten und dann von der Gehäuserückseite kommend, wo dann die restlichen 8 Platten angeschraubt werden. Zum Glück lassen sich die Halterungen komplett rausschrauben, so dass man die Platten und die Kabel vor dem Einbau vormontieren kann.

Werte:
Der "mediapool" bringt es beim ZFS "scrub" auf mehr als 330MB/s. Sehr beachtlich.
Der "storagepool" ist noch nicht getestet (folgt).
Der "backup" Pool bringt es beim ZFS "scrub" auf mehr als 100MB/s.

Der letztere Durchsatz liegt einerseits an der oben erwähnten IDE HD, andererseits aber auch daran, dass ZFS auch nicht unbedingt "glücklich" mit 4k Platten ist. Die Leistung ist "reduziert", aber durchaus verwendbar. Ich denke für die Backups ist das aber durchaus eine Leistung die prima ist und ich sehe hier keinen Grund für irgendeinen Austausch.

Mehr technischen Daten und hoffentlich Bilder vom finalen Aufbau des Servers heute Abend!

Ciao
Dennis

 

[Gelöschtes Mitglied 117520]

Moin moin,

hiermit schließe ich den Thread, der Server läuft im Keller und hier sind die finalen Bilder

Final photos:

dieta@gigi:~$ zpool status
  pool: backup
 state: ONLINE
 scan: scrub repaired 0 in 3h27m with 0 errors on Tue Nov  9 21:16:06 2010
config:

        NAME        STATE     READ WRITE CKSUM
        backup      ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            c3t1d0  ONLINE       0     0     0
            c3t2d0  ONLINE       0     0     0
            c3t3d0  ONLINE       0     0     0

errors: No known data errors

  pool: mediapool
 state: ONLINE
 scan: scrub repaired 0 in 5h43m with 0 errors on Tue Nov  9 23:31:44 2010
config:

        NAME        STATE     READ WRITE CKSUM
        mediapool   ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            c0t0d0  ONLINE       0     0     0
            c0t4d0  ONLINE       0     0     0
            c0t5d0  ONLINE       0     0     0
            c0t6d0  ONLINE       0     0     0
            c0t7d0  ONLINE       0     0     0

errors: No known data errors

  pool: storagepool
 state: ONLINE
 scan: scrub repaired 0 in 0h0m with 0 errors on Tue Nov  9 21:47:42 2010
config:

        NAME        STATE     READ WRITE CKSUM
        storagepool  ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            c0t1d0  ONLINE       0     0     0
            c0t2d0  ONLINE       0     0     0
            c0t3d0  ONLINE       0     0     0
            c3t0d0  ONLINE       0     0     0
            c3t4d0  ONLINE       0     0     0
            c3t5d0  ONLINE       0     0     0
            c3t7d0  ONLINE       0     0     0

errors: No known data errors

  pool: syspool
 state: ONLINE
 scan: scrub repaired 0 in 0h3m with 0 errors on Tue Nov  9 21:17:48 2010
config:

        NAME        STATE     READ WRITE CKSUM
        syspool     ONLINE       0     0     0
          c1d0s0    ONLINE       0     0     0

errors: No known data errors

dieta@gigi:~$ zfs list
NAME                     USED  AVAIL  REFER  MOUNTPOINT
backup                   223G  2.45T   223G  /backup
mediapool               2.80T  2.56T  2.80T  /mediapool
storagepool              150K  5.29T  47.7K  /storagepool
syspool                 11.1G   135G  35.5K  legacy
syspool/dump            8.38G   135G  8.38G  -
syspool/rootfs-nmu-000  1.68G   135G  1.33G  legacy
syspool/rootfs-nmu-001  35.5K   135G  1.02G  legacy
syspool/swap            1.03G   136G    16K  -

dieta@gigi:~$ uname -a
SunOS gigi 5.11 NexentaOS_134f i86pc i386 i86pc Solaris

dieta@gigi:~$ df -h -F zfs
Filesystem             size   used  avail capacity  Mounted on
syspool/rootfs-nmu-000
                       146G   1.3G   135G     1%    /
backup                 2.7T   223G   2.4T     9%    /backup
mediapool              5.4T   2.8T   2.6T    53%    /mediapool
storagepool            5.3T    47K   5.3T     1%    /storagepool

 

[STER187]

schönes Teil

 

[Gelöschtes Mitglied 117520]

Danke @STER187

 

[STER187]

auch wenn das gute Stück im Keller steht, wie ist den die Geräuschkulisse?

und gerade weil er im Keller steht ( ) du hast ja keinen Staubfilter in der Front eingebaut..keine Befürchtungen?

mfg
STER187