Server als Datenablage

[NiclasM]

Hi

Ich überlege mir einen HomeServer zu kaufen, da ich eine Entsprechende Internet Leitung habe, damit etwas anzufangen und gerne von 5-6 Server per rsync Daten in der Nacht abgleichen zu lassen.

Als OS soll Debian eingestetzt werden. Es soll ein mdadm RAID6 aus 2 TB Festplatten erstellt werden wo die Daten lagern. Filesystem wird EXT4. Dieses ist dynamisch und wächst auf bis zu 28-30 TB an. Das ganze Gerät soll 24/7 durchlaufen. Ein Backup der Wichtigsten Sachen ( die Daten der rsync Vergleiche ) werden immer in der Nacht auf einen Root Server geschoben.

Der Server soll im großen und ganzen für Daten zuständig + Download Server. Evtl. noch kleinere Spielereien aber sonst nichts.

Da ich kein unbegrenztes Budget besitze, werde ich erstmal mit dem Minimum anfangen. Dennoch möchte ich später eigentlich nurnoch wenn überhaupt RAM und Festplatten und einen SATA Controller nachkaufen.

Dies hatte ich an Hardware gedacht :

1 Compucase S-4UT6
1 Chieftec SST-3141
4 WD Green 2000GB
1 MSI H55M-E33
1 Kingston 2GB
1 Intel Core i3-540
1 Corsair TX 750W
808,94 €


Habt ihr irgendwelche Verbesserungs Vorschläge oder ideen ?

 

[JensS]

Mal so meine Gedanken:
-Muss es 19" sein? Sonst kommst du mit einem Rebel 9 deutlich günstiger weg und kannst bei Bedarf sogar einen 3. Wechselrahmen einsetzen.
-Chieftec SNT-3141 (oder ähnliches, gibts auch von Fantec und so), das ist imo der bessere Rahmen, bei dem SST fand ich die Entriegelung relativ schwergängig, über den SNT kann ich nicht klagen
-Kommt das Softraid mit 4k-Platten klar? Oder willst du die EADS-Version nehmen?
-Reicht der RAM? Da würde ich eher 4GB stecken, momentan geht's ja preislich...
-Wozu so ein dickes NT? Selbst die Hausnummer 300W würde bei dem System mehr als dicke ausreichen, selbst wenn noch einige Platten dazukommen. (Ich betriebe einen E6750 auf einem X38-Board und 13 HDDs an einem 350er NT...)

 

[NiclasM]

Ok, danke schonmal für deine Antwort.

19" Finde ich einersetzt Hübsch und passt gut in meinen Lack zu dem 19" Switch...

Bei dem Wechselramhen habe ich eigentlich "nur" darauf geachtet, dass ich viele Platten in möglichst wenig 5,25"er reinbekomme, gute Verarbeitung + Lüfter habe.

Nunja, wenn dann ist die Frage ob Linux mit 4k Platten klarkommt. Werd ichnochmal nachforschen aber denke das sollte kein Problem sein.

Das Netzteil weil später zich Festplatten und Lüfter drin verbaut werden. Da ich die IDE- Strom auf SATA Strom Adapter für 2 Euro kaufen kann, wäre das NT Gut um viele Lüfter und Festplatten anzuschließen. Max 18 Geräte wenn ich mich nicht geiert habt.

 

[Hades2k]

Also ich hab Debian mdadm Raid mit WD Green 4K Platten laufen, soweit keine Probleme.
Zu dem Case: 19" is schon echt was schönes aber wenn du dir überlegst ein Rebel 9 hat fast 19" Maße - passt auch gut ins Rack und ist um einiges billiger was wieder ordentlich Plattenplatz bedeutet das was du einsparst .
Ram da würde ich ein 2Gb Riegel nehmen damit du ohne Probleme später noch weitere Nachstecken kannst ohne die komplett austauschen zu müssen - bei mir sind im Moment 4Gb drin aber nur weil die noch rumlagen

 

[NiclasM]

Naja egal, die 50 Euro geb ich dann doch lieber für ein echtes 19er Gehäuse aus.
Hab doch 2 GB Riegel genommen ?!

Jadann steht den Platten nichts im Wege.


PS : Passt in das Gehäuse ein normales ATX NT rein ?

 

[JensS]

Bei 4HE-Cases sollte das iA passen mit ATX-Netzteilen, genaueres sollte dir der Hersteller verraten.

Was die NT-Dimensionierung angeht - selbst bei 18 Platten dürften 750W noch überdimensioniert sein... Meine Kiste ist schon nicht gerade sparsam, aber wie gesagt, ein 350er tut's. Ich denke mit 500W bist du immernoch sehr gut dabei...

Beim Rebel9 hast du den Vorteil, dass du eben 3 Wechselrahmen reinhauen kannst, also wenigstens 12 HDDs, oder gar 15, ich bin mir nicht ganz sicher, ob es auch Rahmen für 5 HDDs in 3 Slots gibt. Und wie Hades2k sagte, das Teil hat fast 19"-Maße - 2 L-Profile ins Lack gedübelt und gut is'.
Bei 19"-Cases ist das halt alles blöd. Da hast du entweder so Backplane-Monster ala Chenbro 41416 oder kriegst maximal 8-10 HDDs rein...
(und das Rebel9 sollte etwas mehr als 50€ günstiger sein )

 

[Hades2k]

Es gibt 5-in-3 Wechselrahmen, hab ich gestern auch für mich nach gesucht , wenn man mal bei eBay stöbert für um die 120€ also nicht allzu viel teurer als oben angegeben.
Das macht dann 15 Datenplatten (immerhin 9 ohne Wechselrahmen die nactürlich nen schweine Geld kosten) und die fürs OS kann man entweder eine SSD, ne 2,5" oder wie ich ne alte IDE die ich an den Boden geschraubt habe nehmen .

Und zum Netzteil kann ich nur sagen, ich hab im Moment 10 Platten laufen mit einem 380W Netzteil und die Leistung wird eh nur beim Anlaufen gebraucht.
Wenn man vielleicht bei den noch kommenden Controllern auf Stagged-spinUp achtet verteilt sich die Last ja und das reicht auch noch dicke.
Ich würde auch wenn überhaupt so im 400-500W Bereich gucken und mit soviel Effizienz wie möglich Strom wird immer teurer .

 

[Austin1]

Was soll denn für ein Sata-Controller rein?

Falls du etwas ohne RAID etc suchst, dann gibt es 2er die PCIe 1x brauchen oder 4er Ports die auch PCIe 4x brauchen. Würde daher ein Board mit mehr PCIe x 16 nehmen.

Nur so als Tip.

 

[NiclasM]

Jop, danke hast du da eine Idee für ein Board?

Also 6-8 SATA Plätze sollte es haben und wenn ich dann 4er Controller nehme, bräuchte ich zwischen 2-3 SATA Controller in dem Ding...

 

[underclocker2k4]

Es gibt von SM sehr gute 8er nonRAID controller für PCIe x8.

 

[NiclasM]

Ist irgendwie alles kompliziert und wird immer teurer :-P

Entweder ein MB direkt mit 8 - 10 SATA mit wenig Controller, oder 6 SATA mit mehreren Controllern, was ist wohl schlauer ?

 

[fdsonne]

ja was heist immer teuer?
30TB an Platz bekommt man nun mal nicht für nen Appel und en Ei...

Aber so richtig erschließt sich mir die Sinnfrage nach einer 30TB Bastelkrücke nicht. Aber gut.
Ich würde an deiner Stelle eher große mehrportige Controller nehmen, einfach aus dem Grund, du kannst mit weniger PCIe Slots arbeiten.
Die von underclocker genannten klingen schonmal nicht verkehrt... Davon einen, vllt zwei und du hast was die SATA Ports angeht längere Zeit erstmal ruhe.

 

[NiclasM]

Naja wenn wir von 8x SATA vom Board ausgehen, brauchen wir ja nurnoch 2 4er

 

[fdsonne]

blöd nur das die gängigen Boards auf dem Markt entweder 16x Slots oder 1x Slots haben...
Das heist, wenn du nicht PCIe 1x Karten verwendest, so wirst du immer 16x Slots bereit stellen müssen.

Und sehe ich das richtig, das das MSI Board von oben eben nur 1x 16x kann? 2x 1x und 1x PCI? So wirds mit 2x 4 Port Controllern auch nix.
Und SATA hat das Teil auch nur 6x... Wie die gängigen Boards alle samt auch.

 

[NiclasM]

Bin Jetzt soweit und hab das Konzept auf 20 TB (nutzbar) gekürzt.

Hier die Tabelle :

File-Upload.net - Niclas-Server.ods

 

[Hummerman]

Kauf dir lieber einen gebrauchten Dell Perc6i (oder vergleichbar), da haste dann mehr von.

 

[fdsonne]

Kauf dir lieber einen gebrauchten Dell Perc6i (oder vergleichbar), da haste dann mehr von.

Das sehe ich allerdings auch so...
Ich bin auch bisschen skeptisch, das man richtig performant ein Software Raid 6 zum laufen bekommt. Gerade bei so vielen HDDs müssen extrem viele Paritätsdaten berechnet werden. Denn die Anzahl der Berechnungen steigt mit jeder HDD weiter an. Die CPU könnte schnell am Ende sein. Zumindest bei Schreibzugriffen.
Und bei Schreibzugriffen die CPU auf Volllast zu fahren bringt dem Stromverbrauch auch keine Abhilfe. Da tuts ein brauchbarer echter Raidcontroller in meinen Augen deutlich besser. Aber das ist Geschmackssache...

 

[NiclasM]

Also das ganze wird aufjedenfall ein SW RAID. Ein RAID Controller bringt mir nichts und da ich nicht solch extrem mengen Gleichzeitig draufschaufel sollte das gehene. Bzw Hab ich schonmal für jemanden gemacht. Ähnliche Config

 

[fdsonne]

Neja auch 20TB sind ne Menge Holz, das muss man erstmal voll bekommen... Was nutzt es dir, wenn dann schreibend auf die Kiste nur noch wenig an Datenrate machbar ist!?

Aber wie gesagt, das ist ja jedem selbst überlassen, ich würds nicht machen...

 

[NiclasM]

Also ich möchte nicht respektlos erscheinen da ich ja um eure Hilfe gebeten habe aber beispiels weise habe ich ein Software RAID 5 mit 5 Platten und das ist 8 TB groß. in der größe liegt beim HD Parm Test die Auslastung nicht gerade hoch (20% pro Kern) und ich schaffe im lesen 450 MB/s + 250 MB/s write.

Nun ein RAID Controller kostet doch eine ganze menge... aber ich überlegbs mir mal.

 

[underclocker2k4]

HW RAID vs SW RAID Diskussion?

Hat beides Vor- und Nachteile.

Man darf nicht vergessen, dass einige hier (zB fdsonne) aus dem Profibereich kommen, da ist nen HW RAID (zumindest in den Größenordnungen hier) einfach Pflicht.
Sicherlich kann man mit einen SW RAID oder einen ZFS Verbund sowas auch aufbauen, muß jeder für sich wissen.

 

[fdsonne]

Ich will ja nix dagegen sagen, jeder soll selbst wissen, was er bereit ist zu kaufen und was nicht...
Nur finde ich, sollte man durchaus Einwände einräumen und Denkanstöße geben...
Raid 5 ungleich Raid 6, ebenso steigt wie gesagt die Anforderung an die CPU mit jeder weiteren HDD.

Das könnte schon recht eng werden. Es kommt halt auch drauf an, was für Zugriffe stattfinden. Ein einziger sequenzieller Schreibzugriff mag potent sein, und dem entsprechen was du da genannt hast, aber lass da mal nicht riesige Files drauf fließen sondern kleinere, dann sinkt die Datenrate massiv.
Ebenso das genannte Verbrauchsproblem. Wobei das sicher in Absoluten Zahlen ausgedrückt noch vernachlässigbar ist und sich erst nach Jahren rentiert...

Auch finde ich diese Frickellösung mit billig 4 Port SATA Erweiterungskarten nicht optimal...

Aber wie gesagt, für das Vorhaben würde ich größt mögliche Controller kaufen, sprich mit den meisten Ports. Wenn nicht Hardwareraid... Ansonsten kann man auch bequem über zwei 8 Port Controller der etwas besseren Klasse ein einziges Raid legen. Oder halt zwei dieser erstellen.
Und auch mit den schon auf 20TB gesenkten Anforderungen wird es denke ich problematisch... Du brauchst für Raid 6 12 2TB HDDs, dazu eine fürs OS (wäre empfehlenswert, besser sogar zwei im Raid 1) das sind schon 13-14 Stück. Und man wäre gleich wieder an der Grenze des machbaren bei den günstig Controller Erweiterungen.

 

[gea]

Nun ja, ich benutze nur noch Software Raid - zwar ausschliesslich mit ZFS - bin aber dennoch der Meinung, dass Hardware-Raid Controller nur noch beim Boot-Laufwerk und bei schwacher Hardware echte Vorteile haben - eventuell noch wenn mit einem Akku-Pack das Write-Hole Problem bei Raid5/6 angegangen wird. Aber das ist bei ZFS ohnehin kein Thema mehr. . Genügend RAM und CPU-Leistung sowie eine gute Software-Raid Software vorrausgesetzt, spricht eigentlich alles für Software-Raid - nicht ohne Grund setzt das Modernste was es bei Raid gibt -ZFS- nur noch auf Software Raid mit beliebigen Block-Devices an beliebigen Controllern oder per iscsi angebunden. Nur damit hat das OS übrigens die Kontrolle über die Platten und kann da Fehler beheben - viel besser als ein Hardware-Raid-Controller mit seinen viel geringeren Resourcen.

Ich würde einen > 20TB Server in einem 19" Rack mit Backplane unterbringen, wenn das Geld reicht (Die Kühlung ist einfach am Besten). Als Mainboard würde ich allerdings ein Serverboard nehmen, z.B. SuperMicro X8SIL-F. Das kostet auch nur ca 150 Euro, kann aber bis zu 32GB ECC RAM, Intel Nics, 6 x SATA, IPMI (Per Browser Remote Power On/Off und remote Console-Tastatur, auch bei ausgeschaltetem Rechner) und 3 x Pci-E x 8 Slots.

Dazu 1-2 SAS HBA Controller mit 1068E (8 x hot-plug-SAS/Sata, ab ca 110,--) und darauf ein Software Raid - wobei ich natürlich ein ZFS-OS (Nexenta, quasi Debian mit Solaris Kernel oder OpenIndiana oder nichtkommerziell auch Solaris Express) nehmen würde.

i3/i5 CPU geht da auch, besser wäre die billigste Xeon Version, RAM würde ich min 4 GB nehmen, bei ZFS eventuell noch ein 50 GB SSD Read Cache für 60-100 Euro (Hybrid Storage). Ich habe auf meiner Maschine sogar esxi 4.1 als Betriebssystem und lasse den Storageserver virtuell (mit passthrough zu den Platten) zusammen mit weiteren virtuellen Machinen auf dem ZFS Storage laufen - nur als Option -, sowas geht eben auch mit einem Serverboard.

Gea

 

[fdsonne]

@gea
dafür brauch es aber nicht unbedingt ZFS
Aber stimmt schon, ZFS ist schon eine nette Sache

 

[gea]

@gea
dafür brauch es aber nicht unbedingt ZFS
Aber stimmt schon, ZFS ist schon eine nette Sache

Für das Raid an sich nicht, aber wie könnte man ohne ZFS bei 20 TB Daten noch gut schlafen - wenn das der einzige Server ist und es keine weitere Sicherung der Daten gibt )

- wobei ich auch bei ZFS Backups mache und es auch schon gebraucht habe, war aber mein Fehler und kein Fehler von ZFS.

 

[underclocker2k4]

Daten werden immer nen Backup erfordern alles andere ist wie täglich Fallschirmspringen, irgendwann erwischt es einen.

 

[gea]

korrekt -
wird leider bei 20 TB schwierig. Ich rechne immer Nutzkapazität x 3. Da heisst wenn ich 20 TB nutzen will, muss ich 60 TB kaufen (zuzgl. Redundanz/ Raid und 2 x Tiered Backup-Server), eigentlich noch mehr, weil ich Snapshots mache um auf einen älteren Datenstand zugreifen zu können. Ein Faktor 5 trifft meine Anforderungen da eher.

Ist aber nichts für einen bezahlbaren Homeserver. Da ist nichts mit Backup bei 20 TB - da hilft nur größtmögliche Absicherung des Grundsystems -und das heisst bei Nicht-Enterprise-Platten dann Raid6/ ZFS2 oder sogar ZFS3 mit mindestens monatlichen, besser wöchentlichen Filetests wegen der schleichenden Datenfehlern die bei diesen Datenmengen zum echten Problem werden. Entweder traditionell offline (dauert Tage) oder bei ZFS online mit scrubbing (ZFS-Filetest mit Refresh)

 

[NiclasM]

Wegen der Backupsache kann ich folgendes Sagen. Die wirklich relevanten Daten sind nicht wirklich groß. Den vielen Speicherplat nutze ich wenn für HD Filme, Musik etc. , diese Daten können gelöscht werden, wäre kein Weltuntergang. Die wirklich wichten Daten die ich für Firmen Sichere werden ja sowieso jede nacht mit einem Root Server im RZ gesichert. Dass "nur" 1 Backup Pro Tag läuft ist schon ok und stört auch keinen großen Geist, da die Server bei den einzelnen Firmen selber schon ein RAID1 besitzen. Ob das nun genügend Sicherheit bietet ist ansichtssache wobei ich schon sagen kann dass das Ganze System sicher ist. Spätestens bei dem Doppelten Backup auf den Root server ist die Sicherheit groß dass die Daten safe sind. Ausserdem werden Wöchentliche Snapshots gemacht.


ZFS hört sich immer sehr interessant an, wobei ich da ein etwas flaues gefühl im Magen bekomme da ich dann nicht (wirklich) mit Debian und dem Linux Kernel arbeiten kann. Dieses Debian mit UNIX, ist ja noch ziemlich neu. Da würde ich eher auf ext4 vertrauen...

Das mit dem 19" Rack mit Backplane fand ich auch interessant und hatte auch ein gehäuse gefunden. Leider hatte dass eine SAS Schnittstelle wo ich halt nicht im Thema bin. Trozdem wäre dies natürlich mit einer PCIe Karte möglich. Ich werde mal das Gehäuse was ich gesehen habe Posten, damit wir darüber sprechen könnten. Eine Lösung mit Xenon wäre natürlich die "Profi" Lösung, solange das nicht unmengen mehr Geld verschlingt da ich die ganze Sache erstmal aus eigener Tasche Zahlen muss und erstmal mit einer minimal Konfiguration loslegen wollte...





EDIT :

Dies Gehäuse wäre Optimal und würde Preislich mit 200 Euro auch passen.
http://www.chenbro.eu/corporatesite/products_detail.php?sku=28
Wäre dann nur die Frage nach einem Passenden NT + wie läuft das mit dem CPU Kühler, wobei das ja auch machbar seien müsste oder ?

 

[underclocker2k4]

200EUR aber ohne Backplane, ansonnsten gib mir mal den Link, das wäre deutlich unter den üblichen Preisen.

Kühler=2HE Kühler -> gibt nen ordentlich ramba zamba im Gehäuse, genauso wie das 2HE NT, was du brauchst.
Sowas wird also kein Silentserver, das ist sicher.

 

[gea]

ZFS hört sich immer sehr interessant an, wobei ich da ein etwas flaues gefühl im Magen bekomme da ich dann nicht (wirklich) mit Debian und dem Linux Kernel arbeiten kann. Dieses Debian mit UNIX, ist ja noch ziemlich neu. Da würde ich eher auf ext4 vertrauen...

Bitte nichts durcheinanderwürfeln.
Wenn es nicht um Linux-Kernel-Entwicklung, sondern um einen möglichst stabilen Server geht, ist der Kernel eigentlich egal - Obwohl Sun natürlich mit seinen Servern seit den 90er Jahren des letzten Jahrtausends immer für besonders stabil, fortschrittlich und schnell steht - auch wenn sie in den letzten Jahren marketingmäßig nicht so gut waren und deshalb von Oracle gekauft wurden - ZFS ist dabei neben anderem das besondere Highlight von Sun. Nexenta (hiess auch mal Debian based GNU Solaris) hat dazu nur von Debian (hier Ubuntu Server) das Handling, Tools und das Packet-management übernommen. Im Kern ist es nach wie vor Sun Solaris/ Unix pur.

wg ext4
Ist nicht nur eigentlich mit ZFS nicht zu vergleichen. Ist wie der Vergleich von Dampfmaschine mit Benzinmotor, da liegt technologisch eine Generation dazwischen - erst mit btrfs wird sich das ändern - wenn es mal fertig ist. ZFS hat auch 10 Jahre zum Reifen gebraucht. Ich war anfangs auch skeptisch - zumal ich aus der Mac/ Win- Ecke komme. Dennoch: 6 Wochen intensive Beschäftigung mit ZFS haben gereicht, dann war klar. Ich werde so schnell es geht alle unsere File- und San-Server auf ZFS umstellen - was inzwischen auch geschehen ist - und ich habe es nicht einen Tag bereut.

Gea