Fileserver mit Soft Raid 5 unter Linux (sata controller, fusion)

[pille-palle]

Tag die Herren

ich weiß garnicht so recht, wo ich anfangen soll.
am besten mit der momentanen festplatten und speicher konstellation in unserem haus.

im keller steht ein alter server:
5x300gb im hardware raid 5, gibt effektiv 9xxgb
betriebssystem ist open-e enterprise
das ding zieht im idle 130 watt aus der leitung-> no go! auf dem sind alle wichtigen daten gespeichert (fotos, emails, rechnungen, software, musik, etc.)

1. stock media pc
an dem hängen externe festplatten über usb 2.0
5x1tb, 1x1,5tb und 1x2tb sind alles wd mybooks

auf denen sind nur die vom tv aufgenomen und in xvid konvertierten filme gespeichert... leider sind es inzwischen so viele filme, dass man nixmehr findet, ist zwar alles organisiert aber so wirklich ist das nix... jede von den festplatten zieht bestimmt auch nochmal 10watt

nun der auftrag von meinem vadda:
das alles muss stromsparender werden
desweiteren will er für die filme eine rießen festplatte, die einfach erweitert werden kann

ich dachte an folgendes:

- itx-board mit amd fusion

- 2gb ram

- 2x1tb im raid 1 für die empfindlichen daten

- 4x2tb im jbod für filme

betriebssystem:
das betriebssystem wollte ich auf einen usb stick installieren, damit ich keinen sata steckplatz verschwende. die frage ist nur welches os?
am besten wäre warscheinlich linux, leider hab ich 0,0 garnix an linux erfahrung -.-

ist es für einen linux neu einsteiger möglich, das os auf einen usb stick zu installieren. danach mit 2 platten ein raid 1 und mit 4 (oder mehr) platten ein jbod array einzurichten? wie schwierig ist sowas?

noch ein paar fragen zum jbod gespann. das jbod array ist ja nur ein zusamemschluss aus festplatten. also im os wird mir dann ein großes verzeichnis angezeigt? bei 4x2tb wäre dies dann ein 8tb verzeichnis? wenn das verzeichnis mal voll werden sollte, kann ich dann einfach eine weitere festplatte dranhängen? oder die 2tb platten irgendwann durch 4tb platten austauschen? ich will es halt möglichst ohne großes daten-umschaufeln vergrößern können.

das board das ich favorisiere besitzt 5 onboard sata slots und einen pci-e steckplatz.
könnte ich in den pci-e steckplatz einen sata controller stecken? das von mir selbst gebaute gehäuse bietet platz für 8 hdds.

ich hoffe ihr versteht mein wirres geschreibsel

wäre euch echt dankbar wenn ihr eure erfahrungen posten könntet, oder falls ich mit meinem plan total aufm holzweg bin mich auf den richtigen bringt.

besten dank schonmal

gruß
tobi

 

[d0m]

Also gut bei der Speichermenge würde ich dann doch einen Homeserver bauen.
ITX Board klingt schonmal super, habe ich auch gemacht. Jedoch mit einem ATOM.
Zwei GB an Arbeitsspeicher sollten auf jeden Fall für einen Datenserver genügen.

Zum Betriebssystem: Wenn du absoluter Neuling unter Linux bist dann lass es sein. Nimm einfach eine Windows-Version, geht deutlich einfacher für deine Zwecke. Und vor allem schneller und komfortabler bei der Einrichtung. Und wer weiß welche Tools du in Zukunft noch darauf laufen lassen willst...

OS auf einen Stick? Ich bin gespannt was die anderen dazu schreiben.
Und ja du kannst dann einen weiteren Kontroller verbauen, dieser schluckt aber wieder Strom das sollte dir klar sein. Evtl. könntest du auch auf 3TB-Festplatten setzen.

 

[pille-palle]

danke für deine einschätzung

mittlerweile bin ich zu dem entschluss gekommen, dass ich das alles vorher testen muss.

aus dem grund, werde ich die ganzen daten vom server auf irgendeine externe kopieren. dann kann ich die alten hdds in ruhe mit dem itx board und software raid 5, jbod, linux, windows server, simulierter festplatten crash, stromausfall, raid 5 festplatten erweiterung und was es noch alles gibt testen.

bevor das ding mit sensiblen daten gefüttert wird, will ich das aufejdenfall getestet haben.

ich hoffe bloß, dass ich ein raid 5 array unter windows um festplatten erweitern kann... ansonsten müsste ich alle festplatten von anfang an kaufen und das wäre sehr teuer -.-

aber ab einer gewissen datenmenge wird das ganze echt frickelig... die ideal lösung gibt es da nicht -.-

ich werde testen und berichten

über weitere vorschläge wäre ich sehr dankbar

 

[mueder joe]

noch ein paar fragen zum jbod gespann. das jbod array ist ja nur ein zusamemschluss aus festplatten. also im os wird mir dann ein großes verzeichnis angezeigt? bei 4x2tb wäre dies dann ein 8tb verzeichnis? wenn das verzeichnis mal voll werden sollte, kann ich dann einfach eine weitere festplatte dranhängen? oder die 2tb platten irgendwann durch 4tb platten austauschen? ich will es halt möglichst ohne großes daten-umschaufeln vergrößern können.

Prinzipiell alles ja. Wenn du aber nen Windows nimmst, mach einfach dynamische Datenträger und füge die Zusammen. Ergebnis ist das gleiche, nur dass du vom Board unabhängig wirst. Bedenke aber dass beim ausfall einer einzigen Platte alles weg ist! Oder machst nen RAID5 über alle Platten, das wäre die bessere Lösung. Solltest aber nen Controller mit einplanen!

Ich hab nur mal fix in Geizhals geguckt, dort gibts kaum ITX Boards mit 6x S-ATA. Woran hast du denn gedacht?

 

[xymos]

warum bleibst Du nicht bei Open-e ?

kann doch alles, was Du willst !

_xymos.

 

[pille-palle]

Ich wollte kein Hardware raid, weils so teuer is. und mein alter controller is pci und hat nur 4 ports.

vorallem brauch Ich halt wirklich viel platz. also in den nächsten Jahren werde Ich insgesamt bestimmt an die 10-12 Tb brauchen. deswegen will Ich es erweitern können, also mit 4 festplatten anfangen und dann vergrößern.

von saphire gibt es eine platine mit 5 SATA und 1 esata steckplatz. in den pcie Schacht kommt dann halt noch ein SATA controller mit nochmal 2 ports.
mit open-e war Ich soweit zufrieden, jedoch ist meins noch ide. außerdem hab Ich damit wenig Spielraum was andere Programme angeht.

 

[mueder joe]

Ich wollte kein Hardware raid, weils so teuer is. und mein alter controller is pci und hat nur 4 ports.

Das ist leider das Problem. Es wäre aber die beste Lösung. Versteh aber den finanziellen Aspekt, ist kein Thema

vorallem brauch Ich halt wirklich viel platz. also in den nächsten Jahren werde Ich insgesamt bestimmt an die 10-12 Tb brauchen. deswegen will Ich es erweitern können, also mit 4 festplatten anfangen und dann vergrößern.

pcie Schacht kommt dann halt noch ein SATA controller mit nochmal 2 ports.

Damit können wir den Onboard Controller schonmal vergessen. Also wenn es Windows wird dann dynamische Datenträger, oder eben irgendwas auf Linuxbasis. Mit den dynamischen Datenträgern geht das auf jedenfall, mit dem SW-RAID von Linux kann ich dir das nicht sagen, wüsste aber nicht warum es nicht gehen sollte.

Ich empfehle dir trotzdem ein RAID5 aufgrund der höheren Ausfallsicherheit. Bei JBOD bzw. der SW Variante davon ist bei nem Ausfall eben gleich alles weg!

 

[pille-palle]

also kann ich die festplatten die an dem onboard sata controller hängen nicht mit den eines seperaten pcie controllers kombinieren?
und beim software raid5/jbod ist es immer so, dass beim ausfall einer platte, alle daten weg wären? das ist ärgerlich -.-

okay, also mit einem entsprechenden hw raid controller kann ich mit einem kleinen raid 5 anfangen und es dann mit der zeit erweitern und die daten werden dann von alleine auf die neu festplatte verteilt? die platten müssen dabei aber immer die selbe größe haben oder? bzw. ist der speicher um die die neue festplatte zugroß ist, nicht nutzbar?

somit komm ich prinzipiell garnicht um ein hw raid 5 system herum, seh ich das richtig? denn das mir die tv aufnahmen von geschätzen 5 jahren flöten gehen, nehm ich nicht in kauf, dafür war es zuviel arbeit.

im folgenden hätte ich mir die server-kombie dann so vorgestellt:
eines dieser boards:
Mainboards/ITX-/DTX-Mainboards AMD E-350, 2/0/2/2 | Geizhals.at Österreich
welches ist das beste? server sollte recht leise sein, da er in der nähe eines schlafzimmers steht...
hw raid controller:
HighPoint RocketRAID 2320, PCIe x4 | Geizhals.at Deutschland
das ist der billigste den ich gefunden hab, vllt. kann man auf ebay günstig einen marken hw controller schießen?

und dann halt noch billige 2gb marken ram.

so würde mir die lösung schon gefallen, leider hab ich somit eine enorme finanzielle belastung am anfang und gerade das wollte ich vermeiden.
ich wollte mit einem kleinen server anfangen, dessen anschaffungskosten ich nahe zu komplett mit dem verkauf der mybooks decken kann.
aber durch die hwraid variante wäre ich ohne festplatten ja schon bei 110€+200€+20€ = 330€
und dann noch festplatten...

 

[unl34shed]

also kann ich die festplatten die an dem onboard sata controller hängen nicht mit den eines seperaten pcie controllers kombinieren?
und beim software raid5/jbod ist es immer so, dass beim ausfall einer platte, alle daten weg wären? das ist ärgerlich -.-

Beim Software bzw. generell Raid5 sollte eine Platte ausfallen können ohne Probleme.

Genauso ist es bei einem Softwareraid möglich Platten an verschiedenen Controllern zusammen zu schalten. Wie kompliziert das Erweitern eines Linux Softwareraid (mdadm) ist, kann ich dir aber nicht sagen, musste ich noch nicht machen.

okay, also mit einem entsprechenden hw raid controller kann ich mit einem kleinen raid 5 anfangen und es dann mit der zeit erweitern und die daten werden dann von alleine auf die neu festplatte verteilt? die platten müssen dabei aber immer die selbe größe haben oder? bzw. ist der speicher um die die neue festplatte zugroß ist, nicht nutzbar?

Ja, es wird immer mit der kleinsten Kapazität gerechnet, Mann kann ja schlecht auf einer 1TB Platte die Daten einer 2TB Platte redundant speichern.

somit komm ich prinzipiell garnicht um ein hw raid 5 system herum, seh ich das richtig? denn das mir die tv aufnahmen von geschätzen 5 jahren flöten gehen, nehm ich nicht in kauf, dafür war es zuviel arbeit.

Wie gesagt, softwareraid sollte funktionieren, bei deiner geplanten Plattenanzahl sollte aber eine Potente CPU her, weiß nicht, wie sich der Fusion da so schlägt.

im folgenden hätte ich mir die server-kombie dann so vorgestellt:
eines dieser boards:
Mainboards/ITX-/DTX-Mainboards AMD E-350, 2/0/2/2 | Geizhals.at Österreich
welches ist das beste? server sollte recht leise sein, da er in der nähe eines schlafzimmers steht...
hw raid controller:
HighPoint RocketRAID 2320, PCIe x4 | Geizhals.at Deutschland
das ist der billigste den ich gefunden hab, vllt. kann man auf ebay günstig einen marken hw controller schießen?

Mal als Beispiel, oder muss es zwingend ITX sein?
ALTERNATE - HARDWARE - Prozessoren (CPU) - Desktop - Sockel 1155 - Intel® Core ~100€
ALTERNATE - HARDWARE - Mainboards - Intel - Sockel 1155 ~80€
+ 2 oder 4GB DDR3 Ram

vllt. sind die alten Core i3 sogar billiger zu haben, hab ich jetzt nicht nach geschaut.

PS: wo soll das OS installiert werden? ich würde noch eine 2,5" Platte nur fürs OS dazu nehmen (~30€).

 

[HisN]

<-- hat sich gerade einen neuen Server zusammengebaut, weil der alte auch im Idle gut 100W genommen hat.

Geworden ist es ein
I5 2400S auf GA-H67N USB3 in einem Silverstone Petit mit 120W Steckernetzteil.
19 Watt im Idle und das einzige was man hört ist der 800RPM 120er Lüfter auf einem Prolimatech Samuel17. Unter Last sind es dann etwa 30-40Watt.

Die ganzen Platten hab ich in Sharkoon 5-Bay Raid-Gehäuse gepackt (die können allerdings keine unterschiedlichen Raid-Modi, sondern immer nur einen für alle eingeschobenen Laufwerke).

Da nimmt ein Gehäuse mit 5x2TB im Idle 15W und unter Last 30W wenn alle Platten zugreifen. Nach 5 Minuten Idle-Time fährt das Gehäuse komplett runter. D.h. alle Platten gehen aus, die beiden Lüfter (die man kaum hört) gehen aus. Leds gehen aus.

Nebenbei schafft das Gehäuse im Raid5-Modi über ein SATA-Breakout über 200MB/sec lesend und etwa 100MB/sec schreibend.

OS: Was Du so übrig hast. Ein Kostenloses Linux bietet sich an, wenn Du es administrieren kannst.



Das Ding ist halt: Ein Controller der 16 Platten bedienen kann kostet meistens mehr als 3 dieser doch potenten Gehäuse.

 

[pille-palle]

danke für deine einschätzung
der große hintergedanke ist neben der dazugewonnen ordnung und übersicht ja auch das stromsparen.
so wie es momentan im haus ist, brauch ich im jahr fast 1,5mw/h nur weil das speichern von daten so sau doof gelöst ist und das ist im jahr ein nicht unerheblicher betrag.

somit könnte ich die hardwarekosten eines hwraid controllers in weniger als einem jahr reinholen.

 

[mueder joe]

Prinzipiell hat unl34shed schon fast alles gesagt.

Wenn es ein HW-Controller wird solltest du vielleicht nach nem SAS Controller ausschau halten. Diese sind häufig günstiger! Beachte dabei allerdings welche HDDs zum Einsatz kommen, da manche 4K-Platten mit vielen Controllern nicht harmonieren!

Prinzipiell geht aber auch die Software-Variante! Und ich würde mir ggf. auch über den Kauf eines fertigen NAS gedanken machen und den Media PC einfach ohne Storage weiter laufen lassen. Ist genauso denkbar. Viele Wege führen nach ROM.

@HisN
Die Lösung gefällt mir auch ganz gut

 

[pille-palle]

vielen dank für die ganzen Anregungen.
werde mir eure Vorschläge genau anschaun.
das große Problem ist einfach der hohe Anschaffungspreis. pc mit controller und allen festplatten liegt wohl bei Ca 800€ und das ist momentan zu viel. deswegen ist es für mich wichtig, klein anzufangen und das ganze dann in der Größe flexibel anzupassen, ohne bei jeder Vergrößerung alles über den Haufen zu werfen.

am Wochenende muss Ich erstmal den Gönner (vadda) kontaktieren.
da das Gehäuse schon vorhanden ist, brauch Ich aujedenfall ein itx Board. Aber das sollte hinsichtlich Performance ja kein Problem darstellen, denn der Engpass wird sicherlich das gbit Netzwerk sein.
wenn Ich Board und RAM erstmal hab, kann Ich mit den alten Server platten ja experimentieren, wenn das nicht so will wie Ich das gerne hätte, bleibt eigentlich nurnoch die hw raid Variante.

mfg Tobi

 

[pille-palle]

so, nun bin ich einen großen schritt weiter:
mein server läuft und zwar mit linux

hab mir mit den alten maxtor platten ein raid 5 eingerichtet und dies auch schon erfolgreich nach symmulierten festplatten ausfall wieder hergestellt.

was mich momentan allerdings am meisten stört, ich bekomm übers netzwerk nur magere 20-25mb/s beim schreiben und lesen... viel zu wenig
obwohl beide netzwerkkarten gbit anzeigen

 

[unl34shed]

mal mit iperf den speed testen. ist dann eine Übertragung von RAM zu RAM. falls die HDDs aus irgend einem Grund blockieren.

btw. was für ein System ist es denn jetzt geworden und welches Linux?

 

[pille-palle]

ich bin zu doof iperf auf linux zu installieren -.-

system ist jetzt : zotac fusion, 2gb ram, seasonic nt, und noch ein 16gb usb3.0 stick

os is ubuntu 11.04

ohne festplatte zieht das ding im idle ca. 22watt aus der dose
mit 4 festplatten bin ich ejtzt bei ca. 50watt, dass ist schon sehr viel besser

kann die geringe netzwerk performance an windows xp liegen? das unterstützt ja kein smbd2?

 

[unl34shed]

Install:

sudo apt-get install iperf

iperf Syntax

iperf [-s|-c host] [options]

auf dem server dann "iperf -s" ausführen und am client danach "iperf -c IP.DES.SERVERS"

 

[pille-palle]

3] local 192.168.178.20 port 42879 connected with 192.168.178.24 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 997 MBytes 836 Mbits/sec

das netzwerk sollte also mehr packen?

 

[unl34shed]

gestern keine Zeit mehr gehabt, sry.

Ja Netzwerk ist schnell genug, da ist also kein Fehler.

Kannst du mal die CPU-Last beim Kopieren der Datei auslesen?
command ist top, sollte ohne Optionen reichen.
Wobei ich die CPU eigentlich nicht als Flaschenhals sehe, eher die irgendwelche optimierungen in der smb.conf oder vllt. zu kleine Sektoren im Raid.

Hast du das Normale Ubuntu, sprich mit Grafischer Oberfläche oder die Server Version?
(Ja ich weiß, Gui wird hier nicht gern gesehen, hilft manchmal aber)
Könntest dann mal dein Raid testen, Befehl müsste hdparm sein bzw. mit der GUI das Gnome disk utility (System->Administration->Festplatten ... oder ähnlich). hdparm kenne ich aber leider nicht den genauen Befehl, wäre nett, wenn jemand weiterhelfen könnte.

 

[pille-palle]

kein stress, ich hab in der hinsicht jetzt ja keinen zeitdruck mehr
bin dir ehh schon überaus dankbar, für deine ganzen tips

die cpu stellt kein problem dar, dass macht sie spielend.
genauso das raid system



die geringe netzwerk geschwindikgeit kommt warscheinlich daher, dass ich immer dateien zwischen dem server und dem meida pc kopiere. und der media pc läuft mit windows xp -> kein smb 2.0 -> limit von ca. 25mb/s -> somit werde ich beim media pc wohl auf win 7 wechseln müssen.

ich verwende eins mit gui, sonst check ich ja garnix mehr

 

[unl34shed]

musst halt mal nach Samba speed erhöhen oder so googeln, da gibts ein paar parameter, die wenigstens ~50MB bringen sollten.
Oder halt auf Win7 wechseln, läuft bei mir jedenfalls top.

XP-Problem kann ich leider nicht testen, hab nur noch einen PC hier mit XP und 100Mbit Lan.

 

[fdsonne]

Wo hast du das mit XP und Limit auf 25MB/sec her?
Das stimmt definitiv nicht

Ich kopiere hier mit XP Kisten bei 95-99%GBit Auslastung munter hin und her...
Das sind über 100MB/sec...

Es stimmt wohl, das XP scheinbar unterm Strich etwas langsamer ist, aber das ist bei weitem nicht so, wie alle denken. Mal ganz davon ab, in den Tests im INet sind SMB Freigaben über Linux/Unix im Vergleich zu XP noch langsamer
Wenn du maximale Performance willst, muss es ein 2008er Server sein... (aber auch hier ist dessen Mehrspeed nur minimal)


Ansonsten, wie hast du den Speed denn ermittelt?
Willst du schreibend Daten auf das Raid 5 bringen, so wird wohl die CPU massiv limitieren. (Raid 5 ohne Hardware Controller mit XOR Einheit erzeugt massive CPU Last in einem Thread)

 

[pille-palle]

SMB 2.0: Schnelleres Kopieren : Windows Server 2008

hm - egal was ich bisher versucht hab, ich bin einfach nicht über diese 25mb/S gekommen
ich weiß nicht, was ich in xp einstellen muss? bzw. am samba server ändern muss

der media pc wird dann auf das raid 5 schreibn ja

---------- Beitrag hinzugefügt um 13:50 ---------- Vorheriger Beitrag war um 13:36 ----------

wenn die cpu limitiert, müsste ich aber beim lesen vom raid, deutlich mehr als die 25mb/s bekommen oder?

 

[*mv*]

probier mal in der samba config oben bei socket options

socket options = TCP_NODELAY

sollte schon drinstehen musste nur auskommentieren.

 

[Feuergeist]

Ich würd das OS nicht auf einen Stick tun, denn es wird ziemlich oft was geschrieben und so ein Stick hält nicht viele Schreibvorgänge aus.
So war zumindest vor ein paar Monaten oder hat sich da was geändert?

 

[*mv*]

nen stick kaputtzuschreiben geht nicht so einfach ... die c't hat mal nen dauertest gemacht und ihn nicht kaputt bekommen

Wie effizient das Defektmanagement und die Verteilung der Daten funktioniert, zeigt ein Versuch im c't-Labor: Wir haben probiert, einen USB-Stick mit Flash-Speicher gezielt kaputt zu schreiben. Aber selbst nach 16 Millionen Schreibzugriffen auf ein und dieselbe Datei konnten wir keine Fehler feststellen.

Die Technik der Flash-Speicherkarten | c't

 

[fdsonne]

SMB 2.0: Schnelleres Kopieren : Windows Server 2008

hm - egal was ich bisher versucht hab, ich bin einfach nicht über diese 25mb/S gekommen
ich weiß nicht, was ich in xp einstellen muss? bzw. am samba server ändern muss

der media pc wird dann auf das raid 5 schreibn ja

Dennoch lese ich da nix von 25MB/sec für SMB unter XP!?

Ich würde an deiner Steller erstmal gucken, was für Datenraten zwischen der XP Kiste und ner anderen Maschine drin sind, die nicht Linux nutzt.
Wie schon gesagt, Linux und SMB ist teils etwas knifflig. Vieles geht zwar einfach schnell von der Hand, für ordentliche Datenraten braucht es oft aber auch paar Konfiganpassungen.

 

[pille-palle]

so ich hab grad mal von einem win7 laptop auf den media pc geschrieben

genau die selbe geschwindigkeit, wie zwischen media pc und server

pendelt sich bei ca. 22mb/s ein

---------- Beitrag hinzugefügt um 19:24 ---------- Vorheriger Beitrag war um 19:22 ----------

und wenn ich vom media pc auf den laptop schreib, bekomm ich ca. 35mb/s hin

 

[*mv*]

haste mal das tcp nodelay angemacht ?

 

[pille-palle]

nein noch nicht, weil ich aufm server grad reshaping probier von 3 platten auf 4 platten, dauert allerdings noch ein bisschen.

wie darf ich die messergebnisse deuten?
server -> media pc 22mb/S
media pc -> server 22mb/s
laptop -> media pc 22mb/S
media pc -> laptop 35mb/s (hat bei ca. 80mb/s angefangen ist dann auf unter 30mb/s gefallen und dann langsam wieder gestiegen)