Server Hardware für Storage auf Linux (Sparsam)

[Austin1]

Hallo zusammen,

möchte mir nen Server bauen, welcher sparsam ist und lediglich als Datengrab dient.
Dazu wird Linux mit Samba betrieben.
Nun hatte ich gedacht das mit Softraid 5 zu betreiben, daher wüsste ich gerne wie potent die CPU für das sein muss.

Wie groß muss den der RAM sein, damit es ordentlich läuft?
Dazu irgendein Board mit OnboardGraka.

Oder würdet Ihr generell zu Hardware Raid Controllern raten?
Das ganze wird über Gigabit-Netz verteilt und sollte ordentlich Performance haben.

MfG

 

[nalrak0n]

Wie viel Storage sollte es denn sein? ( Anzahl HDD's )
Software Raid naagt halt an der CPU ( Aktueller C2D )
Die Preise für Ram sind ja gestiegen, sind jedoch immer noch bezahlbar.

Die Frage wie viel viel Storage daher, wenn du z.b. "nur" 3-4 TB möchtest, und dir hierzu 4 x 1TB Platten kaufst, kommst du doch noch relativ günstig einen Raid Controller ran.
Bei Grösseren gehts halt dann in den Geldbeutel.

gruss

 

[Austin1]

Es werden halt mit der Zeit mehr.
Zur Zeit hab ich 3 x 1TB und 3x 500GB
In Zukunft sollen aber schon 8-12 Platten rein.
Die Preise der Controller sind schon ordentlich, nur stellt sich für mich die Frage ob nötig odert nicht.
Ab wann denn unverzichtbar?

 

[hostile]

du redest von sparsam und willst 8-12 platten später? was heisst denn für dich sparsam?

gruß
hostile

 

[fdsonne]

Und wieder mal gehört es hier nicht rein...

Fragen zu Storagelösungen gehören ins Festplattenforum genau so wie Fragen zu Raidcontrollern.

Ansonsten, Onboard Raid ist grundsätzlich erstmal mies. Ich würde im Höchstfall noch einen Hardwareraidcontroller ohne XOR Einheit benutzen. Aber von gänzlich Onboard würde ich abraten.
Da brauch blos mal was im Bios nicht stimmen oder was weis ich, dann ist das Raid unter Umständen zerstört.

Zur CPU, ich komme bei 2,66GHz auf ca. 90MB/sec schreibend auf ein Raid 5 (Hardwarecontroller ohne XOR/Cache) und mit 3GHz sinds ca. 110-115MB/sec.
Bei großen Files.
Gleichzeitiges schreiben mehrerer Files geht idR ziemlich mies, genau so das schreiben von sehr kleinen Files.

Und wie hostile schon sage, stromsparend beist sich mit der genannten Anzahl der HDDs.

 

[BBR]

Zur CPU, ich komme bei 2,66GHz auf ca. 90MB/sec schreibend auf ein Raid 5 (Hardwarecontroller ohne XOR/Cache) und mit 3GHz sinds ca. 110-115MB/sec.
.

welches Dateisystem hast du?

Ich bekomme mit einem AMD 3800+ (2Ghz) und XFS auf ca. 113 MB/s.

 

[fdsonne]

ganz normales NTFS über Vista x64 Business

 

[BBR]

ach hab garnicht auf Windows in deiner Sig geachtet.

Schon niedrige Werte muss ich sagen. Hab gerade bei meinem Test Raid von XFS auf ext3 formatiert und damit komm ich dann auf ca.80.

Schon komisch das NTFS so eine schlechte Performance hat.

Edit:

mit NTFS komme ich gerade mal auf ca. 50.

 

[fdsonne]

Neja was heist schlechte Performance, mein Controller kann nur SATA I sprich da ist bei theoretischen 150MB/sec sowieso schluss.
Des weiteren kommt hinzu, das ich beim 3GHz Test nicht mit internen HDDs als quelle getestet habe, ist sicher noch bissl mehr drin, aber eben nicht über 1GBit

Aber was solls, mehr als 120MB/sec gehen ja sowieso nicht übers Netz, von daher, was will man mehr.

 

[H_M_Murdock]

Da kann NTFS nix dafür.
Ich komm in meinem Server (Windows Server 2003, NTFS Partition mit 2,04 TB auf nem RAID 5 aus 4x WD 750 GB RE2 an nem 3Ware 9550SXU-8LP, CPU = 2x Pentium III 1,4 GHz) unter Atto auf knapp 300 MB/s.

Ist in dem Fall reine Controllersache (und schnelle Platten brauchts natürlich auch).
Der 3Ware hat halt auch ne eigene XOR Unit, und der ist auch bei vielen gleichzeitigen I/Os noch schnell.

 

[BBR]

Da kann NTFS nix dafür.
Ich komm in meinem Server (Windows Server 2003, NTFS Partition mit 2,04 TB auf nem RAID 5 aus 4x WD 750 GB RE2 an nem 3Ware 9550SXU-8LP, CPU = 2x Pentium III 1,4 GHz) unter Atto auf knapp 300 MB/s.

Ist in dem Fall reine Controllersache (und schnelle Platten brauchts natürlich auch).
Der 3Ware hat halt auch ne eigene XOR Unit, und der ist auch bei vielen gleichzeitigen I/Os noch schnell.

hardware-raid oder soft-raid?

 

[H_M_Murdock]

Hardware.

 

[BBR]

ja dann ist das auch kein wunder, dass du so einen guten Speed hast.

 

[H_M_Murdock]

Ja es liegen schon Welten dazwischen, selbst mit aktuellen CPUs.
Ich für meinen Teil bin der Meinung dass man die paar hundert Euro mehr schon ausgeben kann wenn man mal was ordentliches bauen will, dafür kann man dann auch bei der CPU sparen.
Außer man will ZFS. Bin leider noch nicht dazu gekommen es mir selber anzuschauen, aber alles was ich bisher darüber gelesen hab hat mich begeistert.

 

[BBR]

Ja es liegen schon Welten dazwischen, selbst mit aktuellen CPUs.
Ich für meinen Teil bin der Meinung dass man die paar hundert Euro mehr schon ausgeben kann wenn man mal was ordentliches bauen will, dafür kann man dann auch bei der CPU sparen.
Außer man will ZFS. Bin leider noch nicht dazu gekommen es mir selber anzuschauen, aber alles was ich bisher darüber gelesen hab hat mich begeistert.

dafür hat ein Soft-Raid den Vorteil, dass man er ohne Probleme wiederherstellen kann. Auch auf komplett anderen Rechnern.

Schau dir ZFS an und du wirst es lieben Ich nutz das nur nicht, weil das erweitern einen Raidz nicht geht sondern nur eines Pools. Aber so brauchst du dann um die Redundanz zu erhalten noch ein Raidz im Pool, was dann noch mehr auf die CPU geht.

Aber wenn du es von Anfang an so baust wie du es haben willst, ist es ein Traum.

 

[underclocker2k4]

Neja was heist schlechte Performance, mein Controller kann nur SATA I sprich da ist bei theoretischen 150MB/sec sowieso schluss.

Das bezieht sich aber auf einzelne Ports. Man kann also im ideal Fall 150MB/s x Anzahl der Platten erreichen. Somit kann auch nen SATA1 8chan Kontroller auf 1,2GB/s kommen, sofern er das entsprechende Interface hat. (mal rein theoretisch)

 

[Austin1]

Sparsam war auch auf den Verbrauch von Mobo+CPU gemeint.
Das pro HDD noch Wert x an Watt Verbrauch hinzukommt ist mir schon klar.

Danke für die Antworten, werd wohl weiter nachlesen müssen, was ich so brauch.

 

[fdsonne]

Das bezieht sich aber auf einzelne Ports. Man kann also im ideal Fall 150MB/s x Anzahl der Platten erreichen. Somit kann auch nen SATA1 8chan Kontroller auf 1,2GB/s kommen, sofern er das entsprechende Interface hat. (mal rein theoretisch)

stimmt da hast recht...
Aber meine Burst Speed Rate ist irgendwie auch so total mies mit 13X MB/sec... Vllt limitiert da auch was anderes, der Controller hat ja auch nur ne PCIe 1x Schnittstelle...

Aber wie gesagt, mir egal, ich hab dort idR riesige Files drauf liegen, von mehreren MB bis mehrere GB groß, und da passt der Speed gerade so um die 1GBit NIC voll auszulasten, mehr brauch ich net

 

[fogzone]

Ansonsten, Onboard Raid ist grundsätzlich erstmal mies. Ich würde im Höchstfall noch einen Hardwareraidcontroller ohne XOR Einheit benutzen.

An was für einen Controller hast du denn da so gedacht?

 

[fdsonne]

An was für einen Controller hast du denn da so gedacht?

Auswahl ist erstmal grundsätzlich egal...
Mir gings bei dem Punkt nur darum, das eben bei nem Ausfall des Mainboards oder was auch immer für Problemen man potentiell immer damit rechnen muss, das das Raid zerstört wird.
Bei selbst dem billigsten Zusatzkontroller kann sowas eher nicht passieren, außer man stellt da selbst was um, oder der Controller hebt die Hufe...

 

[koschi]

Ich sehe ehrlich gesagt denn Sinn nicht nen Controller zu kaufen, der dem Prozessor die Arbeit nicht abnimmt?!? Vor allem unter Linux, wo die Softraidimplementierung echt ordentlich ist!
Wenn die Kiste als Server mit 1Gbit irgendwo in der Ecke steht, ist meiner Meinung nach (bis 6 bzw 8 Platten, was das Mainboard eben so hergibt...) ein mehrere hundert Euro teurer Controller mit XOR Engine auch überflüssig, da ab 3-4 aktuellen Platten im RAID5 eh schon das Netzwerk limitiert.
Ich habe nur 3 WD 640GB AAKS in nem RAID5, und Schreib- und Lesedurchsatz liegen über 125MB, dem maximalen theoretischen Durchsatz einer Gigabit Schnittstelle.

Auf jeder Platte ist eine Partition die mit "fd Linux raid autodetect" markiert ist, die RAID header sind dort ebenfalls abgelegt. Nach einer Neuinstallation des Systems reicht es mdadm zu installieren und einmal neu zu starten, das RAID wird dann automatisch wieder zusammengefügt. Habe ich bei mir gerade letzte Woche gemacht.
Die Temperaturen und SMART Werte jeder einzelnen Festplatte bleiben über das System auslesbar.

 

[fdsonne]

wie es unter Linux aussieht, weis ich nicht genau.
Aber ein Softwareraid unter Windows mit dem Onboard Controllern kann schnell mal nach hinten los gehen...

Gibt doch genügend Threads so nach dem Motto, Bios geflasht und Raid weg. Oder Mainboard getauscht und Raid weg usw.

Wie gesagt, die ohne XOR Controller sind eigentlich sinnfrei, aber eben genau dafür gut um das zu umgehen

 

[hostile]

@koschi
und kommen auch wirklich 125 am eth0 raus?
ausserdem: gemessen hast du zu 100% nur mit einer großen datei, die von _einem_ client gelesen wird.
versuch mal dein mini-raid5 mit zwei clients, die viele kleine dateien lesen, da wird die übertragungsrate übel einbrechen (oder versuch große dateien... wird schon reichen die hdds zu quälen)).

gruß
hostile

 

[koschi]

Gemessen habe ich mit 16GB großen Files und bonnie++, lesend sinds 210MB, schreibend 130MB.
Übers Netzwerk krieg ich ich das nicht hin, der Attensic L1 Netzwerkchip meines P5E-VM HDMI schafft es nicht über 70MB/s zu versenden bzw. 115MB/s zu empfangen, gemessen mit netio und reinem RAM - RAM Transfer. Leider ist kein Platz mehr für ne Intel PCIe Karte :-/ Per iSCSI exportiert blieben davon noch 94MB lesend und 64MB schreibend über, Tuning war da keins dabei...

Ob mein miniRAID5 unter Last durch gleichzeitigen Zugriff (>= 2 user) einbricht oder nicht, ist doch im Grunde Wumpe, ich betreibe hier ja keinen Proxy oder Webserver für tausende User. Die meisten Nutzer hier fragen doch i.d.R. nach nem Datengrab um mal n paar Daten drauf zu schaufeln, so auch hier im Thread. Da greift doch i.d.R. seltenst mal mehr als einer gleichzeitig drauf zu...

 

[Hampti]

wie es unter Linux aussieht, weis ich nicht genau.
Aber ein Softwareraid unter Windows mit dem Onboard Controllern kann schnell mal nach hinten los gehen...

Gibt doch genügend Threads so nach dem Motto, Bios geflasht und Raid weg. Oder Mainboard getauscht und Raid weg usw.

Wie gesagt, die ohne XOR Controller sind eigentlich sinnfrei, aber eben genau dafür gut um das zu umgehen

Da muss ich Dir recht geben. Hatte bei meinem alten Server die Speicher getauscht, ein defekter Riegel hat mir dann Treiber zerschossen und schon war das Raid auch unrettbar verloren. Habe daher den neuen Server mit einem Perc ausgestattet. (Auch nicht das Mass aller Dinge aber besser als nichts)

 

[lud]

Da du das Ganze als Datengrab benutzen willst kann ich dir von einem Hardware Raid Controller nur abraten, das ist in diesem Fall nur rausgeschmissenes Geld. Ein Software Raid5 performt unter Linux ganz ordentlich und wie schon koschi beschrieben hat kann alles um deine Platten herum verrecken - dein Raid5 ist schnell und ohne grossen Aufwand wieder online.

Zur Hardware:
AMD 45Watt Dual-Core, Mainboard mit 780G Chipsatz und 4GB Ram (2 wuerden aber auch locker reichen).

 

[Lan]

Eine solche Combo habe ich hier laufen und sie zieht ohne Platten ca. 40 Watt. Ich würde auf einen RAID Controller verzichten, wenn es wirklich nur ein Datengrab werden soll. Der Vorteil beim Linux Software RAID ist, dass Linux die Platten ausschalten kann, wenn das Array nicht benutzt wird. Bei einem Hardware RAID Controller ist ein solche FEature idR nicht vorgesehen. Die Performance vom Linux Software RAID (dmraid) ist ok. Man darf halt keine Wunder erwarten, aber um Welten besser als die Windows Variante ist es auf jeden Fall. Grundsätzlich gilt bei Linux Fileservern: Je mehr RAM desto besser. Linux verwendet grundsätzlich den gesamten RAM als Cache. Wenn man dann noch die anderen Werte (z.B. Read ahead) richtig einstellt und das Dateisystem richtig wählt und konfiguriert, kann man schon mit einer mehr als brauchbaren Performance rechnen. Nur für anspruchsvolle Applikationen wie Datenbanken, MWare usw. würde ich zu einer Hardware Lösung raten.

Wenn du loslegst, schau dir auch mal den Cpupowerd an. Ist super einfach einzurichten und bringt beim Verbrauch nochmal einiges. Je nach Verwendung des Systems können auch die Laptop Mode Tools einiges bewirken. Bei meinem Sys gehen die Platten nur noch 2-3 mal am Tag an.

 

[koschi]

So, nun nochmal einige Anmerkungen abseits von synthetischen Benchmarks :-D
Besagter Fileserver mit 3,2GHz Q6600 und nem mdadm-RAID5 aus 3 WD640GB AAKS, luks Cryptocontainer, readahead 2048, ext3 (noatime,nodiratime) beliefert gerade meine Workstation (E7200@3.2GHz) mit Daten, nachdem ich die gestern auf ner neuen Platte (WD Scorpio Black 320GB) neuinstalliert hatte, wieder mit luks Cryptocontainer, Dateisystem ist ext4, derzeit noch mit relatime gemounted, noatime,nodiratime wird noch ne kleine Ecke schneller... Übertragen wurde verschlüsselt mit scp (gehört zu SSH).

Filme, ISOs, virtuelle Maschinen, p2p temp Files und dergleichen fliegen mir mit 60-80MB/s zu, bei mp3s sind recht konstant 50-60MB/s drin, tausende kleine Files (300MB CCNA Curiculum aus hauptsächlich html und kleinen swf Dateien) erreichen dagegen kaum 10MB/s, da dürfte der Netzwerkoverhead limitieren...
In der Hinsicht bin ich mit dem Datengrub auf Linuxbasis schon sehr zufrieden, der Speed ist trotz beidseitig verschlüsselter Lagerung und Übertragung sehr ordentlich und würde wohl auch noch skalieren wenn nicht auf dieser Seite ne Notebookplatte hängen würde...

Lesend verbraucht das RAID nahezu keine CPU, die Verschlüsselung (~55%) und SSH (bis 70% einer CPU) hauen allerdings ordentlich rein. Wenn du also Wert auf Verschlüsselung legst sollte schon mindestens n Dualcore >= 2.5GHz her...

 

[fdsonne]

mach doch mal ne Schreibmessung, am besten mit kleinen Files. Wie ist denn dort die CPU Auslastung?
Das lesend keine nenneswerte CPU Last erzeugt wird, sollte denke ich klar sein...

 

[koschi]

Weiß grad nicht wie ich das anstellen kann... Irgendwelche Benchmarkempfehlungen?