[Kaufberatung] NAS mit 8-12 Festplatten. Brauche Hilfe!

[LeGoLaZz]

Hallo!
Ich möchte mir einen NAS-Server bauen und dazu brauche ich eure Hilfe.

Eigenschaften, die der Server erfüllen soll:
1. Möglichst viele HDDs einbauen (mindestens 8, lieber 12)
2. Geringer Stromverbrauch
3. Leise

System, das ich installieren will:
Nas4Free + ZFS (Raid5)

Aufgaben:
Fileserver, Webserver, 2-3 Virtual Machines, Streaming (Blu-Ray etc), vllt. Mail-Server.

Ich habe schon ein Paar Komponenten ausgesucht:

Gehäuse: Fractal Design Define XL
CPU (Sockel 1155): 3 Varianten - Intel Core i5-3470S, Intel Core i3-3220T oder Celeron G550. Weiss ich leider nocht nicht genau wie stark der Server sein soll.
RAM: 8GB oder 16GB CL9 (billigste was es gibt)
Motherboard: was ich mir vorgestellt habe ist 2x PCI-e Slots (1x16 und 1x8 z.B), 6 Sata-Ports, Wake-On-Lan,.
SAS-Controller: IBM ServeRAID M1015
Grafikkarte: brauche ich nicht, da onboard.
Netzteil: wieviel Watt sind nötig um normal 8-12 HDDs zu betreiben?

Das, was mich wirklich sehr stört - Grhäuse ist zu groß. Eigentlich will ich möglichst kleinere Gehäuse, oder zumindest nicht so höhere, sondern lieber etwas breitere. Vllt. könnt ihr mir etwas vorschlagen?
Ich wäre ihnen für die Vorschlage/Empfehlungen sehr dankbar!

Gruß,
Roman

 

[skelleton]

Wenn du ZFS moechtest, dann ist ein Xeon E3+Supermicro Board+ECC RAM auch eine ueberlegung wert.

 

[AG1M]

Also bei der Konfig würde ich 8 GB RAM streichen und fest 16 GB RAM einplanen (natürlich ECC präferieren) sonst macht das mit ZFS keinen Spass und wenn du auch noch VM darauf ablegen willst wäre ein RAID 10 (unter ZFS stripped vdev mirror) vielleicht sinnvoller von der Geschwindigkeit.

Und ich denke schon mit dem Fractal Design Define XL hast du mMn die beste Wahl getroffen (auch von den Maßen), hab selbst die etwas kleinere Variante davon und mein Homeserver ist nicht hörbar dank der Dämmung etc.

 

[LeGoLaZz]

AG1M

Also bei der Konfig würde ich 8 GB RAM streichen und fest 16 GB RAM einplanen (natürlich ECC präferieren) sonst macht das mit ZFS keinen Spass und wenn du auch noch VM darauf ablegen willst wäre ein RAID 10 (unter ZFS stripped vdev mirror) vielleicht sinnvoller von der Geschwindigkeit.

Raid 10 ist nicht geplant. Nur Raid 5
ECC ist pflicht oder wie? Kostet leider doppelt soviel wie nicht ECC-RAM. Wie erkenne ich, ob das Mainboard ECC unterstützt?

skelleton

Wenn du ZFS moechtest, dann ist ein Xeon E3+Supermicro Board+ECC RAM auch eine ueberlegung wert.

Warum Xeon E3 und Supermicro Board? Ich will den Server nicht unbedingt 24/7 betreiben (nur wenn der Stromverbrauch wirklich niedrig ist).

Was ist mit den anderen Komponenten? (Netzteil etc)

Gruß,
Roman

 

[skelleton]

Weil bei intel Xeons und Server Mainboards gebraucht werden für garantierte ECC unterstützung, Und die Sockel 1155 von Supermicro sind bezahlbar, zuverlässig und auch von der pci-E verteilung her gut designt.
ECC ist bei Sachen die lange im RAM liegen (Server Anwendungen) eiegentlich immer sinnvoll. Aber besonders bei zfs, da zfs eingebaute fehlerkorrektur Mechanismen hat, die korumpierte Daten auf der Platte erkennen koennen. Diese sind aber wesentlich weniger effektiv wenn die Daten ungemerkt im RAM korumpieren koennen.

 

[GrafikTreiber]

ECC ist Pflicht, mindestens 16GB Ram bei deinem Vorhaben, besser 32GB. Nimm ein Servermainboard von Supermicro. Bei nicht Servermainboards gibt es wie bei den Vorgängern schon gesagt in der Regle keinen ECC-Support und die Verteilung der PCIE-Lanes ist Käse, da hast du dann so sachen wie Controller 1 ist zwar mit x8 angebunden, aber Controller2 nur mit x1 weil in dem Slot nur Grafikkarten die volle Anzahl an Lanes bekommen und so ein Mist. Besser ist hier das X9SCM-F, das hat 24 Lanes die optimal verteilbar sind. Außerdem hast du hier IPMI (RemoteKVM) und das Maximum an Langlebigkeit/Zuverlässigkeit. Wenn du mehr PCIE-Lanes brauchst musst du zu Sockel 2011 greifen, sprich Intel Xeon E5-1620 auf Supermicro X9SRL-F, da hast du dann 40 PCIE-Lanes.

1x Supermicro X9SCM-F retail, C204 (Sockel-1155, dual PC3-10667E DDR3) (MBD-X9SCM-F-O) ab €169,90

1x Intel Xeon E3-1225V2, 4x 3.20GHz, Sockel-1155, boxed (BX80637E31225V2) ab €178,69

4x Kingston ValueRAM DIMM 8GB PC3-12800E ECC CL11 (DDR3-1600) (KVR16E11/8) ab €61,01

Beim Netzteil greife zu einem 80+Gold von Bequiet, Seasonic... und Co. zwischen 450 und 600W. Ein größeres Netzteil ist nicht notwendig und auch keine gute Wahl es ineffizienter bei kleinerer Last arbeitet, dein System wird wohl auf ~50W im Idle und ~250W unter Last kommen.

Zum Beispiel:
be quiet! Dark Power Pro 10 550W ATX 2.3 (P10-550W/BN200) ab €119,45
oder
Sea Sonic G-Series G-550 550W ATX 2.3 (SSR-550RM) (semi-passiv) ab €95,82

Ich würde zum Bequiet greifen, dass hat Silent Wings verbaut, die sind weitaus höherwertiger als die Lüfter im Seasonic und fangen auch nicht nach 1-2 Jahren zum Knattern an.

Da dein LSI-Controller staggered Spinup unterstützt kannst du dann so ohne Probleme 40 Festplatten und mehr mit einem solchen Netzteil betreiben.

Beim Gehäuse würde ich gleich zu einem 19" mit Einschubrahmen raten. Solltest du mal deine Festplatten erweitern bzw. bei Defekt austauschen müssen wirst du es sehr zu schätzen wissen nicht mit dem ganzen Kabelgewusel in Berührung zu kommen.
Schau dazu mal in diesen Thread: http://www.hardwareluxx.de/community/f101/norco-rpc-4224-aka-inter-tech-ipc-4u-4324l-889631.html , es gibt die Gehäuse auf in etwas kleiner, z.B. mit 16 Einschüben. Wenn du dort SilentWings oder andere leise Lüfter einbaust hast du 19"-Technik die trotzdem sehr leise arbeitet.

Gib lieber jetzt mehr aus und kauf dir was vernünftiges anstatt irgendwelche Bastellösungen mit Desktopkomponenten und Gehäusen ohne Einschüben zu verwenden. Ich hatte einige Zeit lang 45 HDDs mit Desktopgehäusen, ohne Einschübe und mit Desktophardware im Betrieb. Es war grauenhaft, da bei einer solchen Menge du alle paar Wochen eine defekte HDD tauschen musst war ständig Bastelei angesagt, alles war fummelig und nervig. Und die richtige HDD zu finden ist auch nicht sonderlich spaßig ohne Status-LEDs und Co.

Und überleg dir das mit dem RaidZ1/ Raid5 nochmal, schau dir dazu mal meinen Post im ZFS-Stammtisch an: http://www.hardwareluxx.de/community/f101/zfs-stammtisch-570052.html#post19696269

 

[LeGoLaZz]

GrafikTreiber, danke für deinen ausführlichen Beitrag!
Ich habe jetzt noch ein Paar Fragen:

1x Supermicro X9SCM-F retail, C204 (Sockel-1155, dual PC3-10667E DDR3) (MBD-X9SCM-F-O) ab €169,90

Warum nicht z.B. ASUS P8B WS / ASUS P8C WS? Was ist an Supermicro so besonders? Ich habe mir überlegt - wenn ich irgenwann mal XBMC einsetzen und nutzen will, dann brauche ich doch das Mainboard mit HDMI-Anschluss? Mit HDMI sind nur 2 Boards vorhanden - Supermicro X9SAE-V und Supermicro X9SAE. Sind sie genau so gut wie Supermicro X9SCM-F?

4x Kingston ValueRAM DIMM 8GB PC3-12800E ECC CL11 (DDR3-1600) (KVR16E11/8) ab €61,01

Warum KVR16E11/8? Gibts doch ein Paar Alternativen? https://geizhals.at/de/?cat=ramddr3regecc&xf=440_registered+ECC~2506_1.50~1454_8192~254_1600#xf_top

Schau dazu mal in diesen Thread: Norco RPC-4224 (aka Inter-Tech IPC 4U-4324L) , es gibt die Gehäuse auf in etwas kleiner, z.B. mit 16 Einschüben. Wenn du dort SilentWings oder andere leise Lüfter einbaust hast du 19"-Technik die trotzdem sehr leise arbeitet.

Inter-Tech 4U-4316L gefällt mir sehr Danke!

a dein LSI-Controller staggered Spinup unterstützt kannst du dann so ohne Probleme 40 Festplatten und mehr mit einem solchen Netzteil betreiben.

Wo ist dieser Controller verbaut?

Außerdem hast du hier IPMI (RemoteKVM) und das Maximum an Langlebigkeit/Zuverlässigkeit.

IPMI=WoL (+andere Features?)

Spannende Frage - welche Festplatten soll ich nehmen? Festplatten, die ich schon habe und im Server nutzen will sind 2x Hitachi Deskstar 5K3000. Die anderen werde ich nach und nach aufrüsten. Sollen es unbedingt die WD Reds werden? Oder reicht wenn ich die WD30EZRX nehme?

Gruß,
Roman

 

[KurzGedacht]

Du willst doch aus den 8-12 Platten nicht EIN RaidZ1 (Raid 5) machen oder? Dann kannste das mit dem Raid auch gleich lassen...

 

[LeGoLaZz]

Du willst doch aus den 8-12 Platten nicht EIN RaidZ1 (Raid 5) machen oder? Dann kannste das mit dem Raid auch gleich lassen...

Kannst du bitte erklären warum?

 

[Asa]

weil die Ausfallquote/Ausfallwahrscheinlichkeit viel zu hoch ist.
Spätestens wenn eine Platte defekt ist und getauscht wurde, werden durch den dann beginnenden Rebuild alle Platten sehr hoch belastet und die Chance einen Ausfall damit zu "provozieren" steigt enorm.

 

[St3fan]

Warum nicht z.B. ASUS P8B WS / ASUS P8C WS? Was ist an Supermicro so besonders? Ich habe mir überlegt - wenn ich irgenwann mal XBMC einsetzen und nutzen will, dann brauche ich doch das Mainboard mit HDMI-Anschluss? Mit HDMI sind nur 2 Boards vorhanden - Supermicro X9SAE-V und Supermicro X9SAE. Sind sie genau so gut wie Supermicro X9SCM-F?

Du solltest Server und XBMC Client trennen.

GrafikTreiber
Warum KVR16E11/8? Gibts doch ein Paar Alternativen? https://geizhals.at/de/?cat=ramddr3regecc&xf=440_registered+ECC~2506_1.50~1454_8192~254_1600#xf_top

Das Board kann nicht mit registred Ram umgehen das können erst teurere Serverboards

weil die Ausfallquote/Ausfallwahrscheinlichkeit viel zu hoch ist.
Spätestens wenn eine Platte defekt ist und getauscht wurde, werden durch den dann beginnenden Rebuild alle Platten sehr hoch belastet und die Chance einen Ausfall damit zu "provozieren" steigt enorm.

Trotzdem Ersetzt ein Raid nie ein Backup somit solltest du dir auch eine gute Backup Strategie ausdenken.

 

[keibertz]

Du solltest Server und XBMC Client trennen.

+1
Auf jeden Fall einen eigenen leisen, kleinen HTPC zum TV stellen. 12 Festplatten bekommst du auf keinen Fall wirklich leise. Alleine die Lüfter für anständige Kühlung sind auf alle Fälle hörbar.

Wenn du auf XEON und ECC verzichten willst würde ich an deiner stelle auch auf das ZFS Format verzichten ...

weil die Ausfallquote/Ausfallwahrscheinlichkeit viel zu hoch ist.
Spätestens wenn eine Platte defekt ist und getauscht wurde, werden durch den dann beginnenden Rebuild alle Platten sehr hoch belastet und die Chance einen Ausfall damit zu "provozieren" steigt enorm.

Sehe ich auch so, daher würde ich kein RAID5 sondern RAID6 verwenden. Habe hier 2 mal RAID6 mit jeweils 8x 3TB Festplatten am laufen.

Trotzdem Ersetzt ein Raid nie ein Backup somit solltest du dir auch eine gute Backup Strategie ausdenken.

Das sollte in der Tat jedem Klar sein. Daher habe ich die wirklich wichtigen unwiederbringlichen Daten auf einem separatem RAID1 liegen. Welches zudem einmal am Tag auf einen anderen Rechner gesynct und alle paar Monate/Wochen auf eine externe Festplatte gesichert wird.

 

[GrafikTreiber]

Bei 12 Festplatten machst du am besten ein RaidZ3 aus 11 Festplatten. Warum? Lies meinen Beitrag im ZFS-Stammtisch, habe ich oben schon verlinkt. Ein Raid5 mit 12 Festplatten ist ein Rezept für ein Disaster.
Sollte eine Festplatte ausfallen hast du eine ca. 30% Chance für einen weiteren Lesefehler auf den verbleibenen Festplatten beim Resilvern, siehe die Formeln im meinem Beitrag. Das Szenario Datenverlust ist hier sehr greifbar und real.

Warum Supermicro? Weil Supermicro der Marktführer in diesem Bereich ist, aus gutem Grund.
HDMI wirst du dort auch nicht finden, Supermicro macht Server&Workstation, keine Unterhaltungslösungen für das Wohnzimmer.

Warum der Ram? Weil es der passende Ram für dieses Mainboard ist der dort drin auch funktioniert und bei Supermicro/Kingston in der Kompatibilitätsliste steht. Es gibt von Kingston auch noch drei andere Modelle mit gleichen Spezifikationen, eines davon verursacht sogar Speicherfehler, ist somit nicht kompatibel.
Außerdem ist registered Speicher nicht besser oder hat mehr Features. Nein, im Gegenteil, er ist sogar langsamer als nonregistered Speicher, wenn auch nur ein bisschen! Registered Ram hat nur einen Vorteil: Dass man davon aufgrund der eigenen "Speicherregister" dem Speichercontroller Arbeit abnimmt und somit Gesamtspeichergrößen wie 256GB,512... auf einem Mainboard unterbekommt. Nonregistered Mainboards gehen in der Regel nur bis 32GB, teilweise 64GB.

Kann meinen Vorrednern nur beistimmen, Server und HTPC solltest du von einander trennen, die Anforderungen sind einfach viel zu unterschiedlich.
Die Lüfter für die Kühlung bekommst du unhörbar, die Festplatten selber machen aber Krach. Ich hab daher meinen Bienenschwarm in ein 19" Rack verfrachtet, ins Wohnzimmer kommen mir die Brummer bestimmt nicht.
Hier siehst du meinen aktuellen HTPC. Ja ich weiß, sehr teuer, dafür aber auch Highend, unhörbar und sehr sexy. Maximale Bildqualität mit MadVR und Jinc-Scaler und LAV-Filtern.

WakeOnLan ist zwar prinzipiell ganz nett, aber mit sehr viel Frickelei, Warterei und Aufwand verbunden. Wenn du nicht gerade am Hungertuch leidest, lass es sein. Lass die Festplatten via hdparm nach 30 Minuten in den Standby gehen und gut ist. Ich bin ja auch immer für das Stromsparen, aber der Komfortverlust und Einrichtungsaufwand durch WOL ist mir da viel zu groß.

Welche Festplatten? WD Reds sind ganz nett, allerdings nur wegen der 3 Jahre Garantie. Würde dir weiterhin dazu raten weiterhin Hitachi zu kaufen, hat schon seinen Grund warum viele Cloudspeicheranbieter und Serverhoster im Budgetbereich Festplatten von Hitachi bzw. jetzt Toshiba verwenden.
Toshiba DT01ACA Series

 

[keibertz]

Hitachi ist doch jetzt WesternDigital oder ? EU-Kommission: WD darf Hitachi-Festplattensparte kaufen - Golem.de
Schon jemand Erfahrungen mit den Toshibas gemacht ?

Bin auch kein Fan von WOL. Mein Datenserver rennt auch 24/7 und die RAIDs gehen in Spindown nach 30 min.

 

[GrafikTreiber]

WD hat Hitachi aufgekauft. WD musste aber wegen Wettbewerbsauflagen die 3,5"-Geschäftsschiene die sie von Hitachi gekauft haben an Toshiba verkaufen.
WD: Toshiba kauft 3,5-Zoll-Festplattensparte von Western Digital - Golem.de
Die aktuell von Toshiba ausgelieferten Festplatten haben auf ihrem Aufkleber "Hergestellt von Hitachi bla Blubb China" und melden sich via Smart auch als Hitachi mit den gleichen Produktnummern wie zuvor auch, ist also soweit erst mal alles so wie vorher.

 

[KurzGedacht]

Kannst du bitte erklären warum?

Naja haben die anderen ja auch schon gesagt. Die Ausfallwahrscheinlichkeit steigt so stark an, dass dir das Raid praktisch nichts mehr an Sicherheit bringt.
Geht eine Platte kaputt und du ersetzt sie, wird dir vermutlich während des Rebuilds ne andere Platte aussteigen und das war es dann.
Also entweder Raid-Z2 (bei 10-12 Platten besser noch Z3) oder mehrere kleine Z1 Pools.

 

[GrafikTreiber]

Kam per PM rein, da es doch etwas mehr geworden ist und vielleicht interessant für viele, hier öffentlich:

Hi,

ich habe eine Frage - warum ist Wake-on-Lan schwer zu realisieren? Ich will nur den Server per WoL ein- und ausschalten. Mit Synology DS-411+ funktioniert es doch sehr leicht. Warum sollte es hier nicht gehen?
Per Fritz-Box das Magic-Paket verschiken und gut ist es. Oder verstehe ich etwas falsch?
Ich frage weil diese Funktion sehr wichtig für mich ist.

Gruß,
Roman

Man verschickt eben nicht einfach ein Magic-Paket, man muss WoL erstmal einrichten. Erstmal benötigst du dafür Support im BIOS/EFI, das ist häufig nicht der Fall. Dann muss die Netzwerkkarte das auch vernünftig implementiert haben und du das auch korrekt im Betriebssystem konfigurieren. Dann darf der Rechner nicht "ganz aus" sein sondern im S5, das Powermanagment der Netzwerkkarte muss mitspielen, das Betriebssystem bzw. der Treiber muss also beim Runterfahren einiges beachten. Das erst mal alles nur zur Einrichtung. Im Detail gibt es da noch viel mehr Probleme, besonders unter nicht Nicht-Windows-Betriebssystemen kann das sehr aufwendig sein, am ehesten funktioniert das unter Linux da dort die Treiber am besten von allen Nicht-Windows-Betriebssystemen. Google doch einfach mal, dann siehst du das allein schon tausende Leute bei der Einrichtung scheitern und genervt aufgeben. Unter Solaris-Systemen würde ich erst gar nicht versuchen.

So, angenommen du hast es eingerichtet und es funktioniert. Dann finde ich persönlich es immer noch absolut nervig das Gerät ständig auszuschalten und dann wieder einzuschalten. Okay, man kann sich ein Script schreiben und das automatisieren, aber das kostet auch Zeit, und Zeit ist Geld. Man verliert kostbare Zeit seines Lebens um ein paar Euro zu sparen. Ich gehe auch nicht zu Fuß zur Arbeit weil es billiger ist sondern fahre mit dem Auto weil es schneller geht und es mir die Zeitersparnis wert ist. Beim ständigen AN/AUS mit vielen Festplatten im Server kann es auch mal sein dass der Server nicht "mal eben runter fährt" weil mal wieder irgendeine Festplatte rumzickt. Wenn ich meinen Server mal runter fahre habe ich dieses Problem mit meinen über 50 Festplatten im Server sehr häufig, knapp jedes zweite Mal gibt es Timeout-Probleme weil die Festplatte nicht schnell genug aus dem Tiefschlaf erwacht ist. Ich muss dann nachhelfen im dem ich per IPMI einen Shutdown sende. Nervig.

Wenn du immer noch nicht abgeschreckt bist, nur zu und investiere ein paar Stunden Einrichtungsarbeit und Rechne für je 10x AN/AUS noch 1 Stunde Zeit fürs Warten aufs Hochfahren und Problembehebung bei Sachen wie (Festplatten werden nicht gemountet, Samba startet nicht, DHCP geht nicht...) ein.

Rechne dir einfach deinen Stromverbrauch im 24/7 aus und schau was du mit WoL sparen könntest. Das ist in der Regel ziemlich wenig.

Einfaches Beispiel:
Strompreis 0,23€/kwH, Durchschnittsverbrauch 75Watt im Idle, in der Praxis wohl eher niedriger, könnten auch 60W sein. Also Xeon E3-1225V2, Supermicro X9SCM-F, 32GB Ram, M1015 und deine 12 HDDs im Tiefschlaf (hdparm -S).
Tageskosten: 75W x 24h / 1000W x 0,23€ = 0,41€ Stromkosten pro Tag
0,41€ x 30 = 12,42€ pro Monat
0,41€ x 365 = 151,11€ pro Jahr.

Nun rechne aus wie lang das Gerät am Tag ausgeschaltet sein würde. Sagen wir mal 12 Stunden am Tag, das wären dann eine Ersparnis von ca. 75€ im Jahr für hm... 20 Stunden Wartezeit und Reparatur im Jahr, Komfortverlust und Bastelei bei der Einrichtung von WoL. SUPER!

Wenn ich in der Zeit arbeiten würde anstatt mit WoL rumzubasteln würde ich ein vielfaches an Geld verdienen. Ich könnte in der Zeit aber auch einfach Filme gucken, Musik hören, etwas mit Freunden unternehmen oder einfach Schlafen.

 

[millenniumpilot]

Hallo Grafiktreiber,

Du empfiehlst häufig das X9SCM-F. Weist Du zufälligerweise, ob das X9SCM-iiF genauso empfehlenswert ist? Sollte eigendlich ausser den beiden 82574L LAN identisch sein, aber genau diese beiden 82574L wären praktisch für den Einsatz unter Vmware ESXi 5, da die 82579LM kaum irgendwo unterstütz wird.

 

[GrafikTreiber]

Ja, der einzige Unterschied zwischen dem X9SCM-iiF und dem X9SCM-F sind die verbauten Netzwerkkarten.

Supermicro sagt dazu:

What's the difference between the 82579LM and 82574L chipsets for the upcoming of the socket type LGA1155 motherboard?

Answer
The difference between the 82579LM and 82574L LAN chipsets:

* 82574L: an independent, complete gigabit Ethernet controller.
* 82579LM: an gigabit Ethernet PHY which requires a controller (usually from the chipset) support.
* 82574L cost more than 82579LM
* 82579LM is required for Intel vPro platform support.

Das heißt also mit dem X9SCM-iiF hat man kein Intel vPro. Das ist, außer man hat eine große Umgebung mit vielen anderen vPro Geräten die man auf dem selben Weg verwalten will, auch nicht wirklich relevant. Wenn einen vPro überhaupt nicht interessiert kann man natürlich auch zum X9SCM-iiF greifen. Da das X9SCM-iiF ca. 50€ teurer ist und wesentlich schlechter verfügbar hatte ich es aber nicht empfohlen.

Eine kurze Suche zeigt das sich auch 82579LM unter ESXi zum laufen lassen bringt mit einem extra Treiber. Die 82579LM ist etwas neuer und wird daher nicht direkt von ESXi unterstützt. Ich gehe davon aus dass sich das aber mit dem nächsten ESXi Release ändern wird da die Netzwerkkarte auf sehr vielen Servermainboards zu finden ist. Unter Proxmox (Linux) und unter Hyper-V (Windows) wird die Karte problemlos unterstützt.

Wenn du keine Angst vor neuem hast, lad dir doch mal Proxmox runter und schau es dir mal an, die Installation geht sehr schnell, die Bedienung sollte für IT-Experten kein Problem sein, wenn du ESXi verstehst, verstehst du auch Proxmox. Installations Leitpfaden hier, Installations-Video auf Youtube (Alte Version von Winter 2011), noch mehr Videos. Bei den Videos beachten dass sie teilweise alte Versionen zeigen.
Es kann vieles was ESXi kann und auch einiges was ESXi nicht kann, z.B. ein Raid für den Storage anlegen, man braucht keinen Hardware-Raid-Controller. Du kannst, sofern du eine manuelle Installation machst, sogar die Festplatten vollständig verschlüsseln. Proxmox basiert auf Debian und dem Red Hat Enterprise Linux Kernel und verwendet OpenVZ und KVM, alles Enterprise ready. Das schöne ist, es ist völlig OpenSource und kostenlos, es gibt keine Beschränkungen in irgendeiner Art und Weise. Wenn du professionellen Support brauchst kannst du dir ein Supportpaket kaufen.

Kurz um: Wer kein ESXi verwendet greift zum X9SCM-F, wer ESXi verwendet und den extra Treiber einspielen will auch. Wer dazu keine Lust hast, alles "Out-of-the-Box" haben will und nicht auf ein Update von ESXi warten will greift zum 50€ und schlechter verfügbaren X9SCM-iiF.

 

[millenniumpilot]

Hallo Grafiktreiber,

ich danke Dir für Deine ausführliche Darstellung. Hilft mir ungemein bei der Entscheidungsfindung. Ich habe schon einen Aufpreis von nur 25€ entdecken können, von der Lieferbarkeit mal abgesehen. Da mir anfangs eine NIC ausreicht, werde ich auf VMWare oder meine Fähigkeiten zur Treibernachinstallation hoffen und wohl dann doch das X9SCM-F holen.

 

[BioCooling]

Wenn du 8-12 Festplatten verwenden willst, würde ich auf Raid-Z2 setzten und nicht auf Raid-Z1 also Raid5. (Ich glaub aber du weist das schon)

Statt den IBM, wie wäre es hiermit?: LSI SAS 9207-8

Verstehe ich dich richtig das du erst denn ESXi und darauf dann das NAS4Free installieren willst?

Hab vor mir das Supermicro X9SAE-V liegen, da der 82579LM ja zukünftig unterstützt werden soll von ESXi warn mir die USB3 Port´s wichtiger.

 

[GrafikTreiber]

Das X9SAE-V ist relativ neu, ist aber mehr dem Bereich Workstation zuzuordnen, daher auch x16 Slots für Grafikkarten und USB3.0 und das fehlen von IPMI (RemoteKVM), was für mich ein absolutes Ausschlusskriterium wäre.

Der LSI SAS 9207-8i ist ganz nett weil PCIE 3.0, kostet aber auch ca. 220€, das sind 140€ Aufpreis vom IBM ServeRAID M1015 aka LSI SAS9220-8i welcher aber nur PCIE 2.0 hat.
Bei Vollast, also 2x 2,4GByte/s (SAS6) limitiert beim LSI SAS9220-8i die maximale 4GByte/s von PCIE2.0 x8 etwas, bei PCIE3.0 x8 hätte man 8GByte/s. Aber aktuell bekommt man das nur mit SSDs hin, Festplatten schaffen das nicht. Von daher sehe ich bei Verwendung von Festplatten nicht wirklich die Notwendigkeit zu PCIE3.0 upgraden zu müssen, ist also raus geworfenes Geld. Mit Expandern ist das natürlich ein anderes Thema, siehe dazu hier die Diskussion ab Post 165.

 

[LeGoLaZz]

BioCooling

Verstehe ich dich richtig das du erst denn ESXi und darauf dann das NAS4Free installieren willst?

Ja, stimmt. Spricht etwas dagegen?

Wenn du 8-12 Festplatten verwenden willst, würde ich auf Raid-Z2 setzten und nicht auf Raid-Z1 also Raid5. (Ich glaub aber du weist das schon)

Ja, das werde ich auch tun.

=========================================================

So. Die Zeit einen Server zu kaufen ist gekommen Zuerst kommen nur 8x 3TB Festplatten rein (2 davon habe ich schon)
Ich habe nochmal alles zusammengefasst, was ich kaufen möchte. Es sieht folgendermaßen:
Preisvergleich | Geizhals EU
Spricht etwas dagegen? Gibts Vorschläge was man da verbessern kann?

Ein Paar Fragen habe ich noch: welche Kabel brauche ich? Ich habe noch nie mit SAS-Geräten gearbeitet und deswegen frage ich lieber jetzt, bevor ich etwas falsches bestelle.
Muss der Intel-Stock-Kühler ersetzt werden? Wenn ja, gegen welchen?
Wieviele Lüfter brauche ich um alles zu kühlen und damit der Server "leise" bleibt? ("leise" - so leise wie möglich).

Gruß,
Roman

 

[BioCooling]

Wie wäre es mit diesem Netzteil: be quiet! Dark Power Pro 10 650W
Hab selbst ein Seasonic aber das be quiet hat auch einen sehr guten Wirkungsgrad und mehr Sata Anschlüsse! Das Netzteil ist
ja erst raus gekommen, und bis jetzt bei so gut wie keinem Händler zu bekommen.

Eco / Wirkungsgrad
80PLUS Zertifizierung
Gold
Wirkungsgrad (%) bei 230V, 20% Last 90
Wirkungsgrad (%) bei 230V, 50% Last 93
Wirkungsgrad (%) bei 230V, 100% Last 91

Verstehe ich dich richtig das du erst denn ESXi und darauf dann das NAS4Free installieren willst?
Ja, stimmt. Spricht etwas dagegen?

Nein, hat mich nur interessiert da ich das selbe vorhabe, mich aber bis jetzt nicht für ein bestimmtes NAS Betriebssystem entscheiden konnte.

Das Gehäuse hat 24x 3.5 Zoll Einschübe, wofür? Denke daran das es nächstes Jahr schon 5TB Festplatten gibt.
Klar, man ersetzt nicht alle 1-2Jahre seine HDD´s. Aber 100% mehr! Oder nimmst das Gehäuse weil es groß ist? Das ist natürlich was anderes.

8x Festplatten mit 7200rpm sind bestimmt nicht leise, und bei einem 19`Gehäuse wird das alles noch ein bischien lauter.

Bootest du von einem Stick den ESXi?

Sonnst sieht die Sache doch ganz toll aus!

 

[keibertz]

Wieviele Lüfter brauche ich um alles zu kühlen und damit der Server "leise" bleibt? ("leise" - so leise wie möglich).

Ohne extra Aufwand wie Dämmung usw bekommst du das nicht leise. Zumindest nicht wenn du deine Festplatten auf 30-35 Grad halten willst. Ich musste bei mir gerade von Lüftern mit 1.200 rpm auf welche mit 1.400 rpm aufrüsten. Vorher hatte ich nur jeweils 2 Festplatten in einem Cooler Master Stacker 4in3 Festplattenkäfig verbaut. Da hat der Standard Lüfter noch ausgereicht. Als ich dann aber Teilweise 4 Festplatten pro Käfig verbaut habe gingen die Temps hoch bis 44 Grad. Was eindeutig zu heiß ist. Jetzt mit den neuen Scythe GlideStream 120 1.400 U: Amazon.de: Computer & Zubehör Lüftern liegen die Temps wieder bei 30-35 Grad und ich habe die neuen Lüfter sogar noch über eine Lüftersteuerung, Lian Li PT-FN02A interne Lüftersteuerung: Amazon.de: Computer & Zubehör , auf Medium gestellt. Aber lautlos ist es halt dennoch nicht.

Von daher würde ich erstmal mit schwächeren Lüfter anfangen und schauen ob es reicht. Wenn nicht musst du dann eben nochmal nachlegen. Ein recht gutes Tool um die Festplatten im Auge zu behalten ist Hard Disk Sentinel - CNET Download.com

---------- Post added at 09:39 ---------- Previous post was at 09:32 ----------

Beim Netzteil würde ich eins nehmen mit nur einem 12V Strang. Dann brauchst du auch nicht darauf zu achten wie viele Festplatten du pro Stang maximal anschließen darfst um die Amperezahl beim starten nicht zu übertreten. Eine heutige HDD braucht meist um die 2 Ampere zum starten. Bei 12 Stück sind das schon alleine für die Festplatten 24 Ampere. Dann noch etwas für die Restliche Hardware und schon bis du bei 40 Ampere beim booten.
Schau dir z.B. mal diese Netzteile an Corsair TX550M Corsair TX650M

 

[GrafikTreiber]

Oh man... soviel Halbwissen.

Fangen wir mit dem Netzteil an: Nimm kein komplett passives Netzteil, das ist überhaupt nicht notwendig und auch eher Kontraproduktiv weil du in diesem Gehäuse am liebsten auch den minimalen Airflow mitnehmen willst. Ein 80+Gold Netzteil mit hochwertigem Lüfter ist auch unter Vollast nicht wirklich zu hören.

Auch ist es nicht notwendig für 24 Festplatten mehr als ein ca. 550 Watt Netzteil einzubauen, es wäre auch reichlich dämlich, den je mehr Leistung ein Netzteil hat desto ineffektiver arbeitet es bei niedriger Auslastung, was zur meisten Zeit der Fall ist da sich die CPU im Idle und die Festplatten im Tiefschlaf befinden sollten.

Außerdem brauchst du keine riesigen Anlaufströme weil eben NICHT alle Festplatten gleichzeitig anlaufen, dein Controller unterstützt Staggered Spinup, das heißt man kann einstellen wie viele Festplatten gleichzeitig gestartet werden, das ist sogar bei den LSI-Controllern standardmäßig so eingestellt das 2 Festplatten alle 2 Sekunden gestartet werden.

Nun zur Lautstärke/Temperatur: Die Lüfter bekommst du unhörbar, auch mit vernünftigen Temperaturen. Ich habe Silent Wings 2 auf 5V, die Temperaturen liegen bei Vollast je nach Modell zwischen 35 und 40°C, das ist ein optimaler Wert, siehe Google Festplattenstudie. Diese zeigt, das eine Durchschnittstemperatur von 40°C die geringsten Ausfälle produziert, sobald man mehr oder weniger (JA, KÜHLER IST NICHT BESSER!) Durchschnittstemperatur hat steigen die Ausfallraten an.

Der Boxed Kühler ist aber definitiv zu laut, da solltest du einen größeren CPU-Kühler mit leisen Lüftern verwenden. von Scythe, Bequiet, Thermalright.

Das Problem der Lautstärke ist aber nicht allein mit leisen Lüftern getan. Wählst du diese vernünftig aus, hörst du sie auch nicht, weder bei der CPU, vor den Festplatten noch im Netzteil. Das Problem sind die Festplatten an sich die vibrieren und in großer Anzahl ziemlichen Krach machen. Dagegen kann man nicht wirklich was machen, außer man fährt einen wirklich großen finanziellen Aufwand, sprich Festplattenentkopplung und Dämmung wie keibertz ja schon sagte. Und je mehr Festplatten man hat um so schwieriger wird das. So etwas geht auch nicht in einem 19" Gehäuse, da musst du dir dann selber was bauen. Die einzig brauchbare Lösung die mir einfällt wäre ein halbwegs gedämmtes Rack und Entkopplungsschienen zu verwenden z.B. so etwas hier gedämmte Trageschienen für Serverschrank - 19 Zoll-Tec GmbH . Das hat bei mir den Geräuschpegel ca. halbiert.

Nun zur "Anzahl an Festplatteneinschüben": Es ist völlig egal ob es nächstes Jahr 5TB Festplatten gibt oder nicht. Der Preis pro TB ist entscheidend. Und wenn es darum geht so viel Speicherplatz wie möglich für einen günstigen Preis zu bekommen sind diese Modelle in der Regel die völlig falsche Wahl, schau dir doch einfach mal aktuell den Preisunterschied zwischen 3TB und 4TB Festplatten an. Auch hat es in den letzten 4 Jahren nie Sinn gemacht Festplatten zu verkaufen um Slots frei zu bekommen. Sofern man den Platz hat ist es bisher immer wirtschaftlicher gewesen für mehr Festplatteneinschübe zu sorgen anstatt die alten Festplatten zu verkaufen und durch neue zu ersetzen. Du kannst das ganz einfach an Hand des Preisverlaufes bei Geizhals nach vollziehen sofern du dir das so nicht vorstellen kannst.

Dann brauchst du noch SFF-8087 zu SFF-8087 Kabel mit mindestens 60cm Länge, maximal 75cm Länge. Außerdem musst du darauf genug 4pin-Stromanschlüsse zu haben um Lüfter und die Backplanes anzuschließen.
Schau dir meine Liste Storageserver an, das einzige was dort dir noch fehlt ist die 120mm-Lüfterblende für das Gehäuse, die ist nicht bei Geizhals gelistet. Ansonsten sollte dort alles enthalten was du für einen wirklich leisen Storageserver benötigst. Wenn du die Lüfter auf 5V stellst und die Festplatten schlafen legst sind die Lüfter im Idle und unter Last nicht zu hören. Wenn die Festplatten auch im Schlafmodus sind hörst du gar nichts. Besser geht es nicht.

Ich empfehle auf jeden Fall hochwertige Lüfter zu kaufen da diese für längere Laufzeiten gemacht sind und nicht nach ein paar Monaten anfangen zu klackern. Daher empfiehlt es sich auch eines der hochwertigeren von Bequiet zu kaufen, da sind nämlich auch die 12€ Silent Wing Lüfter drin und nicht irgendein 3€ Modell von Ada und Co so wie bei Seasonic und Konsorten.

 

[keibertz]

Nun zur Lautstärke/Temperatur: Die Lüfter bekommst du unhörbar, auch mit vernünftigen Temperaturen. Ich habe Silent Wings 2 auf 5V, die Temperaturen liegen bei Vollast je nach Modell zwischen 35 und 40°C, das ist ein optimaler Wert, siehe Google Festplattenstudie. Diese zeigt, das eine Durchschnittstemperatur von 40°C die geringsten Ausfälle produziert, sobald man mehr oder weniger (JA, KÜHLER IST NICHT BESSER!) Durchschnittstemperatur hat steigen die Ausfallraten an.

Habe mir den Bericht damals auch durchgelesen und das mit der optimalen Temperatur schwankt je nach alter der Festplatten. Außerdem ist der Bericht etwas in die Jahre gekommen bin mir nicht einmal sicher ob das heute immer noch stimmt und das kannst du auch nicht sein ...

Außerdem brauchst du keine riesigen Anlaufströme weil eben NICHT alle Festplatten gleichzeitig anlaufen, dein Controller unterstützt Staggered Spinup, das heißt man kann einstellen wie viele Festplatten gleichzeitig gestartet werden, das ist sogar bei den LSI-Controllern standardmäßig so eingestellt das 2 Festplatten alle 2 Sekunden gestartet werden.

Ja WENN der Controller das kann und aktiviert ist braucht man das nicht stimmt. Mein derzeitiger Controller kann es nicht.

 

[GrafikTreiber]

Habe mir den Bericht damals auch durchgelesen und das mit der optimalen Temperatur schwankt je nach alter der Festplatten. Außerdem ist der Bericht etwas in die Jahre gekommen bin mir nicht einmal sicher ob das heute immer noch stimmt und das kannst du auch nicht sein ...

Es gibt keine besseren/neueren Daten als die letzte Google Festplattenstudie. Es gibt meiner Meinung nach nicht wirklich einen Grund anzunehmen dass diese Erkenntnisse nicht mehr aktuell wären. Dies ist ein völlig falsches Denken. Übertrage das doch mal auf andere Forschungsbereiche, wende dieses Denken auf andere Erkenntnisse an und überlege dir noch mal wie sinnvoll es ist.
Solange es keine neuen Studien gibt, ist das Gesetz, Punkt. Alles andere sind Vermutungen ohne wissenschaftliche Grundlage.

Ja WENN der Controller das kann und aktiviert ist braucht man das nicht stimmt. Mein derzeitiger Controller kann es nicht.

Tja, ist halt kein vernünftiger Controller *hust*.
Selbst viele Onboard-Controller von AMD und Intel können das.

 

[keibertz]

Es gibt keine besseren/neueren Daten als die letzte Google Festplattenstudie. Es meiner Meinung nach nicht wirklich einen Grund anzunehmen dass diese Erkenntnisse nicht mehr aktuell wären. Dies ist ein völlig falsches Denken. Übertrage das doch mal auf andere Forschungsbereiche, wende dieses Denken auf andere Erkenntnisse an und überlege dir noch mal wie sinnvoll es ist.
Solange es keine neuen Studien gibt, ist das Gesetz, Punkt. Alles andere sind Vermutungen ohne wissenschaftliche Grundlage.

Ja da hast du natürlich recht, es gibt keinen Vergleichbaren neueren öffentlich zugänglichen Bericht.
Aber in der Festplattentechnik hat sich seit dem schon einiges getan. Mehr Platten pro Festplatte, die Daten werden dichter geschrieben um mehr GB unter zu bringen usw ... Bin aber auch kein Physiker und kenne mich da im Detail nicht wirklich aus.

Müsste mal intern bei unserem Hosting Fragen wie sie das in unseren weltweiten Rechenzentren Handhaben bei den dort verbauten tausenden von Festplatten. Allerdings setzen wir im Gegensatz zum Google Bericht keine Desktop Festplatten ein. Das war ja gerade das Geniale an der Veröffentlichung. Von daher ist das nicht wirklich 1:1 übertragbar. Und veröffentlichen dürfte ich diese Zahlen natürlich auch nicht ...

 

[BioCooling]

Wie wäre es mit diesem Netzteil: be quiet! Dark Power Pro 10 650W

Eco / Wirkungsgrad
80PLUS Zertifizierung
Gold
Wirkungsgrad (%) bei 230V, 20% Last 90
Wirkungsgrad (%) bei 230V, 50% Last 93
Wirkungsgrad (%) bei 230V, 100% Last 91

Dann halt das selbe nur 550W

80PLUS Zertifizierung
Gold
Wirkungsgrad (%) bei 230V, 20% Last 89
Wirkungsgrad (%) bei 230V, 50% Last 93
Wirkungsgrad (%) bei 230V, 100% Last 92

Stimmt hab ich nicht gesehen, passiv sollte das für einen Server nicht sein!

Das Gehäuse hat 24x 3.5 Zoll Einschübe, wofür? Denke daran das es nächstes Jahr schon 5TB Festplatten gibt.
Klar, man ersetzt nicht alle 1-2Jahre seine HDD´s. Aber 100% mehr! Oder nimmst das Gehäuse weil es groß ist? Das ist natürlich was anderes.

Hab ich wohl etwas unverständlich geschrieben, ersetzten soll der die HDD´s natürlich nicht alle paar Jahre, aber wenn er nur bis zu einem Vollausbau
von 12 HDD´s geht, und wie schnell muss er erweitern? Bis zu 24HDD´s in den nächsten ca. 7 Jahren. Oder nur bis zum Vollausbau von 12.

Ersetzen würde ich erst wenn bei denn Dingern sich die Fehler häufen oder ich 6-7TB Platten für das Geld heutiger 2TB Platten bekomme.
Weniger Platten auch weniger Lärm. Allerdings ist dann auch ein neuer Controller fällig. Das muss aber jeder selbst entscheiden.