[Kaufberatung] 96 TB Fileserver - Hilfe bei Controller & Mainboard/CPU Auswahl

[JMX]

Moin,

Da unser alter Fileserver mit 20TB langsam zu klein wird (>85% voll), plane ich aktuell den Build eines neuen Servers.
PCs habe ich zwar schon einige zusammen gebaut, da aber Server Hardware etwas undurchsichtiger ist möchte ich auf euer KnowHow zurück greifen.

Zweck des (neuen-)Servers:

• Storage (Long Tearm, RAW Video + Photo)
• Video Encoding (via Premiere/Davinci als Slave/Handbrake) [keine CUDA unterstützung, cpu only]
• Live Streaming (Da viel Rechenpower, live show 1 x Monat, encoding h265)

Hardware, welche schon bereit steht:

Gehäuse	Inter-Tech Case IPC 4HU-4424
Netzteil	be quiet! Dark Power Pro 11 1200W ATX 2.4
CPU-Kühler	Noctua NH-U9s
Grafikkarte	2x ASUS Dual GeForce GTX 1060 6GB [Non SLI!]
Festplatten	24 x Western Digital Red 4TB SATA 6Gb/s*

* Ja, ich weiß, dass die Platten nur für Raids bis 8(?) Platten gedacht sind.




Frage 1: Welche der Mainboard / CPU Kombinationen würdet ihr bevorzugen, für den genannten Einsatzzweck?

Variante 1

Mainboard	ASUS X99-E-10G WS
CPU	Intel Core i7-6850K, 6x 3.60GHz

Preis: 1.237€ für 21,6GHz

Variante 2

Mainboard	ASUS Z10PE-D8 WS
CPU	2 x Intel Xeon E5-2620 v4, 8x 2.10GHz
Netzwerkkarte	Intel X540-T2

Preis: 1.535€ für 33,6GHz (+298€ für 12GHz mehr)


Machen die 12GHz einen Unterschied? In Zeiten von HT sollten inzwischen - oder wenigstens in der nahen Zukunft - alle Anwendungen auf MultiThreading angepasst sein.



Frage 2: Wie kriege ich die 24 Festplatten an den PC angeschlossen?

Hier fängt jetzt der Part an, den ich wirklich nicht mehr durchblicke. Fangen wir mit der Ausgangslage an.
Unser alter Server läuft auf einem normalen i7 CPU, mit unRAID als Betriebssystem. Das OS/Cache sind zwei SSDs,
zwei Festplatten sind an den SATA-Ports des Mainboards angeschlossen und 8 hängen an einem HP H220 Host Bus Adapter.
Der HP H220 Host Bus Adapter hat kein Raid, sondern funktioniert nur als JBOD (wenn ich mich richtig informiert habe), da unRAID keinen Hardware Raid benötigt.

Wir möchten auch weiterhin unRAID als OS einsetzen, weil sehr zufrieden. Sprich: Wir brauchen keinen Hardware Raid Controller.

Meine erste Idee war, einfach 10 Festplatten an das Mainboard (SATA anschlüsse) zu hängen und weitere zwei von den HP H220 Host Bus Adapter zu verbauen. Was
mir jedoch Sorgen bereitet ist, dass ich so kein staggered spin-up bekomme. Da fast alle Netzteile nur etwa 150W Power auf dem 5V haben, sollte dies nicht für die 24 Festplatten reichen.

Jetzt habe ich einiges über RAID-Controller und SAS-Expander gelesen. Leider habe ich die Sache mit den Expandern nicht komplett verstanden

Deswegen die Frage: Wie kriege ich die 24 Festplatten an den PC angeschlossen?
Auf Fehler in meinen Gedankengängen darf gerne jederzeit hingewiesen werden.

Liebe Grüße,
JMX

 

[ctcn]

Empfehlen kann ich immer noch die IBM M1015. Gibt es Tonnenweise in der Bucht zu guten Preisen. OS-Support ist großartig und die Dinger sind in den IT-Mode umflashbar, sprich dient dann als HBA.

Zum Staggered Spin-up müsste Jemand anderes einen Rat erteilen.

 

[Sightus]

Moin,

also wenn deine Software gut mit Kernen skalliert, dann natürlich die Dual-Xeon-Variante! Ausserdem würde ich das ASUS-Board (wobei ich selbst welche von denen im Serverbereich habe) durch ein Supermicro X10DAC austauschen. Kühler und Gehäuse passen da ebenfalls, Du hast 12GB/s-SAS und einfach "richtige" Serverware.

EDIT:
Sind dann zwar nur 18-Storage-Anschlüsse aber wie ctcn bereits gesagt hat, kann man dann einfach noch einen IBM HBA zukaufen.

 

[Digi-Quick]

Bedenken solltest du, daß Workstationboards (Oftmals Erkennbar an dem nachgestellten WS) i.d.R. kein IPMI/iKVM oder ähnliches unterstützen!
Das ASUS Z10PE-D8 WS sollte jedoch IPMI in Form von ASWM Enterprise an Board haben, der Aspeed AST2400 BMC mit VGA kann das jedenfalls.

Die Backplanes in dem Gehäuse dürften staggered Spinup unterstützen (würde mich wundern wenn nicht)
Die Funktion staggered Spinup wird durch Nichtbeschaltung (Floating) oder High Level auf PIN-11 der SATA Stromversorgung aktiviert.
Die HDD Läuft erst an, wenn der SATA-Port an dem diese angeschlossen ist initialisiert wird.
Bei Controllern, die kein staggered Spinup unterstützen (die meisten Chipsatz SATA Controller, preiswerte / billige HBAs) werden halt alle Ports gleichzeitig intitalisiert.

Die 10 HDDs an SATA laufen "sofort" paralell an (eigentlich erst, wenn der SATA Controller vom Chipsatz intialisiert wird), das sollte dein Netzteil packen, auf den 5V braucht 'ne HDD nicht wirklich viel.

Dein HP H220 Host Bus Adapter basiert auf dem LSI 2308 und sollte eigentlich staggerd Spinup unterstützen (im Controllerbios oder per CLI konfigurieren)
Die 8 HDDs am SAS Controller kann man dann staggered einzeln oder in 2er Gruppen hochfahren.
Ohne konfiguriertes staggerd Spinup laufen die aber auch erst an, wenn das Controlllerbios geladen wird - also nicht zeitgleich mit den HDDs am Chipsatzcontroller, die laufen dann schon.

Für 4 weitere HDDs würde theoretisch jeder 4 Fach SATA Controller ausreichen, der von Unraid unterstützt wird. (auch hier die HDDs werden erst hochgefahren, wenn der Controller intialisiert wird - allerdings alle auf einmal, wenn der Controller kein staggered Spinup unterstützt). Praktisch würde ich hier auf jeden Falle einen von LSI nehmen. (z.B. einen 2. HP H220 Host Bus Adapter).

Wozu brauchst du eigentlich 2 Grafikkarten, wen du kein Cuda oder Open CL nutzen willst? (für beides bräuchtest du AFAIK eh Windows)
Das Teil kannst du im Prinzip ohne zusatzliche Grafikarte Headless betreiben.
Für Fernwartung via IPMI (ASRock Megarack SP) steht ein Aspeed AST2400 BMC mit VGA zur Verfügung.

An ECC Speicher denkst du hoffentlich! (damit fällt der i7 sowieso raus, denn der kann kein ECC)
Bedenke, es geht um Long Term Storage auf BTRFS, ein Dateisystem welches auf dem Papier ZFS beerben soll.

Apropos:
Ich vermute mal, daß hier Dokker oder Virtual Machines zum einsatz kommt.

• Video Encoding (via Premiere/Davinci als Slave/Handbrake) [keine CUDA unterstützung, cpu only]
• Live Streaming (Da viel Rechenpower, live show 1 x Monat, encoding h265)

Wie wird hierauf zugegriffen?
via RDP, VNC oder ähnlichem oder kann unter Unraid direkt auf der Konsole zur jeweiligen VM umgeschaltet werden (ähnlich wie beim VMwareplayer, bei dem die VM in einem Fenster läuft)?

Anderer Hardware Vorschlag, Falls 10GBE eine Überlegung ist:
https://www.heise.de/preisvergleich/asrock-rack-ep2c612d8-2t8r-a1222587.html?hloc=at&hloc=de
- 2x 10GBase-T (Intel X540)
- 10x SATA 6Gb/s (C612)
- 8x SAS 12Gb/s (LSI SAS 3008) (Umflaschen auf IT-Mode / kann staggered Spinup)

Dazu den vorhandenen HBA


- - - Updated - - -

Moin,
Ausserdem würde ich das ASUS-Board (wobei ich selbst welche von denen im Serverbereich habe) durch ein Supermicro X10DAC austauschen. Kühler und Gehäuse passen da ebenfalls, Du hast 12GB/s-SAS und einfach "richtige" Serverware.

Das ASUS ASUS Z10PE-D8 WS hat ebenfalls einen c612 Serverchipsatz verbaut und ist somit der Kategorie "Serverware" zuzuordnen.

Der X99 Chipsatz ist eher ein Gaming Chipsatz mit Workstation/Serverambitionen (er hat halt viele Features, die man sonst nur im Serverbereich vorfindet) - halt so eine Art Zwitter (Wobei ECC Speicher z.B. nur von wenigen X99 Boards tatsächlich unterstützt wird)

 

[Xen12]

Das ASUS Z10PE-D8 WS besitzt keim IPMI oder ikvm! Erst das größere Mainboard also das ASUS Z10PE-D16 WS besitzt alle Features.
Vom Preis nehmen sie sich nichts. Bei Mindfactory für 491€ w16 und w8 für 490€.
X99 ist ein reiner Home Office/Gaming Chipsatz. C612 + Reg ECC Ram sollte es bei so ein großer Raid schon sein.
Hab an mein ASUS Z10PE-W16 18 Festplatten dran. Sprich 10 an den Sata Ports des Mainboard und 8 an mein SAS Adaptec Hardware Raid Controller.
Das W16 hat 2 Intel Softwareraid chips. Einmal für die 6 Ports an der Seite und einer extra für die 4 unten rechts.

 

[VirtuGuy]

Ich würde überlegen ob ein "halbfertiger" Supermicro oder Asrock Barebone nicht auch eine Option wäre. Da bekommst du gut aufeinander abgestimmte Komponenten zu durchaus leistbaren Preisen (Board, HBA, Expander, Backplanes,..).

 

[JMX]

Schon einmal vielen, vielen Dank für die Antworten.
Hier einmal ein Versuch das ganze zusammen zu fassen, Fragen zu beantworten und weitere zu stellen.


Warum 2 Grafikkarten?
Auch wenn das System auf unRAID (Slackware Linux) läuft, so wird eine Haupt-VM die Arbeits-Umgebung sein. Diese HauptVM kriegt die Grafikkarten via PCIe-Passthrough 'durchgereicht'.
Ich brauche zwei Grafikkarten, da 4 Monitore an dem System hängen, und das sonst einfach nicht mit der Leistung passt. Hatten wir schon beim alten Server so.
Damit muss das Mainboard aber mind. 2x PCIe 3.0 x16 Slots die nicht genau nebeneinander liegen haben.


"Wie wird hierauf zugegriffen?"
Um die Frage von Digi-Quick nochmal klar zu beantworten: An dem Server/Workstation/NAS - wie man es auch nennen mag - hängen 4 Bildschirme, Tastatur, Maus, USB-Hub, SD-Karten lesegerät.
Das alles wird direkt in die Windows-VM durchgeschleift. An dem PC wird also direkt gearbeitet (Videos schneiden, etc), nur das im Hintergrund halt noch unRAID läuft zur Storage-Verwaltung.
Dies ist auch der Grund, warum kein IPMI/iKVM benötigt wird. Es sitzt dauerhaft jemand in der nähe und zum Umschalten von VM auf, ich nenne es jetzt mal so, baselevel System nur der
Input-Knopf eines Monitors gedrückt werden muss.

ECC-Ram - kein i7 Pozessor
An die Problematik mit ECC hatte ich nicht gedacht - Danke!. Damit ist der i7 eh raus. Selbigen gibt es ja aber auch baugleich als Intel Xeon E5-1650 v4, 6x 3.60GHz für eine ein-CPU-Lösung. Und
mit dem Xeon unterstützt dann auch das X99 MB ECC Ram.

Damit muss nur noch die Frage nach dem Mainboard geklärt werden. In der engeren Auswahl sind das

• ASUS Z10PE-D16 WS [2 CPUs, C612, 10xSATA, 6x PCIe 3.0 x16, ECC] (zu dem tendiere ich im Augenblick)
• ASUS X99-E-10G WS [1 CPU, X99, 10xSATA, 7x PCIe 3.0 x16, ECC, USB 3.1]

Nun fragen sich vielleicht einige - warum grade ASUS und nicht Supermicro, ASRock, etc?
Ich habe in meinem Leben bisher nur ASUS Mainboards gehabt. Sechs an der Zahl. Nie ist eins kaputt gegangen. Als ich meine Firma gegründet
habe, habe ich für meine Mitarbeiter die PCs selbst zusammen gebaut. ~45 ASUS MBs und Grafikkarten. Nicht ein Defekt in bisher 5 Jahren Laufzeit.
Markentreue ist, grade wenn die Fabriken immer mal wechseln, im PC Bereich so eine Sache. Solange ich aber wirklich noch keinen einzigen ausfall
hatte (selbst im Freundeskreis nicht), werde ich wohl erstmal da dran festhalten.


Offene Fragen

Vielleicht kann mir jemand noch was zur optimalen Bestückung des MBs (ich gehe jetzt mal von Dual Xeon aus).

CPU
Hier hatte ich ja den Intel Xeon E5-2620 v4, 8x 2.10GHz vorgeschlagen. Dieser ist ja Teil der Broadwell-EP Reihe, sprich der aktuellste. Andere Vorschläge?

RAM (ECC)
Die Memory QVL (LINK) gibt einige Optionen. Hat da jemand einen Favoriten?

M.2
Hat einer von euch Erfahrungswerte zur Kompatibilität von M.2 SSDs mit Linux (non boot)?

 

[Sightus]

[...]
Das ASUS ASUS Z10PE-D8 WS hat ebenfalls einen c612 Serverchipsatz verbaut und ist somit der Kategorie "Serverware" zuzuordnen.[...]

Das ist mir durchaus bewusst, ich bezog mich eher auf das Gesamtpaket. SuperMicro ist was den Support angehen ungeschlagen, es gibt unzählige Reseller, die eine Notfallreparatur übernehmen können und SuperMicro ist spezialisiert auf diesen Bereich. Deswegen schrieb ich ja, dass ich ebenfalls ASUS-Serverboards habe und mich dem üblichen Bashing nicht anschließen kann, aber wenn es um Support und "Feeling" geht, dann auf jeden Fall SuperMicro.
Alleine, dass man per Mail ein eigens gestricktes Beta-Bios bekommt...

 

[Xen12]

Also bei mir ist es wie bei dir, ich hab schon immer Asus drin und auch bei mir nie ein Ausfall gehabt und meine Workstation läuft 24/7 also das ganze Jahr durch.
Wenn du viele PCI-E brauchst nim das Z10PE-D16 WS was ich auch verbaut habe. Gegensatz zum D8 hat es IPMI und IKVM an Board, auch wenn du es nicht brauchen solltest wegen 1€ nicht das kleine/schlechtere Mainboard nehmen.
Wegen CPU solltest du ein E5 2000 serie nehmen da du beim 1650 kein Dual Xeon betreiben kannst, vom CPU her musst halt sehen was du brauchst und wie viel Geld du ausgeben möchtest. Ich bin mit mein 2,2 GHz / 3,2 GHz Turbo Dual Xeon sehr zufrieden und habe noch die Option wenn später die CPUs günstiger werden aufzurüsten auf zumbeispiel 2690 V4 und co...
Aber bis jetzt kann ich sagen das ich sehr zufrieden bin, meine neue Workstation mit dem Asus Board läuft auch 24/7 und nicht ein Problem, weder mit Treiber noch mit abstürzen oder sonst was.
Vom Ram her hab ich die Samsung M393A2G40DB0-CPB 16 GB 4 mal verbaut und laufen problemlos. Bedenke das Mainboard läuft nur mit den Arbeitsspeicher aus der Liste.
Zum Betriebssystem kann ich leider nichts sagen, da ich Win10 mit vmware Workstation nutze.
M.2 hab ich noch nicht verbaut, habe ich aber noch im laufe der Zeit vor.

 

[gea]

Viele Wege führen nach Rom und man kann das so machen wie angedacht,
Ich würde aber die Funktionen Storage und Processing trennen, das passt nicht wirklich zusammen.

Mein Alternativvorschlag
- Ein echtes Storage Serverboard, z.B.
https://www.supermicro.nl/products/motherboard/Xeon/D/X10SDV-2C-7TP4F.cfm

mit 16-32 GB ECC RAM (max 128GB), Dualcore CPU (gibts auch mit 4 oder 8 Core), 2 x 10GbE und 16 Port LSI HBA - mit den 4 onboard Sata hat man 20 Port, optional noch ein 8 Port LSI HBA dazunehmen, u.B. IBM 1015, Dell H200/310 oder Original HBA von LSI

Sowohl für Softwareraid wie für Unraid (= kein Raid, sondern verteiltes Backup on Demand der Daten auf eine Redundanzplatte) ist diese HBA Lösung mit 20-24 Ports ideal.

Dazu eine getrennte Workstation für Rechen-intensive Dienste, alternativ alles z.B. unter ESXi virtualisieren.

Ich würde statt der vielen 4TB Platten weniger 8-10 TB Platten nehmen.
Meine Lieblingsplatte: HGST Ultrastar HE.

Für 96TB und Langzeitspeicherung, insbesondere wenn die Daten etwas sensibler sind, würde ich eher ein echtes Raid bevorzugen. Da müssen zwar immer alle Platten laufen, dafür ist es schneller und mit neueren Dateisystemen wie ZFS auch erheblich sicherer.

Als OS und Dateisystem empfehle ich Unix + ZFS als Web-Appliance.
Die schnellste und leistungsfähigste ZFS Option ist Oracle Solaris, das ist aber für kommerzielle Nutzung Kaufware. Meine Hauptalternative ist OmniOS als Betriebssystem (freier Solaris Fork) - für diese Systeme habe ich eine Web-Appliance Softare zum freien Download oder Alternativ eine Lösung basierend auf BSD, einem weiteren Unix mit Bedienoberflächen wie FreeNAS..

 

[Holt]

Ja, ich weiß, dass die Platten nur für Raids bis 8(?) Platten gedacht sind.

Nein, die sind nicht dafür gemacht das mehr als 8 HDDs in einem Gehäuse betrieben werden, egal ob in einem RAID oder nicht. Es geht um die Vibrationen und die Technologie wie die HDDs damit umgehen können.

Hier gibt es durchaus Unterschiede und man diese z.B. in der schon etwas älteren NAS Drive Selection Guide von Seagate in einer schönen Übersicht sehen:

Seagate ® NAS, 1 to 5 drive bays, Vibration Tolerance Features: Dual-Plane Balance
Seagate Constellation® CS 6 to 8 drive bays, Vibration Tolerance Features: RV Sensors
Seagate Constellation ES.3 9+ drive bays, Vibration Tolerance Features: RV Sensors and TCA Motor

Inzwischen vertragen auch die NAS / Ironwolf bis zu 8 HDDs in einem Gehäuse (genau wie WD Red, die waren auch erst für bis zu 5 und später dann bis zu 8 HDDs in einem Gehäuse zugelassen) und die Enterprise NAS sind wie die WD Red Pro für bis zu 16 HDDs in einem Gehäuse gedacht. Von den billigeren NAS Platten haben meines Wissens nur die HGST Deskstar NAS die aufwendige Rotational Vibration Safeguard (RVS) genannte Technik gegen Vibrationsprobleme und sind für unbeschränkt viele HDDs in einem Gehäuse zugelassen.

Wer sich mehr für die Unterschiede der HDD Baureihen interessiert, kann z.B. auch mal diesen Artikel von storagereview.com lesen, in dessen Fazit steht:

At the end of the day, the decision on the type of drive to use in anything from a small 2-bay NAS up to rackscale use cases is absolutely critical for data protection and integrity. For small NAS deployments, the standard issue NAS drive clearly provides enough benefit to the end user that the price delta is minor when compared to the total cost of ownership compared to a desktop drive. In the SMB or enterprise where a rackmount NAS is in play, the differences are even more bold, using low cost drives is virtually guaranteed to cause problems.

 

[Digi-Quick]

Das ASUS Z10PE-D8 WS besitzt keim IPMI oder ikvm! Erst das größere Mainboard also das ASUS Z10PE-D16 WS besitzt alle Features.

Dagegegen spricht zum einen der verbaute Aspeed AST2400, der hat die IPMI/iKVM Funnktionalität (ohne iKVM würde auch der Aspeed AST1400 reichen), zum anderen ASWM Enterprise.
Wobei ich ASUS alles zutraue - auch das vorsätzliche Beschneiden der Funktionalität!

Edit:
Der Unterschied legt mal wieder hier
ASMB8-iKVM Remote Management Tool

- - - Updated - - -

"Wie wird hierauf zugegriffen?"
Um die Frage von Digi-Quick nochmal klar zu beantworten: An dem Server/Workstation/NAS - wie man es auch nennen mag - hängen 4 Bildschirme, Tastatur, Maus, USB-Hub, SD-Karten lesegerät.
Das alles wird direkt in die Windows-VM durchgeschleift. An dem PC wird also direkt gearbeitet (Videos schneiden, etc), nur das im Hintergrund halt noch unRAID läuft zur Storage-Verwaltung.

Du bist dir aber schon darüber im Klaren, daß so ein Gerät verdammt Laut ist???
Bis zu 24 HDDs machen für sich schonmal ordentlich "Radau" und wollen auch gekühlt werden.
Daher Schliesse ich mich dem Vorschlag von Gea uneingeschränkt an, über 10 GBE dürfte auch das Arbeiten mit Videos erträglich sein (oder man hält die gerade benötigten Projektdaten lokal vor)