[Kaufberatung] Alten "Server" aufrüsten

[masterofeye]

Hallo an alle,

ich liebäugle mit einem neunen Server. Zunächst dachte ich an einen HP Gen8 aber die begrenzte Erweiterbarkeit schränkt mich etwas ab. Und da ich schon einen Rechner als "Server" nutze, warum nicht einfach mit neuer Hardware bestücken.

Für was soll der Rechner genutzt werden:
- Owncloud Spielwiese,
- Smarthome/Automation Spielwiese (Debian VM und weitere VM als TestSystem)
- Windows 10 Spielwiese (VM)
- Storage (>12TB)
- Backup
- Betriebssystem hab ich aktuell FreeNas im Auge.
- Network Share
- Multimedia Stream (Blue Ray Quali)

Zu meiner aktuellen Kiste:
Asus M4a88t-m
AMD Prozessor (zufaul den jetzt auszulesen ^^)
BeQuit 400W (80 Plus)
5 HD's unterschiedlicher Größe + 1 SSD 60Gb
Fractal Design Define R4

Zum neuen System:
- 1xSSD (wahrscheinlich erstmal die alte)
- 2xHDD 6TB WD RED
- geringer Stromverbrauch da 24/7 gewünscht ist
- leise sollte er auch sein

Preisvorstellung doch glatt vergessen. 300-400€ ohne HDD.
Freue mich auf eure Vorschläge.
Grüße Moe

 

[Janero]

Es gibt dann auch noch den ML10 v2 im 200€ Budget mit Pentium und besserer Erweiterbarkeit als der Microserver. Vorteil ECC max 32GB + 6x SATA + Ilo

 

[masterofeye]

Verstehe ich es richtig das ILO nur mit den HP Produkten funktioniert?

 

[Janero]

ich würde es anders formulieren. Nur HP Produkte haben Ilo. Der Zugriff darauf hat nichts mit HP zu tun.
Es gibt auch noch ähnliche Remote Tools von Intel mit entsprechenden Mainboards.

 

[masterofeye]

Ich hab mir mal den zugehören Thread durchgelesen. Schaut doch ganz nett aus bis auf das Gehäuse . Eventuell könnte ich auch in den Fractal umziehen hmmm .

Sollte ich für meinen Anwendungsbereich gleich zum Xeon wechseln? Wie sieht es dann mit der Belüftung aus?
Zunächst werde ich mal 16 GB RAM verbauen und eine ILO Lizenz mit einplanen. Hab ich noch etwas übersehen?

Grüße Moe

 

[Janero]

Bei der Ilo dran denken es geht auch einen alte ilo2 Lizenz oder... gibt es bei Ebay meist für kleines Geld.
Bei der CPU kannst du ja erst mal testen. Einen 1231 v3 kannst du dann ja immer-noch nach-schieben.

 

[masterofeye]

Auch wieder wahr ... werde ja eh erstmal Lehrgeld zahlen müssen bei der Konfiguration und Co.. Mein wissen ist noch sehr begrenzt.

 

[masterofeye]

Ich habe mich ein wenig mehr in das Thema NAS eingelesen und musste feststellen das mein System so keinen Sinn macht, in Bezug auf Datensicherheit. Somit werde ich wohl auch mehr Geld ausgeben müssen als ich zunächst wollte^^. Mein aktuelle Aufstellung lautet wie folgt :

- 3*2TB im Raid-Z1 verbannt(Für Filme und Musik), zwei sind dabei noch ältere Baracudas und werden im laufe der Zeit durch WD Red's ersetzt
- 5*2TB im Raid-Z2 verbannt(Für die "wichtigen" Daten und die VM's/Container), auch hier werden zunächst noch zwei Festplatten aus dem alten "Server" mitgenommen und später ersetzt
- 1 SSD für das Betriebssystem

Wären wir bei 8 HDD + 1 SSD.
Ein Backup der wichtigsten Daten ca. 2-3TB wird eventuell auf eine externe Festplatte in regelmäßigen Abständen (<1Woche) geworfen. Bei dem Rest sichert halt nur die Redudance.

- Gehäuse bleibt das Fractal, was ja genügend Platz bietet
- Als Powersupply verbleibt auch erstmal das BeQuit 400W (80 Plus)

- Beim Arbeitsspeicher wird es sich um 16-32Gb ECC handeln.

Bleibt zum Schluss noch die Entscheidung welches Mainboard und CPU es den werden soll. Und hier fällt mir die Entscheidung wirklich schwer. Aufgrund der Anzahl der HDD wäre ein Board mit 8 Anschlüssen natürlich ideal. Bleibt aber noch die SSD. Hier könnte ein Board mit M.2 Schnittstelle Abhilfe schaffen. Dafür bräuchte ich aber eine neue SSD. Desweiteren Frage ich mich ob es nicht gleich gut wäre auf ein Board mit dem "neuen" Chipsätzen C232/C236 zu setzen.
Anforderungen wären: min 32gb Ram, ECC, Intel Xeon Processor, USB3.0, 2x PCI-E Slots, min 6xSata besser natürlich 8 um ohne Erweiterungskarte auszukommen. Eventuell wäre auch IPMI noch ein sinnvolles Feature.

Über einen Hinweis auf einen Fehler bei der Aufstellung oder einen Hinweis auf ein Mainboard würde ich mich sehr freuen.
Gruß Moe

 

[Trambahner]

Supermicro X10SL7-F , wenn 32GB reichen und ein Haswell-Xeon-E3 eingesetzt werden soll. Hab ich selber für ESXI und ZFS (via Nas4free-VM) im Einsatz.

Ansonsten evtl. das entsprechende X11-Nachfolgeboard für E3 v5-Xeon und 64GB Ram.
Das X11SSH-CTF würde mich anlachen, nachdem auch 2* 10GBase-T mit drauf sind.

Für mehr Ram&Cpu-Power: Asrock EPC612D4U-8R ohne 10Gbase-T und -2TR8 mit10 GbaseT. Da gehört dann ein E5-Xeon druff.
Das ist dann aber schon mehr als overpowered für reine Storage.

 

[masterofeye]

Das X10SL7-F liegt gerade noch so im Budget . Und kommt sehr gut an meine Vorstellungen ran.

Es sollten ja auch einige Dienste in VM's laufen. Deswegen auch bis zu 32Gb RAM. Wieviele VM's betreibst du Trambahner?
Die anderen beiden sprengen dann doch den Rahmen für mein Budget.
Vielen Dank für die Vorschläge.

Edit:
das wäre meine Zusammenstellung:
http://geizhals.de/eu/?cat=WL-620049&wlkey=295f39188795c046e7bfebba02869bf8

 

[Trambahner]

Selten mehr als 4 VMs parallel.

Pass evtl. beim Speicher auf. Dem X10SL7 wurde anfangs nachgesagt, dass es da etwas picky sei. Ich hab mich daher an von Supermicro getestete Module gehalten. Ferner hab ich nicht jedes Bios mit ESXI und Pass-through hinbekommen. Das hängt glaub ich mit der LSI-Firmwareversion zusammen. Für ZFS-Betrieb in einer VM mit durchgereichtem Controller: idealerweise IT-Mode Firmware für den LSI nutzen!

Warum getrennte Pools? Bei den Platten würde ich alles in einen Z2-Pool mit 6 HDD packen. Die anderen beiden Ports am LSI kannst ja für SSDs nutzen für einen eigenen SSD-Mirror-Pool oder ggf. als ZIL/L2Arc für den Hauptpool.
5 HDD in einem Z2-Pool sind ungünstig; alte Regel: 2er Potenz plus Anzahl der Redundanz-Platten. So bekommst optimale Platzausnutzung und Performance.
SSD an den Sata-Port, dort ESXI drauf und den Rest als Datastore für die Systempartitionen der VMs. Wenn Du den 2308 an eine Storage-VM durchreichst, hast ja sonst keinen Datastore wo Du die Storage-VM ablegen kannst. Da beisst sich die Katze etwas in den Schwanz. Datastore auf USB geht ja nicht.
ESXI auf die SSD statt USB hat den Vorteil, dass es deutlich schneller bootet, wenn man die Kiste nicht 24/7 durchlaufen lassen will. Nachteil ist die schlechtere wartbarkeit für neue Versionen.

Aber dieses nette kleine Board hat ein geniales Preis-/Leistungsverhältnis. Ein solo LSI-9207 kostet sonst schon fast das gleiche. Hier ist er onboard. Ideal für Storage oder einen kleinen ESXI. Und bei Bedarf hat man noch 2 Slots für ne PCIe-SSD, 10Gbit-NIC o.ä.

 

[Holt]

das wäre meine Zusammenstellung:
http://geizhals.de/eu/?cat=WL-620049&wlkey=295f39188795c046e7bfebba02869bf8

Wie wäre es statt des Supermicro X10SL7-F retail (MBD-X10SL7-F-O) ab € 261,37 und des Intel Xeon E3-1240 v3, 4x 3.40GHz, Sockel 1150, tray (CM8064601467102) ab € 252,42 (warum Tray und nicht Boxed und dann den E3-1231v3 mit 100MHz mehr ab €257?) mit dem Supermicro X10SDV-4C-TLN2F retail (MBD-X10SDV-4C-TLN2F-O) ab € 551,69? Das kostet kaum mehr, hat einen 4 Kerner Boardwell Xeon und schon 2 10Gbit Ethernetports! Einen M.2 Slot mit PCIe 3.0 x4 und SATA Anbindung (der Xeon-D hat genug PCIe Lanes), auch den Aspeed AST2400 und IPMI 2.0 Fernwartung.

- - - Updated - - -

PS: Dan braucht man natürlich auch die passenden DDR4 Unbuffered ECC oder kan auch DDR4 LRDIMM nehmen und damit mehr Kapazität realisieren, die 32GB die Du praktisch maximal beim S. 1150 hinbekommst, gibt es als einen Riegel für 255€, also gerade 10% mehr.

 

[Trambahner]

Stimmt, an den Xeon D hab ich gar nicht gedacht; auch ne Variante. Dann braucht er aber noch einen HBA für die Platten. Den hat wiederum das X10SL7 drauf. Und das Xeon D-Board hat halt nur einen PCIe-Kartenslot; ein HBA rein und dann ist Ende Gelände mit klassischen Steckkarten, es bliebe dann nur der M.2 Slot. Ich finde einen regulären Kartenslot da flexibler.

Genau darum finde ich für Neubauten das X11SSH-CTF schick: weil es HBA und 2*10GB drauf hat. Wobei ich über den LSI 3008 bzgl. Passthrough, IT-Mode und OS-Support noch nicht viel gelesen/erfahren hab.

Edit: @masterofeye: Denk auch an ein Backup für diese Datenmengen. Man kann zwar schon relativ viel mit Snaps gegen Datenverlust machen, aber wenn der Pool warum auch immer hin/weg ist, dann Bantha Poodoo.

 

[Holt]

Stimmt, an den Xeon D hab ich gar nicht gedacht; auch ne Variante. Dann braucht er aber noch einen HBA für die Platten. Den hat wiederum das X10SL7 drauf.

Das ist richtig, aber dafür hat man dann greie Auswahl beim HBA und was will man sonst noch per PCIe aufrüsten?

Und das Xeon D-Board hat halt nur einen PCIe-Kartenslot; ein HBA rein und dann ist Ende Gelände mit klassischen Steckkarten, es bliebe dann nur der M.2 Slot. Ich finde einen regulären Kartenslot da flexibler.

Du hattest vorher geschrieben:

Und bei Bedarf hat man noch 2 Slots für ne PCIe-SSD, 10Gbit-NIC o.ä.

Die SSD kann in den M.2 Slot und zwei 10Gbit NICs sind schon auf dem Mainboard, da musst man also nichts nachrüsten. Mehr als einen HBA oder RAID Controller braucht man also nicht eigentlich für einen Heimserver nicht nachzurüsten, außer man will eher eine Workstation haben und eine Graka einbauen. Dann wäre der Xeon-D in der Tat nicht die beste Wahl.

Genau darum finde ich für Neubauten das X11SSH-CTF schick: weil es HBA und 2*10GB drauf hat.

Ja das ist ein schönes Boards, aber es kostet auch schon fast 500€ und man braucht noch eine pasende Xeon CPU dazu, die kostet auch noch mal mindestens 220€! Aber ein HBA mit dem LSI 3008 kostet auch ab 200€, das gleicht sich also wieder aus und die Skylakes takten höher als die Xeon-D.

Aber die Xeon-D Familien wächst ja noch und mit den Pentium-D auch noch nach unten, nach oben gibt es schon 8 Kerner (kosten dann 400€ mehr) und 12 Kerner sollen wohl auch noch kommen. Da die u.a. für Storageserver gedacht sind, könnten auch noch passende Boards kommen, die Xeon-D haben immerhin 32 PCIe Lanes, also genug Bandbreite um auch einen HBA oder zwei anzubinden. Mal schauen was da noch kommt, auch wenn die Auswahl an Boards bisher sehr bescheiden ist und dabei gibt es den 1520 und den 1540 ja schon eine ganze Weile, die sind eben eher für Fertiglösungen als Mainboards gedacht.

Denk auch an ein Backup für diese Datenmengen. Man kann zwar schon relativ viel mit Snaps gegen Datenverlust machen, aber wenn der Pool warum auch immer hin/weg ist, dann Bantha Poodoo.

Snapshots ersetzen keine Backups, denn sie helfen nur gegen einige Risiken wie versehentliches Löschen oder Verschlüsselungsviren. Backups gehören immer auf Medien die in einem eigenen Gehäuse stecken.

 

[masterofeye]

Selten mehr als 4 VMs parallel.

Ich möchte auch ein wenig mit Containern spielen. Wie man sicher merkt hab ich noch relativ wenig Ahnung was Server angeht. Deswegen schadet es sicher nicht das ein oder andere anzutesten. Ich bevorzuge aber Proxmox als Hypervisor im Moment.

Warum getrennte Pools?

Ich unterscheide zwischen Daten die ich dringen brauche (RaidZ2) und Daten deren Verlust zwar ärgerlich ist aber verschmerzbar sind (Filme,Musik,Serien usw. -> RaidZ1). Diese Daten nehmen extrem viel Speicher weg und können zu not erneute beschafft werden.

dass es da etwas picky sei.

Hmm ich werde es merken. Wenn dann kommt wird umgetauscht .

5 HDD in einem Z2-Pool sind ungünstig

Du hast vollkommen recht ... Das hatte ich wohl zu dem Moment falsch im Gedächtnis. Dann werden wohl nur 2*2Tb verwendet.

dealerweise IT-Mode Firmware

Danke für den Hinweis. Der steht schon auf der Liste der Todos für die Inbetriebnahme.

Edit: @masterofeye: Denk auch an ein Backup für diese Datenmengen. Man kann zwar schon relativ viel mit Snaps gegen Datenverlust machen, aber wenn der Pool warum auch immer hin/weg ist, dann Bantha Poodoo.

Ja ich möchte auch hier nur die Daten "backupen" die ich wirklich brauche. Der Rest ist dann halt nur durch die Redundanz gesichert (z.b. Filme,Musik etc). Grund hierfür ist der mangelnde Festplattenplatz. Eventuell kommt später mal eine zweiter Rechner für die Backups.

Wie wäre es statt des Supermicro X10SL7-F retail (MBD-X10SL7-F-O) ab € 261,37 und des Intel Xeon E3-1240 v3, 4x 3.40GHz, Sockel 1150, tray (CM8064601467102) ab € 252,42 (warum Tray und nicht Boxed und dann den E3-1231v3 mit 100MHz mehr ab €257?) mit dem Supermicro X10SDV-4C-TLN2F retail (MBD-X10SDV-4C-TLN2F-O) ab € 551,69? Das kostet kaum mehr, hat einen 4 Kerner Boardwell Xeon und schon 2 10Gbit Ethernetports! Einen M.2 Slot mit PCIe 3.0 x4 und SATA Anbindung (der Xeon-D hat genug PCIe Lanes), auch den Aspeed AST2400 und IPMI 2.0 Fernwartung.

- - - Updated - - -

PS: Dan braucht man natürlich auch die passenden DDR4 Unbuffered ECC oder kan auch DDR4 LRDIMM nehmen und damit mehr Kapazität realisieren, die 32GB die Du praktisch maximal beim S. 1150 hinbekommst, gibt es als einen Riegel für 255€, also gerade 10% mehr.

Danke für den Vorschlag. Was für mich persönlich dagegen spricht wäre doch der Aufpreis und die fehlenden Storage Ports. Das würden nochmal einen Aufpreis bedeuten. Was bringt es mir den einen großen Riegel zu verwenden? Bei der Bestellung hatte ich nun E3-1231v3 boxed genommen. Hat jemand Erfahrung mit der Lautstärke des Lüfters und der Performance?

Vielen Dank für eure Hinweise. Ich hatte die Aufstellung am gleichen Tag noch gekauft, mit der Ausnahme den E3-1231v3 boxed zu verwenden. Hoffe das am Montag alles da ist und ich das ganze dann ausführlich testen kann. Aber wie ich schon Eingangs geschrieben habe werde ich sicher das ein oder andere Lehrgeld noch bezahlen müssen.

 

[Trambahner]

Das Ding sollte relativ kühl laufen, der boxed Kühler reicht für die kleinen E3 erstmal gut aus und ist auch nicht zu laut, sofern er vom Board ordentlich geregelt wird.

Der Vorteil des großen Riegels und der Xeon D-Plattform ist, dass Du nicht auf 32GB limitiert bist. Und an diese Grenze schlägt man schneller an als man denkt, wenn ein paar VM gleichzeitig rennen. Gib der ZFS-VM genug Speicher (ich hab ihr knapp 9GB zugewiesen) und tune die Systemparameter entsprechend ggf., damit Du vollen Nutzen davon hast. Zumindest bei Nas4free ist das empfehlenswert. Noch mehr Einstellungen werden dann notwendig, wenn Du mal auf 10GBit Lan gehst.

Btw, ich unterscheide nicht mehr zwischen "blöd gelaufen" und "Katastrophe" bei Datenverlusten, da ich auch einiges an Mediendateien nicht wiederbrinbgbar hab. Insofern landen auch Medien auf Raidz2, die eine Platte mehr ist es mir wert.
Und für den ruhigeren Schlaf gibts ne Backup-Kiste, ein T20 (war ja ne Zeit sehr sehr günstig) mit M1015 + Platten drin. Auch sehr wichtig, wenn man später mal am Produktivpool rumschrauben will.
Mit ZFS send/receive kannst dann wunderbar die Snapshots zwischen den Maschinen rumschubsen. Btw, ab bestimmten Volumen macht das dann auch mit 1Gbit Lan keinen Spaß mehr.

 

[pumuckel]

die Xeon D sind etwas Leistungsfähiger als z.B. ein C2758 ... aber atm unverhältnismaßig teuer (reviewer bekommen die Boards meist kostenfrei)

 

[Gohst_oc]

Für was ein Board mit 10G Base-T Anschluss?
Habe bis jetzt noch keinen brauchbaren Switch unter 500€ gesehen.

Also ist es ergo sehr teuer dann ein entsprechendes Netzwerk aufzubauen.
Und die Clients müssten optimalerweise auch noch gleich eine 10G Nic eingebaut kriegen...

Lieber eine oder viele Gbit NIC's verwenden und auf SMB3 und Trunks/LCAP setzen.
Schade dass die Hersteller preislich hier nix mehr bringen.

Und für die paar VM's war die aktuell eingesetzte Lösung schnell genug oder?
Also müsste bei der Hardware auch nicht gerade überbordet werden.

 

[pumuckel]

jep... https://geizhals.de/?cat=mbson&xf=1...Intel+Atom+C2750~1123_Intel+Atom+C2758#xf_top

sind für 90% der user die bessere Wahl .... VT-D braucht man nur , wenn das host os die Funktionen nicht bereitstellt

 

[Holt]

die Xeon D sind etwas Leistungsfähiger als z.B. ein C2758

Schau Dir mal diesen Review an und überlege selbst ob "etwas" die passende Bezeichnung für die Unterschiede ist.

aber atm unverhältnismaßig teuer

Das hängt davon ab womit man es vergleicht und welche Features man als wichtig betrachtet und daher in den Vergleich einbezieht. Schon eine RJ-45 10Gbase Karte kostet über 200€, da finde ich das Supermicro X10SDV-4C-TLN2F retail (MBD-X10SDV-4C-TLN2F-O) Mainboard ab € 551,69 welches schon zwei solche Ports und einen Broadwell 4 Kerner hat, nicht so teuer. Solange man auch nicht mehr als 2 andere Rechner damit verbinden will, braucht man auch noch nicht einmal einen Switch, die kann man beide direkt anschließen und den Server als Router zwischen den beiden Clients konfigurieren.

Aber das Thema ist ja nun durch, der TE hat sich für den E3 entscheiden und wenn nicht so bald auf 10Gbase aufgerüstet und er mit 32GB RAM auskommen wird, ist das ja auch eine gute Entscheidung.

 

[pumuckel]

@Holt

für "Spielwiesen" wie der TE es sagt sind Xeon D völlig überteuert
dafür braucht mal auch keine 10G

für den preis des Boards allein bekam er nen ganzen Server ... und die leistung/Watt holt er evtl in 25 jahren raus (übertrieben)

ich hab bei vielen nun z.B. das hier verbaut: https://geizhals.de/supermicro-a1srm-2558f-retail-mbd-a1srm-2558f-o-a1057354.html?hloc=at&hloc=de

reichte für fast alles, war günstig und gut verwaltbar (meist genutzt für PFSense, Asterix, Webserver, OWncloud, Fileserver, Playground ... was man halt daheim so nutzt, teils sogar als DVB-S2 Server)
.. kann zwar kein VT-D aber alles realisierbar per Debian + Addons
... gut die kostetetn auch nur 230€ anfang 2015