Planung neuer Home-Server

[Los]

Hallo liebes Schwarmhirn,

ich plane einen Server-Eigenbau und habe dazu einige Fragen, auf die ich mir von euch Antworten erhoffe.
Ich betreibe seit einigen Jahren eine Synology ds213+, bin also mit den einzelnen Applikationen und genereller Serveradministration einigermaßen vertraut.

Generelle Ziele meines Projekts:
- einzelne Applikationen durch Virtuelle Maschinen zu trennen, so dass bei einem erfolgreichen Angriff nicht alle Daten auf dem Server geraubt werden können (bzw. es dem Hacker so schwer als möglich gemacht wird)
- interne Zugriffe:

• Datengrab
• Multimedia-Daten

- externe Zugriffe durch mich:

• owncloud (CalDAV, CardDAV)
• Webmailserver
• Datengrab
• Multimedia-Daten
• nzbget

- externe Zugriffe durch mich und Freunde:

• dokuwiki

- untypische Eigenschaft:

• Wiedergabe von Multimediaten per Bluetooth-Modul (aptx) sowie über einen Wireless HD Extender, remote-Zugriff via Android

- Performance: 1300MBit Datendurchsatz im internen Netzwerk und gleichzeitig 500/100MBit DL/UL aus dem/ins externe Netzwerk sollten schon erreicht werden können (momentan vorhanden 300/15). Geschrieben wird durchwegs auf per LUKS verschlüsselte Laufwerke, ins externe Netzwerk wird viel per openVPN verschlüsselt sein. Außerdem muss eine gleichzeitige 1080p-Video-Wiedergabe möglich sein.
- Verbrauch unter angegebenen Performance-Wünschen natürlich so niedrig als möglich
- Preis: Spielt eine sehr untergeordnete Rolle, solange ich das Performance/Verbrauchs-Verhältnis maximieren kann.


Fangen wir mit der CPU an:
- Wo liegen für mich mit dem oben angegebenen Profil die Unterschiede zwischen einer Intel Xeon (E3-1265L v4) und einer Intel Core i7 (6700T)? Oder sind die für mein Vorhaben nicht ausreichend?
- Nachdem ich bei Geizhals nach Boards gesucht hatte, kam heraus, dass bei den 1150er Boards immer integrierte Grafikprozessoren vorhanden sind. Wozu das - immerhin haben die Xeons ja selbst einen Grafikchip integriert?

Betriebssystem:
Was nimmt man als Host-System für die Virtuellen Maschinen? Ubuntu in normaler oder auch in Server-Ausführung? Oder ein gänzlich anderes System? Wenn Ubuntu - 14.04LTS oder 15.10 und dann auf 16.04LTS warten und dieses dann längere Zeit verwenden?

Datenträger:
Datengrab/Multimediadaten liegen auf einer 8TB-24/7-Platte, die ich auch separat sichere.
Trenne ich Hostsystem und Virtuelle Maschinen auch physisch, oder kann ich alles auf einen Datenträger setzen?
Ist für meine Anwendungen eine SSD sinnvoll (Hatte an eine Samsung SSD PM871 512GB gedacht)? Oder sollte ich hier eine Server-HDD vorziehen?

Zumindest schon einmal Dankeschön fürs Lesen,
Los

 

[sweetchuck]

- Wo liegen für mich mit dem oben angegebenen Profil die Unterschiede zwischen einer Intel Xeon (E3-1265L v4) und einer Intel Core i7 (6700T)? Oder sind die für mein Vorhaben nicht ausreichend?

Für dein Vorhaben klingen beide overpowered. Kommt aber darauf an, wie viele Clients es gibt. Xeons unterstützen ECC, i7 nicht.

- Nachdem ich bei Geizhals nach Boards gesucht hatte, kam heraus, dass bei den 1150er Boards immer integrierte Grafikprozessoren vorhanden sind. Wozu das - immerhin haben die Xeons ja selbst einen Grafikchip integriert?

Bei Geizhals steht zwar IGP, das bedeutet aber nur, daß Prozessoren mit IGP unterstützt werden, z.B. durch HDMI-Anschlüsse auf dem Board. Auch haben nicht alle Xeons eine integrierte Grafik. Grafik auf dem Board gibts üblicherweise bei Server-Chipsätzen (z.B. C222/C224/C226).

Was nimmt man als Host-System für die Virtuellen Maschinen? Ubuntu in normaler oder auch in Server-Ausführung? Oder ein gänzlich anderes System? Wenn Ubuntu - 14.04LTS oder 15.10 und dann auf 16.04LTS warten und dieses dann längere Zeit verwenden?

Distribution ist Geschmackssache, ich bevorzuge Ubuntu Server LTS und Debian.

 

[Los]

Für dein Vorhaben klingen beide overpowered. Kommt aber darauf an, wie viele Clients es gibt. Xeons unterstützen ECC, i7 nicht.

Hehe, alles klar. Aber overpowered oder nicht - was mich interessiert, ist die Sparsamkeit - ist ein i5 sparsamer als ein i7? Oder kann man wirklich guten Gewissens zu einem i3 greifen?
ECC brauche ich nicht wirklich, so krass RAM-lastige Vorgänge führe ich ja nicht durch.

Bei Geizhals steht zwar IGP, das bedeutet aber nur, daß Prozessoren mit IGP unterstützt werden, z.B. durch HDMI-Anschlüsse auf dem Board. Auch haben nicht alle Xeons eine integrierte Grafik. Grafik auf dem Board gibts üblicherweise bei Server-Chipsätzen (z.B. C222/C224/C226).

Ok, danke für die Info!

Distribution ist Geschmackssache, ich bevorzuge Ubuntu Server LTS und Debian.

Debian als Host, nehme ich an?

 

[sweetchuck]

Hehe, alles klar. Aber overpowered oder nicht - was mich interessiert, ist die Sparsamkeit - ist ein i5 sparsamer als ein i7? Oder kann man wirklich guten Gewissens zu einem i3 greifen?

Bei guter Konfiguration zieht ein Haswell-Prozessor (egal welcher) weniger als 1 Watt im Leerlauf. Verbrauch ist da also kein Faktor mehr.

Debian als Host, nehme ich an?

Jo, wobei ich nur eine leichtgewichtige Virtualisierung (https://de.wikipedia.org/wiki/Linux-VServer) einsetze.

 

[Los]

Wäre ein i3 denn für mein Vorhaben ausreichend? Generell kann man durch die Virtualisierung doch von mehr Kernen profitieren, oder nicht? Wenn der IDLE-Verbrauch gleich ist, kommt es ja nur noch auf die Leistungsaufnahme*Rechenzeit an...
Oder haben i7 mehr für mein Szenario nutzbare features als i5 bzw. i5 mehr features als i3?

 

[Strok3rAce]

ECC brauche ich nicht wirklich, so krass RAM-lastige Vorgänge führe ich ja nicht durch.

ECC hat damit nichts zu tun. Für mich, ist ECC in einem Server unabdingbar. Google mal nach ECC Speicher, dann wird einiges klar

- - - Updated - - -

Wäre ein i3 denn für mein Vorhaben ausreichend? Generell kann man durch die Virtualisierung doch von mehr Kernen profitieren, oder nicht? Wenn der IDLE-Verbrauch gleich ist, kommt es ja nur noch auf die Leistungsaufnahme*Rechenzeit an...
Oder haben i7 mehr für mein Szenario nutzbare features als i5 bzw. i5

Ich denke ein i3 wird dir da reichen. Kommt eben auch darauf an was du vielleicht noch in Zukunft anstellen willst.

 

[Los]

hm... Ok, einverstanden. ECC scheint außerhalb der NAS-Systeme wirklich wichtig zu sein.
Na gut, dann wirds ein Xeon werden. Der einzige Vorteil, den ein i7 hätte, wäre eine integrierte 4k-Hardware-Decodierung. Aber wenn ich dereinst mal einen 4k-Bildschirm finde, der mich zufriedenstellt, kann ich mir immer noch eine neue CPU/Board-Kombi kaufen, die dann auch dieses feature onboard hat.

Stehen noch die Fragen bezüglich des Datenträgers aus - habt ihr dazu auch ein paar Antworten für mich?

 

[Digi-Quick]

Mind. 1300 Mbit erreichst du pauschal schonmal nur mit 10 GBE, da GBit nur maximal ca. 900 MBIT real schaft.

NIC-Teaming o.ä. geht zwar auch, bringt aber nur bei multiplen parralellen Datentransfers was, sofern der eingesetzte Loadbalancer was taucht

 

[Los]

Mind. 1300 Mbit erreichst du pauschal schonmal nur mit 10 GBE, da GBit nur maximal ca. 900 MBIT real schaft.

NIC-Teaming o.ä. geht zwar auch, bringt aber nur bei multiplen parralellen Datentransfers was, sofern der eingesetzte Loadbalancer was taucht

Hm... touché. Für parallele Streams möchte ich Bonding (unter Linux) einsetzen. Bis mein Router wirklich zu 1300MBit in der Lage ist, hab ich vermutlich die nächste Generation bezahlbare Hardware, in der dann 2,5/5Gbit LAN verbaut ist. Bis dahin ist auch kein Loadbalancer notwendig.

 

[Los]

Momentan kristallisiert sich für mich folgende Kombination heraus:
System und virtuelle Maschinen sowie Server-Daten: Intel SSD Pro 2500 Series 480GB (Mal davon ausgehend, dass es keinen Grund gibt, die generierten Daten nicht noch einmal physisch von der Systempartition zu trennen) - oder gibt es SSDs, die explizit für Server verwendet werden können (dabei aber sparsam sind - mehr als 200MB Schreibgeschwindigkeit sind Overkill...)
Multimedia-HDD: Seagate Archive HDD v2 8TB (schon vorhanden)
Datengrab-HDD: WD Red 1TB 2,5" (schon vorhanden)
Board: ASRock Rack C226M WS
Prozessor: Intel Xeon E3-1265L (Dadurch lasse ich mir noch genügend Luft nach oben, falls ich meine Bedürfnisse ausweiten sollte)
RAM: Crucial DIM Kit 32GB
Strom: Minibox Pico-PSU 160W -> Hier bin ich noch unschlüssig: ist vermutlich überdimensioniert, oder? Oder fahre ich im Gegenteil mit einem ATX-Netzteil (gold/platin) besser?

Der Rest ist eher Formsache:
Gehäuse: Lian Li PC-V355B oder vielleicht doch die 354B-Variante...? Kann mich hier nicht wirklich entscheiden ;-)
optisches LW: noch offen
CPU-Lüfter: Noctua NH-L9x65 (bei der 354B-Variante: Noctua NH-C12P)
BT-Stick: Azio BT-400 (schon vorhanden)

 

[mathiascgn]

Ich hoffe, du hast mitbekommen, dass die Archive nicht die schnellsten sind und wenn die Daten häufig neu geschrieben werden, werden die richtig langsam. Ich würde sie nur für Backup nutzen.
Das Thema Picopsu in einem Server hatten wir auch schon öfters und die meisten waren der Meinung, dass man es lassen sollte. Die sind nicht für 24/7 ausgelegt so viel sparen die jetzt auch nicht.
Wenn da keine 100 Clients an owncloud hängen, wüsste ich nicht, warum du da so eine starke CPU verbauen willst. Zumal CPU und Ram durch die langsamen Archiveplatten eh ausgebremst werden.

 

[Los]

hm... das Thema hatte ich ganz verdrängt. Dann werde ich wohl stattdessen noch eine He8 kaufen.
Bezüglich der PSU: Kann man in einem Serverbetrieb eine passive PSU guten Gewissens verbauen?

 

[mathiascgn]

Ich würde eher zu einem normalen NT mit 300w raten. Da hast du mehr Spielraum nach oben und sind günstiger, was den geringen Mehrverbrauch ausgleichen dürfte. Und wenn du von Zukunftssicherheit redest, solltest du vielleicht auch den Sockel nochmal überdenken. Imho geht es doch jetzt alles auf den 1151 bei Intel und DDR4. Weitere Frage, warum soll es ein xeon L sein und kein normaler? Imho sollte ein e3 1246v3 mindestens gleich schnell sein und kostet nur 280€.
Wenn die Platten schnell, groß und bezahlbar sein sollen, wären doch auch die WD Red PRO mit 6TB eine Alternative. Die sollten recht flott sein. Ich weiß nicht, in wie weit ich der Technik mit He oder SMR wichtige Daten anvertrauen mag. Jedenfalls würde ich in so einem Fall sehr konsequent auf Backups achten.

 

[Los]

Naja, wenn der 1265L schon overpowered ist, was soll ich dann erst zu den Skylakes sagen...?
Und der 1246v3 ist immer noch Haswell und damit Plattform 1150.
Was die Boards angeht: Das Problem an den Skylake-Xeons ist doch, dass sie nur auf Server-Boards eingesetzt werden können. Und die einzigen beiden Server-Boards, die momentan verfügbar sind, sind momentan noch recht teuer. Ist halt der early-adopter-Preis:

• Xeon E3-1265L + ASRock Rack C226M WS = ~440€ + ~170€ = 610€
• Intel Xeon E3-1225 v5 + ASRock Rack C236M WS= ~230€ + ~600€ =830€

Aber nicht dass mich das im Augenblick stören würde - das C236M hat alles, was ich brauche und der Formfaktor stimmt auch. Mich stört etwas anderes daran: Den Xeon L wollte ich wegen der wesentlich geringeren Abwärme nehmen - damit sind meine Lüfter seltener bzw. mit geringerer Frequenz im Einsatz und ich hab weniger Geräuschkulisse (der Server steht wie gesagt im Wohnzimmer! - das ist leider rein physisch nicht zu umgehen). Kommen denn von den Skylakes noch Versionen mit geringerer TDP auf den Markt?

Meine Multimedia-Daten übersteigen jetzt schon die 6TB-Grenze, von daher scheidet die Option für mich aus. Ich habe allerdings keine sonderlichen Skrupel, meine Daten neuen Technologien anzubieten - zumal das Produktivsystem und das Backup dann jeweils die andere Technologie nutzen und ich eine gemeinsame Ausfallwahrscheinlichkeit als zu gering ansehe, als dass ich mir darum Gedanken machen müsste.

Wegen der PSU: Nur dass wir uns richtig verstehen - ich meinte hiermit nicht die picos (den Grund, warum du davon abgeraten hast, hab ich verstanden), sondern ganz normale ATX Netzteile.
Daher die Frage etwas umformuliert: Sind passive ATX-Netzteile eine Option? Konkret wäre meine Wahl auf das Seasonic Platinum Series Fanless 400W ATX gefallen.

- - - Updated - - -

Weitere Frage: Sind 16GB ECC UDIMMs in nächster Zeit zu erwarten? Finde dazu im Netz irgendwie gar nichts. Irgendwie etwas merkwürdig, dass die Boards 64GB ermöglichen, aber kein Speicher dazu auf dem Markt ist

 

[mathiascgn]

Ich hab meinen Server mit Pentium G3240 und dem billigen Bequiet Netzteil auch direkt im Wonzimmer stehen. CPU ist boxed und ansonsten 120er Lüfter von bequiet auf 7v laufen - man hört fast garnicht. Nur wenn man direkt daneben sitzt, hört man ihn. Ansonsten ist mein Laptop lauter. Die 8TB Seagate fürs Backup ist die lauteste Komponente.

Zu der CPU: Ich eigentlich, dass ein 1246v3 (oder halt kleiner) mit Board günstiger ist und du so mehr sparst, als durch den geringeren Stromverbrauch der L-Version. Die meiste Luft wirst du eh für die Festplatten durchschaufeln müssen. Wenn die eine Zeit lang laufen, freun die sich ganz dolle über Kühlung Ich sprech hier aber von meinem Server wo 5 HDDs als Raid5 übereinander den Schächten stecken.

 

[Los]

Die HDDs werden eher selten in Gebrauch sein - die allermeisten Serverzugriffe werden auf die SSD erfolgen (hat ein TBW von >3000TB, von daher werde ich mir ums Kaputtschreiben wohl keine Gedanken machen müssen ), Multimedia/Datengrab werden nur für Multimediawiedergabe bzw. Backups genutzt. Und das ist nun wirklich <2h/Tag. Zudem sollen die HeX ja sehr wenig Abwärme produzieren.

Was den Preis angeht - mir gehts wie schon geschrieben um eine Optimierung von Leistung/Verbrauch, der Preis ist da nicht so wirklich von Belang.

Mir ist in der Tat eingefallen, was einen starken Prozessor (und nebenbei 64GB RAM...) rechtfertigen würde - ich kann ja meine PS-Lizenz auf einer virtuellen Maschine installieren und remote meine Bilder bearbeiten Damit gibt es dann keinen Grund mehr, warum ich nen zusätzlichen Desktop benötigen sollte und könnte stattdessen auf einen Laptop reduzieren, den ich dann mit einem supereffizienten i3 ausstatte und dann rein auf Laufzeit trimme Die Servergeschichte gefällt mir immer mehr!

Aber zurück zu meinen übergebliebenen Fragen:
1. Kann ich ein passives ATX-NT guten Gewissens in einem Server verbauen?
2. Wann ist mit 16GB/DIMM ECC UDIMMs zu rechnen?

- - - Updated - - -

edit: Hmpf, dass der Xeon E3-1235L v5 kein Hyperthreading unterstützt, vermiest mir den Braten irgendwie...
Und die einzige vernünftige Alternative (niedrige TDP, Hyperthreading, IGP), der Xeon E3-1565L v5, kommt erst irgendwann 2016. Wollte den Server doch in den nächsten 1-2 Wochen zusammenbauen
Aber gut, vielleicht ist die He10 bis dahin ja für Consumer verfügbar und es gibt 16GB/DIMM ECC UDIMMS...

 

[flxmmr]

nur ist das bearbeiten mittels komprimierter Videostreams nicht soo episch, wenn was ordentliches rauskommen soll

 

[GrayDeath]

nur ist das bearbeiten mittels komprimierter Videostreams nicht soo episch, wenn was ordentliches rauskommen soll

+1

 

[Los]

Naja, mein Anwendungsgebiet ist recht bescheiden - Stapelumwandlungen, zuschneiden und kleine Modifikationen.
Kein Speedpainting oder Ähnliches...

Davon abgesehen würde ich das im LAN (WLAN-ac, starker Router) durchführen, die Verzögerung hält sich also in Grenzen.

- - - Updated - - -

Aber letzten Endes kann ich ja auch direkt in der virtuellen Maschine des Servers arbeiten (Virtueller Windows Desktop-Ersatz quasi), muss ja nicht remote drauf zugreifen.

 

[flxmmr]

es geht nicht um die Verzögerung, sondern um Dinge wie Farbtiefe oder die Tatsache, dass man bei evtl. auftretenden Pixelblöcken im Bild einfach mal nicht weiß ob a) Sensorproblem/JPEG-Problem oder c) Kompressionsproblem des Remotedesktop...
Wenn du dann anfängst den Server als Workstation zu verwenden, stellt sich die Frage, wozu du den Server zuerst brauchst... – in dem Fall würde ich dann aber irgendwann auch auf Sockel 2011 mit einem Xeon setzen. Dir ist außerdem auch klar, dass du zum sättigen von >1GBit Vollduplex sinnvollerweise wahrscheinlich mehr als ein HDD verwenden solltest

 

[GrayDeath]

... und auch noch im WLAN ?

 

[Los]

Ok, einverstanden. Remote-Bildbearbeitung macht keinen Sinn. War nur ein Schnellschuss gewesen...

Zuerst brauche ich den Server ganz klar als Server, dann als Multimediastation, etwas seltener erst als Workstation.
Sättigung >1Gbit Vollduplex: Für sequentielle Lese/Schreibzugriffe erreicht doch schon die He8 >160MByte/s (=1280Mbit). Das heißt, wenn ich hier etwas im LAN kopiere, muss doch gleichzeitig noch ein Serverzugriff auf die SSD möglich sein, was ich nur mit Bonding von 2*GBit-LAN erreiche.

 

[mathiascgn]

Dann aber Zugriff von einem zweiten Client aus, oder? Lösung wäre einfach, wenn Geld keine Rolle spielt. Da nimmt man 10gbit und ein Switch mit einem entsprechenden Port.
Im Lan, wenn alles über einen entsprechenden Switch läuft, sollte es funktionieren. Aber imho kann eine Fritzbox oder ein Speedport das oft nicht. Du solltest dann also auch dein Netzwerk überprüfen. Bei Wlan bricht meist der Speed schon ein, wenn du mehr als 3 Wlans in der Nachbarschaft hast oder irgendwo eine massive Wand dazwischen steht. Wenn du speed brauchst, dann immer per Kabel.

 

[Los]

Ich gebe dir Recht, was Kabel angeht, das ist immer einfacher (stabiler/schneller).
Aber da ich zur Miete wohne und das Verlegen von Kabeln außerhalb von Wänden eine Wohnung design-technisch sehr schnell potthässlich macht, scheidet diese Option schlichtweg aus
Was den Speed angeht, ist man im 5GHz-Netz eigentlich ganz gut aufgehoben, da genügend überlappungsfreie Kanäle (selbst bei 80MHz Bandbreite) vorhanden sind.