[MEINUNGEN] Homeserver Eigenbau

[roonix]

Hallo liebe Forenmitglieder,
nachdem ich schon eine Weile mitlese möchte ich hier meine eigene Vorstelllung meines neuen Homeservers zur Diskussion vorstellen und erhoffe mir, auf etwaige Fehler in meiner Konfiguration hingewiesen zu werden.

Momentanes Setup:
Fritz Box 6490 Cable mit Vodafone 200 MBit Business Leitung, 1 feste IPv4 Adresse. Daran angeschlossen ist ein raspi mit pihole und pivpn. Pihole fungiert als primärer Proxy, DHCP über die FritzBox. Dazu noch ein Dell T7500 (2x Xeon X5650, 48 GB RAM, LSI Megaraid mit 4 TB Raid 5 auf drei 2 TB Festplatten (keine NAS Platten)) mit Windows Server 2016 und mehreren VM's, der RAID 5 auf als mehrere logische Platten im Heimnetz freigegeben.
Der T7500 schluckt unglaubliche 180 Watt ohne allzugroße Last, weswegen ich ihn gern ersetzen würde damit er dauerhaft laufen kann.

Angestrebtes Setup:
Fritz Box 6490 Cable im Bridge Modus. Dahinter eine openSense Firewall auf einem APU Board. Daran kommt ein Switch, Tendenz gebrauchter HP Pro Curve o.ä. mit VLAN und evtl. 1 bis 2 POE Ports. Als Homeserver soll folgendes Setup entstehen:

Mainboard	Intel S1200SPL (DBS1200SPL)	https://bit.ly/2G85CWo
CPU	Intel Xeon E3-1230 v6	https://bit.ly/2DeZGr0
RAM	KVR24E17S8K2/16I	https://bit.ly/2DSdWao
Gehäuse	Supermicro 731i-300B	https://bit.ly/2DcoOye
NVMe	Plextor M9Pe(Y) 256GB	https://bit.ly/2DW5fMB
HDD Raid 1	Seagate IronWolf NAS HDD 4TB	https://bit.ly/2SrNsEZ

Hier soll ein Debain basierter Server und mehrere VM's über KVM entstehen. DHCP, DNS, RADIUS Server, Twonky, Webserver, versch. Windows und Linux VM's als Testumgebungen ohne besondere Beanspruchung. Der Raiid 1 dient als NAS.



Hat jemand hierzu Anmerkungen, Verbesserungsvorschläge oder mögliche Probleme bei den Komponenten untereinander gefunden. Kann ja sein, dass ich das etwas übersehen habe.

Über Feedback wäre ich dankbar!
Grüße, euer Roonix!

 

[sch4kal]

Im Bridgemodus bekommst du mit der 6490 keine IP für deinen dahintergeschalteten Router, da im DOCSIS-File maxCPE=1 gesetzt wird.
Entweder nach einem Modem umschauen (Cisco EPC3212 oder Technicolor TC4400), oder den Providerrouter nehmen, da kann man den Bridgemode im Kundencenter aktivieren.

HP Switches mit nur 1-2 PoE Ports gibt es mW. nicht, zumindest nicht günstig. Entweder haben alle Ports PoE, oder keiner.
Wenns nur 1-2 PoE Geräte sind würde ich auf Injektoren setzen, anstatt da großartig Geld für einen passenden Switch auszugeben.
Wenns nur VLANs sein sollen kannst dir auch mal die Mikrotik Switches CSS326/CRS326 anschauen, gibts günstig und haben SFP+ Ports für dein Server.

Vorsicht vor Intel Boards, habe auch so eins daheim und es zickt gerne rum. Meine Grafikkarte wird nur im PCIe 1.1 Modus betrieben, warum auch immer (Ivybridge Plattform).
Intel kümmert sich um seine Boards nicht großartig und versorgt Sie eher schlecht mit BIOS-Updates. Würde da eher Richtung Supermicro oder Fujitsu gehen.

 

[gea]

Ein Debian Server zum virtualisieren = ProxMox

Mit Non-Linux clients (BSD, OSX, Solarish, Windows) bevorzuge ich ESXi als Basis. Ist schlanker und damit für die VMs schneller und bietet umfassendere Guest Unterstützung. Vor allem bietet es totale Trennung zwischen Virtualisierungsserver, VMs und Storage. Bedienung ist sehr einfach (Web-UI) und kann man perfekt mit einer ZFS Storage Appliance (SAN/NAS) kombinieren

 

[roonix]

Im Bridgemodus bekommst du mit der 6490 keine IP für deinen dahintergeschalteten Router, da im DOCSIS-File maxCPE=1 gesetzt wird.
Entweder nach einem Modem umschauen (Cisco EPC3212 oder Technicolor TC4400), oder den Providerrouter nehmen, da kann man den Bridgemode im Kundencenter aktivieren.

Also ist die 6490 de facto nicht im Bridge Mode nutzbar bzw. ist dieser ohne sinnvolle Funktion. Der TC4400 wird ja laut Vodafone Forum überhaupt nicht unterstützt. Ich denke dann nehme ich eher den Providerrouter = keine Kosten, und Funktionen o.ä. benötige ich ja nicht.

HP Switches mit nur 1-2 PoE Ports gibt es mW. nicht, zumindest nicht günstig. Entweder haben alle Ports PoE, oder keiner.
Wenns nur 1-2 PoE Geräte sind würde ich auf Injektoren setzen, anstatt da großartig Geld für einen passenden Switch auszugeben.
Wenns nur VLANs sein sollen kannst dir auch mal die Mikrotik Switches CSS326/CRS326 anschauen, gibts günstig und haben SFP+ Ports für dein Server.

Danke für den Tipp mit den Mikrotik Switches, dort sind einige interessante Modelle dabei. Ich denke das sieht nach einer guten Lösung aus.

Vorsicht vor Intel Boards, habe auch so eins daheim und es zickt gerne rum. Meine Grafikkarte wird nur im PCIe 1.1 Modus betrieben, warum auch immer (Ivybridge Plattform).
Intel kümmert sich um seine Boards nicht großartig und versorgt Sie eher schlecht mit BIOS-Updates. Würde da eher Richtung Supermicro oder Fujitsu

Danke für den Tipp, werde nochmal genauer recherchieren wie die Update Zyklen sind bzw. ob es spezielle Probleme mit dem Board gibt.

- - - Updated - - -

Ein Debian Server zum virtualisieren = ProxMox

Mit Non-Linux clients (BSD, OSX, Solarish, Windows) bevorzuge ich ESXi als Basis. Ist schlanker und damit für die VMs schneller und bietet umfassendere Guest Unterstützung. Vor allem bietet es totale Trennung zwischen Virtualisierungsserver, VMs und Storage. Bedienung ist sehr einfach (Web-UI) und kann man perfekt mit einer ZFS Storage Appliance (SAN/NAS) kombinieren

Da ich mich mit KVM vertraut machen möchte da wir es auch bei unseren Servern im RZ einsetzen, ist ProxMox keine Alternative für mich. Ich stehe auch nicht auf diese Web GUI's muss ich ehrlich sagen, das Terminal reicht mir vollkommen. Die Probleme mit KVM und FreeNas sind mir bekannt, müsste ich wohl nochmal überdenken was mir wichtiger ist.


____

Danke für euren Input

 

[danielmayer]

Es gibt von Vodafone kein reines Modem. Auch der Minimal-Router greift z.B. die Telefondienste bereits ab, so dass keine SIP-Funktion "hinter" dem Router möglich ist. Tatsächlich sind die TC4400 und vergleichbare die einzige Möglichkeit für einen "echten Bridge"-Betrieb. Ob "supported" oder nicht ist seit einem netten Gesetz von 2016 völlig egal. Das TC4400 muss nur auf einer bestimmten Firmwareversion sein, damit das Aushandeln mit Vodafone funktioniert. Es gibt jedenfalls etliche Success-Berichte mit diesem Modem - wenngleich es nicht billig ist. Dafür aber DOCSIS 3.1.
Heise-Artikel

 

[asche77]

Da ich mich mit KVM vertraut machen möchte da wir es auch bei unseren Servern im RZ einsetzen, ist ProxMox keine Alternative für mich.

Proxmox IST Debian mit KVM. Zusätzlich auch LXC, ZFS, WebGUI etc.

 

[sch4kal]

Also ist die 6490 de facto nicht im Bridge Mode nutzbar bzw. ist dieser ohne sinnvolle Funktion. Der TC4400 wird ja laut Vodafone Forum überhaupt nicht unterstützt. Ich denke dann nehme ich eher den Providerrouter = keine Kosten, und Funktionen o.ä. benötige ich ja nicht.

Unterstützt werden sie offiziell nicht, können aber seit der 327er Lab-Firmware aktiviert werden. Ich war bei VF einer der Ersten die das Teil versucht haben zu aktivieren, hatte auch mit dem 2nd Level gesprochen bzgl. der Tab-Problematik. Die haben auch telefonisch zugegeben das ihre Systeme fehlerhaft sind, und nicht das Modem, aber es war wohl einfacher ihre Schnittstellenspezifikation zu ändern (geschah dann am 20. April), als sich mit der manuellen Aktivierung rumschlagen zu müssen. Mit dem einfachen Providerrouter im Bridgemode fährst du derzeit am Besten, da das TC4400 nirgends offiziell zu bekommen ist.

 

[JohnnyBGoode]

Etwas spät, aber von mir ein paar Erfahrungswerte zum S1200SPL(R) (das R steht nur dafür, dass eine BIOS-Version installiert ist, die mit Kaby Lake-CPUs umgehen kann), nutze das Board für Experimente seit Mitte 2017 mit allen PCIe-Slots belegt, demnächst wird es für ein 24/7-NAS verwendet.

Positives:

- Ziemlich sparsam: Bei Tests mit 760W-Titanium-Netzteil mit Minimalkonfiguration (E3-1245v6, 4 x 16 GB DDR4-ECC-2400 (Samsung) und 1 x SATA-SSD) zieht das System auf dem Windows-Desktop weniger als 15 W aus der Steckdose.
- Für meinen Einsatzzweck das einzige nicht E5-Xeon/Epyc-mATX-Board, wo ich alle benötigten PCIe-Karten gleichzeitig verbauen kann (leider immer noch)
- Wenn es läuft, stabil und bisher 0 Abstürze

Negatives:

- Teils verbuggtes BIOS; möchte Onboard-ASpeed-, iGPU von CPU und dedizierte GPU parallel nutzen, das geht nur, wenn die dedizierte Grafik die primäre voreingestellte Grafik ist. Sonst wird teilweise die iGPU oder die onboard GPU deaktiviert (ich hätte es gerne gehabt, dass die onboard GPU die primäre mit Boot-Screen ist und alle anderen sekundär/tertiär, also nur in Betriebssystemen funktionieren).

- Wenn man einen Intel-SAS-Controller in den speziellen Mezzanine-Slot steckt und das Board im BIOS auf UEFI-Boot gestellt ist, bootet das Board nicht (Intel behebt den Fehler nicht).

- DisplayPort-Ausgang, der entweder die Onboard- oder die iGPU ausgeben kann, unterstützt nur Bild und keine Audio-Wiedergabe.

Ansonsten würde ich in der Gegenwart auch eher mit einer Coffee Lake-Platform planen, einfach um eventuell später auch die kleinen 8-Kern-Xeons nutzen zu können, AMD bietet ja leider in diesem Platform-Segment derzeit nichts vergleichbares an, wo ebenfalls effektiv 20 PCIe 3.0-Lanes für eigene Erweiterungskarten nutzbar wären.

 

[roonix]

Sorry dass ich mich solange nicht gemeldet habe. Hatte sehr viel um die Ohren die letzten Tage! Trotzdem danke für die zahlreichen Antworten

Es gibt von Vodafone kein reines Modem. Auch der Minimal-Router greift z.B. die Telefondienste bereits ab, so dass keine SIP-Funktion "hinter" dem Router möglich ist. Tatsächlich sind die TC4400 und vergleichbare die einzige Möglichkeit für einen "echten Bridge"-Betrieb. Ob "supported" oder nicht ist seit einem netten Gesetz von 2016 völlig egal. Das TC4400 muss nur auf einer bestimmten Firmwareversion sein, damit das Aushandeln mit Vodafone funktioniert. Es gibt jedenfalls etliche Success-Berichte mit diesem Modem - wenngleich es nicht billig ist. Dafür aber DOCSIS 3.1.
Heise-Artikel

Das keine SIP Funktion hinter dem Modem möglich ist, kann ich nicht bestätigen. Ich arbeite momentan bei einem vTK Anbieter und wir nutzen hier die FritzBox im Bridge Mode und betreiben ganz normal unsere Nebenstellen. Vielleicht schaue ich mich aber auch noch nach einem anderen Anbieter um, gibt es z.B. mit 1und1 bessere Erfahrungen?

Proxmox IST Debian mit KVM. Zusätzlich auch LXC, ZFS, WebGUI etc.

Habe mich da mal informiert. Scheint eine Lösung zu sein nach meinem Geschmack. Vielen Dank für den Tipp!

Etwas spät, aber von mir ein paar Erfahrungswerte zum S1200SPL(R) (das R steht nur dafür, dass eine BIOS-Version installiert ist, die mit Kaby Lake-CPUs umgehen kann), nutze das Board für Experimente seit Mitte 2017 mit allen PCIe-Slots belegt, demnächst wird es für ein 24/7-NAS verwendet.

Positives:

- Ziemlich sparsam: Bei Tests mit 760W-Titanium-Netzteil mit Minimalkonfiguration (E3-1245v6, 4 x 16 GB DDR4-ECC-2400 (Samsung) und 1 x SATA-SSD) zieht das System auf dem Windows-Desktop weniger als 15 W aus der Steckdose.
- Für meinen Einsatzzweck das einzige nicht E5-Xeon/Epyc-mATX-Board, wo ich alle benötigten PCIe-Karten gleichzeitig verbauen kann (leider immer noch)
- Wenn es läuft, stabil und bisher 0 Abstürze

Negatives:

- Teils verbuggtes BIOS; möchte Onboard-ASpeed-, iGPU von CPU und dedizierte GPU parallel nutzen, das geht nur, wenn die dedizierte Grafik die primäre voreingestellte Grafik ist. Sonst wird teilweise die iGPU oder die onboard GPU deaktiviert (ich hätte es gerne gehabt, dass die onboard GPU die primäre mit Boot-Screen ist und alle anderen sekundär/tertiär, also nur in Betriebssystemen funktionieren).

- Wenn man einen Intel-SAS-Controller in den speziellen Mezzanine-Slot steckt und das Board im BIOS auf UEFI-Boot gestellt ist, bootet das Board nicht (Intel behebt den Fehler nicht).

- DisplayPort-Ausgang, der entweder die Onboard- oder die iGPU ausgeben kann, unterstützt nur Bild und keine Audio-Wiedergabe.

Ansonsten würde ich in der Gegenwart auch eher mit einer Coffee Lake-Platform planen, einfach um eventuell später auch die kleinen 8-Kern-Xeons nutzen zu können, AMD bietet ja leider in diesem Platform-Segment derzeit nichts vergleichbares an, wo ebenfalls effektiv 20 PCIe 3.0-Lanes für eigene Erweiterungskarten nutzbar wären.

Super, vielen Dank für die Hinweise aus deinen Tests! Tatsächlich trifft wahrscheinlich keines deiner genannten Probleme auf meinen Zweck zu. Ich benutze keine zusätzliche Grafikkarte, Sound benötige ich ebenso nicht. Auch SAS Controller sind uninteressant. Ich würde höchstens eine Capture Card einbauen um über eine VM meine Twitch Streams zu administrieren. Deine Verbrauchsmessung ist allerdings genau das, auf was ich hinaus möchte. Gut, mit meinen HDD's kommen da noch ein paar Watt drauf aber das ist absolut in meinem Zielbereich was du gemessen hast! Vielen Dank!
Hast du dennoch eine alternativ Empfehlung aus dem Fujitsu/Supermicro Bereich? Und welche Coffe Lake Plattform würdest du denn empfehlen?

 

[lutzlustig]

Plextor M9Pe(Y) 256GB würde ich abraten, in der Größe zu teuer. da kann man sich auch einen PCIe Adapter auf M2 kaufen (ca 25€) und ist dann flexibler, was die NVMe SSD angeht. Da gibt es ja öfter mal 500GB für 99 euro.

 

[roonix]

Plextor M9Pe(Y) 256GB würde ich abraten, in der Größe zu teuer. da kann man sich auch einen PCIe Adapter auf M2 kaufen (ca 25€) und ist dann flexibler, was die NVMe SSD angeht. Da gibt es ja öfter mal 500GB für 99 euro.

Bin mittlerweile schon so weit dass ich eigentlich einen 4 fach Carrier für NVMe SSD's verbauen würde, zwei kleine für das System und zwei große (500 TB) für die virtuellen Maschinen. Habe da leider noch keine adäquate Lösung gefunden.

 

[besterino]

Grundsatz: Ohne Bifurcation sind die nötigen Karten teuer, mit Bifurcation ist die Plattform (Mainboard und passende CPU) teuer.

Gibt auch noch Exoten-Lösungen. Aber da muss man sich leider tiefer einarbeiten, was funzt und den eigenen Anforderungen gerecht wird.

 

[roonix]

Ja, das habe ich auch gemerkt. Konnte leider bei Supermicro nocht nichts herausfinden, was das günstigste Board mit Bifurcation ist. Hast du da nen Überblick?

 

[Gohst_oc]

Bei Supermicro unterstützen viele Mainboards mittlerweile Bifurcation.
Im Handbuch des jew. Mainboards kann man nach "IOU" suchen, so nennt sich das bei denen im Bios.

Leider wird es nur spärlich dokumentiert.
Bei Intel Boards sucht man sowas meist vergebens obschon es ihre Server Chiptest selber seit ewigkeiten unterstützen und auch die CPUs natürlich.

BTW, für was benötigt man ein so performantes NVME Storage bei einem derartigen Server?

Es gibt übrigens von QNAP relativ günstige m.2 "Controller" mit PLX Chip - also einem PCIE Switch.
So kann man das überall nachrüsten.

QM2 Expansion Card (Add M.2 SSD Slots) - Features - QNAP

Z.B der QM2-4P-384 nimmt 4x m.2 SSDs auf und kostet "nur" rund 250€.
Als professionellere Alternative kann man den HighPoint SSD7101A-1 anschauen, der ist aber schon >400€.