[Sammelthread] HomeServer Vorstellung - Bilder + Kommentare

[cif1378]

Werte Gemeinde,
nach langem Stöbern und "heimlichen" Mitlesen hier im Forum habe ich mir nun auch einen neuen Homeserver zusammengebaut, den ich kurz vorstellen möchte.

Zur Entstehungsgeschichte: Eine Mischung aus technischer Faszination, Corona-bedingtem höheren Traffic und einem gerüttelten Maß an Corona-Langeweile ließ mich glauben, ich bräuchte einen neuen Homeserver als Nachfolger für einen Dell T20, der seit 6 Jahren beanstandungslos seinen Dienst als Promox-Host verrichtet hat.

Nun war ich hin- und hergerissen zwischen der Anschaffung eines Fertig-Systems (unkompliziert, aber langweilig und teurer) und einem Selbstaufbau (individuell zusammenstellbar, stillt den Basteltrieb und ich bildete mir ein, mehr Leistung fürs Geld zu bekommen). Letztendlich ist - nach tagelangen Internet-Recherchen - folgender Epyc2-Server herausgekommen:

Komponenten:

• Mainboard: Supermicro Motherboard H12SSL-i, So.SP3, ATX (Motto: "´mal Epyc ausprobieren")
• CPU: AMD Epyc 7282 16x 2.80GHz (Motto: "viel hilft viel")
• RAM: 4 x 32 GB Hynix reg. ECC DDR4-3200 (Motto: "man kann nie genug RAM haben")
• CPU-Kühler: Supermicro CPU Kühler SNK-P0064AP4 (Motto: "war halt lieferbar")
• Gehäuse: PHANTEKS Enthoo Pro 2 Big-Tower = groß... seeehr groß... ordentlich Platz, um vernünftig "darin" arbeiten zu können. Steht im Keller, wo genug Platz ist. Von fast allen Seiten große Lüftungsöffnungen und Platz für SSDs/HDDs im zweistelligen Bereich. Nicht, dass ich das jemals brauchen werde, aber "es zu können", war prägender Leitgedanke
• Lüfter: Noiseblocker B12-PS - 120mm PWM, 3 Stück und Noiseblocker B14-PS - 140mm PWM, 3 Stück = ordentliche Belüftung im Kasten. So leise, dass man sie quasi nicht hört (bin aber auch schon etwas älter, vielleicht liegt es daran...). Die Dinger ziehen vorne (2x140) und am Boden (2x120) Luft rein und pusten sie hinten (1x140) und durch den Deckel (1x120) wieder raus.
• Netzteil: Seasonic Prime TX 80 PLUS Titanium 650 W = etwas überdimensioniert, aber auch hier gilt der Leitgedanke "soll ja für spätere Aufrüstungen auch noch gut sein"
• SSDs: 2 x Samsung PCIe 4.0 x4 PM9A3 M.2 200 1.920GB - die Dinger sind flott, aber die Controller wurden unverschämt warm. Also: Zwei billige Noname-Alu-Passiv-Kühler mit Wärmeleitpads draufgepappt (und mit Kabelbindern gegen "In die Boden-Lüfter-Fallen" gesichert). Hat 20 Grad niedrigere Controller-Temperaturen gebracht.
• HDDs: 4 WD Red je 4 TB aus dem Bestand im ZFS-RAID10
• weitere LANs: HP382 Dual-Nic, auch aus dem Bestand... blöderweise nur mit kurzer Slot-Blende, aber Kabelbinder halten das Teil einstweilen prima in Position.

Use-Case:

Kein privates Rechenzentrum, sondern 24/7-Homeserver. Proxmox-Host mit verschlüsseltem ZFS-Filesystem (habe mich mal an die ZFS-native Verschlüsselung gewagt):

• OPNSense VM: Firewall für 2 x WAN (seitdem hier alle im Homeoffice / Homeschooling sind, kam schnell der Bedarf nach einem Fallback-WAN auf) und 1 x LAN
• Sophos UTM VM: hinter der OPNSense, regelt im wesentlichen den DMZ-Traffic und den Proxy für die LAN/WLAN-Geräte (für mich einfacher zu konfigurieren als unter OPNSense; außerdem war die UTM "zuerst da")
• 2 x Webserver-LXC für private Web-Blogs (man kann sich ja die Interessen der Verwandtschaft ebenso wenig aussuchen wie selbige selbst
• 1 x Nextcloud-LXC (via VPN)
• 1 x XMMP-LXC (Prosody Server für die familieninterne Kommunikation)
• 1 x Zoneminder-LXC (die rödelte unter dem Dell T20 schon ordentlich, weil doch "einige" Kameras monitored werden)
• 1 x Jitsi-Meet-LXC (für Familien- und Freunde-Konferenzen; rödelte auch etwas bei mehreren parallelen Konferenzen)
• Windows 10 VM für diversen Quatsch
• 1 x Pihole-LXC
• 1 x MariaDB-LXC (auf den das FHEM-Haussystem seine Daten/Events loggt)
• 1 x ArchLinux VM, dient als Wireguard-"Router" (die Wireguard-Implementation unter OPNSense läuft noch nicht mit Kernel-Modulen)
• Kleinzeug (LXCs zum Rumprobieren etc).

Insgesamt langweilt sich der Server. Verbrauch mit den vorgenannten Diensten und rotierenden Platten wohl unter 80 Watt. Genau weiß ich das nicht, weil das Messgerät vor der USV hängt, an der noch weitere Verbraucher angeschlossen sind.

Soweit, so kurz. Mir ist klar, dass das Teil ein bisschen überdimensioniert ist, aber "dank" Corona konnte ich in die Urlaubskasse greifen...

 

[craxity]

@cif1378 Danke für die ausführliche Darstellung.

Warum hast du dich für ein RAID10 entschieden? Ich hätte vermutlich die Festplatten etwas anders angeordnet. Die oberste einen Platz höher und die unterste einen Platz niedriger.

 

[danielmayer]

Willkommen Kreis der Epycianer! Sieht schick aus und macht bzgl des eigenen Server-Ordnungsstatus ein schlechtes Gewissen

 

[maxblank]

Schickes Teil, welches du da gebaut hast!

 

[cif1378]

Merci @all!

@craxity: Die Anordnung der HDDs war eher zufällig. Die HDD-Cages lassen sich prima in Zweierpäckchen stapeln und ich war hin- und hergerissen zwischen "möglichst viel Luft in Richtung Motherboad durchlassen" und "HDD´s kühlen". Habe mich für´s MB entschieden, weil ich annahm, dass dort mehr Luft benötigt wird. Die HDDs werden eigentlich nur als sog. Datengrab und für nächtliche Backups der VMs genutzt; sie werden dabei nicht so heiß. Die VMs/CTs liegen auf den flotteren, aber auch wärmeren M.2-SSDs, Letztlich ist das vermutlich ohnehin nur blanke Theorie mit der Kühlung: Der Tower steht im ganzjährig kalten Keller und das Gehäuse ist zu allen Richtungen hin mit großen Lüftungsgittern versehen. Wenn die HDD´s doch wärmer werden, hänge ich die einfach nochmals um. Geht sehr simpel. Das ist ohnehin mit Abstand das beste PC-Gehäuse, das ich jemals hatte (seit Commodore VC 20-Zeiten., boah...) - viel Platz fürs Geld, viel Luft, simples Handling.

Raid10 für die 4 HDDs war der Kompromiss aus der Überlegung, dass die 4 TB pro Platte im Raid vielleicht nicht auf Dauer reichen. Anderseits soll aber eine kaputte Platte nicht direkt zum Daten-Ruin führen (wobei das auch eher eine akademische Überlegung ist, weil der Vorgänger-Server (T20) demnächst als Backup-Server an einem anderen Standort steht und dort einmal nachts fürs Backup`ing hochfährt).

@danielmayer: Die Kabel-Ordnung hat sich von alleine ergeben - sämtliche Kabel laufen in den hinteren Gehäuseteil, wo noch einige (im Gehäuse bereits vorinstallierte) Klett-Kabelbinder für Ordnung sorgen und wo sich eine Art Stauraum (mit Klappe!) für Kabel-Gewimmel findet. Das Netzteil sitzt auch dort. Mächtiges Gehäuse, aber ich plane lieber großzügig als mich mit "Gefimmel" herum zu ärgern.

 

[mbrhwl]

Der große Vorteil bei einem Raid 10 mit zfs also so was

d1    d2  d3    d4
 \    /    \    /
 mirror    mirror
      \    /
      mypool

ist, dass die mirrors mit Pärchen verschiedener genössen erstellt werden können. Die Möglichkeit hast du bei keinem anderen Modus ohne dass du Platz verlierst.

 

[deveth0]

Was macht man nicht alles an so einem freien Tag. Habe heute mal meinen Homeserver entstaubt und bei der Gelegenheit noch ein paar Sleeves verbastelt.

Hardware:
Asrock H370 ITX Board mit i3-8100, 2x16GB Corsair, 512GB Samsung 970, PicoPSU 90W

Wenn doch mal jeder Rechner so wenig Kabel hätte

 

[craxity]

@deveth0 Ist das ein Chieftec-Gehäuse?

 

[deveth0]

Ja, dieses billo Dingens plus höheren Deckel

Chieftec - In This You Can Trust

www.chieftec.eu

plus

Chieftec - In This You Can Trust

www.chieftec.eu

 

[Weltherrscher]

Hier mal ne Wasserstandsmeldung der Serverecke. =)
Ist zu 85 % abgeschlossen.
Fehlt noch die Polycarbonat-Tür von S-Polytec.
Ist aber bereits unterwegs. *froi*

An die Wand kommt dann noch ein Monitor und eventuell nen Klappbrett für Maus und Tastatur.

 

[Bzzz]

Seit gestern wieder einsatzbereit dank neuem Netzteil und Kompatibilität der Kabel mit einem anderen Netzteil des gleichen Herstellers (Focus SGX Gold 500W und Focus Gold 450W) - die olle Backplane will ja 4x Molex sehen, die ich gerne über zwei Stränge versorgen wollte. Da gibt der SFX-Markt nur bedingt viel her, die einzige Wahl ohne Getausche oder Nachkaufen wäre das FSP Dagger fürs gleiche Geld gewesen. Wenn jemand Quellen für Seasonic-Molexkabel hat, bitte kurz melden...

Supermicro 846 mit TQ-Backplane (16 einzelne Ports für die 3,5"-Einschübe)
Supermicro X9SRW-F
Seasonic SSR-500SGX mit gedrucktem Ersatz für den strukturell tragenden Einschub der redundanten Brüllwürfel
Intel Xeon E5-2670v1 mangels Ivy-Kompatibilität trotz anderslautender Supermicro-Auskunft
8x16GB DDR3-1333 ECC-Reg
2x Dell H310 mit IT-Firmware, also gesamt 4x SFF-8087 als HBA
Mellanox ConnectX-3 MCX311A-XCAT mit 1,5m DAC von FS (Zweitkarte im Desktop)
10x Seagate ST3000NM0043 (3TB SAS 7200rpm) im RAIDZ2
OCZ Vertex2 40GB für Solaris 11.4 (im Disketteneinschub mit Custom-Stromkabel)
RSC-R2UW-4E8-Riser (links) mit gedrucktem Ersatz für die horizontal stehenden Slots
RSC-R1UW-E8R-Riser (rechts) mit derzeit ungenutzter Samsung NVMe 256GB (müsste eine PM981) auf Chinaadapter
5x 80mm Arctic F8, die wohnzimmerkompatibel, aber für Dauer-Volllast zu schwach sind (Airflowtunnel fürs Foto entfernt)
VGA-HDMI-Adapter um notfalls ein Bild zu haben, außerdem ist USB, ein Gigabitport für die Anbindung des Laptops und der IPMI auf ne 19"-Keystoneleiste etwas links davon rausgeführt



Was noch gemacht werden muss: Die H310 werden zu warm, die kriegen noch einen Lüfter direkt davor geparkt. Dazu muss aber erst noch der Desktop wieder laufen, dann wird per Designspark was konstruiert.

 

[sch4kal]

Hier mal ne Wasserstandsmeldung der Serverecke. =)
Ist zu 85 % abgeschlossen.
Fehlt noch die Polycarbonat-Tür von S-Polytec.
Ist aber bereits unterwegs. *froi*

An die Wand kommt dann noch ein Monitor und eventuell nen Klappbrett für Maus und Tastatur.

Den Schrank der Jungfräulichkeit nennt meine Holde das

 

[mardsis]

Kleines Follow-Up zu meinem Homeserver:

Nachteil bei ITX ist natürlich immer die Erweiterbarkeit, weil man meist nur einen PCIe Slot hat. Da ich gerne zum einen die Möglichkeit haben wollte, mehr Storage anzubinden, zum anderen aber auch gerne schnelles Netzwerk und ich den externen 5GBit Adapter gerne anderweitig nutzen wollte, habe ich mir eine QNAP QM2-2S10G1TA günstig bei einem Warehouse-Deal Angebot geholt (99€). Die Karte hat 10GBit RJ45 und zusätzlich zwei M.2 SATA Anschlüsse (gibt auch eine Variante mit NVMe)

Ich habe zum Anfang erstmal eine 2TB 860 EVO eingesetzt und den zweiten Slot noch frei, bis ich günstig eine zweite finde. Dafür habe ich die 512GB PM981 und die 1TB 860 EVO ausgebaut, habe damit jetzt also Platz für eine weitere M.2 SATA und eine 2,5" SATA. Die Karte läuft bislang wirklich gut. Wenn gleichzeitig Last auf Netzwerk und SSD ist, läuft der Lüfter hörbar, theoretisch könnte man den wohl ziehen, da die Karte maximal lauwarm ist. Meist ist er aber gar nicht zu hören. Toll finde ich auch die beiden Lämpchen für die M.2 auf der Rückseite.

Verbaut sind jetzt also:
1x Crucial P5 2TB NVMe
1x Micron 1300 2TB SATA
1x Kingston DC450R 3.84TB SATA
1x Samsung 860 EVO 4TB
1x Samsung 860 EVO M.2 2TB

 

[deveth0]

Ui, die Karte ist ja wirklich praktisch. Wie ist denn die Performance so?

 

[mardsis]

Leider ist die Karte nur PCIe 2.0, also kann man theoretisch nicht alles gleichzeitig auslasten. Momentan habe ich ja nur eine SSD drin, die kann ich auch komplett nach Spezifikation auslasten (530-550MB/s). Netzwerk habe ich leider nur 5GBit als Ziel, die kann ich auch ohne Probleme auslasten.
Beachten muss man auch, dass der Netzwerkchip von Aquantia ist, also kann es mit einigen Systemen Probleme geben was die Treuber angeht. Da ich einen Windows-Server habe und da wohl auch bleibe, kann ich damit leben.

 

[deveth0]

Joah ok, klingt aber recht nett für einen ITX Server!

 

[Skream]

Hallo zusammen,

an dieser Stelle möchte auch ich euch hier meinen kleinen Heimserver vorstellen. Ich habe erst mit FreeNas angefangen, bin dann irgendwann auf Ubuntu Server gewechselt und bin nun bei Proxmox gelandet und möchte die Virtualisierungsmöglichkeiten nicht mehr missen

Folgende Hardware ist verbaut:
CPU: Intel Xeon E3 1225 V3, gekühlt von einem Alpenföhn Ben Nevis
Mainboard: ASUS P9D-M (C224)
RAM: 2x 4GB AQ12M72D8BLK0M (DDR3-1600 ECC) (hier müssen demnächst mal mindestens 16GB rein )
SSD: 120 GB SanDisk
HDD: 2x WD Gold 12 TB im Raid 1 (direkt in Proxmox als ZFS konfiguriert)
Gehäuse: Fracal Design Define Mini mit jeweils einem Front- und einem Hecklüfter
Netzteil: be quiet! Pure Power 10 400W

Hier noch ein Bild von dem guten Stück:

Was mache ich damit so?

• OpenMediaVault als virtuelle Maschine für NAS mit SMB- und NFS-Share
• Jellyfin Media Server in einem LXC, der via NFS auf die Daten des OpenMediaVault zugreift
• PiHole in einem LXC als netzwerkweiter Add-Blocker
• Wordpress in einem LXC für meine Website (über ein Turnkey-Template)
• OpenVPN-Server in einem LXC zur sicheren Verbindung ins Heimnetz (über ein Turnkey-Template)
• Nginx Proxy Manager in einem LXC als Reverse Proxy
• Nextcloud in einem LXC (falls man doch mal größere Daten sharen muss)

Für die Zukunft ist auch noch ein TVHeadend zur Aufnahme von TV-Sendungen geplant. Dafür muss ich aber noch bis Anfang Mai warten, bis Vodafone endlich mal das Update für die Fritzbox rausbringt

Als nächstes größeres Projekt steht noch ein Proxmox Backup Server an, aber da muss ich meiner Regierung erst einmal erklären warum ich nochmal über 1000 Euro für einen Haufen Elektronikschrott will

 

[i-B4se]

Hey ho,

wollte auch mal kurz meinen Server/Schrank vorstellen.

Verbaut ist folgendes:
- AMD Ryzen 3800x
- ASRock Rack X570D4U-2L2T
- 64GB DDR4-3200 ECC
- Alpenföhn Brocken Eco (nicht auf dem Bild)

Als OS ist Unraid im Einsatz und hat alles was ich benötige.
Folgende Platten sind Verbaut (nicht alle Platten sind auf dem Foto zu erkennen/älteres Bild):
- 1x 12 TB als Parity
- 2x 8TB
- 2x 4TB

Docker:
- Nextcloud
- NginxProxyManager
- Datenbank
- PiHole
- Plex
- 2x Minecraft-Server
- noch ein paar andere kleine Docker
VM:
- 1x Win für einen DayZ Server
- 1x Win für verschiedenes



Schrank:
- Smart-UPS 1500
- Mikrotik CSS326-24G-2S+
- QNAP QNAP TS-253Be-4G -> dient als Backup. Fährt alle zwei Tage hoch und Unraid schiebt die Daten per rsync aufs QNAP
- kleine Ablage für externe Platten


Was soll noch kommen?
- 10Gbit
- Dell R210II mit PFsense

 

[Uhrzeit]

Extrem "sauber" gebaut. Gefällt mir richtig gut.

Wenn die FW den kompletten Verkehr überwachen soll (der andere Thread), musst du dir aber vielleicht nochmal Gedanken über die Leistungsfähigkeit der gewählten HW machen.
Wenn ich mit dem "Watchdog" einen gewöhnlichen Haushalt mit 4 Leuten, 1Gbit Netzwerk und 25Mbit Inet abschirme, dann ist das was anderes als die Hausnummer die du da aufgezogen hast

 

[i-B4se]

Etwas mehr ruhe
Vorher:

Nachher:


Der Unterschied ist enorm. Ich hab beide Typen auf die gleiche Drehzahl eingestellt und die originalen Lüfter waren schon nervend und penetrant.
Die Noctua sind kaum zu hören. Man muss sich schon darauf konzentrieren.

 

[v3nom]

Temperaturen passen auch?

 

[i-B4se]

@v3nom
Temps ausm iDrac6

Ca. 2 Stunden Betriebszeit.

 

[Green7]

Oha oO ich glaub ich muss meinen auch mal umbauen. Wollte da eh ran weil die CPU teilweise bis 72* hochgeht

 

[p4n0]

Den Lüfter am Netzteil zu tauschen halte ich fuer grob Fahrlaessig!

 

[craxity]

Den Lüfter am Netzteil zu tauschen halte ich fuer grob Fahrlaessig!

Das mache ich schon seit Jahren so.

 

[p4n0]

Das mache ich schon seit Jahren so.

Habe auch erst vor kurzem die Lüfter meines T40's gegen Noctuas getauscht.
Die Noctuas machen ca die Haelfte an Durchsatz wie die originalen.

Bei CPU und co ist das egal. Bei nem Netzteil sehe ich das anders.

Nur weil man jahrelang ohne Gurt faehrt ist das nicht automatisch korrekt so.

 

[craxity]

Wenn man den Wirkungsgrad des Netzteils kennt, weiß man wieviel Abwärme innen entsteht. Dann kann man den passenden Lüfter wählen.

 

[p4n0]

Kannst du nicht. Denn du weißt nicht wo welche Wärme entsteht und welcher Luftdruck/Luftstrom benoetigt wird um die Bauteile ausreichend zu kuehlen bzw. innerhalb ihrer Spezifikation zu halten.
Der Hersteller wuerde sonst einfach Netzteile ohne Luefter verkaufen und dir die Moeglichkeit bieten einen beliebigen hinzusetzen.

 

[craxity]

Du übertreibst maßlos.

 

[p4n0]

Du übertreibst maßlos.

Sprechen wir nochmal darueber wenn das Netzteil abbrennt, in Ordnung?