[Sammelthread] HomeServer Vorstellung - Bilder + Kommentare

Baue aktuell einen neuen Homeserver, da mein Atermiter X79 Turbo trotz BIOS-option Bifurcation nur verbuggt unterstützt. So wandert mein E5-2670 V2 mit 4*16 GB DDR3-Reg ECC in den Fileserver und mein neuer Server wird sein:

  • Supermicro X10SRA-F
  • E5-2660 V4
  • 2*32GB DDR4 LR-DIMM
Vom aktuellen Server werde ich übernehmen:
  • Mellanox Connectx-2
  • HP H240 12G SAS-HBA
  • 16*2.5" Wechselrahmen von IcyDock
  • 6*2.5" Wechselrahmen von IcyDock
  • 2*250 GB S-ATA SSD + 4*500 GB S-ATA SSD + 2*1TB S-ATA SSD im ZFS Striped mirror
  • 4* 1 TB 2.5" HDD im Striped mirror
  • 19" 4HE-Gehäuse
  • Asus Hyper M.2 V2 Card
Was noch neu kommt:
  • 3* 1TB NVME 980 Pro Samsung
  • CPU-Kühler - der 1 HE Kühler, der beim Board dabei war als Sockelschutz, ist schon arg laut.

Was ich schon gemacht habe: IPMI und Bios geupdatet. Bifurcation getestet (eine 1TB NVME ist schon da).


Werde vom Resultat Bilder posten. Das wird aber erst nächsten Monat was.
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Weltherrscher schrieb:
Es gibt also tatsächlich Leute, die diese Ebay-X79-Boards gekauft haben? :unsure:
:fresse:
Zum Vergrößern anklicken....
es war aliexpress.
Aber ja, warum nicht? Das ding frisst ddr3 Reg ecc, sämtliche CPUs und lief bei mir fast 2 Jahre ohne Probleme. Das einzige Problem war tatsächlich der Bug im Bifurcation.


Neuen Server nun aufgebaut und LXCs und VMs soweit umgezogen.

Probleme:
  1. Lüfter laufen auf Vollgas. Jemand eine Idee wie ich das bei Supermicro einstellen kann? Habe es mit ipmitool versucht, klappt nicht so wirklich
  2. auf eno1 funktionieren nur VLAN100 und 1; auf eno2 funktionieren vlan1, 10, 20, 50, 100. woran liegt das? Habe es genauso eingestellt wie auf dem alten PVE Host.
  3. Stromverbrauch 78 W statt 62 W (beim alten X79)
  4. ich nutze dieses Programm um meine TP-Link hs100 auszulesen und bei Grafana einzuspeisen: https://github.com/branning/hs100 --> hier gibt es nun irgendwelche Probleme, sodass telegraf das Programm nicht mehr ausführen kann. Jemand eine Idee?
 
MisterY schrieb:
Lüfter laufen auf Vollgas. Jemand eine Idee wie ich das bei Supermicro einstellen kann?
Zum Vergrößern anklicken....
Lüfter Mode im BMC Webinterface ändern, da hast du vmtl. noch Full Speed drin.

MisterY schrieb:
Bifurcation getestet
Zum Vergrößern anklicken....
Bifurcation ist bei den Supermicros kein Problem, braucht man nur das Blockdiagramm um das richtig einzustellen.

Hab aktuell 3x Supermicro Boards im Einsatz, bin mit denen super zufrieden.

Demnächst wird dann auch der letzte verbleibende Server auf SMicro umgestellt, hab hier schon nen X11SPi-TF mit Xeon Gold 6208U auf der Testbench :fresse2:
Beitrag automatisch zusammengeführt:

MisterY schrieb:
Stromverbrauch 78 W statt 62 W (beim alten X79)
Zum Vergrößern anklicken....
Evt. lässt sich da noch was tweaken, meinen Xeon Gold hab ich auf 58W runter bekommen, wobei 14W schon alleine von BMC kommen (System aus).

Ich nehme mal an dein vorheriges System war ohne BMC?
 
Zuletzt bearbeitet:
Potz schrieb:
Das wundert mich bei einem X11 sehr, es sei denn du hast redundante Netzteile. Der BMC selbst verbraucht jedenfalls nicht so viel.
Zum Vergrößern anklicken....
Die 14W sind mit nem Seasonic Titanium ATX Netzteil gemessen, vermutlich tun die Onboard 10 GBe NICs ihr übriges.
Wobei mir der Power off Verbrauch auch relativ egal ist, da die Kiste eh 24/7 laufen wird.
 
spyfly schrieb:
Lüfter Mode im BMC Webinterface ändern, da hast du vmtl. noch Full Speed drin.


Bifurcation ist bei den Supermicros kein Problem, braucht man nur das Blockdiagramm um das richtig einzustellen.

Hab aktuell 3x Supermicro Boards im Einsatz, bin mit denen super zufrieden.

Demnächst wird dann auch der letzte verbleibende Server auf SMicro umgestellt, hab hier schon nen X11SPi-TF mit Xeon Gold 6208U auf der Testbench :fresse2:
Beitrag automatisch zusammengeführt:


Evt. lässt sich da noch was tweaken, meinen Xeon Gold hab ich auf 58W runter bekommen, wobei 14W schon alleine von BMC kommen (System aus).

Ich nehme mal an dein vorheriges System war ohne BMC?
Zum Vergrößern anklicken....
Lüfter ist auf Standard. Alternativ wäre Full und Heavy Load möglich.

Ja, davor hatte ich kein BMC.
 
Zu dem Thema habe ich unter anderem das gefunden:
serverless.industries

Lüftersteuerung für Supermicro IPMI

In meinem Selbstbau NAS steckt ein Supermicro Server Mainboard mit IPMI/BMC.Das IPMI/BMC liefert das übliche. Web GUI womit man diversen Kram einstellen kann, den Server anschaltenkann, etc, etc, etc.
serverless.industries serverless.industries
Selber allerdings noch nicht ausprobiert.
Es gibt auch direkt von Supermicro ein ipmiconfig Tool!

IPMI Utilities | Supermicro

Supermicro IPMI Utilities IPMICFG IPMICFG is an In-band utility for configuring IPMI devices. It is a command line tool providing standard IPMI and Supermicro® proprietary OEM commands for BMC/FRU configuration. This CLI-based utility can be executed on UEFI, DOS, Windows, and Linux OS and does...
www.supermicro.com www.supermicro.com
 
even.de schrieb:
1.5 HE 19" Server mit i5 6500/16GB RAM/4TB + 1TB SSDs und 10 GbE Mellanox SFP+ Karte. Windows 10 mit ein paar Server Mods für ioBroker, TeamSpeak 3, Resilio Sync (Cloud Server), Mediaserver, NAS und Backup-Server.
Zum Vergrößern anklicken....
Ich würde mich freuen, wenn du den Rechner (mit Bildern) noch etwas näher vorstellen würdest. Mich würde interessieren, mit welchem Riser man da eine MCX311A rein bekommt (scheint mir eng mit der Backplane) und wie tief das Gehäuse eigentlich baut. Sind die 315mm laut Geizhals mit oder ohne die Griffe vorne? Ich schwanke für den Aufbau eines Heimservers bei einem Freund zwischen diesem Inter-Tech 1.5U-1528L und einem CSE505-203B. Bei letzterem scheint es mir so zu sein, dass sich der NIC nicht nachrüsten ließe. Schade, dass es quasi keine 2U Gehäuse bis 310mm Einbautiefe gibt. Mir fallen da so tolle Konzepte ein!
 
Potz schrieb:
Ich würde mich freuen, wenn du den Rechner (mit Bildern) noch etwas näher vorstellen würdest. Mich würde interessieren, mit welchem Riser man da eine MCX311A rein bekommt (scheint mir eng mit der Backplane) und wie tief das Gehäuse eigentlich baut. Sind die 315mm laut Geizhals mit oder ohne die Griffe vorne? Ich schwanke für den Aufbau eines Heimservers bei einem Freund zwischen diesem Inter-Tech 1.5U-1528L und einem CSE505-203B. Bei letzterem scheint es mir so zu sein, dass sich der NIC nicht nachrüsten ließe. Schade, dass es quasi keine 2U Gehäuse bis 310mm Einbautiefe gibt. Mir fallen da so tolle Konzepte ein!
Zum Vergrößern anklicken....

Für den Einbau der Mellanox 10 Gbit/s PCIe Karte musste ich das grüne Hot-Swap PCB komplett entfernen und kann das so auch nicht benutzen mit der Mellanox Karte.
Da ich aber 2x 4TB SSDs in dem Server ohne RAID nutze, war die Hot-Swap Funktion für mich auch nicht so wichtig.

1839692-l1.jpg

Damit die Mellanox Karte nun reinpasst, musste ich ein ganz kleines Stück vom HDD-Käfig entfernen mit dem Dremel. Aber das waar wirklich nicht viel.

1839692-l11.jpg

Als Riser-Kabel habe ich ein flexibles genommen. Funktioniert 1A:


Wenn du nichts bearbeiten willst, musst du auf einen neueren CHipsatz ausweichen. Die Karten sind aber mal 2-3x so teuer wie die Mellanox Karten:

geizhals.de

DeLOCK SFP+ LAN-Adapter, PCIe 3.0 x4 ab € 147,00 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für DeLOCK SFP+ LAN-Adapter, PCIe 3.0 x4 ✔ Produktinfo ⇒ Typ: LAN-Adapter • Bauform: 1x PCIe-Karte (wechselbare Blende: full height und low profile Blende im Lief… ✔ Adapter & Hubs ✔ Testberichte ✔ Günstig kaufen
geizhals.de geizhals.de
geizhals.de

StarTech LAN-Adapter, SFP+, PCIe 3.0 x4 ab € 171,70 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für StarTech LAN-Adapter, SFP+, PCIe 3.0 x4 ✔ Produktinfo ⇒ Typ: LAN-Adapter • Bauform: 1x PCIe-Karte (wechselbare Blende: full height und low profile Blende im Lief… ✔ Adapter & Hubs ✔ Testberichte ✔ Günstig kaufen
geizhals.de geizhals.de

Die müssten auch so reinpassen in das Inter-Tech-Case.
 
Zuletzt bearbeitet:
Vielen lieben Dank! Dann wirds nur leider für "meinen" Anwendungsfall mit der MCX311A nicht passen. Es sollen 2x 3.5" HDDs verbaut werden.
Wäre super, wenn du trotzdem bei Zeiten noch die Einbautiefe (Anlagefläche Rack-posts bis Hinterkante) messen könntest!
 
IMG_9584.jpeg

Hinten natürlich den Zollstock bündig mit der Hinterkante des Gehäuses.
 
Das Gehäuse habe ich auch. Gäbe es Alternativen, würde ich es nicht wieder kaufen.
Die Maße bei den Slots sind so scheiße, dass man keinen passenden Bifurcationadapter findet. Und eine Maßanfertigung, z.B. von c-payne, wars wir dann echt nicht wert.
Am Ende hab ich auch nur eine Karte mit flexiblem Riser reingepackt. Die kleinen Aquantia Kupfer-10G Karten passen übrigens auch gut da rein.
 
Ja gibt leider kaum was für den Heimbereich mit geringer Einbautiefe. Bei 10" sieht es noch schlimmer aus, obwohl selbst in ein 10" Rack ein ITX Board passen würde.
 
Ich überlege aktuell einen Frankenstein aus Supermicro 510 und 505 zu bauen. Bin gespannt ob das zusammen passt. Wenn es gut geht, habe ich am Ende alles drin im Case und zusätzlich Front-IO. :)
 
Potz schrieb:
Wenn es gut geht, habe ich am Ende alles drin im Case und zusätzlich Front-IO. :)
Zum Vergrößern anklicken....
Das 505er ist nen geiles Chassis, hab das als Fertigsystem mit nem Xeon-D als pfSense im Einsatz, wollte für den Use-Case unbedingt Front-IO haben :d

Potz schrieb:
Ich überlege aktuell einen Frankenstein aus Supermicro 510 und 505 zu bauen.
Zum Vergrößern anklicken....
Inwiefern willst du denn die Gehäuse kombinieren?
 
spyfly schrieb:
Inwiefern willst du denn die Gehäuse kombinieren?
Zum Vergrößern anklicken....
Die minimal größere Tiefe des 510 könnte helfen zusätzlich zu den 2x 3.5" HDD noch irgendwie eine PCIe-Karte einzubauen. Idee ist es eine HDD quer einzubauen und die zweite neben dem PCIe-Slot längs. Gleichzeitig möchte ich ein mITX Board verwenden, was nicht zum Riser-Bracket des 510 passt. Ich hoffe daher, dass ich Front- und Back-Panel des 505 in das 510 bekomme. Wenn das Panel auf den Slot 7 und nicht Slot 6 ausgelegt ist, reicht hoffentlich der Abstand zur HDD.
 
Letztes Wochenende habe ich mal genutzt, um meinen alten 2019 zusammengestellten Home-Server ein wenig zu überholen, der bis auf ein paar nachträglich ergänzte SSDs weitgehend unverändert blieb.
compute_node_pm.jpeg


Verbaut ist jetzt ein Supermicro X11SPI-TF, auf dem ein Xeon Gold 6208U werkelt. Dazu kommen 256 GB DDR4 2666 MHz RAM.

Booten tut das System von zwei gespiegelten PNY CS3030 NVMe SSDs, für den VM-Storage sind 5x Intel DC P4500 mit je 2 TB verbaut, die im RAID-Z1 laufen. Für das Datengrab sind weiterhin 5x 12 TB Exos X verbaut, auch im RAID-Z1.
Weiterhin werkelt in der Kiste eine Optane 900P 480GB, die aktuell noch als Scratch-Disk und Swap-Erweiterung genutzt wird. Langfristig soll eine zweite Optane dazu kommen und als Special Device für den HDD Pool eingesetzt werden.

Die Kühlung ist mittels Komponenten aus der Alphacool Enterprise Serie realisiert, bekommt man auch so 1:1 als "AiO" zu kaufen.
 
spyfly schrieb:
Langfristig soll eine zweite Optane dazu kommen und als Special Device für den HDD Pool eingesetzt werden.
Zum Vergrößern anklicken....
Willst du da wirklich nur eine nehmen ? Denn wenn die SSD bei einem special vdev kaputt geht, wars das mit dem ganzen pool...ohne ein mirror wäre mir persönlich das zu riskant - ganz egal welche Art von SSD das ist.
 
Hi

Bei mir gab es auch gröberen Umbau. Server hat eine E5-2697 v4 und ein SAS Cage erhalten, die Workstation den alten E5-1650 v4 und 64GB RDIMM. Das Workstation Board hat wieder super rum gezickt, bis der RAM gelaufen ist. Und jedes Mal Macho abmontieren, bis die Riegel zugänglich wurden.



ESXi 8.0 > E5-2697A v4, 128 GB RDIMM, ASUS Z10PA-U8, Quad NIC, Perc 310, Supermicro SAS Cage, 4 kleine SSD und eine 2TB SM883 VM Store, 8TB WD RED, Quad Analoges Telefon Interface


ESXi.JPG


Monster.JPG


PXL_20230406_124732556.jpg


PXL_20230406_124721739.jpg


PXL_20230406_155105506.jpg




Win 10 Pro > E5-1650 v4, 64GB RDIMM 2400, ASUS X99E-WS, RTX 3060Ti, ASUS Xonar D2X/XDT, 10 Gbit NIC, 2x 1TB Evo 850, 1x 2TB Evo 850, WD Gold 6TB, WD RED 8TB

Taskmanager.JPG


PXL_20230406_155303783.jpg


PXL_20230408_105135569.jpg


ohneVPN.JPG
 
Zuletzt bearbeitet:
Potz schrieb:
Ich überlege aktuell einen Frankenstein aus Supermicro 510 und 505 zu bauen. Bin gespannt ob das zusammen passt. Wenn es gut geht, habe ich am Ende alles drin im Case und zusätzlich Front-IO. :)
Zum Vergrößern anklicken....
Das Ende der Geschichte: Leider nein! Leider gar nicht!
Bei beiden Gehäusen kann man weder Front- noch Backpanel tauschen. Alle vier "Wände" wurden vom Bodenblech hochgebogen und an den Ecken vernietet. Schade, ich hatte gehofft das "Building Blocks"-Prinzip von Supermicro würde mir meine Träume ermöglichen. ;)
Ins CSE-510 passen übrigens 2x 3.5" zusammen mit einer BCM57414. Es passen allerdings keinesfalls alle LP-Karten! Da mir Front-IO aktuell aber wichtiger ist als ein zusätzlicher NIC, setze ich zunächst auf das CSE-505.
 
Mein bescheidenes kleines Rack:
- Download Station mit i7-8700, 16 GB RAM und 2 TB NVME
- Synology Housing vom Kumpel
- NUC Housing von einem anderen Kumpel
- 10 GB Firewall mit i7-8700
- ESXI mit i7-9700, 64 GB RAM und 8 TB NVME Storage
- USV
-TrueNAS Scale mit 64 GB RAM, i7-9700, 4 TB NVME Storage, 16x 10 TB SATA SSD

Da mir die Leistung nicht mehr reicht, wird der ESXI durch 2 Proliant G9 ersetzt mit je 128GB RAM und 16 Kernen.
 

Anhänge

  • Screenshot 2023-04-14 055331.png
    Screenshot 2023-04-14 055331.png
    707,6 KB · Aufrufe: 294
  • Screenshot 2023-04-14 055243.png
    Screenshot 2023-04-14 055243.png
    660,1 KB · Aufrufe: 294
Auch wenn das nicht 100% zum Thread passt, hier der im Aufbau befindliche gedämmte Serverschrank im Büro. Es handelt sich um ein APC CX24U, wo ich die Lüftermodule aufwändig restauriert habe, weil die vom Vorbesitzer absolut unprofessionell und talentfrei aufs Übelste verbastelt wurden:

20230414_184729.jpg
20230414_184717.jpg


Die APC CX24U hat 2x Lüftermodule mit je 3x Lüftern. Diese wurden gegen 6x Delta QFR1212GHEEVT ausgetauscht. Jeder Lüfter ist eineln über den aquaero 6 XT mit Quadro einzeln angesteuert (unnötig, aber hat sich so ergeben) und RPM-überwacht.
Versorgt wird das ganze von einem Supermicro Servernetzteil, das über die 3.3V rail zudem noch einen GPS Empfänger mitversorgt.

Inhalt (von oben nach unten):
APC Netzumschalter
Lüfter + GPS Case
Flash-Only NAS
HDD Mirror für Flash-Only NAS -> Fliegt wohl raus und wird gegen SSD mirror getauscht
Mellanox SN2100 16x100G
ICX6450-24P (Fehlend), ggf. 7150-24P
2x Mac Mini (fehlend)
2x Mac Mini (fehlend)
KVM Switch (fehlend)
Service Server 3
Service Server 2
Service Server 1
APC SMX 3000
Compute Server (fehlend)


Bei Fragen gerne fragen, aber den Inhalt von dem ganzen Kram hier zu beschreiben würde den Ramen sprengen, das gibt n Roman
 
Ist das ein Homelab oder (Semi)professionell zum Geld verdienen?
Auf jeden Fall rein optisch ein schönes Setup 👍🏻
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh