[Sammelthread] HomeServer Vorstellung - Bilder + Kommentare

[pwnbert]

So, jetzt hab ich einen Zustand erreicht, mit dem ich fürs erste ganz happy bin.

Kabelmanagement ist für mein Verständnis D) ganz fein geworden... also zweckmäßig.
Dieses Amazon-4x-SATA Kabel macht einen guten Eindruck, rastet gut gut und funktioniert offenbar auch elektriksch wie gedacht.

Zieht jetzt 51W im rumideln. (mit laufenden Disks, hab 30 min Timeout, inwiefern das funktioniert und tut, kein Plan)
Wenns noch Magick gibt (B550 Bios/TrueNAS), lasst hören ...

 

[hs_warez]

Anhang anzeigen 961159Anhang anzeigen 961160Anhang anzeigen 961161Anhang anzeigen 961162Anhang anzeigen 961163Anhang anzeigen 961164Anhang anzeigen 961165Anhang anzeigen 961166

Projekt "Müslischachtel" (wurde von einem Freund so getauft)

2 Identische Mini Server, die von der Größe etwa eine Müslischachtel entsprechen. Wolf im Schafspelz..

Erforderte einiges an händischer Nacharbeit und Frickelei, da alles sehr eng ist. Musste den x8-Riser-Slot aufdremeln (x16-Riser passte nicht) und die SATA-Stromstecker ein wenig abdremeln weil zu dick.

Kurze technische Daten:

Board: Supermicro X10SDV-7TP4F (8C Broadwell Xeon-D)

Gehäuse: Supermicro CSE-E301

RAM: 4x32GB DDR4-2933 REG ECC

SSDs / Speicher: 2x Intel S4610 1.92TB Enterprise SATA

NIC 1: Intel E810-CQDA2 2x 100G QSFP28 (konfigurierbar in Breakout-Modi! Als eine der ganz wenigen NICs die das können)

NIC 2: Intel X550 2x 10G SFP+ (in die CPU integriert)

NIC 3: Intel i210 2x 1G RJ45 (in die CPU integriert)

OS: Proxmox 8.1 mit verschiedenen Guests

Verwendungszweck: All-In-One für den Aufbau von mobilen Netzwerken & Event-WiFi (WiFi Controller Ruckus Virtual Smartzone, DNS, DHCP, Router, etc)

FAQ:

Frage: Warum dieses Board mit SAS Controller und nicht etwas wie X10SDV-12C+-TP8F oder X10SDV-12C-TLN4F+?
Antwort: Weil ich sie zu einem sehr guten Preis bekommen habe, Supermicro Embedded Boards sind wahnsinnig teuer, ganz zu schweigen von den Varianten mit 8+ Kernen

Frage: Warum 2933er RAM? Er läuft doch nur mit 2133
Antwort: Weil ich ihn zu einem sehr guten Preis bekommen habe. Billiger als 2133er

Frage: Warum Intel E810 und nicht etwas wie Mellanox Connected-4/5/6?
Antwort: Weil die Intel E810 einer der wenigen NICs ist, die Breakout unterstützen (z.B. 8x10G oder 4x25G) und ich diese Funktion haben wollte, da sie praktisch sein könnte.

Findest du? Also wenn du preiswerte 8+-Core Boards mit SFP findest, sag Bescheid


Gar nicht mal so wenig. ca. 55W im IDLE laut den Messgeräten

55Watt mit deiner aktuellen Konfig.?

LG

 

[underclocker2k4]

Kommt in etwa hin.

Hab die 4C Variante auch 128GB, mit nem ESX oben drauf, allerdings ohne extra NIC, dafür aber mit red. NT. Komme auch auf einen Wert in dem Bereich.

 

[AliManali]

Nachschub für meine Monster Firewall:

Dann habe ich noch 1-2 auf Ersatz. Mal schauen, ob das alte Board noch läuft. Bzw. das ist im Moment Einsatz, laufen halt nur 4 von den 6 10 GbE Adapter. Sonst wird das im CSE 815 als teildefekt verkauft.

Zu sehen sind zwei X10SLH-LN6TF mit je drei X540 hinter einem PLX Chip.

 

[oNyX`]

Nice, feines SM <3

 

[java4ever]

Mein neuer Daily Server (im Bild der mit den 2.5" Einschüben) für NAS, DNS, DHCP, Firewall, CI Pipelines und zu viel anderem Kram um ihn aufzuzählen

Specs:
Chassis: Supermicro SC216 mit BPN-SAS3-216A-N4, red. Netzteil und Rear Drive Cage (oben rechts neben dem Mainboard)
Mainboard: Supermicro H12SSL-NT
CPU: EPYC 7713 64-Core
RAM: 8x32GB DDR4-3200 RDIMM (Samsung EB3 müssten es sein)

Storage:
2x Samsung PM9A3 1.92TB M.2 im ZFS RAID1 (Root on ZFS) für Proxmox Root
2x Samsung PM9A3 3.84TB U.2 im ZFS RAID1 (im Read Drive Cage) für VMs
24x Micron 5300 PRO 2TB SATA SSD

Erweiterungskarten:
1x Mellanox ConnectX-6 CX623106A 2x100G QSFP28 PCIe4.0 NIC
1x Broadcom 9600-24i HBA
1x LSI 9300-8e HBA

Das ganze wird zusammen mit dem Gehäuse mit den 12 LFF Einschüben untendrunter betrieben, das als JBOD fungiert.

Jetzt wird demnächst mal der Schrank fertig gebaut, die Migration abgeschlossen und dann hab ich endlich Ruhe.

 

[sch4kal]

So ein Setup will ich im EFH auch in den nächsten Jahren aufbauen, also separate JBOD Enclosure mit einem 16-e HBA. Was für ein Gehäuse ist das unten drunter und welche Komponenten (Backplane, Netzteile) sind da verbaut ?

 

[Luckysh0t]

Und nun als Kontrast zu @java4ever System, mein kleiner neuer Homeserver.


OS: PVE + PBS als Paket mit auf dem Blech installiert.

Spec
MB+CPU: Gigabyte MJ11-EC1 (mit EC0 BIOS) embedded AMD EPYC 3151
RAM: 4*Crucial 16GB DDR4-2133 CL15 CT16G4RFD4213
Gehäuse: SilverStone SST-RM23-502-MINI
NT: be quiet! Pure Power 11 400W


Storage
SSD: 2*Fikwot FN955 2TB (ZFS mirror, sync always, rpool, VM pool etc.) in der Qnap Karte
1*Intel Optane SSD P1600X 118GB (Slog), onboard


extra Hardware
CY PCIe auf SFF-8611 Adapter
CY OCuLink SFF-8611 zu SFF-8654
QNAP QM2-2P2G2T2 ( 2*2.5 Gbit, 2*m.2, pcie)
Noctua Lüfter


Verbrauch
aus, IPMI: 6 W
an, PVE, keine VM : 40 W

Die 2 TB SSD stechen da etwas heraus, aber bei 100 € pro 2 TB SSD, dachte ich mir, ich zahle mal das Lehrgeld. Mal schauen, ob ich es "bereue". Am Ende ist das Ding ein Homeserver der nicht kommerziell läuft.

 

[java4ever]

So ein Setup will ich im EFH auch in den nächsten Jahren aufbauen, also separate JBOD Enclosure mit einem 16-e HBA. Was für ein Gehäuse ist das unten drunter und welche Komponenten (Backplane, Netzteile) sind da verbaut ?

Normales Supermicro SC826 Chassis

Backplane BPN-SAS3-826EL1 (stinknormale Feld-Wald-Wie/en SAS3 Expander Backplane)


Ein Supermicro AOM-SAS3-8I-8E-LP Adapter für SAS intern auf extern

Netzteil 2x PWS-501P-1R

Supermicro CSE-PTJBOD-CB2 als Dummer Controller für den ein/aus Knopf / Frontpanel

ein Noctua PWM Controller um die Lüftergeschwindigkeit fix zu setzen


Als JBOD habe ich das Gehäuse gewählt, weil es am flexibelsten ist, in der Lautstärke einfach zu kontrollieren und Ersatzteile einfach zu beschaffen sind (im Gegensatz zu gebrauchten Xyratek / NetApp usw)

 

[pc*]

Gerade etwas gebastelt und mein IKEA Lack Rack erweitert. Fehlt nun nur noch der Fileserver

 

[besterino]

Wofür so ein alter 1900er Threadripper doch noch so gut sein kann: "Homeserver" aktuell als Testplattform für diverse Windows-Server, Storage, Filesystem (NTFS vs ZFSonWindows), 100gbit-Spielereien:

Von oben nach unten:
ConnectX-5
NVME1 in Adapter (OS)
Intel X540
TitanXp (Perle vor Sau)
NVME2 und NVME3 in Adapter ("Bifurcated") (für NTFS vs ZFS Tests)

Bei den ganzen LEDs kann man sich RGB-Gedöns glatt schenken...

Heute war unter'm Strich ein guter Tag:

Enshrouded Dedicated Server aufgesetzt.
Ark Ascended Dedicated Server aufgesetzt.
'ne I211 unter Server 2019 zur Zusammenarbeit überredet (musste etwas Gewalt anwenden).
Wieder mehr über die Powershell, Windows Performance-Counter und Netzwerkgedöns gelernt...

...aber leider immer noch nicht die relativ mistige 4k Performance über's Netz verbessert.

 

[p4n0]

Frittiert sich die X540 ueber der GPU nicht? So ganz ohne Luftstrom?
Ich frage weil ich aehnliches bei mir gebaut habe und extra noch n paar Mc'Gyver Luefter mit Kabelbindern davorgepackt habe ^^

 

[besterino]

Die x540 ist eine mit eigenem Lüfter.


…und den Behelfs-Ghetto-120mm-Quirl, der auf der Graka weiter rechts steht und den ganzen Karten über der GPU zusätzlich Luft zufächert, habe ich wohl „vergessen“ mit aufs Bild zu nehmen… ohne den würde wohl vor allem die CX5 verglühen…

 

[Tuxist]

So habe mal Btrfs dateisystem aufgeteilt auf zwei 18tb hdd's und zwei 1 tb ssd's die Metadaten liegen jetzt auf den ssd's. Bringt das ganz deutlich mehr zum fliegen :-D.


Nutze dafür nen gepatchten Kernel https://tuxist.de/git/jan.koester/linux

Jetzt habe das Problem nicht mehr so mit Parallel I/O

Mehr dazu: https://tuxist.de/blog/content/read/139

 

[hugoLOST]

#
Heute eine 10gbit TP-Link Lan Karte und eine 1TB NVME.

Die 1TB NVME nutze ich für Lancache.

Zudem habe ich diese Woche noch den Intel 10100 gegen ein 11400 getauscht.

 

[besterino]

Wollte heute mal meinen Homeserver etwas entmotten. Heisst vor allem: Storage aufräumen & aktualisieren - auch wenn der Untersatz sich zwischendurch mal geändert hat, die Datenträger selbst laufen z.T. seit 2018 durch. Die Haupt-Aufgaben waren eigentlich auch schnell erledigt. Aber bei der Gelegenheit sind mir doch ein paar Themchen aufgefallen:

1. Von meinen 4 2TB ADATA-SSDs (SX8200PNP) hat eine schon nach nur 20TB geschriebenen Daten keine Reserve-Sektoren mehr. Server meckerte beim Neustart von wegen SMART (Solaris komischerweise nicht), Windows in anderem Rechner setzt sie auch auf "read-only". Also weg damit. Finde gerade nicht heraus, wie alt die Dinger sind, aber viel zu tun hatten die nicht. Schwaches Bild (zugegeben, habe aber auch bewusst billig gekauft).

2. Meine beiden 4TB Samsung 870 EVO (TLC) haben auch das Zeitliche gesegnet. Wann und warum weiß ich leider nicht. Gammeln schon länger ungenutzt im Server rum, wollte sie heute eigentlich im Rahmen der Aufräumaktion wieder in Betrieb nehmen. Pustekuchen, beide platt. Aber sowas von: schmeißen nur noch E/A-Fehler und fehlerhafte Sektoren - je nach Versuch, darauf zuzugreifen. Auch einzeln. Auch als einzige Disk im System. Solaris mag sie nicht. Linux mag sie nicht (listet sich nichtmal als Installationsziel). Windows erkennt sie nur im Gerätemanager und in der Powershell (get-physicaldisk), im Übrigen auch nicht (ps get-disk, diskpart, Datenträgerverwaltung --> Fehlanzeige). Schöner murks. Mal schauen, angeblich sind ja 60 Monate Garantie drauf, dann klemm ich mich morgen mal ans Telefon...

Zusätzlich zu den 4 ADATAs habe ich glaub ca. 9 kleinere SATA-SSDs <1TB rausgeworfen. 2 (mit PLP) sind noch übrig als Speicherplatz für die Solaris Storage-VM, die hängen an den SATA-Ports des Mainboards.

Weil ich ihn jetzt nicht mehr brauche ist außerdem der 3224-24i-HBA rausgeflogen. Der onboard 3008-8i reicht, um die verbleibenden aktuell 5 SATA-Disks in die Solaris-VM zu hängen. Reicht auch noch, sollte ein Austausch der beiden 4TB Samsungs klappen...

Neu eingezogen sind 4x4TB Lexar NM790 NVME auf einer Asus Hyper-X Gen5 (haben ist besser als brauchen). Das ist erstmal der neue Main-Storage für VMs, iSCSI usw.

 

[pumuckel]

Wollte heute mal meinen Homeserver etwas entmotten. Heisst vor allem: Storage aufräumen & aktualisieren - auch wenn der Untersatz sich zwischendurch mal geändert hat, die Datenträger selbst laufen z.T. seit 2018 durch. Die Haupt-Aufgaben waren eigentlich auch schnell erledigt. Aber bei der Gelegenheit sind mir doch ein paar Themchen aufgefallen:

1. Von meinen 4 2TB ADATA-SSDs (SX8200PNP) hat eine schon nach nur 20TB geschriebenen Daten keine Reserve-Sektoren mehr. Server meckerte beim Neustart von wegen SMART (Solaris komischerweise nicht), Windows in anderem Rechner setzt sie auch auf "read-only". Also weg damit. Finde gerade nicht heraus, wie alt die Dinger sind, aber viel zu tun hatten die nicht. Schwaches Bild (zugegeben, habe aber auch bewusst billig gekauft).

2. Meine beiden 4TB Samsung 870 EVO (TLC) haben auch das Zeitliche gesegnet. Wann und warum weiß ich leider nicht. Gammeln schon länger ungenutzt im Server rum, wollte sie heute eigentlich im Rahmen der Aufräumaktion wieder in Betrieb nehmen. Pustekuchen, beide platt. Aber sowas von: schmeißen nur noch E/A-Fehler und fehlerhafte Sektoren - je nach Versuch, darauf zuzugreifen. Auch einzeln. Auch als einzige Disk im System. Solaris mag sie nicht. Linux mag sie nicht (listet sich nichtmal als Installationsziel). Windows erkennt sie nur im Gerätemanager und in der Powershell (get-physicaldisk), im Übrigen auch nicht (ps get-disk, diskpart, Datenträgerverwaltung --> Fehlanzeige). Schöner murks. Mal schauen, angeblich sind ja 60 Monate Garantie drauf, dann klemm ich mich morgen mal ans Telefon...

Zusätzlich zu den 4 ADATAs habe ich glaub ca. 9 kleinere SATA-SSDs <1TB rausgeworfen. 2 (mit PLP) sind noch übrig als Speicherplatz für die Solaris Storage-VM, die hängen an den SATA-Ports des Mainboards.

Weil ich ihn jetzt nicht mehr brauche ist außerdem der 3224-24i-HBA rausgeflogen. Der onboard 3008-8i reicht, um die verbleibenden aktuell 5 SATA-Disks in die Solaris-VM zu hängen. Reicht auch noch, sollte ein Austausch der beiden 4TB Samsungs klappen...

Neu eingezogen sind 4x4TB Lexar NM790 NVME auf einer Asus Hyper-X Gen5 (haben ist besser als brauchen). Das ist erstmal der neue Main-Storage für VMs, iSCSI usw.

/streichel über den kopf
.. was willst du uns im Homeserver - Bilder und Kommentare ... damit sagen

SX8200PNP .. die 1TB waren gut, bis Adata die Chips und den Controller wechselte,,,,, ich hab noch eine der ersten und die rennt wie ein kleines Rennschweinchen

 

[Badrig]

Endlich ist mein Proxmox HA Cluster fertig:

Das sind drei NUC12 mit i3-1220P (2C(HT)+8c), alle mit dem System auf einer 128GB NVMe SSD + jeweils eine 1TB NVMe.
Die zwei linken mit jeweils 64GB Speicher und Zigbee Dongle für iobroker, der rechte als reiner Spare nur mit 32GB.
Kommunikation untereinander über ein PtP Thunderbolt Netzwerk, nach außen über die onboard 2,5GBit NIC.
Kein Ceph o.ä., nur Replizierung mit ZFS - das reicht für Zuhause.

Idle-Verbrauch jeweils (d.h. ohne laufende VMs) 6-10W. Realbetrieb etwa 15W je Node. Gedeckelt bei ca. 40W jeweils. Alltagsbetrieb in Summe ca. 40W für den ganzen Cluster.
Alles unnötige ist deaktiviert (WLAN, BT, SATA, Sound), dann noch powertop --auto-tune und cpupower governor auf powersave.

 

[p4n0]

Interessantes Setup.
Laeuft das Zeug komplett WAF Kompatibel?

Kann ich den Stecker ziehen, nach 5 minuten wieder strom draufgeben und der ganze Bums kommt wieder reibungslos online?

 

[KurantRubys]

Das denke ich wird ja der Sinn von dem Setup sein Deine Zigbee Geräte kommen dann auch mit beiden Coordinators klar? Bin mir grade nicht mehr sicher woran das Pairing genau hängt...

 

[Badrig]

Stecker ziehen oder defekt an einem node und ein anderer übernimmst. Downtime ist 1-2min schätze ich. Komplettstromausfall kann aber dank USV lange überbrückt werden.
Zigbee hat vielleicht kurz Schluckauf, wenn er gerade innerhalb einer Routine down ging, aber grundsätzlich geht es dann weiter. Es reicht, dass beide identische Hardware/Firmware haben. Rest ist in iobroker eingestellt. Für die Geräte sehen beide Sticks identisch aus.

Alles hat die gleichen IPs etc wie vorher, alles funktioniert direkt weiter. Man verliert nur maximal die Änderungen/Daten welche nach der letzten Replikation stattfanden. Bei kritischeren VMs sind das bei mir maximal fünf Minuten.

Sollten zwei nodes ausfallen, würde der letzte aber auch die Arbeit niederlegen um split brain etc zu verhindern. Theoretisch könnte ich aber auch dann im Notfall manuell wieder VMs dort starten, oder wenigstens allerletzte (ganz aktuelle) Backups ziehen.

 

[p4n0]

Komplettstromausfall kann aber dank USV lange überbrückt werden.

Genau darauf zielt meine Frage ab.
Das Setup ist stromlos. USV Kaputt, zu langer Stromausfall, you name it.

Kommt das Zeug wieder von alleine sauber hoch?

 

[Badrig]

Sollte die USV leer sein, fährt alles rechtzeitig sicher runter. USV defekt würde schon vorher auffallen, ist ja eine schlaue USV.

Sollte es doch unsicher runterfahren bzw. abstürzen und dabei das Image über den Jordan gehen, bleiben zwei Repliken auf den andern nodes und er würde wahrscheinlich beim fehlerhaftem Start der VM auf dem ursprünglichen node auf einen anderen switchen. Den Fall hatte ich noch nicht. Findet man sicherlich in der proxmox HA Doku.

Die Wahrscheinlichkeit, dass alles gleichzeitig kaputt geht, ist so gering.... Dann müsste ich halt ein Backup aufspielen.

 

[wddn]

Mein neues „Server“ Rack 😁

IKEA Bror Werkstatt-Wagen:
Unterster Boden nach unten gesetzt und vorne zwei Metall-Leisten dran, da die Ausparung minimal zu groß war für 19 Zoll
Insgesamt 8U oben und 7U unten.

Von oben nach unten:
Switch TP-LINK TL-SG3210XHP-M2 (mit Noctua Fans)

Nicht drin: Lenovo M720q Thin Client als Proxmox Hypervisor

Backup Server in Supermicro RM31408 (im Aufbau) mit TrueNAS Scale

Fileserver (siehe Signatur) mit TrueNAS Scale

UPS APC SMX1000i

Noch geplant:
1U Patch-Panel
TP-Link TL-SX3008F (10GBit Aggregation Switch)
TP-Link TL-SG2008 (1GBit Switch) als Ablösung von einem alten 8port unmanaged GBit Switch

 

[underclocker2k4]

und vorne zwei Metall-Leisten dran, da die Ausparung minimal zu groß war für 19 Zoll

Evtl mal sowas anschauen:

Profilschienen für weitere 19 Zoll Ebene im Netzwerkschrank der Schrankserie s24 | s26 6HE | 9HE | 12HE | 15HE | 18HE | 21HE Set 2 Stück

Profilschienen f r weitere 19 Zoll Ebene im Netzwerkschrank der Schrankserie s24 s26 6HE 9HE 12HE 15HE 18HE 21HE Set 2 St ck Geeignet f r alle Wandgeh use 1 teilig 2 teilig unserer Schrankserien S24 und S26 mit 6 9 12 15 18 21 HE Nicht geeignet f r IP55 und Flat Pack Schr nke Bitte fragen Sie im...

profipatch.com

Das ist nur ein Beispiel. Das gibt es in etlichen Varianten.

 

[wddn]

Das ist nur ein Beispiel. Das gibt es in etlichen Varianten.

Klasse Idee - aber jetzt habe ich die Sch…Löcher schon gebohrt. 3 Bohrer dabei gekillt 😂😂😂
Zumindest die 2 Metallstreifen waren kostenlos…

 

[p4n0]

Mein kleines Datacenter erreicht langsam den Soll-Zustand

Heut ist ne CX-3 Dual SFP angekommen. Die werde ich in den (leider nur) x4 slot packen wo sich gerade ne X550 (rj45) fuer die virtuelle Pfsense befindet.
Moechte gern das Glas vom Provider direkt und ohne externen Medienwandler in die Firewall packen. Sollte eigentlich laufen oder?
Dann kann ich den 2. Slot per Dac an den Switch packen und werd den SFP+ auf RJ45 als Uplink vom ESX los. Sollte nochmal etwas Energie sparen.

Als finaler Schritt wird warscheinlich noch eine APC 750er Line Interactive USV einziehen. Gute Idee oder gibts bessere alternativen?

 

[XTaZY]

OS: VMware ESXi

CPU: AMD EPYC 3151
Mainboard: Gigabyte MJ11-EC1
NIC: 2x Intel i210-AT / 1x 2,5 GbE USB-NIC / 1x IPMI
Case: Silverstone Milo 10
RAM: 2x 32GB DDR4-ECC Reg.
Datastore1: 1x WD Red SN700 500GB
Datastore2: 1x Samsung 960 Evo 250GB
Lüfter: Arctic P14 Slim
Netzteil: Inter-Tech PicoPSU 120w + Leicke 90w

 

[XTaZY]

Der EPYC kommt die Tage weg.
Neuer Kanidat im Homelab: Minisforum MS-01

Die NoName i350-T4 wird noch gegen eine Supermicro i350-T4 getauscht, da sie Probleme beim PCIe Passthrough macht

OS: Proxmox VE

CPU: Intel Core i9-12900H
Mainboard: Micro Computer (HK) Tech Limited - Venus Series
NIC:
- 1x Intel i226-LM
- 1x Intel i226-V
- 1x Intel X710-DA2
- 1x Intel i350-T4
Case: Minisforum MS-01
RAM: 2x 32GB Crucial DDR5 4800 SO-DIMM
Storage: 2x WD Red SN700 500GB @ ZFS Stripe

 

[MisterY]

Storage: 2x WD Red SN700 500GB @ ZFS Stripe

Mutig


War der Epyc nicht gut?