[Sammelthread] HomeServer Vorstellung - Bilder + Kommentare

Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
brauchst du wirklich alle LAN-Ports?
Vom Haus kommen knapp 90 Kabel auf 96 Ports (Patchpanel). Aktuell habe ich einen 48er und einen 24er Switch. Wie geschrieben, ist ein 24er raus geflogen. Von beiden Switches sind ca. 90% der Ports belegt. von diesen 90& angeschlossenen Ports gehen regelmässig bis hin und wieder mind. 40-50 Geräte online.

Also ja, brauche ich.
 
Bin auch grad am Basteln, freue mich wie ein kleines Kind. Irgendwie werden wir zwar aelter, aber den Spaß an dem Kram verlieren wir verrueckten irgendwie nicht :d
IMG_7489.JPG
IMG_7490.JPG
IMG_7491.JPG

Komponenten stehen weiter oben. Hoffe die Kuehlung in der WAF Kommode wird ausreichend sein ^^

Mankos bisher:
- CPU Kühler muss um 90Grad gedreht verbaut werden. Wird dem Luftstrom nicht so gut tun.
Flowed dann vom Boden durch die CPU richtung Deckel nach Draußen.

- Muss mir etwas für die SpaWas der CPU überlegen, evtl 40er Luefter davor.

- CPU FAN Header fehlen. Mal schauen wie die CPU Lüfter an SYSTEM FAN Ports arbeiten.

- BCM NIC sollte ich auch irgendwie kuehlen, wird wohl auch ein 40er drauf wandern.
 
Zuletzt bearbeitet:
CPU Kühler muss um 90Grad gedreht verbaut werden.

Ich erkenne jetzt nicht auf Anhieb, welcher Kühler das ist.
Generell verkauft dir Noctua für kleines Geld Montagesätze, womit du den Kühler auch 90° gedreht installieren kannst. Hab ich die Tage mit einem NH-D9L in einem 4U Gehäuse installiert.

Edit: Ah, ein U12A.

Die Angaben zur Kompatibilität mit den 78mm Montageabstand des U12A durchblicke ich auf Anhieb nicht - der Support kann ggf. sicher weiterhelfen.
 
Zuletzt bearbeitet:
Das Ding bleibt erstmal so wie's ist. Keine Lust jetzt wieder alles zu zerpfluecken.
Board kam jedenfalls Online, BMC ist erreichbar. Ist leider ne alte BIOS Version drauf, welche die CPU (ryzen 9 pro 7945) nicht supported.
Flashe gerade per IPMI das BIOS, bin gespannt ob ich gleich nen Briefberschwerer habe :d
 
Zwischenstand: Frau ist noch geduldig :d
IMG_7503.jpeg

Habe den Aufwand etwas unterschaetzt.
Zum einen baue ich das komplette Netz mit neuer Segmentierung und neuer Firewall-VM auf. Und dann noch der Hardware-Tausch. Aber es geht voran und die grundlegenden Dienste sind wieder auf der neuen Plattform verfuegbar :d
 
So, alles fertig und migriert.
War alles deutlich unentspannter als erwartet.
Was ich schonmal sagen kann: ESX8 laeuft auf dem Ding nicht korrekt. Der 10G BCM Treiber sorgt fuer Purple screens.
ESXi 7 hingegen laeuft. Hat mich 1-2 Tage Zeit + Nerven gekostet.
Passthrough ist auf der Plattform unter VMWARE wie es aussieht nicht moeglich - zumindest fuer Devices, die direkt auf dem Board sind.
PCI Geraete lassen sich wie erwartet passthrough'en.

An Hardware steckt folgendes drinne:
- ASROCK B650D4U-2LT2T/BCM
- ryzen 9 pro 7945
- (4 x KSM48E40BD8KM-32HM)128GB DDR5 ECC 4800MT
- Node 804 Case
- Noctua NH-U12A Cpu Kühler
- IBM M1215 SAS (LSI 3008 HBA)
- 2TB WD850x NVME
- 4 x 7,68TB Micron 5210ION SSDs
- BQ DP13 750w Titanium Netzteil

Lüfter habe ich genommen was hier in der Bude herumflog. Also einmal die Resterampe in das Ding gesteckt.

Erster Eindruck von dem Ding war echt bescheiden. Die anfaenglichen Probleme haben mich schier zum verweifeln gebracht.
Das hat dazu gefuehrt, dass der SAS HBA in die Kiste musste. Haette ich mir gerne gespart den Stromverbrauch, aber onboard SATA
laesst sich leider nicht durchreichen.

Das gleiche gilt fuer die Braodcom 10G Nic. Haette sie gerne direkt an meine virtuelle pfsene weitergereicht. Ging jedoch auch nicht.
Daher gibt es jetzt deutlich mehr Abstraktion innerhalb des ESX Host. Haette ich mir auch gerne gespart. Lernkurve war dafuer gut :d

Nachdem die Karre dann irgendwann lief habe ich einmal komplett mein Netz re-designed.
D.h. nun ist alles komplett segmentiert was ich so brauche.
- MGMT/Default
- Client
- Server
- DMZ
- IOT
- Guest

Hat mich richtig ueberfordert die Aktion. Vor allem in kombination mit dem Ubiquiti zeug eine sehr anstrengende Sache.
Der Controller logischerweise virtualisiert auf dem ESX Host, die Firewall ebenso virtualisiert. Ihr koennt euch denken was das fuer ein Gefummel war.

Was jedoch extrem gut zu migrieren war:
Der virtuelle ZFS Filer (TrueNas). Sowas cooles habe ich bisher noch NIE erlebt.
Einfach eine neue VM auf dem neuen Host erstellen, gerne auch ein aktuelleres TrueNas verwenden.
Das alte TrueNas kann man per Configfile komplett exportieren. d.h. alle User, Shares, ACLS, Snapshots, einfach ALLES inkl. Devices/Datasets etc..
wandert per Import auf die neue VM.

Komplettes NAS war quasi instant migriert inkl aller Berechtigungen etc.

War auf jeden Fall ne coole Aktion. Naechstes Mal werde ich deutlich mehr Zeit dafuer einplanen und mich auch besser vorbereiten, stellenweise hatte ich wirklich
die Lust verloren und hier Zuhause hat relativ wenig funktioniert. HomeAssistant wegen Heizung und Beleuchtung, dann generell Internet /WLAN etc.. Einfach alles im EImer, das
hat wirklich geschlaucht :d

Jetz bin ich dafuer super happy. Alles scheint korrekt zu funktionieren.
Und das Teil ist aberwitzig schnell, total krass. Kein Vergleich zum Xeon-e 2224G im vorherigen Server.

IMG_7525.JPG
IMG_7526.JPG

Eine Sache wurmt mich etwas:
Ich muss fuer diesen bloeden HBA einen wertvollen pci-e 5.0 x16 slot opfern.
Kann ich das irgendwie mit nem Riser oder so aufteilen um 2-3 Slots zu bekommen?
Dann waere das Ding deutlich zukunfstsicherer.
 
Von was kamst Du denn vorher? Auch schon ESXi oder was ganz anderes? Von einem ESXi zu einem neuen ist doch ansonsten die Migration regelmäßig ein No-Brainer (alle VM's kopieren, ggf. paar VM-Einstellungen anpassen, fedditsch). :d
 
Kam auch von esxi, jedoch mit deutlich 'einfacherem' Netzwerkstack.
War alles ge-passhtroughed, die vswitch landschaft war quasi leer. Da ich jetzt das ganze geraffel auf dem esx machen muss hatte ich doppelt arbeit.
Einmal die pfsense neu, einmal den esx neu und bei beiden kollegen einmal das Netzwerk neu.
Dazu kommt das wirklich schlimme handling bei den ubnt geraeten wenn man das netz + controller neu macht. Das ganze in Summe war das Problem :d

//edit: Ein großer Teil des Problems war natuerlich ich selbst auch. Fehlende Doku etc.. Man kennt es :d
Und was wirklich ein Murphy bei dem ganzen Unterfangen war: Mein USBC-RJ45 Dongle ist kaputt. Verliert ab und dann die Verbindung und macht komische Sachen.
Richtig geil wenn man grad an Netzwerkproblemen arbeitet und weitere Variablen auf den Tisch kommen :d
 
Zuletzt bearbeitet:
Die ersten Performance Tests auf dem Storage sehen auch vielversprechend aus.
Im alten Server war bei ca. ~3-4gbps schluss. Nun gehen lesend per SMB etwa 16gbit (~2gb/sec) und schreibend ca 5-6gbit. (~700-800mb/sec).
Alles auf ZFS mit SYNC = ON.
Find ich cool, fuer die 4 QLC SSDs :d

Stromverbrauch messe ich die Tage mal, bin gespannt was das Ding saeuft.

1705153816216.png



Temps und Lautstaerke von dem Ding sind voellig i.O.
CPU Luefter haengen bei ~600-1500 upm herum. CPU Temp geht max auf ~71 grad. Weiß nur leider nicht ob das ganze Turbo Boost zeug aktiv ist. Sehr leider in den VMs 'nur 3699mhz' als Taktrate.
Kann ich das irgendwie auf dem ESX pruefen ob das Ding korrekt boosted?
Der Rest von den Lueftern laeuft bei 600-800upm. Vollkommen in Ordnung die Lautstaerke. Kuehlung reicht lang aus.
 
Kann ich das irgendwie auf dem ESX pruefen ob das Ding korrekt boosted?

Ne, glaube nicht. Ich den Gästen wird sogar immer nur der Grundtakt angezeigt. Boosten wird die CPU aber schon, nehme ich an. Ich habe auf der Bootdisk noch ein Windows für Dualboot zum benchen.

Grundtakt.JPG


Sieht bei mir so aus im Gast, obwohl die CPU definitiv 3.1 Allcore macht.
 
Muss man sich kein Kopf machen, die Taktet schon hoch. Bissel Leistung verlierst du immer in einer VM gegenüber direkt Windows/Linux und co.
 
Muss man sich kein Kopf machen, die Taktet schon hoch. Bissel Leistung verlierst du immer in einer VM gegenüber direkt Windows/Linux und co.
Auch nicht wenn die Plattform + Board neu am Markt sind und Statements wie ‚for testing purposes, not for production‘ im Bios vorfindet? ^^
 
Dank dir!

1705192222197.png


Sieht leider ein wenig anders aus als bei dir. So wie ich das deute: Kern11 hat 100% load und rennt in P0 bei 140% Takt.
Müsste bei 3,7ghz base knappen 5,2ghz clock bedeuten, oder?
 
Das es bei dir anders aussieht, kann zum einen daran liegen, dass du ein AMD System hast und ich ein Intel. Andererseits müssen die C- und P-States im BIOS auch konfiguriert werden. Bei vielen Serverbrettern und OEM Servern sind diese per Default aus. Das Heruntertakten der CPU kostet halt minimal Latenz.
Ob die zusätzlichen P-States bei dir was bringen, musst du selber testen, denn einerseits ist ESXi kein Stromsparwunder und zum anderen ist der Idle Verbrauch bei den Ryzen durch den Speichercontroller höher als bei Intel.

Dein esxtop sieht aber OK aus. Kern 11 läuft mit 140% seines Basistakts, also grob 5,2 GHz.
Hier sind die jeweiligen Werte beschrieben --> https://docs.vmware.com/en/VMware-v...UID-B156EB63-5F7A-494D-933A-BEBDA3FD4173.html
 
7dyvxkcym9dc1.jpg
5s1n9ocym9dc1.jpg
lmsi7ncym9dc1.jpg
jcd1zlcym9dc1.jpg
ub1pcmcym9dc1.jpg
x1wyxmcym9dc1.jpg
ovp69qdym9dc1.jpg
51yhdmcym9dc1.jpg


Projekt "Müslischachtel" (wurde von einem Freund so getauft)

2 Identische Mini Server, die von der Größe etwa eine Müslischachtel entsprechen. Wolf im Schafspelz..

Erforderte einiges an händischer Nacharbeit und Frickelei, da alles sehr eng ist. Musste den x8-Riser-Slot aufdremeln (x16-Riser passte nicht) und die SATA-Stromstecker ein wenig abdremeln weil zu dick.

Kurze technische Daten:

Board: Supermicro X10SDV-7TP4F (8C Broadwell Xeon-D)

Gehäuse: Supermicro CSE-E301

RAM: 4x32GB DDR4-2933 REG ECC

SSDs / Speicher: 2x Intel S4610 1.92TB Enterprise SATA

NIC 1: Intel E810-CQDA2 2x 100G QSFP28 (konfigurierbar in Breakout-Modi! Als eine der ganz wenigen NICs die das können)

NIC 2: Intel X550 2x 10G SFP+ (in die CPU integriert)

NIC 3: Intel i210 2x 1G RJ45 (in die CPU integriert)

OS: Proxmox 8.1 mit verschiedenen Guests

Verwendungszweck: All-In-One für den Aufbau von mobilen Netzwerken & Event-WiFi (WiFi Controller Ruckus Virtual Smartzone, DNS, DHCP, Router, etc)

FAQ:

Frage: Warum dieses Board mit SAS Controller und nicht etwas wie X10SDV-12C+-TP8F oder X10SDV-12C-TLN4F+?
Antwort: Weil ich sie zu einem sehr guten Preis bekommen habe, Supermicro Embedded Boards sind wahnsinnig teuer, ganz zu schweigen von den Varianten mit 8+ Kernen

Frage: Warum 2933er RAM? Er läuft doch nur mit 2133
Antwort: Weil ich ihn zu einem sehr guten Preis bekommen habe. Billiger als 2133er

Frage: Warum Intel E810 und nicht etwas wie Mellanox Connected-4/5/6?
Antwort: Weil die Intel E810 einer der wenigen NICs ist, die Breakout unterstützen (z.B. 8x10G oder 4x25G) und ich diese Funktion haben wollte, da sie praktisch sein könnte.
 
Ahoi nochmal,
bin Hardwaretechnisch erstmal durch, alles steht an seinem Platz. Konnte mich jetzt auch mit den Tasmota Steckdosen und dem Stromverbrauch beschaeftigen.
Der Kram ist nun auch in HA eingebunden und ich habe einen Wert fuer das Schraenkchen voller Technik :d
IMG_7586.JPG
IMG_7587.JPG

So sieht das Ganze nun aus, die bessere Healfte ist happy - ich auch :d

Laut Smart-Meter verbraucht der gesamte Schrank im Idle ca ~115-120w.
Kommt das in etwa hin?

Switch ist folgender:
Ubnt enterprise 8 poe
Daran haengen 2 APs (u6 pro)
Und beide sfp module sind in Verwendung.
 
Nope, die Rueckwand ist offen und am Boden ist auch ne Oeffnung zum Ansaugen von Frischluft.
Der Schrank hat ewtas Abstand von der Wand. Das passt ganz gut von der Waerme.
'Abgas-seite' im Schrank sind max ~36grad.
 
Anhang anzeigen 961159Anhang anzeigen 961160Anhang anzeigen 961161Anhang anzeigen 961162Anhang anzeigen 961163Anhang anzeigen 961164Anhang anzeigen 961165Anhang anzeigen 961166

Projekt "Müslischachtel" (wurde von einem Freund so getauft)

2 Identische Mini Server, die von der Größe etwa eine Müslischachtel entsprechen. Wolf im Schafspelz..

Erforderte einiges an händischer Nacharbeit und Frickelei, da alles sehr eng ist. Musste den x8-Riser-Slot aufdremeln (x16-Riser passte nicht) und die SATA-Stromstecker ein wenig abdremeln weil zu dick.

Kurze technische Daten:

Board: Supermicro X10SDV-7TP4F (8C Broadwell Xeon-D)

Gehäuse: Supermicro CSE-E301

RAM: 4x32GB DDR4-2933 REG ECC

SSDs / Speicher: 2x Intel S4610 1.92TB Enterprise SATA

NIC 1: Intel E810-CQDA2 2x 100G QSFP28 (konfigurierbar in Breakout-Modi! Als eine der ganz wenigen NICs die das können)

NIC 2: Intel X550 2x 10G SFP+ (in die CPU integriert)

NIC 3: Intel i210 2x 1G RJ45 (in die CPU integriert)

OS: Proxmox 8.1 mit verschiedenen Guests

Verwendungszweck: All-In-One für den Aufbau von mobilen Netzwerken & Event-WiFi (WiFi Controller Ruckus Virtual Smartzone, DNS, DHCP, Router, etc)

FAQ:

Frage: Warum dieses Board mit SAS Controller und nicht etwas wie X10SDV-12C+-TP8F oder X10SDV-12C-TLN4F+?
Antwort: Weil ich sie zu einem sehr guten Preis bekommen habe, Supermicro Embedded Boards sind wahnsinnig teuer, ganz zu schweigen von den Varianten mit 8+ Kernen

Frage: Warum 2933er RAM? Er läuft doch nur mit 2133
Antwort: Weil ich ihn zu einem sehr guten Preis bekommen habe. Billiger als 2133er

Frage: Warum Intel E810 und nicht etwas wie Mellanox Connected-4/5/6?
Antwort: Weil die Intel E810 einer der wenigen NICs ist, die Breakout unterstützen (z.B. 8x10G oder 4x25G) und ich diese Funktion haben wollte, da sie praktisch sein könnte.

Hm, habe ich vorher noch nie gesehen - bekommt man ja schon ziemlich preiswert als Gebrauchtware.

Wo liegt man denn da in etwas beim Stromverbrauch?
Wäre interessant für ein kleines NAS/Backup-Server....


Danke!


LG
 
Und dann noch ne Huehuehue Bridge? :d
Habe mich noch nicht an die Kopplung zwischen Hue und Harmony gewagt. Die Dinger arbeiten aktuell noch zusammen um den Subwoofer von der Harmony Fernbedienung aus an und ausschalten zu koennen. :d
 
Mal wieder großes Theater gehabt... :d

Festplatten einbauen wollen.
Festgestellt, dass von diesem 5er HotSwap Block nur die linken 3 funktionieren, warum auch immer. Platte dreht zwar, Led leuchtet auch, wird aber nix erkannt, SATA Kabel und Plätze durchgewechselt. Vllt. was auf der Platine.
=> meh
Okay, von diesem Coolermaster hab ich noch irgendwo den Festplattenkäfig (4x 3,5" in 3x 5,25 mit 120er Lüfter) aus Blech mit so kleinen Entkopplern (spezeille längere Teilgewindeschraube durch eine Gummibuchse). Also ewig gesucht, gefunden, 15/16 Schrauben gefunden. Erst versucht ein 6-32" UNC zu drucken, aber das wird mit FDM spontan nix, dann festgestellt, dass eine M3 auch irgendwie gehn würde.
Also gut, Platten einbauen. Nope. Der Blechkäfig nutzt das mittlere und das vordere Loch. Die Ultrastar haben aber nur noch 2 Löcher vorne und hinten, fällt also flach.
=> meh
Internet nach druckbaren Alternativen durchwühlt, muss es ja geben, kann ja nicht sein, dass ich allein bin. Doch, bin ich, Gehäuse mit durchgehend 5,25 an der Front und Mesh waren mal Mode, damn, bin ich schnell gealtert. Hab dann doch eins gefunden, ewig Druckzeit, also über Nacht. Die Schienen, die dabei waren, waren nicht sinnvoll druckbar, also selbst welche gezeichnet (und irgendwie auf die Verriegelung vergessen, habs dann mit ner Schraube geklemmt, also durchn Kunststoffblock auf die Kunststoffleiste... einfach ne Leiste die man mit 2 Schrauben auf die HDD aufschraubt, Scharz und Pink im Foto 3.
Noch schnel einen Lüfter dafür bestellt (irgendwie hatte keinen brauchbaren 120er mehr im Bestand), erst nach BeQuiet und Arctic geschaut, dann einen Noctua NF-P12 redux-1300 PWM bestellt, für 15€ kann man das machen.
Festgestellt, dass die SSDs weg müssen, hatte son Einbaudings für die 5,25er Laufwerke. War mir zu viel Kabelsalat und wurde eng. Ich hatte im Kopf, dass ich diesen PCI-Slot-Einbaurahmen irgendwo gesehn hab, also ne Zeit lang gegoogelt und diese taugliche Doppelversion gefunden. Also gleich gedruckt.
Festgestellt, dass der entstehende Kabelsalat der steifen SATA-Kabel vorn nix ist, also auf amzn so ein 4er Kabel in einem sleeve bestellt, hat gute Bewertungen, ich hoff, es kommt bald und ist kein Mist.

Jetzt brauch ich noch spezielle Stromstecker für die SSDs, ein Kabel in Y-Form, mit 2 Stromsteckern, deren Kabel nach hinten weggehen, sonst drücken die mech. Spannungen die Stecker ungut auseinander, kein Bock auf beschädigte Stecker an der SSD oder Kontaktprobleme. Angeblich kommt das Zeug morgen. Ich mag nimmer warten. :d


btw. sieht man hier "schön", wie schief der CPU-Kühler ist gegenüber dem M.2 Kühler (der Lüfter ist nicht parallel zum Board, die Heatpipes sind im falschen Winkel gebogen). Beeinträchtigt die Funktion nicht, trotzdem scheiße. Ein Scythe Choten wäre vllt. besser gewesen, wobei ich mir jetzt nochmal dessen Fotos angeschaut hab, ich weiss nicht so recht. Wahrscheinlich vom Regen in die Traufe. Der Scythe verwendet nur diese Pins, der TT hat eine Montageplatte die von hinten ran muss. Den Kauf kann man wahrscheinlich davon abhängig machen, welche Montageart man bevorzugt.
Ich wollte auf jeden Fall einen Top-Blow, der nicht zu klein und nicht zu groß ist.

Für den 5er Hot-Swap hab ich eine neue Blende mit 80er Lüfter gedruckt (statt den 2 kleinen) die Blowholes in Deckel und Seitenteil hab ich mit Deckeln zugemacht (damits nicht rein staubt).

Ein schickes Inter-Tech 4U-4410 4HE hätte mir eigentlich sehr gut gefallen, für die 300€ war ich mir bis jetzt zu geizig, vor allem ist mir das Gehäuse mit 70cm Tiefe irgendwie zu tief. So ein 19er Schrank wäre nett, aber momentan machts für mich keinen Sinn.

Für den PCIe 3.0 x4 hab ich noch eine 5x SATA Karte hier liegen (die ist aber wohl x2 elektrisch, also könnte ich noch die beiden x1 Slots irgendwie verwenden, ob die auf x1 auch läuft, damit der x2 frei ist, weiss ich nicht, komische Laneverteilung hat das Board, aber nicht mal so schlecht), die hätt ich eigentlich gerade auf die 5 Hot-Swaps hängen wollen, wenn da aber nur 3 leben, kommt 1 nach oben auf den Wechselrahmen und eins Reserve. Derweil langt das wohl.

Drin stecken unter anderem ein 5750G und 128gb 3200@3200.


Erstmal bin ich ganz zufrieden mit der Konfiguration.
Wenn die Kabel kommen, kann ich endlich weiter machen. Leider bremst das 2.5 GbE wohl :d...
Übers Kabelmanagement könnt ihr gern meckern, ich bin damit soweit zufrieden (bin noch nicht ganz fertig hier auf den Fotos), mir ist wichtig, dass es praktisch und gut zugänglich ist, und einen brauchbaren Airflow ermöglicht.
 

Anhänge

  • 4.jpg
    4.jpg
    286,5 KB · Aufrufe: 223
  • 1.jpg
    1.jpg
    137,5 KB · Aufrufe: 216
  • 2.jpg
    2.jpg
    469,2 KB · Aufrufe: 209
  • 3.jpg
    3.jpg
    470,9 KB · Aufrufe: 224
Hat doch irgendwie jeder schon erlebt. Man hat ne Idee im Kopf und plötzlich kommt der Rattenschwanz an den man vorher vor Euphorie nicht gedacht hat 😅
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh