[Sammelthread] HomeServer Vorstellung - Bilder + Kommentare

[besterino]

Wir sollten vielleicht mal einen Adapter-Sammler aufmachen... ich will‘s jetzt wissen und hab mir auch noch so 4er Adapter von ASUS bestellt: ASUS Hyper M.2 X16 Card Preisvergleich Geizhals Deutschland

Werde das dann auch mal in dem X11SPi-TF (Sockel 3647) dem T130 (Sockel 1151) und meinem älteren Intel-Board (Sockel 1155) testen...kommt allerdings erst in ca. 2 Wochen...

 

[Trambahner]

Gute Idee mit dem Sammler. Das 3647er Board würde ich erwarten: funktioniert damit. Diese Plattform sollte Bifurcation out-of-the-box beherrschen. Die kleinen Sockel sind die größere Spannung; da vermute ich mal, dass ohne verbaute Switch-Chips nichts gehen dürfte.

 

[TheSebi41]

- hinten drin liegt noch ein Raspberry der die USV überwacht und an die Geräte weitergibt.

Das würde mich auch interessieren

 

[besterino]

So, nachdem ich hier zuletzt viel zu viel geschwätzt und viel zu wenig Bilder beigetragen habe: ich habe mein System (hier beschrieben) aus dem Lian-Li PC-Z70B in ein InterTech 4U-4416 umgezogen.

Grundeindruck: das Gehäuse kann sogar was. Jedenfalls deutlich mehr als mein 2U von denen. Zubehör ist reichlich, die 2x5,25" passgenau und bereits vorbereitet um easy 4x2,5" HDDs je Seite also insgesamt 8 (!) aufzunehmen:



Da mir das aber zu fummelig ist und außerdem nicht "platz-effizient" genug, hab ich da flugs 2x Delock 6er Wechselrahmen reingesetzt. Einer davon (voll bestückt) hängt an einem SAS-Kontroller und ist damit Hotswap-fähig (natürlich durchgereicht an Solaris-VM) der andere an 6 von den 8 onboard SATA-Ports (nativer ESXi-Storage), zurzeit nur 2 SSDs drin, auf dem vor allem 2 VMDKs für den redundanten rpool der Solaris-VM liegen.

Das sieht dann eingebaut so aus:



(Damit die Schienen der 5,25"-Schächte auf die Delocks passen und gleichzeitig die 2,5"-Schächte nicht behindern, musste ich mit einer Kneifzange die Nasen der Schienen etwas kürzen. Hält trotzdem und jetzt lassen sich die 2,5"-Bays prima bestücken.)

Nun war mir das Gehäuse von Haus aus etwas zu laut. Da sind halt 5 3-Pin Lüfter drin und gerade die 120mm-Lüfter drehen ungeregelt entspannt (bzw. bei 12V-Spannung) auf voller Drehzahl. Also hab ich - wie bei eigentlich fast allen meinen Gehäusen - die Stock-Quirle durch Noctuas ersetzt, konkret 2x80mm PWM und 3x120mm PWM, und wo ich schon dabei war hab ich auch gleich den 90mm-Supermicro-Lüfter vom CPU-Kühler auch mit einem entsprechenden Pendant von Noctua ersetzt. Fan-Speed auf "optimal" und Ruhe ist, vor allem weil das Gehäuse ein Standard-ATX-Netzteil aufnimmt und nicht diese 1U-Brüller.

Um alle Bays auch zu versorgen, musste ich einen 3. SAS-Kontroller einbauen, so dass nun leider auch erst einmal das Ende der Fahnenstange erreicht ist: 2xH200 und 1xH310 von Dell versorgen zusammen 22 Bays (16x3,5", 6x2,5"), plus 6 onboard-SATA macht zusammen 28 Bays auf 4U.









Ja, ich Hirni hatte den CPU-Lüfter falsch rum drauf. Habe ich aber korrigiert und war nur zu faul, neue Bilder zu machen.



Keine Sorge, so wie auf dem Bild oben liegt er nicht dauerhaft im Regal. Hab ich nur für das Bild etwas heraus gezogen.

Macht schon Spaß:



EDIT: wieso dreht er das eine Bild falsch herum???

 

[MisterY]

Nette Kiste! Die ist dein einziger Server? Was machst du damit alles?

Und warum hast du mehrere Pools und nicht ein einziges?

 

[Luckysh0t]

@besterino

Nettes Ding.Was wurde eigentlich aus dem Projekt ein OS direkt auf HDDs/SSDs und nicht in eine vmdk zu installieren ?

 

[besterino]

@MisterY: Nicht der Einzige, siehe Signatur. Der ist aber inzwischen der Einzige 24/7 und dient als VM-Schleuder primär mit Fileserver, Firewall und VPN-Server.

Die verschiedenen Pools haben unterschiedliche Datentypen / Aufgaben. Der SSD-Pool ist für VMs (logisch), der wird dann täglich auf den lahmen RaidZ aus den 1TB-HDDs gesichert.

Der "kleine" RaidZ mit den 4TB-HDDs ist für die WIRKLICH wichtigen Daten - der wird einmal auf den großen RaidZ2-Pool und zusätzlich 3x extern per Replikation gesichert (1x auf dem Backup-Server und 2x auf USB-Platten). Die Backups brauche ich aber nur für die veränderlichen Daten, daneben liegen darauf auch noch ein paar wichtige read-only Daten.

Und der große RaidZ2-Pool ist neben dem Backup-Ziel zugleich Sammelbecken für unwichtigeren Kram, den ich eben schon aufgrund der Datenmasse nicht nochmal sichern kann (daher aber mehr Snaps und RaidZ2 für die höhere Redundanz).

Historisch gewachsen aber so für mich gut handhabbar. Die 8x4TB HDDs waren vorher in einer separaten Kiste - aber wenn die eh neben dem Main steht, ist es mit der zusätzlichen Sicherheit eh nicht weit her. Also hab ich die Disks jetzt in einer Box zusammengefasst.

- - - Updated - - -

@besterino

Nettes Ding.Was wurde eigentlich aus dem Projekt ein OS direkt auf HDDs/SSDs und nicht in eine vmdk zu installieren ?

Das hat leider nicht so richtig gut auf Anhieb geklappt. War dann zu faul, das weiter zu verfolgen und hab den Kompromiss mit dem Mirror-rpool gewählt: die beiden VMDKs liegen auf zwei unterschiedlichen SSDs, beide VMDKs sind ohne weiteres auch jeweils ohne die andere bootbar. Eine VMDK davon habe ich zusätzlich zu "Sicherungszwecken" auf eine externe USB-Platte kopiert, so dass das OS jetzt hoffentlich doch recht sicher sein sollte.

 

[Luckysh0t]

Hast ja immerhin eine adequate Lösung gefunden ^^
Mir ist da zwar gerade eine andere "Lösung" eingefallen, aber die ist nuja à la "Durch den Rücken ins Auge"
Solaris VM als System mit 2 passtrough SSDs, diese per iSCSI im Setup der Storage VM als Ziel LUN angeben.

Oder habe ich da zur späten Stunde irgendwo einen Denkfehler ? Mal vom Sinn abgesehen.

Ich nenne es mal kreativ.

 

[Trambahner]

@besterino: Erstes Resultat, nachdem heute der Speicher für die Kiste kam: Der obere M.2 Slot der AOC-SLG3-2M2 funktioniert im X11SSH, der untere nicht. Zumindest nicht, wenn er als einziger Slot bestückt ist. Derzeit mangels zweiter SSD kann ich noch nicht testen, was passiert wenn man beide Slots bestückt. Ist also recht wahrscheinlich, dass es nicht klappt mit 3*M.2.

 

[besterino]

Ok, Danke für das Update! Mal schauen wann meine kommt, dann kann ich mal die Gegenprobe im X11SPi-TF machen. Dürfte dann aber in meinen anderen Kisten auch eher nicht gehen, schätz ich mal.

 

[Master Luke]

1HE Backup-Server, gebraucht in der Bucht.
Automatisch über HyperBackup Vault (XPEnology): 1x die Woche hoch fahren, backup, runter fahren.

original bestückt mit Xeon E3-1230v2, passivkühler und Turbinen im Case und 2x2TB Toshiba HDD -> ca. 60W im Betrieb, CPU-Auslastung 3-7%, 4Kerne + HT

für 20€ Invest ist es ein Pentium G2020 (2Kerne) und ein Akasa 1HE-Aktivkühler geworden. Die Platten sind 2x4TB im Raid1 WD green gewichen. -> ca. 45W im Betrieb, die CPU-Auslastung liegt jetzt bei ca. 25%

(Hinterm Schrank siehts noch wild aus...)

 

[XN04113]

gerade im Aufbau nachdem ich die Haus Außenwand mit zwölf CAT7 Kabeln bestückt habe, aktuell warte ich auf die Patchkabel

ZPAS 18 HE Rack (600x600)
Unifi Security Gateway PRO
Unifi Switch US24-250
Draytek Vigor 130 DSL Modem
4x HP Microserver N36L (die laufen nur bei Bedarf, dank RemoteBoard komplett fernsteuerbar)
leider passt die USV nicht mehr ins Rack, da bin ich gerade am Lösung suchen

In den Zimmern stehen dann vier weitere Unifi Switche um die Geräte dort mit LAN zu versorgen.

 

[Master Luke]

gerade im Aufbau nachdem ich die Haus Außenwand mit zwölf CAT7 Kabeln bestückt habe, aktuell warte ich auf die Patchkabel

Kameras? Wetterstation? Sensorik?

 

[[W2k]Shadow]

Wozu 4 Microserver? Das was die Können, kann ein richtiger auch.

 

[Trambahner]

Das hier wurde aus meinem X11SSH-CTF. Der Kühler ging um 2 Millimeter grad noch rein, so dass ich ihn nicht mal mehr um 90 Grad rotieren kann. Nun gut.


Ist noch ein bissi "Gewurschtel", aber das wird noch besser. In dem kleinen VSK2000-U3 ist ja kaum Platz. Aber dafür schönes kleines Desktop-Gehäuse, welches ich in eine Regalnische stellen kann. Die Belüftung ist noch nicht ideal, da muss ich mir nen Shroud basteln damit die Abwärme der CPU bei hoher Last gezielt abgeführt werden kann, sich nicht staut und eine ordentliche Zuleitung von kühler Frischluft möglich ist. Nit einfach in dem kleinen Ding.
So siehst das von vorne aus:


6x2,5" SSD in einem 5,25"-Schacht, 2 können noch innen rein. Dazu noch bei Bedarf 2-3* NVMe oder 64GB Ram. Schlimmstenfalls externe SAS-Backplane, wenns gar nicht mehr ginge.
Kleiner ginge nur noch mITX, wäre aber bei weitem nicht so bestückbar. Die hohe Integration des Boards hilft hier ungemein.

 

[besterino]

In der Tat doof, dass Du den Block nicht um 90° drehen kannst.

Ich hätt hier noch einen 2U Heatsink Dynatron K618 (sieht dem InterTech mit gleichem Namen sehr ähnlich) und ein 1U Supermicro SNK-P0046P rumfliegen, beide neu und unberührt. Der Dynatron ist zwar offiziell für den Sockel 1156, glaub von den Bohrungen und sonstigen Abständen hat sich da aber nix getan.

Wenn Du damit mal Dein Glück versuchen willst, gegen Versandkosten schick' ich Dir ein oder beide mal rüber. Wenn's passt kannste ja was für meine Kaffeekasse rüberschieben.

 

[XN04113]

Wozu 4 Microserver? Das was die Können, kann ein richtiger auch.

Das sind meine Storage Systeme und immer ein Pärchen spiegelt sich. Habe auch noch einen fünften als Ersatzteillager. Mehr Power braucht es für Storage nicht.
Wenn das alles auf einem rennt und der einen Defekt hat => Essig
Der große 28 Core Hyper-V Server mit reinem SSD Storage steht im Büro zwei Etagen höher.

- - - Updated - - -

Kameras? Wetterstation? Sensorik?

Nö, damit ich LAN Kabel in jedem Raum habe. Also Kabel vom Keller durch die Aussenwand, dann an der Außenwand in Kabelkanälen verteilt und wieder von außen nach innen in die Räume rein.
Innen nachträglich diese Massen an Kabeln zu verlegen ist nicht möglich, außer man hat einen Kabelschacht in dem auch noch Platz ist.

 

[mika2004]

Das sind meine Storage Systeme und immer ein Pärchen spiegelt sich. Habe auch noch einen fünften als Ersatzteillager. Mehr Power braucht es für Storage nicht.
Wenn das alles auf einem rennt und der einen Defekt hat => Essig

Kluge Entscheidung, aber wie schaltest du die Rechner ein?

 

[[W2k]Shadow]

Ahso.
Bin da halt anders unterwegs Mein Storage-Bedarf wird aktuell von einer 1TB WD Red gedeckt, denke, demnächst könnte der Bedarf Richtung 3-4TB steigen, wenn der Server auch VRC spielt, aber das würde auch immer noch sehr gut in einem einzigen N36l realisierbar sein.
Der einzige Punkt den ein Micro eben nicht mitspielen kann, ist mein Bedarf an Erweiterungsslots bzgl. GPU, TV-Karte und anderem.

Darum muss schon mein AM1 für n LGA1150 Systeme weichen.

Im Bild zu sehen:
Oben der neue Server mit Celeron G1820, 8GB RAM, 120GB-SSD, TiiVi S464, ...
Mitte: Der F@H Server, Xeon E3 1230, 8GB, 160GB-HDD, 2 GTX 960 Gaming 2g, plus ne 1GBit Netzwerkkarte, da die onboard irgendwie spinnt.
Unten: Der noch aktuelle Server, Athlon 5350, 6GB RAM, 80GB-HDD (System) und 1TB HDD (Daten)

https://uploads.tapatalk-cdn.com/20171031/30178312d39af14a1797763bd044e1ff.jpg

 

[Master Luke]

Nö, damit ich LAN Kabel in jedem Raum habe. Also Kabel vom Keller durch die Aussenwand, dann an der Außenwand in Kabelkanälen verteilt und wieder von außen nach innen in die Räume rein.

achso! aber klar, wenns nicht anders geht.

 

[XN04113]

Kluge Entscheidung, aber wie schaltest du die Rechner ein?

Die HPs haben eine RemoteKarte eingebaut über die man sie einschalten kann (und vieles mehr). Davor hängt noch eine schaltbare Steckdose meiner Hausautomation

 

[michathe]

So nun mal endlich wieder ein Update

Front:

Von Oben:

Hikvision NVR

ABUS/ Hikvision DVR

Server:

Hyper-V Spielwiese: 1 x E5-2640 V4, 64GB DDR4, 10Gb Nic, SSDs und ein paar HDDs im Supermicro SC216.

NAS: 1 x E3-1220 V3, 8GB DDR3, 8 x 8TB Seagate Enterprise, 10Gb Nic, im Supermicro SC846.

Backup: 1 x E3-1220 V3, 16GB DDR3, 24 x 2TB, 10 GB Nic, im SC846.

Test System: 1 x E5-2620 V2, 128GB DDR3, nen Paar SSDs, im SC216.

JBOD mit 40 x 2TB Platten aktuell als Drittest Backup genutzt.

APC USV: 2 x 1500VA werden nicht mehr genutzt 1 x 2200VA main USV.

Rückansicht, kabelmanagment von feinsten

Netzwerk:

im Schrank sind zwei Netgear S3300 verbaut dazu kommt noch einer im Verteilschrank:

Der Obere handelt alles Externe.

Der Untere die Server.

Über der Shuko leiste lebt die Fritzbox und ein wenig kleinkram.

Und Jetzte eines der besten Upgrades nach langen

Die neue/ gebrauchte PDU eine Raritan PX2-5440

Das Teil ist einfach Geil:

Dashboard mit dem gesamten verbrauch der PDU:

Einzene Outlets, verbrauch wird geloggt und jeder Outlett lässt sich einzeln schalten.

Temperatur und Luftfeuchte werden ebenfalls überwacht.

So das wars erstmal wieder

 

[[W2k]Shadow]

Läuft das dauerhaft?

 

[Olaf16]

Dem Stromanbieter würde es gefallen - SIeht auf jedenfall nice aus.
Wäre es aber nicht sinvoller, das auf weniger, leistungsstärkere HW bzw. Systeme mit weniger, größeren Platten zu tauschen?

 

[[W2k]Shadow]

Das wäre es sicher, aber, wo bleibt dann der Spaß?

Hab bei mir auch auf eine 6TB umgerüstet

 

[michathe]

Dauerhaft laufen nur die Geräte die Aktuell an sind. (ca. 400W)

Der 2te Storage und das Jbod wird nur für backups gestartet.

Deswegen hat das NAS ja 8TB Platten bekommen. Für das backup lohnt das aber nicht

 

[besterino]

Hehe, bei mir sind Lautstärke und Wärme die größten Spaßkiller. Jajaja. Server und so. Viel hilft viel und so. Nicht kleckern, klotzen und so. Memm' nicht rum und so. Alles richtig!

ABER!

Am Ende muss ich in dem Haus aber auch Schlafen - und vor allem: nicht nur ich.
Ohne Geräusch-gedämmte Türen höre ich doppelten 1U-Netzteile mit ihren 40mm Lüftern auch noch im 2. Stock (min. durch eine geschlossene Tür). Und mach' ich die Kellertür zu, klettert das Thermometer ohne Klimanlage innerhauf knapp 30°C wo sonst ~21° normal wären. Bin jetzt bei halbwegs erträglicher Lautstärke und 23,5°C Zimmer- bzw. Kellertemperatur nach Langzeitbetrieb, aber auch nur dank normalem ATX-Netzteil (die Platten allein werden schon im idle recht warm).

 

[Gorsi]

Mach doch daraus eine Wasserkühlung und wärm damit dein Warmwasser via Wärmetauscher vor. So kannst du eventuell die Lautstärke und Wärme reduzieren. Mit Glück auch ein wenig deine Warmwasser Kosten. Ist dann nur noch eine Investitionsfrage.

 

[michathe]

Wenn man die Chassis perfektioniert sind die an sich für Server sehr leise.

Mein Nas zum beispielt kann dank wenigen Platten im großen Gehäuse die Lüfter auf niedriegster Stufe halten, die Raid Controller + Nic werden mit nem 120mm gekühlt und die Netzteile sind aus Supermicros SQ reihe die sind kaum höhrbar.

ich höre das Rack jedenfalls nicht durch ne einfach kellertühr.

Natürlich nur wenn NAS 2 aus ist, will ich die 64 x 2TB Platten nutzen müssen die Lüfter schon brüllen um die Platten kühl zu halten

 

[besterino]

Wenn man die Chassis perfektioniert sind die an sich für Server sehr leise.

Mein Nas zum beispielt kann dank wenigen Platten im großen Gehäuse die Lüfter auf niedriegster Stufe halten, die Raid Controller + Nic werden mit nem 120mm gekühlt und die Netzteile sind aus Supermicros SQ reihe die sind kaum höhrbar.

ich höre das Rack jedenfalls nicht durch ne einfach kellertühr.

Natürlich nur wenn NAS 2 aus ist, will ich die 64 x 2TB Platten nutzen müssen die Lüfter schon brüllen um die Platten kühl zu halten

64 sind's ja gar nicht. Nur 16 HDDs und bummelige 9 SSDs. Und Du sagst, die SQs sind wirklich leise...? *wunschzettelrauskram*