[Sammelthread] HomeServer Vorstellung - Bilder + Kommentare

[java4ever]

Sind da wirklich alle HDD-Trays schon dabei ?

Ja, ich denke schon.

Habe beim Petersen schon bestellt und da waren die Trays immer dabei.

 

[Weltherrscher]

Sind da wirklich alle HDD-Trays schon dabei ?

Bei mir waren alle 12 dabei, sowie die beiden Riser-Karten und zwei passende Kühler.
Allerdings hab ich auch ein Komplett-Paket mit CPU, RAM und RAID-Controller für 567 € beim Gekko geholt.

 

[XTaZY]

Altes / neues System:

Spoiler

Mein TrueNAS-Build ist momentan noch im Aufbau und wird demnächst die Synology 1815+ ablösen.
Die Basis steht auf jeden Fall schon mal.
Die alten WD Red werden nach und nach gegen WD Gold-Platten getauscht.

Das Front-Panel wird ggf. noch schwarz lackiert

Ohne drehende Platten liegt der Verbauch aktuell bei 55-60w im Idle.

BASIS:
- Intel Core i3-8100T
- Gigabyte C246M-WU4
- 4x 16 GB Kingston Server Premier DIMM 16GB, DDR4-2666 ECC
- Dell H330 Controller (@ Dell HBA330 Firmware (IT-Firmware))
- Supermicro X540-AT2 AOC-STG-I2T (10 GbE)
- 19" Chenbro 4HE Rack Servergehäuse RM42300
- Silverstone FS305-6G Backplane
- Silverstone FS305-12G Backplane
- Cougar A350 350w Netzteil

POOLS:
-BOOT- (TrueNAS 12.0 RELEASE)
(mirror)
- 2x Intel SSD 320 40 GB

-APPS- (für Jails und VMs)
(mirror)
- 2x Intel SSD DC P4501 500 GB (U.2 auf M.2-Adapter@ PCIe 3.0 1x)

-FUSION- (reines Datengrab)
(RAIDz2 + Metadata Cache)
- 1x WD Gold 6 TB
- 5x WD Red 4 TB
- 2x HGST Ultrastar SSD1600MM 400 GB (mirror)

OPTIONAL:
- SLOG: Intel DC S3700 200 GB (mirror)
- L2ARC: Samsung 960 Evo 250 GB


Anhang anzeigen 541707

Anhang anzeigen 541709

Neu-Aufbau und jetzt relativ Wohnzimmer-tauglich und auf Unraid-Basis.

• Intel Core i3-9100
• Gigabyte C246M-WU4
• 4x16GB Kingston DDR4-2666 ECC
• Intel X710-DA2
• Fractal Define R5
• Lüfter: 2x 140mm / 1x 120mm
• Seasonic FOCUS GX-550
• VM & Docker: WD Red SN700 500GB (mit Icy Box IB-PCI208-HS)
• Cache: 2x WD Red SN700 1TB (mit EZDIY-FAB M.2 Kühler)
• Parity: 2x Seagate Exos X16 14TB
• Data: 2x Seagate IronWolf Pro 12TB

Nachträglich wurden am R5 die Laufwerksschächte und ein paar weitere Teile mit Antidröhn-Matten versehen.

 

[Fremus]

Was hat dich dazu bewogen von TrueNAS auf Unraid zu wechseln?

 

[XTaZY]

Was hat dich dazu bewogen von TrueNAS auf Unraid zu wechseln?

Damals gabs nur das Core.

In erster Linie waren es die Vielzahl an Docker und Community-Apps.
Hinzu kamen noch die Stromspar-Möglichkeiten (HDD Spindown, etc.)

 

[MisterY]

zu den Supermicro 829: Wie sieht es da mit dem Stromverbrauch aus?

 

[Cluster_]

Hallo,

wollte meinen neuen Build mal vorführen.

Basis ist ein Silverstone CS381. Aufgrund einiger ... Gegebenheiten, etwas gemoddet (Ausschnitt AiO, Ausschnitte Front-Inlet + Dach)

- Silverstone CS381
- Sharkoon Silent Storm 500 W
- Supermicro X11SPM-TPF
- Intel Xeon Gold 5218r (20/40[HT] @2.1 GHz)
- Dynatron L13 (CPU AiO / Exhaust)
- 6x32 GB Samsung 2666 MHz ECC-RAM
- Fujitsu CP400i SAS controller (Crossflash auf LSI9300-8i)
- 2 ASUS Hyper M.2 PCIe Cards
- Boot NVME Kingston DC1000B 480 GB (PLP)
- 4 Intel Optane P1600X (ZFS ZIL / PLP)
- 4 WD SN700 4 TB (VMWare NFS Storage)
- aktuell 4 WD Gold 8 TB (NFS/SMB Data-Tank) (noch Platz für 4 weitere)
- BeQuiet SilentWings 4 120er (Exhaust)
- 3 Noctua A4x20 (Front-Inlet für RAM & CPU VRM)
- 3 Noctua A8 (Side Inlet für PCIe Karten + PCH)
- noch zu machen 2 Nocuta A4x20 (Airmove HDD Cages)

- Zyxel XGS-1210-12 10 GBit Switch
- 2x10Gtek SFP+ 10GBase DAC

Ich habe zwei verschiedene Luftareale mit Polycarbonat erstellt. Dadurch habe ich die PCIe, PCH, RAM und VRM Region vom Rest getrennt. Die 3 Front-Inlet Lüfter strömen direkt über RAM und VRM in das Gehäuse und die 3 Side-Inlet Lüfter erzeugen leichten Überdruck der sich dann über die PCIe Karten und die Öffnung oberhalb aus dem Gehäuse verabschiedet. Dadurch erzeugen die beiden Exhaust Lüfter einen leichten Unterdruck, der durch die HDD Cages Luft von außen ansaugt und die HDDs auf ein für das Gehäuse erträgliches Maß drückt.
Durch die CPU AiO habe ich auch den Vorteil, dass die HDDs das einzige im Gehäuse sind was die Temperatur erhöht.

BS ist hier vSphere 8 welches bei Boot eine TrueNAS Instanz hochfährt welche per PCI passthrough direkt zugriff auf die HDDs und die NVMEs hat (PCIe Bifurcation) und der VMWare per NFS den Datastore bereitstellt.

Die Temperaturen sehen soweit eigentlich auch ganz ok aus. Die Lüfter drehen im unhörbaren Bereich. Nur die AiO Pumpe läuft full power @4400 rpm (aber das ist gewollt und lässt sich nicht ändern).
Die HDDs will ich eben noch durch die 2 A4x20 durchlüften.

Bis jetzt bin ich recht zufrieden mit dem Build.

Gruß
Thomas

 

[fdiskc2000]

Sehr cool, aber wieviel Strom verbrennt das Ding?

 

[Cluster_]

Sehr cool, aber wieviel Strom verbrennt das Ding?

Hi,

bei dem Gerät eher die falsche Frage
Im Ernst - Idle mit TrueNAS und pfSense laufend knapp 100-120 W. Im aktuellen Copyjob per 10GBit knapp 150 W.

Meine Maßgabe war effizienter als mit meinem aktuellen MicroServer Gen8 mit Xeon 1280. Der verbrät momentan im Copy-out knapp 130 W.
Nur hat mir dessen Leistung bei weitem nicht mehr gereicht und auch die Lautstärke ist mittlerweile etwas störend.

Gruß
Thomas

 

[Ceiber3]

Puh, über 100 Watt für das neue System. Gut der MicroServer Gen 8 ist auch schon sehr sehr alt und noch auf Sandy Bridge.

 

[v3nom]

Colles System, das CS381 hatte ich auch mal. Leider lassen sich die HDDs nicht richtig gut kühlen.

 

[Cluster_]

Colles System, das CS381 hatte ich auch mal. Leider lassen sich die HDDs nicht richtig gut kühlen.

Aktuell mit dem Setup von mir (die verschiedenen Bereiche durch das Polycarbonat / augmented Airflow)

 

[fdiskc2000]

Hi,

bei dem Gerät eher die falsche Frage
Im Ernst - Idle mit TrueNAS und pfSense laufend knapp 100-120 W. Im aktuellen Copyjob per 10GBit knapp 150 W.

Meine Maßgabe war effizienter als mit meinem aktuellen MicroServer Gen8 mit Xeon 1280. Der verbrät momentan im Copy-out knapp 130 W.
Nur hat mir dessen Leistung bei weitem nicht mehr gereicht und auch die Lautstärke ist mittlerweile etwas störend.

Gruß
Thomas

Ne die richtige Frage Und weniger als ich gedacht hätte ;-)

 

[Weltherrscher]

zu den Supermicro 829: Wie sieht es da mit dem Stromverbrauch aus?

Sorry für die späte Antwort:
Im Leerlauf (HDDs im Standby) momentan 147 W mit EINEM Netzteil.
Das zweite Netzteil braucht im Standby alleine ca. 20 W
Laufen die Platten an kommt er auf ca. 187 W.
6x WD Red 8 TB (RAIDZ2, zwei davon mit Helium)
2x WD Red SATA-SSD 1 TB (Mirror, für die Wolke, laufen also immer)
1x WD Red 4 TB als NFS für den ESXi (über die TrueNAS VM durchgeschleift)
160 GB regECC
2x Xeon E5-2640v4 (je 10 Kerne)
1x WD Red PCIe-SSD 1 TB (Systemlaufwerk fürn ESXi und wichtige VMs)
1x WD Blue PCIe-SSD 1TB (Bunker für die restlichen VMs)
1x M1215 HBA
2x Intel X520-T2 (integriert in den linken Riser-Slot, je eine als normale Netzwerkverbindung und eine als dedizierte iSCSI-Leitung, je 1x 10G und 1x 1G als Fallback (magels 10G Anschlüssen am Switch... ))
Das schöne ist, dass die Netzteile den Stromverbrauch direkt im IPMI melden.

 

[even.de]

So hier mal mein Update zu #3749:

Unifi UDM Pro Noctua moded + 2TB SSD für die Überwachungskameras
Unifi USW-24-POE (Fanless)
2x Unifi Keystone Panels
1.5 HE 19" Server mit i5 6500/16GB RAM/4TB + 1TB SSDs und 10 GbE Mellanox SFP+ Karte. Windows 10 mit ein paar Server Mods für ioBroker, TeamSpeak 3, Resilio Sync (Cloud Server), Mediaserver, NAS und Backup-Server.
In meinem Gaming Rig ist ebenfalls eine Mellanox 10 GbE SFP+ Karte verbaut, sodass ich mittlerweile an der Schreib- und Leseleistung der SSD im Server kratze.

Es hängen zusätzlich noch in jedem Stockwerk ein Accesspoint und Kameras im Außenbereich. Insgesamt komme ich auf ~35-40W reine PoE Leistung (5 AP, 4 Kameras und 2 PoE Switches).

 

[Weltherrscher]

Was nutzt du als APs?

 

[even.de]

Aktuell sind es 4x AP AC Pro + 1x AP AC-M (Outdoor). Hatte auch schon die U6 Lite hier unter der Decke, aber da fällt die Bandbreite schneller ab bei einem Hindernis wie einer Wand dazwischen. Damit schafft man ca 800-900 Mbit/s ohne Hindernisse. Aber mit Hindernis auch nur 200-300 Mbit/s. Außerdem haben die AC Pro 3x3 MiMo statt 2x2.

ca. 4-5 Meter Abstand zum Access Point ohne Hindernis


ca. 6-7 Meter Abstand mit einer tragenden Kalk-Sandstein Wand dazwischen

 

[Ronin07]

Ich scheine ja nicht der einzige Bekloppte zu sein, der seinen Server wasserkühlt. Leider habe ich kaum Bilder vom Bau gemacht, aber ich wollte das Ergebnis dennoch zeigen:

Spoiler: Zuerst die Einzelteile

Gehäuse: Fujitsu RX2540 M4, umfassend modifiziert
Mainboard: Intel S1200SPLR
CPU: Intel Xeon E3-1275 v6
RAM: 4x Kingston Server Premier 16GB DDR4-3200 ECC UDIMMs
Speicher-Subsystem: Fujitsu EP400i (Broadcom/Avago 9361-8i) mit Capacitor
SAS-Expander Fujitsu 30BPL
6x Samsung SM863a 480GB SSDs für die VMs
9x WD Red (pro) 1TB 2.5 HDDs als Datengrab
1x Samsung SM883 240 GB SSD als temporäre Bootplatte
Netzteil: Corsair SF450 Platinum
Kabel: Custom by Cablemod bzw. Eigenwerk
Kühlung: völlig übertrieben
Watercool Heatkiller IV CPU-Kühler
Watercool NSB 3.0 auf SAS Controller und SAS Expander
Heatkiller Tube 150 mit DDC 4.2
Alphacool 80mm XT45 Radiator
Watercool EPDM 13/10 Tubes
Alphacool HF und Eiszapfen Fittinge
Aqua Computer Aquaero 5, High Flow LT und 2x Calitemp
Double Protect Ultra
Lüfter: 5x Noctua NF-R8 redux

Die erste Zusammenstellung:


Ein bisschen Frontpanel:


Feste und solide Platten:


Alles zusammen:


Von Innen:


Controller und Expander:


Aquaero:

Spoiler: Textwall: My 2 Cents

Der Server ersetzt eine ebenfalls reichlich umgebaute Fujitsu RX300S4, deren Komponenten nach etlichen Jahren Dauerlauf unzuverlässig wurden. Weil der Platz im (bzw. auf dem Schrank) da ist, ist es wieder ein 2HE-Gehäuse geworden.

Das Leergehäuse konnte ich inkl. 3 8er Backplanes, SAS-Expander und einigem Zubehör recht günstig erstehen. Das passende Fujitsu Mainboard und die Netzteile wollte ich nicht einsetzen, die sind beim besten Willen nicht kühl und leise zu bekommen.

Die drehenden Platten waren da und werden als Datengrab weiter verwendet, das gab mir schonmal den Formfaktor vor.

Weil die HDD-Trays der älteren Serien nicht mehr passen und die Neuen noch unverschämt teuer sind, habe die kurzerhand in CAD nachgebaut und ausgedruckt. Insgesamt ist der 3D-Drucker-Einsatz etwas eskaliert Die Lüfterbrücke, Kabelführung und die Kartenhalter kommen auch dem 3D-Drucker. Gleiches gilt für das Frontpanel und die Blende des Aquaero, die sich so in das hexagonale Fujitsu-Frontdesign einschmiegt.

Die Lüfter habe ich aus dem vorherigen Build übernommen, die bleiben erstmal drin bis einer quietscht. NF-A8 sind als Ersatz gesetzt.

Die VMs liegen auf den SSDs, nur die Datenspeicherung von Cloud und Jellyfin liegt auf den HDDs.

Aus mir nicht klärbarem Grund wollte das Board mit dem Aquaero am internen USB nicht booten, also kam eine USB-Erweiterungskarte rein, damit klappts. Bonus: Ich kann die direkt an eine VM durchreichen.

Mir gefielen die Temperaturen der SAS-Komponenten bei reduziertem Luftstrom (zur notwendigen Reduzierung der Lautstärke) gar nicht, also hab ich die Hitzköppe unter Wasser gesetzt, die CPU und das Aquaero in dem Zuge gleich mit. Die Heatkiller NSB-Blöcke passen auf die Karten als wären die dafür gemacht. Das Ergebnis kann sich nicht hören lassen: Wenn man direkt davor steht, sind die drehenden Platten lauter als die Kühlung.

Zurzeit läuft ESXi 7.0U3 mit 6 VMs, 4x Windows und 2x Linux. Die Leistung reicht dafür völlig aus.

Stromverbrauch: vorhanden Wenn alle VMs im Idle sind, bleibt es knapp im 2stelligen Bereich. Ich glaube aber, dass mindestens die Hälfte davon für das Plattensystem und die Kühlung draufgehen. Ich konnte das Board alleine mit Lüftkühlung unter Windows auf weniger als 30 Watt bringen, inkl. IPMI. Das bin ich halt bewusst eingegangen mit ESXi und der gewählten Lösung.

Kürzlich hab ich noch eine M.2-SSD auf dem Board verbaut, um das Bootlaufwerk vom SAS-Controller zu lösen und zeitgleich auf ESXi 8 umzusteigen. Leider bekomme ich es damit nicht hin, den Controller zu überwachen. Irgendein Broadcom-Treiber oder Tool scheint noch nicht auf ESXi 8 geupdatet zu sein. Tipps dazu nehme ich gern an.

Bitte keine Diskussionen über Sinn und Unsinn der Plattenkonfiguration und ob HDDS durchreichen und ZFS besser wäre. Ich weiß auch, dass ich mit 3.5 HDDs mehr Platz bei weniger Laufwerken gehabt hätte. Ist halt Hobby

 

[Neo52]

wäre eher die Frage ob der Radi nicht lieber woanders platziert werden kann. Sicher wird die Kühlung ausreichen (würde ich mal vermuten), aber die erwärmte Luft zieht ja auch wieder über die gekühlten Komponenten. Wird aber sicherlich nur ein paar °C ausmachen

 

[MisterY]

freut mich, dass ich nicht der Einzige bin, der auf 2.5" HDDs setzt. Leider hat Toshiba letztes Jahr die 3 TB CMR Platten eingestellt

 

[Ronin07]

wäre eher die Frage ob der Radi nicht lieber woanders platziert werden kann. Sicher wird die Kühlung ausreichen (würde ich mal vermuten), aber die erwärmte Luft zieht ja auch wieder über die gekühlten Komponenten. Wird aber sicherlich nur ein paar °C ausmachen

Ich glaube auch nicht, dass das viel ausmacht. So viel Wärmer ist die Luft nach dem Radi nicht. Sind im Betrieb rund 6 Grad, wobei ich die Sensoren noch nicht abgeglichen habe.
Ich konnte auch kein Bauteil finden, das unangenehm warm wird.

 

[Potz]

freut mich, dass ich nicht der Einzige bin, der auf 2.5" HDDs setzt.

Die ernst gemeinte Frage ist nur: warum? SATA-SSDs scheinen mir schneller, sparsamer, leiser und tendenziell sogar günstiger zu sein. Bei Bedarf haben sie auch eine größere Kapazität.

 

[MisterY]

Die ernst gemeinte Frage ist nur: warum? SATA-SSDs scheinen mir schneller, sparsamer, leiser und tendenziell sogar günstiger zu sein. Bei Bedarf haben sie auch eine größere Kapazität.

Naklar: 3 TB für 70 € waren halt ne Ansage. Und für statische, große Dateien brauche ich keine SSDs.

 

[n36l]

Sehr cool mit der Wasserkühlung des RAID-Controllers! Wie viel °C erreicht der Controller im Idle?

 

[Ronin07]

Die ernst gemeinte Frage ist nur: warum? SATA-SSDs scheinen mir schneller, sparsamer, leiser und tendenziell sogar günstiger zu sein. Bei Bedarf haben sie auch eine größere Kapazität.

Der einzige Grund bei mir: Die waren da.
Beim nächsten Server (in wohl vielen Jahren) werde ich wohl auch das Datengrab mit SSDs aufbauen, wenn die Entwicklung so weiter läuft wie derzeit und die Dinger dann preislich interessant werden. Die Server-Varianten mit PLP stc. sind ja immer etwas mutiger bepreist.

Beitrag automatisch zusammengeführt: 21.02.2023

Sehr cool mit der Wasserkühlung des RAID-Controllers! Wie viel °C erreicht der Controller im Idle?

Der liegt immer zwischen 35 und 38 Grad. Leider kann ich die Temp des Expanders nicht auslesen.

 

[java4ever]

Was ein herrlich beklopptes Projekt. Bitte mehr davon

 

[konfetti]

Also für mein Datengrab, hab ich auch statische HDDs - https://geizhals.de/intenso-memory-case-schwarz-5tb-6021513-a2413115.html?hloc=at&hloc=de
die werd ich mir demnächst als Upgrade holen, da leider nur 2.5" in den Server passen - am Controller direkt in die VM durchgereicht ist das ok.

für die VMs hab ich natürlich SSDs verbaut. - Backup autmatisch auf einen 2ten Server, der bekommt demnächst auch noch ein HDD-Tausch - vermutlich dann 2x 8TB (RAID1) <- von derzeit 10x 2TB (RAIDZ2) (weil noch vorhanden)
Wäre zwar vom Verbrauch her egal, da Backup nur Tagsüber bei "Eigenproduktion" aber damit könnte das ganze auch in ein deutlich kleineres Gehäuse einziehen.

 

[Potz]

Also für mein Datengrab, hab ich auch statische HDDs - https://geizhals.de/intenso-memory-case-schwarz-5tb-6021513-a2413115.html?hloc=at&hloc=de
die werd ich mir demnächst als Upgrade holen, da leider nur 2.5" in den Server passen - am Controller direkt in die VM durchgereicht ist das ok.

Zwei Dinge dazu:
- Die verlinkten HDDs sind SMR. Du wirst keine Freude damit haben in irgendwas RAID-ähnlichen.
- was sind "statische" HDDs? Mir kommen rotierende Platten und wackelnde Köpfe recht dynamisch vor.

 

[konfetti]

mit Statisch war eher der Content gemeint... - Und da i.d.R. die Bilder dort gesichert und nur ab und an mal angeschaut werden, ist das auch kein Problem - selbst der OBS-Stream der den Storage als Ziel hat, meckert nicht - wozu auch, RAM ist genügend vorhanden, damit das ganze danach weggeschrieben werden kann.

Für die VMs selber hab ich nen SSD-Storage, aber für Bilder und bissl Musik reichen die HDDs alle mal.
Vermutlich fasst das Backup die Daten eh öfter an, als die 3 Benutzer ^^

 

[Potz]

Ah, das ist absolut nachvollziehbar, ändert aber absolut nichts daran, dass Verbünde aus SMR HDDs höchst problematisch sind.