High End Server unter 20 Liter - ITX trifft auf Sockel 2011-3

[Gohst_oc]

Hallo zusammen

Ich möchte gerne ein neues Projekt starten, und mein mittlerweile viel zu grosses Home Lab umstellen.
Da ich einfach zu wenig Platz im Büro hatte, musste mein bisheriges Home Lab welches aus 3 19" Rack-Server bestand abgelöst werden....

Neu soll ein Server in einem kompakten Gehäuse entstehen. Das Ziel ist es, unter 20L Volumen zu kommen.

Folgende Komponenten sind vorgesehen (oder schon gekauft).

• Xeon E5 2698 V4 (20 Core Broadwell EP) - vorhanden
• Asrock EPC612D4I (C612 mITX Mainboard) - vorhanden
• 2* 16 GB DDR4 ECC (So-DIMM Module...) - vorhanden
• Kolink Sattelite Mini-ITX - vorhanden (lag halt so rum...)
• CPU Kühler ???
• Netzteil: Corsair AX760 - vorhanden
• SSD: 2* Samsung PM1725 3.2TB - vorhanden (aus alten Server)
• Netzwerk: Aquantia ACQ107 10Gbit RJ45 - vorhanden (für ein NAS Projket gekauft)
• PCIe Riser/Bi-Furcation Splitter PCIe 16x -> 8x/m.2/m.2 von C-Payne

Ich bin froh um ein paar Inputs bezüglich CPU Kühler (keine Ahnung wie viel die Xeon CPU tatsächlich "heizt") und eventuell ein anderes Gehäuse, sofern es Platzprobleme beim Kühler gibt.

Folgende CPU Kühler habe ich in der engeren Auswahl (wobei keiner für den 2011 Narrow ILM Socke passt - hier hilft nur Basteln):

1. Cryorig H7 (habe ich rumliegen)
2. Noctua NH-C14S
3. Corsair H80i v2 (habe ich auch rumliegen)

Leider ist das Motherboard eine echte Herausforderung, denn die RAM Slots sind sehr nahe bei der CPU:

Es gäbe von Nocuta zwei Kühler die explizit auf das Motherboard passen sollten:
https://noctua.at/de/nh-u12dx-i4/specification und https://noctua.at/de/nh-u9dx-i4

Leider sind sie etwas schwach bei der Kühlleistung oder blockieren die RAM Slots....

 

[VorauseilenderGehorsam]

Soweit ich weiß, kannst du dir bei Noctua auch für die meisten Sockel Montagesets für andere Kühler kaufen oder anfragen

Das würde ich als Erstes machen, da ich Noctua einfach präferiere und deren Support sehr gut ist

 

[v3nom]

WaKü und im besonderen eine AiO würde ich mir nicht in den Server packen.
Bei den Kühlern wäre noch interessant ob die Lautstärke relevant ist? Sonst einfach einen möglichst guten Luftkühler draufpacken und den Lüfter aufdrehen...

Interessanter Riser.

 

[danielmayer]

Der Riser ist wirklich witzig, wenngleich sauteuer. Auf Rücksendefähigkeit achten, da "x8x4x4" ungleich "x4x4x8"... Lässt das BIOS beides zu?

 

[Gohst_oc]

Noctua habe ich zwar noch nicht direkt angefragt, sie schreiben aber, dass die 2011 Narrow ILM Halterung nicht einzel verkauft wird. Mal schauen ob ich Erfolg habe.

Zu der Frage bez. Riser:

Theoretisch lässt sich die Option 8/4/4 im Bios einstellen, zumindest habe ich vor dem Kauf das BIOS File mir AMIBCP Editor geöffnet und diese Option gefunden. Sobald ich einen passenden Kühler habe, müsste ich halt mal in Real nachschauen.

Wäre halt schon toll, weil die m.2 -> u.2 Adapter hätte ich auch noch übrig für die SSDs. Alternativ müsste ich aus SATA ausweichen....

Falls der passende Bifurcation Support fehlt, versuche ich den per Mod selber zu implementieren.

Habe schon auf Aliexpress Sockel 2011er Boards Erfahrungen damit gesammelt.
Also mit BIOS Modding allgemein.

 

[v3nom]

Was spräche denn gegen einen der passenden Noctua Kühlern neu zu kaufen? Der mit 120er Lüfter sollte doch ausreichen.

 

[Gohst_oc]

Gegen den Kauf der passenden Noctua spricht, dass sie zu schwach sind.
Beim stärken, dem NH-U12DX I4 empfiehlt Noctua eine TDP (NSPR nennen die das ja) von 129.
Die CPU hat 135W und wird unter starker Last ordentlich was ziehen können.

Ich gehe davon aus, dass z.B der NH-C14S trotz etwas tieferem Rating etwas performanter ist - zumindest in meinem Szenario.

Die Lautstärke spielt auch eine Rolle - der Server steht halt direkt im Büro.
Am liebsten würde ich den grössten Luftkühler drauf schnallen den ich finde und genug Höhe über dem RAM hat. Ins Gehäuse von Kolink passen Kühler bis 165mm Höhe.
Halterungen kann ich bei bedarf selber basteln - für Sockel 20xx Narrow-ILM Mount gibt es sowieso kaum vernünftige Kühler.

 

[Tzk]

Den NH-C14S scheint man allerdings nicht drehen zu können. Die Heatpipes kommen dann einem der Ramslots in die Quere, wenn ich das richtig sehe. Bei Towerkühlern das gleiche Spiel, dort dürfte der Lüfter parallel zur Rückwand stehen und damit auch wieder die Heatpipes seitlich in Richtung der Rams rauskommen. Einfach weil die Mounting Brackets in den meisten Fällen auf der kurzen Seite des Sockels sitzen sollten.

 

[Fabian2602]

be quiet! Dark Rock TF 2 ab € 85,88 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für be quiet! Dark Rock TF 2 ✔ Bewertungen ✔ Produktinfo ⇒ Bauart: Top-Blow-Kühler • Abmessungen mit Lüfter: 163x134x140mm (BxHxT) • Abmessungen ohne Lüfter: 163x10… ✔ CPU-Kühler ✔ Testberichte ✔ Günstig kaufen

geizhals.de

ist mit 230w tdp spezifiziert. oder passt der nicht?

 

[Gohst_oc]

Bin auch schon mal über den Dark Rock TF gestolpert, allerdings ist er schon am "Sockel" mit 98mm zu breit.
Schade weil der hätte mir sehr gut gepasst.

 

[v3nom]

Gegen den Kauf der passenden Noctua spricht, dass sie zu schwach sind.
Beim stärken, dem NH-U12DX I4 empfiehlt Noctua eine TDP (NSPR nennen die das ja) von 129.
Die CPU hat 135W und wird unter starker Last ordentlich was ziehen können.

Halt 2 stärkere Lüfter die auch höher als 1500rpm drehen draufsetzen...

 

[Gohst_oc]

Das wäre auch eine Option. Hätte sogar ein paar Noctua NF-F12 industrialPPC Lüfter rumliegen - die pusten bei Bedarf @3000RPM.
Allerdings sind die Lüftersteuerungen bei den Server Boards fast immer ziemlich "basic" (=unbrauchbar). Somit muss auf etwas externes, steuerbares zurückgegriffen werden.

Der Server selber wird kein Windows Betriebssystem haben, also eine schlaue Lüfter-Steuerung mit einem Aquaero oder ähnlich wird nicht einfach so möglich sein (ausser vielleicht mit Hardware-Temp. Sensoren).

 

[Supaman]

Noctua NH-U9DX i4 untestützt explizit ILM und Narrow ILM für 2011-3, habe ich selbst mehrfach verbaut.

Alternativ: passiven Kühler draufsetzen und selbst für genug Airflow sorgen.

 

[Gohst_oc]

Habe ein bisschen gezeichnet, ich möchte ja möglichst viel Kühler auf das sehr spezielle Board bringen...
Gut gibt's vom Scythe Mugen 5 CAD Files.

Es ist zwar EXTREM Eng, aber er würde passen. Müsste halt noch eine Halterung gebastelt werden - was aber keine riiiiesige Sache wäre.

Alternativ ist mein Favorit ganz klar der Noctua NH-U12DX i4.
Der ist auch extra für 2011 Narrow ILM und etwas stärker als z.B der NH-U9DX i4.

Wahrscheinlich ist es vernünftig erst mal den Noctua zu ordern und ordentlich zu testen.
Ich will auch bei 30°C Zimmertemperatur noch ne CPU unter 80°C sehen...

Beitrag automatisch zusammengeführt: 01.02.2022

Ein Cryorig H7 würde ohne weiteres passe (der Lüfter müsste ~1.5cm nach oben geschoben werden)

 

[Stefan 0815]

WaKü und im besonderen eine AiO würde ich mir nicht in den Server packen.

Wieso nicht? Die seit fast 15 Jahren bewehrten Asetek Kühler finden sich sogar in vielen Workstations wieder anstatt, dass dort größere Towerkühler verwendet werden.

 

[v3nom]

Dann Server Wake Zeug kaufen. Die Consumer AiOs können auch gerne mal ausfallen.

 

[Gohst_oc]

Ich möchte lieber keine Wasserkühlung wegen Verschleiss und möglichem Wartungsaufwand.
Eine AiO ist zwar Wartungsfrei, kann mir aber kaum vorstellen dass die 3-5 Jahre Dauerbetrieb durchhalten.

Zudem würde eine defekte Pumpe mehr Wartung bedeuten (ganze AiO ersetzen) als defekte Lüfter tauschen.

-> Was mich als driftigste Frage kümmert, wie viel Kühlung braucht denn die Xeon CPU. Ich denke, ich starte mit dem Cryorig (ne Halterung ist schnell gebastelt) und sammle Erfahrung bez. notwendiger Kühlleistung.

 

[deveth0]

Hast du den Rechner denn noch zusammengebaut? Dann mess doch mal über einen längeren Zeitraum den Stromverbrauch inkl Peaks, dann weißt du schonmal, was die ganze Kiste frisst.
Da du keine Festplatten verbaut hast, solltest du auch ein recht konstantes Grundrauschen haben und die Peaks sind dann wirklich fast nur noch CPU. Damit kannst du dann abschätzen, was du an Wärme loswerden musst.

Bei dem von dir gewählten Case musste du auch mal schauen, ob der Lüfter hinten die Wärme dann auch aus dem Case bekommt, vom Aufbau her würde ich da auf jedenfall einen Tower nehmen, der nach hinten bläst und keinen Blower, sonst wirst du da die Wärme wahrscheinlich nicht los.

Brauchst du alle 4 RAM Slots? Sonst wäre es ja auch ne Idee, einfach die inneren leer zu lassen und zB sowas hier zu verbauen: https://noctua.at/en/products/cpu-cooler-retail/nh-u9s/specification


Zur Regelung: du könntest dir eine Windows VM aufsetzen und eine Quadro verbauen, so habe ich das bei meinem kleinen ITX Server auch gemacht, einmal eingestellt funktioniert die Quadro dann ja auch ohne die VM.

 

[Tzk]

Dann Server Wake Zeug kaufen. Die Consumer AiOs können auch gerne mal ausfallen.

This. Gerade die Pumpen sind weder für Dauerbetrieb ausgelegt, noch machen die das Jahre am Stück mit. Am ehesten würde ich sowas noch einer Eheim zutrauen, aber definitiv nicht den AiO Teilen. Luftkühlung ist einfach bei weitem am zuverlässigsten.

 

[deveth0]

War schon Mora? Immerhin sind wir hier im luxx...

Luftkühler hat halt auch den Vorteil, dass wenn der Lüfter ausfällt, trotzdem noch gut Wärme abtransportiert wird, bei net AiO / Wakü passiert da nicht viel.

 

[Stefan 0815]

Also ich habe bisher Erfahrung mit den V1 und V2 "High End" CPUs gehabt. Also 2689 (2690) und 2697v2. Beide CPUs sind klar TDP limitiert. Das sieht mir bei deiner 2698v4 nicht viel anders aus, weil der Unterschied zwischen Base Clock und Turbo schon immens ist. Ich würde daher vermuten, dass du auch der Auslastung von 75% der Kerne auf die 135w bekommst. Mit den "teuren" CPUs bekommst du quasi bei jedem Workload optimale Leistung.

Mir stellt sich eher die Frage, wie hast du vor den Server (dauerhaft) auszulasten ?

Ich hatte lange Zeit eine Dual 2011 Workstation mit Tower Kühlern (115W TDP pro CPU). Das Problem war hier gar nicht mal die CPU Temperatur sondern die Temperaturen des Arbeitspeichers und der VRM's
Die sind leider bei Workstation Boards, erst recht bei so einem Zwerg wie deinem, für weitaus mehr Airflow gedacht, als du sie mit lahmen 12er Lüftern (aus der Ferne) weg bekommst.
Das Tückische an den VRMs ist, dass die Verlustleistung mit der Temperatur stark ansteigt. Nehmen wir mal an du hast dann noch um die 95% oder sogar weniger Wirkungsgrad. Dann sind noch immerhin 7-8W abzuführen. Das auf dieser extrem kleinen Kühlfläche. In deinem Foto oben wurde der VRM Kühler gar nicht durch den CPU Kühler angeströmt.
Und auch ein sehr großer Kühler würde vermutlich erst den Lüfter hochregeln, wenn der VRM schon am "glühen" ist.

Du musst dir mal ansehen, wie die Systeme aussehen, in denen das Board eigentlich verbaut wird. Da werden normalerweise kleine 4cm Turbinen mit jeweils 10W Lüfterleistung verbaut.
Der CPU Kühler ist dann meist von der Fläche her etwas großer als der CPU Sockel. Nicht selten haben die VRMs dann sogar als erstes "frische" Kühlluft. Das geht, weil ja wie in der Rechnung oben, die CPU "nur" die 20fache Verlustleistung des VRM besitzt und alles durch Airflow erschlagen wird.

Für die CPU sind hohe Temperaturen sowieso kein großes Problem und im professionellem Umfeld wird nicht selten die Maximaltemperatur sogar kurzzeitig erreicht. Andererseits ist es so, dass dir die VRMs auf dauer zerbruzzeln und das PCB oder sich schädigen.

Nochmal zurück zu den Wasserkühlungen.

Was HP und Dell in Workstations bauen, wird auch 3 Jahre Dauerbetrieb schaffen. Ich habe bei mir zwei Asetek Core 2 Duo Kühler die immer noch bestens (inzwischen auf Ryzen laufen) Gut, ist nun keine Statistik!
Aus meiner Sicht sind es eher die AIOs die lange durchhalten im Vergleich zu Costom loops mit teuren Spezialteilen. Das so eine Pumpe kein Dauerbetrieb können soll, wäre mir jetzt auch neu.
Beispiel Z420 Kühler
Beispiel Z820 Worstation HP
Für einen Lüftertausch muss meiner Meinung nach auch bei einem Towerkühler dieser abgebaut werden, weil man hier viel zu schnell mit großem Hebel an dem Kühler "rummurkst". Hinzu kommt, das ab und an das Ganze Board mit Kühler raus muss, weil die Montage nicht immer im jeweiligen Gehäuse gut klappt.

Eine AIO bringt den Vorteil, dass sie wesentlich effizienter bei gleicher Fläche ist.

Ich hab in ein ITX System eine Fury X unter bekommen, das System hatte nur 1x 12cm Austritt aus dem 55Grad heiße Luft bei 400W Verlustleistung kam. Die Kerntemperatur der GPU war gerademal auf 65°C. Denn obwohl die Kühlfläche kleiner ist, als bei einem Towerkühler, ist der thermische Widerstand viel geringer und deshalb lassen sich selbst bei niedrigem Luftstrom und hohen Außentemperaturen gute Kühlleistungen erreichen. Man spart unglaublich an Volumen.

Ich weiß, der Arbeitsspeicher ist schon da, aber einen 20Kerner mit der Speicherbandbreite eines typischen 2 Kerners aus der Zeit zu verheiraten, ist in den meisten Fällen eigentlich nicht so prickelnd. Vielleicht findest du ja nochmal günstig 2x8GB Riegel (Mischbestückung ist immer noch viel besser, als die Plätze frei zu lassen).
Die Slots mit dem Kühler zu blockieren käme mir da gar nicht infrage, denn dann kann die CPU ja nur dann gut rechnen wenn alles im Cache bleibt. Das wäre doch schon etwas realitätsfremd. So wie du dich mit CAD reinhängst (find ich extrem cool!) geht es dir ja auch darum, das Optimum rauszuholen.

--->

Ja, ich würde wenn möglich auch einen Towerkühler der AIO vorziehen wenn im System jede Menge Platz herrscht und wenn ich ein Consumerboard mit für OC ausgelegtem VRM hätte.
Aber in der Kombination kompakt +Server Mainboard, würde ich das Risiko eingehen und eine AIO in Betracht ziehen um dann genügend Freiheitsgerade zu haben den VRM direkt zu kühlen.
Das muss auch gar nicht laut sein, wichtig ist nur, dass unmittelbar am Kühlkörper des VRMs der Luftstrom und auch etwas "druck" vorhanden ist. Lass es auch nur einen Notebooklüfter sein.
Also erstmal beim VRM anfangen und dann mit der CPU weitermachen.

--->

Fotos im Anhang 400W Verlustleistung in ITX

 

[Gohst_oc]

Ich habe RAM & Motherboard zu einem sehr (sehr sehr) guten Kurs bekommen. Darum ist es so wie es ist
Später sollen auf jeden Fall noch mal 32GB dazu kommen. Eigentlich lieber sogar 4x 32 GB Module. Aber die haben noch ihren Preis - und vielleicht brauche ich ja nicht mal mehr wie 64GB.
Die meisten VM's sind Linux Kisten mit tiefen Anforderungen

Der Plan

Es soll ein Proxmox (oder unRaid weils geil ist) Server werden mit folgenden VMs:

• pfsense Firewall oder gleich Sophos UTM (kenne beides gut). Wichtig ist VPN bzw. Wireguard
  
  
• NAS mit freenas oder OMV (kommen noch 4x Samsung PM863 1.92TB SATA SSD aus dem nie gebauten NAS)
  Hier hätte ich wohl im Kolink Gehäuse sogar Mühe die unterzubringen...
  
  
• 2-3 nginx Server für diverse Webapps (ev. sogar nur als Docker Container)
  Das wären sicher: Teampass, TandoorRecipes, ev. 1-2 WordPress Instanzen, weitere Java Spring basierte Eigenentwicklungen
  
  
• Nextcloud Server
• Windows 10 oder Server 2019 VM
• ev. Domain Controller (Windows Server 2019)

Zum Einwand wegen der VRM Kühlung:

Hatte bisher unter anderem einen Server mit Supermicro X9DR3-F und 2x Xeon E5 2650v2 in einem 19-Zoll Gehäuse mit Custom-Loop Wakü (externer MoRa2 Radiator).
Aber der war nicht für 24/7 Betrieb. Das würde ich nicht mal einer guten Pumpe wie der Laing DDC zutrauen!

Bild: die VRM der CPU #2 haben nicht mal einen Kühlkörper an den VRM!

Zur Gehäusekühlung waren "nur" zwei der Noctua NF-F12 industrialPPC im Einsatz. Habe die mit einem Aquaero leise gedreht (ca. 1200 RPM).
Die VRM Temperaturen waren kein Problem. Auch im Sommer unter Volllast nicht.

Ebenfalls habe ich den Server in der Signatur (mit den E5 2450v2) im teilweise-dauerbetrieb.
Der ist in einem gewöhnlichen Coolermaster Cosmos S mit einem Frontlüfter + einem 140mm Lüfter vor den VRMs.

Auch hier, wenn man ihn eine oder zwei Woche unter Volllast Chia Plotten liess (100% CPU & Storage Last) im Sommer bei ~30°C Zimmertemperatur kein Problem.


Das Home Lab musste weg weil: Zu gross, zu laut, viel zu viel Stromverbrauch und Home Office neben dran sitzend = Mist.
Also soll das neue Home Lab "sparsam", leise und kompakt sein.
Alles mit 19" fällt sicher weg. Ich habe kein Rack mehr (waren zuvor einfach gestapelte Ikea Lack Tische "poor man's rack" )

Und bei der Gehäusegrösse ist schlicht bei einem Fractal Define Nano S Schluss. Das würde mir auch noch zusagen.
Alles was darüber ist, bringe ich nicht sinnvoll in der vorhandene Möblierung unter. Kommt noch ein Netgear MS510TXPP "Mutli-Gigabit" Switch dazu.

Custom Loop / AiO

Ich möchte einfach absoluten 24/7 Betrieb ohne Probleme. Mit AiO Kühler habe ich eher schlechte Erfahrungen (Corsair H80i v2).
Einer Custom Loop traue ich das schon eher zu, mit neuer Eheim (bzw. Aquastream) Pumpe sicher machbar. Aber ganz ehrlich, das sind wieder Unkosten für eine Sache die ich nicht gross bemerken dürfte.

Zur Not kann ich auch diverse kleine (leise) Lüfter über den VRM anbringen. Dann kann ich den 3D Drucker noch ein bisschen beanspruchen um Halterungen zu drucken.


Diverse Spinnereien

Ich strebe schon ein bisschen nach Perfektion. Ich habe sehr lange nach solcher Hardware gesucht - in den Gedanken sicher schon 1 Jahr.
Der Server soll auch sicher noch einige Jahre seine Dienste verrichten. Allerdings bin ich derzeit budgetmässig sehr vorsichtig.
Wenn ich bedenke wie viel Geld da die letzten Jahre geflossen ist. Und wie gestört die aktuellen Marktpreise gerade sind.

Alleine im 2021 flossen mal eben 2000.- in Storage (SSD, HDD).

Zudem reduziere ich das Home Lab von total 32 Cores und 256GB Ram auf 20 Cores und niedlichen 32 GB Ram (es sollen bald möglichst 64 oder 128GB werden).

Eigentlich brauche ich bei weitem nicht so viel - Grössenwahn?
Aber ich kenne mich einfach zu gut, plötzlich kommen noch x-viele VM's dazu wenn ich wieder angefixt bin Dinge auszuprobieren die ich auf der Arbeit nicht machen kann/darf.

 

[Stefan 0815]

Sehr schöner Wakü Server !
Der Unterschied ist aber, dass die 2650er CPU eben nur 95W TDP hat, der Sockel aber bis 130W geht. Vermute aber die CPUs landen sowieso nicht ganz bei den 95W.
Außerdem hast du ja die ganze andere Wärme durch die Wakü raus bekommen und die Verlustleistung der VRMs wird da noch wesentlich niedriger sein.

Durch deine Antwort wird mir aber schon klar, dass du den Durchblick hast (weißt du wenn jemand hier schreibt weiß man ja leider nie wer auf der anderen Seite sitzt und wie viel Ahnung er hat ;-)

Zur Not kann ich auch diverse kleine (leise) Lüfter über den VRM anbringen. Dann kann ich den 3D Drucker noch ein bisschen beanspruchen um Halterungen zu drucken

Beneide dich um die Möglichkeit! Wird auch mal Zeit bei mir.

Ich möchte einfach absoluten 24/7 Betrieb ohne Probleme. Mit AiO Kühler habe ich eher schlechte Erfahrungen (Corsair H80i v2).

Tja das ist ein Asetek Design. Wenn du da schlechte Erfahrungen gemacht hast, dann würde das für mich auch wegfallen.

 

[konfetti]

nach dem Bios-Update debakel meiner Z420 hab ich die dann zerlegt und mir ein anderes System aufgebaut - die AiO hab ich da zerlegt und werd Sie in einem andere build verwenden - die Z420 hatte davor rund 3 Jahre Dauerlauf auf dem Buckel - bei mir natürlich nicht, aber selbst das war kein Problem. - Da ja das Tachosignal überwacht wird, sehe ich das eher pragmatisch - klar bei nem größeren Kühler hätte man noch die Gehäuselüfter...