[Kaufberatung] Performanter Multifunktionshomeserver - Netzteil, SSD und Wasserkühlung?

chicken

Enthusiast
Thread Starter
Mitglied seit
06.02.2003
Beiträge
277
Guten Morgen,

ich möchte mir einen neuen Homeserver aufbauen. Drauf laufen soll später ESXi und darin ein TrueNas, nach Bedarf zeitweise mehrere Windows-VMs, Dockerumgebung und eine Backupinstanz für die physische *sense-Firewall.

Die aktuelle Konfig ist hier im Geizhals-Warenkorb zu finden: https://geizhals.de/?cat=WL-1798985

In diesem Zug möchte ich dann auch gleich mein Netzwerk auf 10Gbit umstellen. Dabei möchte ich auf die Nutzung eines 10Gbit-Switches verzichten und die virtuellen Konfigurationsmöglichkeiten vom ESXi bzw. die Routingfähigkeiten der *sense nutzen. Das mache ich deshalb so, weil 10GBase-T-Switche aktuell noch zu teuer sind und 10Gbase-T zudem ziemlich stromhungrig ist (zwischen 2-5Watt auf jeder Seite des Kabels je nach Leitungslänge). LWL geht in der Wohnung hier aktuelle nicht, weil nur Cat7 in den Wänden liegt. Das heißt, ich werde alle anderen Hosts direkt an die NICs vom Server anklemmen. Am Anfang werden die vier Onboardnics (2x 10/5/2,5/1Gbit, 2x 1Gb) vom Mainboard ausreichen, weil ich die ganzen Endgeräte im Netzwerk nicht sofort auf 10Gbit umstellen kann/will. Sobald mehr als zwei 10Gbit-Hosts im Netz sind, werde ich eine Intel X710-T4L 4x 10GBase-T nachrüsten.

Als Mainboard soll das ASRock Rack X570D4U-2L2T Verwendung finden. In dem Formfaktor scheint es für diesen Anwendungsfall die eierlegende Wollmilchsau zu sein.

Ursprünglich hatte ich gehofft, gleich einen Zen3 einbauen zu können, aber da ist gerade jetzt so kurz nach dem Launch die Verfügbarkeit noch recht bescheiden. Deshalb kommt erstmal ein Ryzen 7 4750G rein, für den ich später anderweitig Verwendung habe. Zen 3 ist dann für später angedacht, wenn sich Verfügbarkeit und Preis normalisiert haben.

Als Arbeitsspeicher kommen 32GB-Speicherriegel mit insgesamt 128GB als Registered ECC-Variante rein.

Als Gehäuse soll ein SilverStone Case Storage CS381 herhalten. Ich weiß nicht ob es bessere oder schlechte Gehäuse für meinen Anwendungsfall gibt, aber es erscheint mir schön kompakt und praktisch genug zu sein.

Festplatten sind aktuell keine neuen vorgesehen. Ich habe hier aktuell noch jeweils 2x WD Reds mit 6, 8 und 10TB, die hoffentlich ausreichen und überwiegend als Datenhalde herhalten müssen.



Für die Gesamtkonfig würde ich mich über Anregungen oder Verbesserungsvorschläge freuen, aber wobei ich definitiv noch Kaufberatung benötige ist beim Netzteil, SSD und der Kühlung.

Als Netzteil habe ich aktuell ein be quiet! SFX-L Power 600W SFX12V-L 3.3 im Warenkorb. Mit Sicht auf den späteren Zen 3 (Ryzen 7 oder Ryzen 9) bin ich mir nicht sicher, ob die Dimensionierung passt und ob das Netzteilmodell taugt. Bisher bin ich immer gut mit be quiet! gefahren. Was meint ihr?

Das Mainboard hat zwei M.2/M-Key PCIe 4.0 x4-Slots. Auf den SSDs sehe ich den ESXi und die Gastsysteme. Zu Beginn sollten eine SSD mit 2TB ausreichend sein. Nur welche? In meiner Workstation steckt ne Corsair P600 mit 2TB, aber sollte es in diesem System auch was in die Richtung sein?

Für den 4750G dürfte ein Noctua NH-L9a-AM4 sicher ausreichen, aber wenn später ein Zen 3 einzieht, reicht das nicht mehr. Daher spiele ich gleich von Anfang an mit dem Gedanke, eine Wasserkühlung einzubauen. Dabei darf wegen dem Gehäuse der CPU-Kühler max 59mm hoch sein und der Radiator darf maximal 2x 120mm sein. Ich bin aktuell bei der Kraken X53 oder Eisbär LT240 als AIO hängen geblieben. Ich hätte aber auch keinen Schmerz damit selbst was zusammen zu bauen. Nur fehlt mir dafür die Erfahrung.

Der Server wird später im Büro stehen, daher spielt die Lautstärke der Pumpe und der Lüfter sowie des Netzteils definitiv eine Rolle. Was könnt ihr empfehlen?

Danke für eure Hilfe.
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Hi

Ich hatte jahrelang eine AiO in meinem X79 Server. Da ich mit ESXi und dem Consumerboard die CPU Temparatur nicht direkt auslesen konnte, bin ich dann auf Luft gewechselt. Die AiO hatte ich aus Neugier mal aufgeschnitten, die war so ziehmlich trocken, bisschen Schleim ist da noch raus getropft. Jetzt mit dem C612 Board kann ich die Temparatur Sensoren auslesen, aber fühle mich mit Luft trotzdem etwas sicherer. Ich schau auch selten mal auf die Sensoren, welche man unter ESXi und dem IPMI auslesen könnte.

Jetzt kühlt ein Macho HR-02, hält die E5 v4 CPU schön kühl, obwohl die dauernd unter (Teil-) Last steht. Einziger Nachteil, ich kann die RAM Riegel nicht mehr ausbauen, ohne den Kühler zu entfernen. Ist halt ein riesen Brocken. Aber ich würde das Gehäuse eher nach den Komponenten festlegen statt umgekehrt. Für die PCIe Karten würde ich noch zusätzlich einen Lüfter rein machen, gerade auch bei Deiner Quad NIC.

Meiner Meinung nach gehört eine AiO, wenn überhaupt, in ein Desktopsystem. Ich helfe dem Kumpel gerade einen Epyc Server aufzubauen. Er will ihn komplett unter Wasser setzen, allerdings mit einer Custom WK. Meine Empfehlung war das ganz sicher nicht, aber müsst Ihr schlussendlich selber wissen.

Soll das TrueNAS auch VMs per NFS beherbergen, oder dient das nur als Datengrab? Willst Du auf ZFS gehen? Ich bin von FreeNAS auf NAS4free und schliesslich auf napp-it gewechselt, weil das mit NFS und SMB am geeignetsten ist. Nutzen die meisten hier aus dem Luxx, welche einen AiO ESXi Server haben. Meist wird mit einem durchgereichten HBA im IT Mode gearbeitet. Bei Deinem X570 Board hast Du halt nur begrenzte I/O Möglichkeiten, das war bei meinem Kumpel auch der Grund, auf Epyc zu gehen.

Bezüglich VM Datastore SSD würde ich mal hier rein schauen. Auf keinen Fall eine Consumer SSD nehmen!


Für den ESXi reicht auch ein USB Stick oder eine kleine Consumer SSD. Ich würde vSphere nicht auf den selben Datenträger wie die VMs nehmen. Allenfalls den Filer kann man noch drauf machen. Ich habe für ESXi und Filer zwei kleine separate SSD, und die VMs liegen per NFS auf napp-it an einem durchgereichten HBA. Falls ich ESXi einmal neu aufsetzen müsste, kann ich gar nicht auf die Idee kommen, irgend etwas zu überschreiben. So zumindest der Plan.

Speicher: das Board kann kein RDIMM. Du brauchst UDIMM. Die Memory QVL sagt folgende Riegel gehen:


Ob Du 128GB brauchst, musst Du selber wissen. Mit 64GB kommt man schon recht weit. Schaden tut es sicher nicht. Im Mainserver habe ich auch 128GB, aber ist auch unglaublich, was da alles so drauf tuckert.

Bei Deinen Mini SAS/SATA Kabeln bin ich mir nicht ganz sicher, aber ich würde meinen, die kannst Du bei Deinem Bord nirgends einstecken. Hast Du einen HBA?

Zum Thema Netzwerk, das Board hat die selben NICs. Da bin ich auch noch nicht sicher, ob die NICs mit ESXi 7.0 gehen. Kann ich Dir wohl bald mal sagen dann.


 
Zuletzt bearbeitet:
Danke für deine Hilfe. Ich hab mittlerweile die Sachen im Warenkorb bestellt.

Ich bin mittlerweile auch erstmal von der AIO-Wakü abgekommen. Da die 5000er Ryzen nicht verfügbar sind, hab ich jetzt erstmal einen 4750G PRO mit 65W TDP genommen und nen flachen Noctua, der in das Gehäuse passt. Wenn später ein performanterer Ryzen einzug hält, werde ich mir das Thema Wakü nochmal ansehen. Wenn es eine AIO wird, dann eine, die aus Komponenten mit Standardanschlüssen besteht, damit man ggf. Ausgleichsbehälter nachrüsten kann. Für entsprechend Gehäusedurchzug werde ich so oder so sorgen müssen, immerhin hat der x570 auf dem Bord nur nen Passivkühler.

Das TrueNAS soll als Datengrab und Fileserver für die Netzwerkclients herhalten. Es kann theoretisch auch eine andere Lösung her und muss nicht TrueNAS sein. Ich weiß noch nicht, ob ich dem NAS-System dann direkt die Platten zur Verfügung stelle oder die Platten über ESXi verwalte und dann dem NAS-System nur virtuelle Platten zuweise. Die einzige Anforderung ist aktuell nur, dass die Daten verschlüsselt abgelegt werden sollen, was TrueNAS mit ZFS ja mittlerweile nativ kann. Was genau meinst du in diesem Punkt mit begrenzten I/O-Möglichkeiten?


Es wird kein extra HBA zur Anwendung kommen. Alle Festplatten werden über SATA an die onboard-Anschlüsse angeschlossen. Das Gehäuse hat für je 4 Platten eine Backplane, die dann über ein Spezialkabel (Device SFF 8643 <-> Host 4x SATA) angeschlossen werden. Das aufgeführte Kabel ist im Handbuch vom Gehäuse genannt. Theoretisch kann damit auch SAS mit 12Gbit angeschlossen werden - nur fehlen mir dafür die Platten. ;-)

Dein Link zu den SSDs lese ich mir mal durch. Danke! Von der Überlegung, dem ESXi ne eigene Platte zu gönnen bin ich mittlerweile auch weg. Der bekommt nen USB-Stick.

Wo hast du das mit den RDIMMs gelesen? Ich hatte gesucht, aber keine explizite Aussage gefunden, dass es nicht geht. UDIMM und ECC geht auf jeden Fall. Die ECC RDIMMs sind jetzt im Zulauf. Mal sehen was geht... Zur Not nochmal UDIMM bestellen. Die Kompatibilitätslisten der Hersteller sind ja auch nie ganz vollständig und bleiben meist auf dem ursprünglichen Stand stehen.*

Das Board kann über BIOS Ramdisks konfigurieren. Daher werde ich mit den 128GB Ram sicher was anfangen können.

Ob ESXi 7 schon Treiber für x550 hat weiß ich auch noch nicht. Ich bin mal vorsichtig optimistisch. :-)


* EDIT: OK; Im Hardwareluxx-Testbericht steht, dass RDIMMs nicht passen:
Es ist natürlich generell der Plattform geschuldet, dass keine DDR4-(L)RDIMMs eingesetzt werden können, sodass es bei DDR4-UDIMM und DDR4-UDIMM-ECC bleibt.

Nach etwas Recherche ist dann auch klar, dass nur EPYC-CPUs RDIMM unterstützen. AM4 und TR4 Threadripper unterstützten nur UDIMM. ECC können aber alle.
 
Zuletzt bearbeitet:
Für ZFS solltest Du die Platten direkt dem Filer übergeben. Das geht entweder per durchgereichtem HBA oder per RDM. Die meisten nutzen einen HBA. Es gibt auch 3th party onboard Controller die man durchreichen kann, das habe ich bislang aber nur bei Intel Plattformen gesehen, bzw. bei einigen Supermicro Boards geht das. ZFS auf virtuellen Disks, die vom ESXi verwaltet werden, sollte man nicht machen. Vielleicht sagt @gea noch dazu, warum genau.

Deine SAS/SATA Peitsche benötigt einen mini SAS Anschluss auf der Zuspieler Seite, sprich du brauchst einen SAS HBA, wenn Du das Kabel verwenden willst. Glaub ich zumindest, bin mir da aber zu 90% sicher. Schau nochmals in das Handbuch vom Gehäuse, da musst Du ja die SATA Stecker bei der Backplane einstecken...

Drum sage ich ja, HBA wäre da angesagt. Womit wir bei der knappen I/O von der Plattform sind. Quad NIC, HBA, NVMe/M.2, Chipsatz, onboard Festplattencontroller. Da wird es dann schnell knapp mit den Lanes von der CPU, da kann man nicht alles einfach beliebig anschliessen, auch wenn da physisch genügend Stecker am Board vorhanden sind.

Wenn Du die VMs direkt am Blech betreibst, sprich die nicht per NFS vom Filer kommen, kannst Du die ohne vSphere Lizenz halt nicht gescheit sichern. Man kann die Gäste zwar per WinSCP runter koperen, aber das ist in der Bandbreite begrenzt und daher schnarchlangsam. Mit Lizenz könntest Du dann schneller kopieren, und gewisse APIs die Backupsoftware benötigt werden dann freigeschaltet. Das ist eben der Grund, wieso die meisten hier einen AiO mit napp-it (vSAN) haben, und die Gäste dann auf dem ZFS Storage liegen. Das bringt Dir diverse Vorteile. z.B. kannst Du dann die Gäste direkt am Storage kopieren/sichern, Snaps machen und sowas.
 
Zugegeben, das mit den Kabelpeitschen ist ziemlich unübersichtlich. Mein Gehäuse hat auf jeden Fall zwei Festplattenbackplates für jeweils vier SATA/SAS-Laufwerk. Und jede Backplate hat einen SFF 8643-Anschluss. Bei der Konstellation SFF 8643 und 4x SATA gibts dann folgende Peitschentypen:
Entweder ist die auf der Mainboard bzw. HBA-Seite ein einzelner SFF 8643-Anschluss und man steckt die vier Enden auf der anderen Seite dann jeweils in ein einzelnes SAS/SATA-Laufwerk (SST-CPS05 / 40140) ODER die Peitsche hat auf der Mainboardseite vier Controllerübliche SATA-Stecker und auf der Laufwerksseite einen SFF 8643-Stecker für die Backplane vom Laufwerksschacht (SST-CPS05-RE / 40152)

Mein Gehäuse hat letzteres und das Mainboard entsprechend acht SATA-Ports onboard. Ich musste bei der Auswahl des richtigen Kabels auch zweimal hingucken, dass ich nicht ausversehen das falsche kaufe. Das RE ist aber im Handbuch aufgeführt.


Das direkte Durchreichen an die Gastsysteme war eine der Fragen, die ich für AMD erstmal recherchieren musste. Bei Intel ist das ziemlich granular, da gibts gibts VT-x, VT-i, VT-d, VT-c. Diese Bezeichnungen werden in der Intel-Welt gerne und zuverlässig genutzt und man weiß dann auch gleich, welche Funktionen unterstützt werden.

Bei AMD gibts seit 2006 AMD-V und seit 2011 AMD-Vi (IOMMU). Während AMD-V oft als Merkmal bei CPUs aufgeführt wird, scheint AMD-Vi als eigenes Feature nicht mehr so selbstverständlich aufgeführt zu werden. Vielmehr scheint AMD-Vi in AMD-V aufgegangen zu sein und sobald AMD-V dran steht, scheint auch AMD-Vi drin zu sein. Auf jeden Fall scheint es dahingehend keine Nachteile zu geben - AMD kann Virtualisierung wohl zumindest auf dem Papier genauso gut wie Intel. Da der x570 IOMMU beherrscht, gehe ich mal davon aus, dass es kein Problem sein dürfte, die SATA-Platten den VMs ohne Leistungsversluste direkt über RDM zur Verfügung zu stellen. Ein extra HBA der über PCIe angebunden und dann der VM zur Verfügung gestellt wird dürfte daher überflüssig sein.



Ich glaube auch das I/O-Problem dürfte erstmal keines sein (siehe Handbuch zum Mainboard, Seite 14)
An der CPU direkt hängt:
- die Haupt-SSD im M.2-Format über PCIe4.0 x4
- Später dann noch die 4x 10GBase-T-Karte mit PCIe3.0 x4

Alles andere ist onboard direkt am x570:
- 2x 10GBase-T über PCIe2.0 x1
- 2x 1Gbase-T über PCIe2.0 x1
- 8x SATA6 (=Theoretisch 48Gbit/s in Summe - das Schaffen die Platten aber gar nicht. Wahrscheinlich wäre 8x 2Gbit schon übertrieben mit WD Reds)
- evtl. zweite M.2SSD über PCIe4.0 x4
- alle USB-Anschlüsse (die nicht wirklich benutzt werden sollen)

Der x570 ist mit PCIe4.0 x4 angebunden. Das sind in Summe 64gbit/s oder 8Gbyte/s zur CPU - Vollduplex. Ich kann mir in meinem Heimnetz keinen Wordload vorstellen, der das ausreizt. Vorausgesetzt, ich lasse die Gastsysteme alle auf der Haupt-SSD laufen. Wenn eine zweite M.2 angeschlossen wird, könnte es auch eng werden. In dem Fall müsste dann wohl tatsächlich einen 8xSATA-HBA her oder eine zweite SSD als PCIe4.0-Karte ausgeführt werden. Klar ist natürlichauch , dass das nicht unbedingt linear skaliert und es mit zunehmender Bandbreite aufgrund Latenzsteigerungen etc. träger wird.


Ich werde wahrscheinlich in eine vSphere-Lizenz investieren. Die gibts relativ günstig aus Ländern, die nicht ganz so krasse Preise haben. Ich hoffe natürlich, dass die Lizenzen nicht mit dem Keygen generiert sind, aber das lässt sich ja dann wahrscheinlich bei VMWare auf der Website herausfinden. Mit Käuferschutz sollte das dann auch nicht so das Problem sein.
 
Es gibt auch so eine Eval Lizenz von vmware, die kostet irgendwie 500 pro Jahr. Da hast Du dann alle, alle fetten Sachen dabei. Aber halt nicht komerziell. Wenns nur um den Single Host und die angesprochenen Backup Sachen geht, kostet die kleinste "echte" Lizenz einmalig auch um den Schlag rum. Das geht dann easy ohne vSAN; lizenziert würde ich wohl auch den normalen vSphere Storage nutzen, ja.

Ob Du alles angeschlossen kriegst, das wirst Du bald raus finden. Wenn Du Platten per RDM durchreichen willst, hat das auch nichts mit IOMMU zu tun. Da brauchst Du das Feature nicht für. Aber ja, Deine Hardware kann das mit IOMMU, welche Geräte genau das sind, muss man im Einzelfall testen dann. Weil am Chipsatz z.B. hängen dann halt zum Teil mehrere Geräte dran. Aber mach das ruhig alles ohne physikalisches durchreichen von Geräten, das hat durchaus auch Vorteile. Weil das kann man mit der AiO Lösung dann nicht mehr so einfach, eingeschaltete Gäste, eventuell mit angehängter Hardware, die einfach mal sichern. Ist alles rein virtuell mit Lizenz, das ist dann halt mehr der Pro Style. Ich bin leider zu arm dafür, hatte seit jeher nur die free Version. Durchreichen ist halt immer noch Gefrickel.

Zu RDM und Filer: ich denke da in Deinem Anwendungsfall kannst Du dann zu einem NAS System Deiner Wahl greifen, wenns nur um Datengrab geht. Zu RDM selbst kann ich nichts sagen, weil ich das nie getestet habe. Ich habe eben die VT-d Variante mit HBA und ein paar wenigen Platten. Auf dem zweiten Server hab ich gar kein Storage, ist nur ein zweiter Anwendungsserver. Vielleicht weiss sonst noch wer genaueres zu RDM und Filer.

Und ja, das mit dem Kabel kann sein. Habe noch nie was von 4 SATA zu SAS gehört, ich kenn nur das Umgekehrte. Ja, laut der Kabelbezeichnung macht das jetzt für mich Sinn so.

Du scheinst Dir da ja schon echt Gedanken dazu gemacht zu haben. Hast Du denn schon Erfahrungen mit vSphere? Hier alles nur vom hören und sagen. Bin froh, wenn bei mir alles einigermassen läuft.
 
Zuletzt bearbeitet:
Ich hatte in der Ausbildung zum Fachinformatiker mit VMWare ESX im Datacenter-Umfeld mit FC-SANs über mehreren Rechenzentren zu tun und hab damals auch mein Prüfungsprojekt mit VMWare ESX und nem neuen iSCSI-Storage gemacht. War damals irgendwas mit Version 3.x. Vor drei bis vier Jahren hatte ich das letzte Mal ein wenig Kontakt zu VMWare unter vSphere 6.x. In Kürze wechsel ich den Job, dann wirds wahrscheinlich wieder etwas mehr. Bin also nicht ganz auf dem Stand und muss mich auch wieder rein fuchsen, aber zu Hause hatte ich durchweg VMWare Workstation in Nutzung.

Bin mir also nicht sicher, ob ich nur nen ESXi haben will. vSphere mit vMotion wäre schon ganz gut. Dann wäre nicht nur das Backup-Thema einfacher, sondern das Testen von NAS-Lösungen im Live-Betrieb auch wesentlich komfortabler.


Oh und mir ist gerade aufgefallen, dass es einen extra Forenbereich für Homeserver gibt. Werde mal darum bitten, den Thread dort hin zu verschieben.
 
Auf Wunsch des TE verschoben :wink:
 
Hol Dir z.B. als Speicher bei 16GB-Modulen z.B. Samsung M391A2K43BB1-CTD (=Samsung B-Die) und setz die Dram-Spannung auf 1.35-1.37V . Laufen so mit meinem B550M Tuf + 4750G mit 3200@CL16-18-18-38-62 (1T Command Rate).

Beachte aber, dass bei einem Renoir der Chipsatz nur mit PCI3.0x4 angebunden ist. Die beiden 10Gbase ziehen bei Volllast schon ~ Bandbreite für 3.0x2 (nicht 2.0!) ab, damit verbleiben Dir etwa 1,5GByte/s Bandbreite in Situationen, wenn beide NICs vollen Durchsatz fahren. Und über diese ~1.5Gbyte/s muss dann ausser den beiden großen Slots und der CPU M.2 >alles< drüber.

Will sagen: ein 4750G ist zwar schön sparsam (ich mag ihn auf meinem B550M :-) ) , aber dessen Chipsatzanbindung kann hier sehr schnell zum Engpass für I/O werden. Ist also eher was für ein X570D4U-Workstation setup.
Um ein X570D4U-2L2T wirklich gut auszunutzen, will man eine 3000er oder 5000er CPU. Ich würde hier einen 3600er nehmen und dann auf 5900, sobald die verfügbar und bezahlbar sind.
 
Zuletzt bearbeitet:
16GB-Module sind mir zu wenig. Hab nun schon die Bestellung geändert auf 4x 32GB Kingston Server Premier, DDR4-3200 DIMM, CL22, Single, ECC (KSM32ED8/32ME). Ich wollte bei diesem Projekt auf Hardware die außerhalb der Spec läuft verzichten. :-)

Ja, der 4750G hat nur PCIe3.0 und ist nur die Überganslösung bis ZEN3 verfügbar ist.
 
Dabei möchte ich auf die Nutzung eines 10Gbit-Switches verzichten und die virtuellen Konfigurationsmöglichkeiten vom ESXi bzw. die Routingfähigkeiten der *sense nutzen. Das mache ich deshalb so, weil 10GBase-T-Switche aktuell noch zu teuer sind und 10Gbase-T zudem ziemlich stromhungrig ist (zwischen 2-5Watt auf jeder Seite des Kabels je nach Leitungslänge).
Für den Preis der "Intel X710-T4L" bekommst da sehr Wohl auch schon 10GBASE-T Switche!

8x 10GBE:

4x10GBE (Plus 8x1GB):
 
Ja du hast Recht. Da gibts schon Switche die in ähnlichen Preisregionen unterwegs sind. Sie passen mir aber nicht ins Konzept, weil sie alle mit nem 40mm-Quirl ausgestattet sind. Außerdem fressen sie zusätzlich Strom und wandeln diesen in zusätzliche in Wärme um. Möcht ich nicht haben.

Zum Vergleich: Alle Switche die du aufgezählt hast sind mit ca. 39Watt spezifiziert. Die Intel Karte ist bei Nutzung aller vier Ports unter Volllast mit 14,2 Watt spezifiziert. Klar, die Switche haben noch ein paar 1GBase-T Ports. Aber dafür hab ich lüfterlose Miniswitche die schon da sind und weniger Strom verbrauchen (und wärme Produzieren).

Da die Karte auch noch einiges mehr kann (Hardwareoffload) dürfte das die CPU auch nochmal gut entlasten: https://www.intel.com/content/dam/w...roduct-briefs/ethernet-x710-t2l-t4l-brief.pdf
 
Zuletzt bearbeitet:
@chicken Du hast ein recht kompaktes Gehäuse ausgesucht, willst einen 12-Kerner, 128Gb RAM und den X570-Chipsatz reinsetzen. Das wird weder sparsam noch leise. Da noch ein 10G-4-Port-NIC reinzusetzen, um sich den Switch zu sparen, erscheint mir jetzt nicht besonders sinnvoll. Würde mich nicht wundern, wenn du sowieso noch ein Quirm brauchst, damit die Netzwerkkarte nicht überhitzt.
 
Von welchen Abwärmeleistungen gehst du denn aus?

Wenn die 10G-4-Port-NIC unter Laste mit 14 Watt elektrischer Leistung angegeben ist (was in etwa die Wärmeabfur von zwei bis drei 3,5" HDDs ist), dann wird das schon keine Hotspot. Das ist in etwa die elektrische Leistung von zwei Festplatten, also nicht der Rede Wert wenn direkt nebendran 2x120er Frischluft drauf pusten. Das Gehäuse hat 2x120er Lüfter die abziehen und 2x120er Lüfter die direkt auf die PCIe-Karten blasen. Da geht mit guten Lüftern schon ein wenig was an Durchsatz ohne gleich ordentlich Lärm zu machen. Am Anfang mit dem 4750G und 65W TDP auf jeden Fall nicht. Später mit dem nem 12-Kerner und 105W TDP geb ich dir Recht, dass das mit Luft wahrscheinlich knapp werden könnte. Dafür gibts dann die Option mit der Wasserkühlung, deren Radiator zur Not auch extern sein kann. Mal sehen, wie weit ich komme bis zur drohenden Kernschmelze. ;-)

Hier mal grob übern Daumen für den gesamte Build das TDP-Worstcase Szenario angepeilt:

8x 4Watt TDP je SATA HDD (elektrisch 8 Watt, der Einfachheit wegen thermisch mal 4Watt angenommen)
1x 11,5Watt für die SSD (elektrisch)
1x 105Watt TDP wenn ein Zen3 eingebaut wird, zum Start aber nur 65Watt
4x 13Watt je Ramriegel (elektrisch und großzügig das obere Ende der Fahnenstange für DDR4 gewählt, wobei das wahrscheinlich viel zu viel ist. Hat da jemand genauere Werte für 32GB-Riegel DDR4 3200?)
1x 11Watt TDP der x570 (offizielle AMD-Angabe)
1x 30Watt(?) die ganzen anderen Onboardchips auf dem Board wenn sie unter Volllast stehen (elektrisch)
4x 2,5Watt für jeden 120er Lüfter (elektrisch)
1x 14,2Watt 4-Port-10GBase-T-NIC (elektrisch)
Das Netzteil lass ich mal außen vor, weil es seine eigene Wärme zum Großteil selbst nach außen befördert.

Macht unterm Strich unter Volldampf ~266Watt TDP, eher weniger. Sollte doch mit 4x 120mm und dem Netzteillüfter der auch nochmal abzieht in den Griff zu bekommen sein?

Edit: Als Vergleich: Eine Nvidia 1080TI hat 250Watt TDP. Die würde man mit vier 120er Lüftern auch in Schach halten können - oder?
 
Zuletzt bearbeitet:
Also ich glaube nicht, dass die Rechnung so richtig ist.

1. Der X570 ist schon ein Hotspot, weshalb ja AMD den Lüfter empfiehlt. So hoch ist sein Verbrauch ja eigentlich nicht.

2. Die TDP der CPU entspricht nicht dem Verbrauch. Ich würde so mit ca. 100w für eine 65W-TDP-CPU rechnen und 140-150W für eine 105W-TDP-CPU. So verstehe ich zumindest die Tests.

3. Die Lüfterregelung richtet sich nach CPU oder Chipsatz. Wenn die nicht stark belastet sind, drehen die Lüfter nicht hoch. Die Netzwerkkarte kann trotzdem warm werden und zu wenig Luft bekommen.

Der Vergleich mit der GPU hinkt, weil die einen großen eigenen Kühler mit eigener Lüfterregelung hat.
 
TDP ( Thermal Design Power ) bezeichnet genau die Leistung, die das Bauteil an thermischer Energie / Wärmeverlustleistung abgibt. Wenn eine CPU z.B. 100Watt elektrische Leistung verbraucht und 65Watt TDP hat heißt das nicht mehr und nicht weniger, dass von den 100Watt ungefähr 35% der Leistung für die tatsächlichen Rechenoperationen benutzt werden und 65% reine Heizleistung ist. Darum hab ich bei jedem Bauteil von dem mir die TDP bekannt ist dazu geschrieben und bei den anderen nur den elektrischen Wert, was natürlich bedeutet, dass die Bauteile mit elektrischer Leistung sogar eine geringere Wärmeverlustleistung haben als die Wattzahl erstmal vermuten lässt.

Hier nochmal zum Nachlesen: https://de.wikipedia.org/wiki/Thermal_Design_Power

Das Board hat wahrscheinlich haufenweise Einstellungsmöglichkeiten für die Lüfterregelung im BIOS. Siehe dieses Bild im Hardwareluxx test.

Der Vergleich hinkt allenfalls deshalb, weil bei einer 1080TI die 250Watt von relativ begrenzter Fläche abgeführt werden müssen (natürlich über einen stark optimierten Kühlkörper), während in so einem Gehäuse die überschlagenen 266Watt sich auf viel größerer Fläche und mehr Bauteile verteilen. Also alles erstmal halb so wild.
 
Der Wikipedia-Artikel ist steinalt. Aber lies mal drn allerletzten Satz dort.

CPUs setzen so ziemlich den ganzen aufgenommenen Strom in Wärme um. Da werden keine 35% weggezaubert. Lies mal einen CPU-Test der letzten fünf Jahre. Im Test liegt das Delta zwischen Leerlauf und Volllast beim 5900X bei ca 160W. Auch wrnn ein Teil für die Spannungswandler draufgeht, muss alles als Wärme abgeführt werden.

Es ist machbar das mit zwei 120er Lüftern zu machen, aber das wird nicht so leise. Da muss man sich nicht noch 15W extra reinsetzen. Zumal ja schon die Onboard-NICs genug Wärme abgeben.
 
Du stellst dir das mit der Nutzung einer PCIe NIC Bridge auch etwas zu einfach vor. Das kann sehr hässliche Nebeneffekte in ESXi (oder Linux) erzeugen. Ein dedizierter Switch ist da immer vorzuziehen.
 
Ich denke, wir sollten den @TE mal basteln lassen. Die Abwärme ist jetzt nicht so kritisch. I/O ebenso kein Thema, wenn kein HBA benötigt wird. Switch statt zusätzliche quad NIC kann man ja auch mal noch machen. Versuch macht klug, da habe ich schon schlechtere Visionen gesehen.
 
Ich sagte ja auch, dass ich erstmal ohne Quad-NIC starte und bis ich über 2 Clients mit 10G komme muss man mal sehen, wie sich das mit den vswitches in ESXi verhält. Ich schließe das mit nem physischen 10G-Switch nicht aus, aber ich verzichte drauf wenns nicht sein muss.

Leider warte ich immernoch auf Hardware. Die Lieferzeiten sind aktuell noch schlimmer als im ersten Lockdown im Frühjahr bei den Fahrrad-Shops... Naja, hoffe mal, dass bis nächste Woche alles da ist. Einzig das Mainboard ist noch nicht auf dem Weg.

Aktuell bin ich dabei, TrueNAS 12 auf nem alten i7 2600k mit 16GB Ram und 1G-NIC zu testen. Paralell schau ich mir das Verhalten in ner VM mit vielen kleinen Platten an um ein Gefühl dafür zu bekommen was man wie machen sollte/kann. Napp-IT scheint im Forum ja gut anzukommen - schau ich mir auch noch an.


Ich hab mal zusammengesucht, was so alles an Platten verfügbar ist. Ich hab hier folgendes liegen:

5x 10TB WesternDigital WD100EFAX-68LHPN0 (WD Red Plus 7200rpm "5400rpm class" 256MB)
1x 10TB WesternDigital WD102KRYU-01A5AB0 (WD Gold 7200rpm 256MB)
2x 6TB WesternDigital WD60EFRX-68MYMN1 (WD Red Plus 5400rpm 64MB)
2x 8TB Seagate ST8000AS0002-1NA17Z (Archive HDDs 5900rpm 128MB)

Die Seagate Archive hab ich mir mit dem i7-System mal näher angeschaut, weil es gerade die einzigen sind die keine Daten drauf haben. Sie scheinen sich eher nicht für ZFS Mirror (und wahrscheinlich dann auch nicht für Raidz-Modi) zu eignen. Im Mirror laufen sie beim beschreiben übers LAN mit vielen großen Dateien zunächst mit 1Gbit los und kommen dann früher oder später in einen Schwinkreis (sieht man schön an der Netzwerkauslastung). Heißt die Datenrate verläuft in einem Sinus mit etwa 0,2-0,1Hz und hat im Max. 300Mbit/s und im Min 40Mbit/s hin was im Schnitt einer Schreibrate von gerademal 16MB/s bedeutet. Binde ich jeweils nur eine Platte in den Pool ein (single vDev) kann ich sie von vorne bis hinten mit ihrer natürlichen Schreibgeschwindigkeit linear vollknallen.

Mit den 5x10TB-Platten weiß ich nocht nicht so recht, was ich machen werde... Raidz1 vDev mit 4+1Parity? Die 2x 6TB-Platten könnten als mirror herhalten, wenn ich nicht noch zusätzliche 10TB-Platten anschaffe. Die 10TB WD Gold bleibt wahrscheinlich in der Workstation.
 
Zuletzt bearbeitet:
Soweit ist alles da, aber ich hab ein Problem mit dem Mainboard...

ASRock war so geistesgegenwärtig und hat die Konterplatte vom Lüfter von hinten aufs Mainboard geklebt. Die kann man so wahrscheinlich nicht einfach mal eben abnehmen um nen anderen Kühler zu installieren. Somit steht das Projekt erstmal... Den Noctua bekomm ich so nicht montiert. Auch alle anderen Kühler können so nicht montiert werden. Das Board scheint erstmal nur für alle Lüfter zu funktionieren, die mit einer Befestigung funktionieren, die dem original AMD-Lüfter entsprechen.

Ernsthaft, ASRock?
 

Anhänge

  • ASRock Rack X570D4U-2L2T cooler backplate.png
    ASRock Rack X570D4U-2L2T cooler backplate.png
    299,8 KB · Aufrufe: 92
Zuletzt bearbeitet:
@chicken Hast du mal versucht deb Kleber mit einem Föhn zu erhitzen und dann die Backplate zu entfernen?

Und wird bei Noctua nicht die Halterung mit der Backplate verschraubt?
 
Die Platte ist flächig mit so nem ziemlich weichen, klebrigen Zeugs angeklebt. Fön hab ich schon probiert, aber das hat nichts gebracht. Mit Zahnseite kann man den Kleber einigermaßen durchtrennen, aber halt nur bis man an die eingepressten Gewindebolzen stößt.

Beim Noctua NH-L9a-AM4 wird von hinten eine Platte mit Durchgangsbohrungen ans Mainboard gelegt. Dann von vorne der Lüfter mit vier Innengewinde auf die CPU. Zuletzt werden durch die Backplate und das Mainboard vier Schrauben durchgesteckt die dann den Lüfter auf die CPU ziehen. Den Lüfter von vorne auf die geklebte Backplane schrauben geht nicht, weil der Lüfter die Löcher verdeckt.

Nen anderen Kühler kann ich nicht nehmen, weil in dem Case nur 59mm Lüfterhöhe gehen.



nh_l9a_am4_chromax_black_4_1_2A935D1785AC4B45B0A780B0E5843D9C.jpg
 
Hab die Backplate runter. Hat etwas Geduld erfordert und ne Weile gedauert.

Vorgehensweise:

Zuerst mit Zahnseide an jeder Seite der Backplate den Kleber durchschneiden. Am besten an einer Ecke beginnen, das heißt die Zahnseide in gespanntem Zustand zwischen Backplate und Board bringen und dann hin und her ziehen. Von der Ecke aus zuerst in eine kurze Seite der Backplate arbeiten. Zuerst beide kurzen Seiten, dann die langen Seiten. Bei den langen Seiten kann es sein, dass die Zahnseide stecken bleibt und abreißt, weil die Strecke einfach recht lang ist. Man kann mit der Zahnseide auf jeder Seite nur so weit schneiden, bis man an die Gewindebolzen stößt. Wenn man alle Seiten freigeschnitten hat, setzt man den Fön an und erwärmt die Backplate und das Board um die Backplate gleichmäßig von hinten. Mit etwas Glück reicht das schon, um die Backplate dann von vorne nach hinten raus zu drücken - immer nur an einer Ecke der Backplate drücken und drauf achten, dass das Board nicht gebogen wird. Am besten an der Stelle an der gedrückt wird von hinten gegen das Mainboard halten.

Sollte das nicht ausreichen (war bei mir der Fall): Mit der Zahnseide nochmal ringsum freischneiden. Dann an einer Seite der Backplate mit einem Streifen Zahnseide bis zum Anschlag an die Bolzen schneiden und die Zahnseide abschneiden. Das ganze beliebig oft widerholen und mehr Zahnseide dazwischen bringen. Das hat zum einen den Effekt, dass der Kleber nicht erneut verklebt, zum anderen über es etwas Druck zwischen Backplate und Mainboard aus. Wenn nötig das ganze auf der gegenüberliegenden Seite wiederholen. Jetzt nochmal mit dem Fön von hinten Backplate und Board erwärmen. Jetzt sollte man die Backplate mit etwas geduld und sanftem Nachdruck per Hand von vorne aus dem Board drücken können.

In keinem Fall mit Werkzeug zwischen Board und Backplate hebeln, sonst wird die Platine beschädigt.
 

Anhänge

  • ASRock Rack X570D4U-2L2T cooler backplate removed.jpg
    ASRock Rack X570D4U-2L2T cooler backplate removed.jpg
    166 KB · Aufrufe: 96
Zum Thema Netzwerk, das Board hat die selben NICs. Da bin ich auch noch nicht sicher, ob die NICs mit ESXi 7.0 gehen. Kann ich Dir wohl bald mal sagen dann.

Kann dir bestätigen, dass die Intel X550 ohne weiteres mit ESXi 7.0 laufen. Man kann aber wohl nur 100Mbit, 1 oder 10Gbit einstellen - obwohl der Chipsatz auch 2,5 und 5Gbit kann.

Ob sich 2,5 oder 5Gbit einstellt, wenn man die Gegenseite fix darauf einstellt, muss ich noch testen.

1606202609027.png
 
Zuletzt bearbeitet:
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh