[Kaufberatung] ädaquater Ersatz für Dell T20 mit Proxmox (TrueNAS, OPNSense, ...)

[MrDeluxe]

Hallo Community,

bei mir ist die letzte Serverhardware-Anschaffung etwas her daher weiß ich überhaupt nicht mehr was up-to-date ist. Zuletzt habe ich mir den Dell T20 besorgt, der auch bis heute noch als zentrale Server-Instanz zu Hause im 19" Rack seine Arbeit verrichtet. Gerne würde ich diesenbis spätestens Ende diesen Jahres gegen etwas Neues ersetzen.
Folgendes sollte die neue Hardware mitbringen und leisten:

* Management-NIC via IPMI oder Intel AMT
* stromsparender als der T20
* min. 64GB ECC RAM support
* 3xPCIe 2.0 für HBA LSI SAS2008 + Dual-NIC (wird durchgereicht zur OPNSense VM) + Quad-NIC (2xLACP für TrueNAS, Rest für Support-VM)
* PCI(e) Passthrough Support
* mind. 2xEthernet 1000 Ports
* optimalerweise keine Proprietären Adapter/Kabel/Hardware wie beim T20 und wenn doch nicht dann die selben Eigenschaften wie vom T20
* ATX-Support
* Intel oder AMD ist mir eigentlich egal. Preis-Leistung sollte stimmen und es sollte geschmeidig laufen mit der KVM-Virtualisierung und LXC Container unter Proxmox sowie die Passthrough sollte funktionieren.

Beim Preis habe ich gar keine Relation. Der T20 war schon top günstig aber mir ist klar, dass es so günstig wohl nicht mehr wird. Optimalerweise wird es maximal 500 bis 600€. Wenn es gut begründet ist, dann darf es auch mehr kosten.

Untergebracht wird das ganze im 4HE Inter-Tech IPC 4U-4408.


Laufen soll darauf mindestens:
* TrueNAS Core (bekommt 32GB)
* OPNSense (bekommt 8GB)
* Debian VM für Diverses wie CUPS, Pyload, etc. (bekommt 4GB)
* in Planung ist ggf. eine HausautomatisierungsVM
* Test-VM

Sofern noch Fragen offen sein sollten, immer her damit! Danke erstmal für die Vorschläge!

VG
MrDeluxe

 

[Haldi]

mit Intel wirst du nicht glücklich...
Chipsatz mit ECC zu finden kostet nen Board alleine 500 Euro.
AM4 gibts einige Boards die ECC können.... aber das MC12-LE0 koste ja nun auch wieder 150 und nimmer 35 Euro. hat aber IPMI.
Moderner wirds bei AM5. Aber da ist halt die ganze platform teurer.

Son MC12 mit 5600 drin verbraucht auch 35-55W im Normalbetrieb.

Ansonsten gibts für 25$ nen externen KVM. Dann ist das Board egal.

sipeed 矽速科技 官网

深圳矽速科技有限公司矽速科技致力于开源智能硬件、人工智能、边缘计算、图像处理等产品的研发、生产和销售，面向企业提供 AIoT 软硬件产品的行业整体解决方案，面向开发者提供开源软硬件平台，发布的一系列开源软硬件深受国内外开源社区开发者的广泛关注

sipeed.com

 

[AliManali]

Zum Thema stromsparender als der T20 kann ich nichts sagen. Aber bei den ganzen gewünschten NICs und dem HBA würd ich jetzt nicht unbedingt das empfohlene MC12 Board nehmen. Das wär mir zu viel Gefrickel, so was ich den Fred dazu überflogen habe. Sei es Software oder das ganze Adapter Gedöhns sowie dann auch alles durchreichen zu können. Wobei man sich bei den ganzen NICs fragen muss, ob es die wirklich braucht.

Mir persönlich wäre da der Stromverbrauch zweitrangig. Hier läuft alles auf Broadwell-E, Haswell und Haswell-E. Gibt es für einen Appel und ein Ei. Stromsparen ist sicherlich was anderes, aber kann halt, was Du gerne hättest, und das ohne irgendwelche Handstände.

Muss da dem @Haldi widersprechen, zumindest die Uraltplattformen von Intel sind da tatsächlich gut geeignet für den speziellen Anwendungsfall. Oder sonst halt ein Epyc Board, was HBA und paar NICs schon von Haus aus mit bringt und durchreichen lässt. Wie gesagt, wenn man da paar Karten einsparen könnte, liesse sich das auch schlanker gestalten.

Darf man fragen, was Du mit dem TrueNAS vor hast? Weil wenn Du da paar Magnetplatten dran hängst, kannst Du ja auch bisschen Mehrverbrauch für eine dicke Plattform in Kauf nehmen.

Dann wirst Du sicher auch schon irgendwo gelesen haben, dass die Mainfirewall nicht auf den Mainserver gehört. Aber musst Du selber wissen. Bin schnell davon weg gekommen. Ist allerdings schon weit über 10 Jahre her.

 

[MrDeluxe]

Tatsächlich hatte ich auch überlegt wieder von der All-In-One Lösung weg zu kommen aufgrund der fehlenden Flexibilität. Wenn der Server abschmiert ist im Grunde alles Tod, inklusive Internetzugang. Von daher bin ich da auch nicht beratungsresistent.

Problem ist eher der Platz im 19" Schrank. Da passt nicht mehr so viel rein außer maximal 1HE. Das müsste dann die Firewall sein und optimalerweise ohne viel Geräuschpegel.

Insgesamt hätte ich nicht gedacht, dass es sich als so schwierig gestaltet den T20 gegen moderne, stromsparende Hardware zu tauschen. Woran liegt es vor allem? Am Preis?

Auf dem TrueNAS ist aktuell ein Raidz2 mit 8x8TB verbaut. Läuft seit Jahren ziemlich geräuschlos. So langsam machen die WD Reds aber die Biege und ich komm ins grübeln von 8x8TB auf 5x16TB im Raidz2 umzusteigen. Eine 16TB hab ich bereits verbauen "müssen". Gestern ist die 2. WD Red ausgestiegen nach 5 Jahren 24/7 Betrieb.

 

[AliManali]

Insgesamt hätte ich nicht gedacht, dass es sich als so schwierig gestaltet den T20 gegen moderne, stromsparende Hardware zu tauschen. Woran liegt es vor allem? Am Preis?

Hatte da vor allem Deine ganzen gewünschten PCI-E Geräte im Hinterkopf bei meiner Empfehlung zu einer dicken Plattform. Wenn man die reduzieren kann, geht das auch eine Runde kleiner.

 

[MrDeluxe]

Also die Festplatten sollten schon an die TrueNAS durchgereicht werden können. Ich denke da muss nicht zwingend ein HBA durchgereicht werden wenn das Mainboard genügend SATA-Ports mitbringt.
Zwei NICs sollten definitiv zur OPNSense durchgereicht werden sonst fühlt es sich schon nach falscher Sicherheit an. Auch das muss nicht zwingend über eine extra NIC-Platine passieren, wenn das MB genügend NICs mitbringt.
Schlag gerne etwas vor, was du dir ohne die PCI-E(s) vorstellst.

 

[sandreas]

Woran liegt es vor allem? Am Preis?

Es liegt am Preis und an der Anforderung, Strom zu sparen. Es gibt schon wenige Mainboards (NUR das Mainboard) mit deinem Anforderungsprofil, die unter 500 Euro zu haben sind (z.B. das Gigabyte MC12-LE0). Teilweise sind sie auch einfach nicht verfügbar (z.B. das Gigabyte C246N-WU2 oder C246-WU4) oder werden sogar nicht mehr weiter entwickelt oder wurden verkauft (Fujitsu D3644-B / Kontron). Manche sind auch einfach zu fett für den Bedarf (Supermicro H12SSL-NT).

Ich kenne keine gute Lösung mehr für deine Anforderungen, die es NEU zu kaufen gibt... käme der Gebrauchtmarkt für dich in Frage?

 

[MrDeluxe]

Ich kenne keine gute Lösung mehr für deine Anforderungen, die es NEU zu kaufen gibt... käme der Gebrauchtmarkt für dich in Frage?

Eine Umtauschgarantie wäre schon nett und nützlich. Wenn ich Geld in die Hand nehme, dann sollte die HW auch relativ modern sein, sonst kann ich auch bei der T20-Hardware bleiben.

Beitrag automatisch zusammengeführt: 06.01.2025

Ich würde mal die Anforderung "Stromersparnis" herausnehmen, vielleicht ergeben sich dann neue Möglichkeiten. Immerhin spare ich demnächst schon Strom ein wenn ich von 8x8TB auf 5x16TB gehe.

 

[Senator Wurstbein]

1HE für eine Firewall sollte OK sein. Gebrauchte sophos als Beispiel, opnsense drauf. Das spart dann auch wieder NICs am Server und bringt vielleicht wieder andere Boards ins Rennen.

 

[MrDeluxe]

Bei 1HE Büchsen habe ich die Erfahrung, dass sie wahnsinnig laut sind oder habt ihr da andere Erfahrungen gemacht?

 

[gea]

Ein besseres Serversystem setzt gerne 100W und mehr in Wärme um.
Ein kommerzielles 1HE System von der Stange z.B. SuperMicro ist darauf ausgelegt und entsprechend laut.

1 HE und leise geht nur mit Selbstbau oder wenn es ganz speziell auf low power ausgelegt ist.

 

[MrDeluxe]

Was spricht nochmal genau gegen das hier? Davon 2xStk., 1xProxmox und NAS und eins für OPNSense. Die OPNSense müsste ich dann wohl in einen (vorhandenen) Barebone umziehen aufgrund des fehlenden Platzes im 19" Schrank. Ich weiß jedoch nich, ob das PCIe Passthrough funktionieren würde.

 

[andrer250282]

Stichwort PCIe Passthrough: das Ding hat keine PCIe Slots. Man kann mit Adaptern an den SlimSAS Anschlüssen was basteln aber das treibt den Preis in die Höhe.
Zur Stabilität kann ich leider nichts sagen, da müsstest du im entsprechenden Thread hier hier nachlesen. Ich habe eines, ich nutze aber kein PCIe Device, ich würde gern eine kleine GPU für Transkodieren nachrüsten aber selbst nach (groben) überlesen der entsprechenden Posts weiß ich immer noch nicht welche Adapter ich definitiv kaufen soll - das mache ich aber aktuell nur mit ner halben Gehirnhälfte

 

[MrDeluxe]

Kann man nicht den gesamten SlimSAS durchreichen? Würde gern mal wissen, was "lspci" bei dem Board sagt.

 

[andrer250282]

Ich hab einen Windows Server darauf laufen, von dem kann ich nachher zu Hause mal ein lspci senden

 

[andrer250282]

Sorry, war gestern nicht mehr am Rechner

 

[MrDeluxe]

Also ich sehe auf Anhieb nur den SATA-Controller. Das MiniSAS sehe ich nicht (direkt).

 

[andrer250282]

Hm, guter Einwand. Ich habw das F09 BIOS und den SAS Port noch gar nicht auf PCIe umgestellt...
Das muss ich noch machen

 

[xST4R]

man kann an dem sas eine pcie karte mit adapter anschliessen und durchreichen , hat bei mir problemlos funktioniert mit unraid

als karte hatte ich eine rx6400 die kein extra strom brauchte

- es gibt 2 probleme mit dem board > 1. die lan ports machen probleme bei proxmox und opnsense (funktioenieren zwar aber müllen die logs mit fehlermeldungen voll) > 2. es kann zu problemen mit dem ram kommen bei vollbestückung (ich hab das problem aber bisher nicht)

mehr infos dazu findest du HIER : https://www.hardwareluxx.de/community/threads/gigabyte-mj11-ec1-nas-server.1345281/

aber für den preis , bekommt man was richtig gutes solides ...

 

[MrDeluxe]

Danke @xST4R ! Braucht man denn zwingend eine extra GPU? Ich nutze es ja eh als headless Server und eine VGA hat es auch.
Bekommt man die Fehlermeldungen unter Proxmox weg?

 

[xST4R]

Danke @xST4R ! Braucht man denn zwingend eine extra GPU? Ich nutze es ja eh als headless Server und eine VGA hat es auch.
Bekommt man die Fehlermeldungen unter Proxmox weg?

die meldungen bekommst du weg wenn du die 2x lan deaktivierst dann läuft das board erste sahne. - in meinem main system hab ich eine 10gbit karte eingebaut und benötige dadurch die 2x 1gbit nicht mehr. (ipmi ist weiterhin aktiv und wirft keinerlei fehler) im 2ten system nutze ich ein usb to 2.5gbit , auch da wirft proxmox keinerlei fehler (ipmi ist weiterhin aktiv)

ob man eine extra gpu brauch weis ich nicht , ich nutz das ganze nicht zum decodieren oder sonstigem (da musst du einfach testen)

ich glaube wenn man es besser möchte muss man auf zb. ein Supermicro X10SDV-4C-TLN2F umsteigen

nachteil : mehr cash (dafür bekommt man 5-7x mj11)
vorteil : 2x 10gbit onboard + pcie slot

 

[MrDeluxe]

Danke, ich hatte deshalb gefragt, weil du die rx6400 angegeben hattest.
10G NICs brauche ich bis dato nicht. Dafür hab ich weder genug Clients, die gleichzeitig zugreifen noch einen Switch der es könnte.
Deaktivieren wollt ich die NICs jetzt eigentlich nicht, da ich die als recht brauchbar empfand. Kann ich denn die NICs nicht auch einfach zur OPNSense durchreichen, sodass die Meldungen bei Proxmox wegfallen? Also so, dass die NICs gar nicht mehr am Host zu sehen wären? Ist aber eher eine Wunschvorstellung als Wissen...

Bin es auch nochmal kurz durchgegangen. Wenn ich den M2-Slot mit PCIe Adapter nutzen würde fehlt mir noch eine PCIe Schnittstelle für die Quadport-NIC oder eben den HBA. Die SATA-Ports durchzureichen habe ich gelesen soll wohl etwas buggy sein:

Onboard SATA Controller passthrough?

I've been running Proxmox for close to a year now and it's been rock solid. I currently have an OMV VM with 2 HDD passthrough. Just recently I found out that I can passthrough the entire SATA controller and I want to do that. Hope you guys can help me with some questions related to it. My...

forum.proxmox.com

Wäre das möglich könnte ich wieder alles als All-One-Server betreiben. Ich frage dazu mal im entsprechenden Mainboard-Thread nach.