[Kaufberatung] Linux Server (Docker, AI, Storage)

[Crayden]

Hallo zusammen,

normalerweise recherchiere ich eigentlich komplett alleine, aber diesmal würde ich gerne die Erfahrung aus der Community nutzen um die Hardware für meinen neuen Server zusammen zu stellen.
Bisherige Hardware (OS Debian):

• Silverstone DS380
• Gigabyte Z97N-WIFI
• Intel i5-4460
• 16GB RAM
• 8x12TB WD120EFAX (6 in ZFS Raid-Z2, 2 einzeln)
• Marvel 88SE9120 SATA

Verbrauch im Idle (ohne KI-Erkennung der Kamera-Streams), HDDs im Standby: ca. 40W
Verbrauch bei laufenden HDDs ca. 80W
Verbrauch mit frigate (9 Streams über CPU) ca. 105W

Verbrauch alle Komponenten (Server mit POE-Switches, APs, Modems etc) die über Notstrom abgesichert sind: 105W Idle (vor Frigate und WLAN P2P)
Seit der Umstellung ca. 140W (Nanobridge ca. 7W, zusätzliche Kamra 3W, Frigate auf CPU ca. 25W)

Bisherig Aufgaben ("historisch gewachsen")

• Router (DNS, Firewall, VPN)
• Storage Server
• Docker
  • Homeassistant (mit NodeRed, Grafana, Whisper, 2xZigbee2MQTT, ...)
  • Webserver (nginx Reverse Proxy)
  • Frigate (Surveillance & (Licht)automatisierung über HA um das Haus)
  • .... insgesamt >30 Container, die meisten eher kompakt

Generell würde er für die meisten aufgaben noch mehr als ausreichen, aber da ich bei der Personenerkennung auf dem Grundstück weg von den in den Reolink Kameras integrierten Funktionen (Poll auf eine Rest-API) hin zu Frigate gewechselt bin, reicht die CPU nicht mehr aus.
Dazu kommt, dass mich schon seit Beginn stört, dass die Integrierten Netzwerkcontroller störanfällig sin und der zusätzlich verbaute Marvel SATA auch nicht gerade mit Stabilität glänzt ohne die richtigen Kerneloptionen.
Virtualisierung benötige ich eigentlich weniger, hatte aber durchaus überlegt mit Proxmox zu spielen, aber eigentlich komme ich mit Docker sehr gut zurecht und sehe gerade keinen Grund voll zu virtualisieren.

Was das Netzwerk betrifft überlege ich noch dies vielleicht vom Server selbst zu trennen. Vielleicht eine kleine sehr stromsparende Lösung mit Opensense? Hier nehme ich gerne Hardwarevorschläge entgegen. Ich benötige 4 Netzwerkports. WAN, Intern, IOT, WLAN (über Bridge zu einem zweiten Subnetz bei einem Freund)

Ich hätte aber auch keinen Schmerz wieder alles über den einen Server laufen zu lassen. Ich würde gerne, soweit es geht, den Energiebedarf übersichtlich halten. Leider ist dieser durch frigate um >25W angestiegen, hängt stark von der Motion Detection ab.

Was ist mir wichtig:

• Schnelle, aber dennoch stromsparende CPU (System sollte im "Idle" ohne GPU, Festplatten und Frigate gerechnet <20W landen)
• Beschleunigung für Frigate, Whisper und co. => GPU ggF später notwendig, mindestens aber Intel iGPU für Frigate, oder TPU)
• 32GB RAM+ (idealer weise ECC, bei DDR5 ja inkl. aber ich nehme auch DDR4 mit ECC)
• 8 SAS/SATA Ports für die bisherigen Festplatten
• min. 1x2,5G LAN

Sollte ich nicht wie oben erwähnt für die Routerfunktionen bisher Richtung Opensense mit >4 Ports gehen, dann natürlich mit Platz für ein Upgrade auf 4 LAN-Ports.
Beim Gehäuse bin ich offen, würde aber etwas aus dem 19" Segment, inkl. Schrank (6HE) nehmen, aber maximal 4HE hoch damit Switch und Patchpanel noch Platz haben.
Ich überlege natürlich auch wohin die Zukunft geht und habe die Hoffnung zumindest mit der neuen Hardwarebasis mehr als 6 Jahre überbrücken zu können. Bezüglich der Beschleunigungsfunktionen wird das eher kritisch, alles Andere müsste aber gehen. Allerdings gehe ich auch davon aus, dass früher oder später die Festplatten SSDs weichen werden. Bei einem SilverStone RM41-H08 kann man vielleicht einfach SSDs in die Einschübe verbauen oder andere Hotswap-Einschübe setzen und ggf. noch einen Kontroller dazu. Aber auch hier bin ich für Ideen offen, denn damit habe ich mich in letzter Zeit so gar nicht beschäftigt.

Wie würdet ihr vorgehen? Ich will nicht ein 500W-Minirechenzentrum aufmachen, das wäre einfach Overkill, sprich Performance/Watt ist wichtig, auch wenn ich den Strom selbst produziere.
Bisher habe ich meine Firewall mit ip- bzw. nf-tables gepflegt aber durch die meng an Diensten die der Server inzwischen übernimmt wäre eine Ausgliederung des Netzwerkteils nicht verkehrt.

Was würdet ihr nehmen? (CPU, Mainboard, Netzteil, Gehäuse,...)
Würdet ihr Netzwerk separieren auf einen Minirouter mit Opensense? (HW-Vorschläge)
Gedacht hatte ich an ein Intel-System Gen 12+, als Desktop verwende ich zur Zeit AMD.


Ich werde diesen Post entsprechend ergänzen wenn es zu viele Unklarheiten gibt.
Ich danke euch schonmal im Voraus für jeglichen Input!

 

[thom_cat]

Was ist mir wichtig:

• Schnelle, aber dennoch stromsparende CPU (System sollte im "Idle" ohne GPU, Festplatten und Frigate gerechnet <20W landen)
• Beschleunigung für Frigate, Whisper und co. => GPU ggF später notwendig, mindestens aber Intel iGPU für Frigate, oder TPU)
• 32GB RAM+ (idealer weise ECC, bei DDR5 ja inkl. aber ich nehme auch DDR4 mit ECC)
• 8 SAS/SATA Ports für die bisherigen Festplatten
• min. 1x2,5G LAN

die cpu selbst wird im idle immer deutlich unter den 20 watt liegen (intel).
der rest ist natürlich auch am verbrauch beteiligt, vor allem die boards können hier enorme unterschiede ausmachen.
beim ram würde ich dann ehrlich gesagt auf ddr5 gehen, der ist preislich mittlerweile in sehr annehmbaren regionen angekommen.
schwieriger ist die andorderung an 8 sata anschlüssen, außer einer handvoll asrock boards die bis 280€ gehen, fangen da boards bei 400€ aufwärts an.

 

[Shihatsu]

• 32GB RAM+ (idealer weise ECC, bei DDR5 ja inkl. aber ich nehme auch DDR4 mit ECC)

Bisher habe ich meine Firewall mit ip- bzw. nf-tables gepflegt aber durch die meng an Diensten die der Server inzwischen übernimmt wäre eine Ausgliederung des Netzwerkteils nicht verkehrt.

Ich hab mir mal diese beiden Punkte rausgepickt (zum Rest kann ich nicht viel sagen, gehöre zur Kilowattfraktion was das ganze Rack zusammen angeht):
DDR on die ECC RAM ist besser als ohne, aber schlechter als richtiges ECC RAM. Und: Ich würde niemals nen Dienstaanbietendenden Server und den Gatewayteil zusammenpacken. Never ever. Been there, done that, failed much. Ich habe dafür eine dedizierte Hardware für OPNsense und eine zweite, in diesem Fall virtualisierte OPNsense im Failover laufen.

 

[fahai8]

Denken Sie darüber nach, einen Heimserver aus gebrauchten Teilen einzurichten, um verschiedene Dinge auszuprobieren: Nginx, HAProxy, Apache HTTPD, Redis, MongoDB, MySQL usw.

Ich schätze, dass ich etwa 12 bis 20 Container betreiben kann. Ich denke darüber nach, jedem von ihnen das Nötigste zu geben. Begrenzen Sie sie möglicherweise auf 1 CPU und 1 GiB Speicher, wie diese kleinsten VMs. Jeder von ihnen würde eine leichte Nutzung erfahren, da ich der einzige Benutzer bin, der mit meinem Test-Setup herumspielt.

Muss ich die Anzahl der Container mit bereitgestellter CPU/Thread und RAM abgleichen?

Option 1: Benötige ich einen Intel Xeon mit VidMate 12 Kernen/24 Threads und 32 GiB RAM?

Option 2: Komme ich mit einem alten Intel Core i7 mit 4 Kernen/8 Threads und 16 GiB RAM durch?

Ich versuche, so wenig wie möglich für Selbstlernen und Experimentieren auszugeben.

 

[Kuzorra]

@fahai8 Wenn das eine eigenständige Frage sein soll, dann sollte man besser auch einen eigenen Thread aufmachen, sonst gerät das hier durcheinander

 

[Crayden]

die cpu selbst wird im idle immer deutlich unter den 20 watt liegen (intel).
der rest ist natürlich auch am verbrauch beteiligt, vor allem die boards können hier enorme unterschiede ausmachen.
beim ram würde ich dann ehrlich gesagt auf ddr5 gehen, der ist preislich mittlerweile in sehr annehmbaren regionen angekommen.
schwieriger ist die andorderung an 8 sata anschlüssen, außer einer handvoll asrock boards die bis 280€ gehen, fangen da boards bei 400€ aufwärts an.

Bei der CPU dachte ich mir das schon. Sowohl der 4460 als der alte 3570k die hier rumstehen laufen schon bei <30W ohne dass ich damals darauf geachtet hatte. Wenn ich den Stromsparthread so anschaue, sind theoretisch Idle (CPU, Mainboard, RAM, Netzteil und Netzwerk) auch <15W gut machbar.
SATA würde ich evtl. einfach über einen M.2->SATA Adapter erweitern. Boards mit zwei oder sogar drei M.2 Slots sind ja nicht all zu selten.
Wenn ich davon ausgehe, dass das Board vier SATA hat, dann würde ich danach auf 9-10 je nachdem welchen Controller ich verwende komme. Der ASM 1166 soll (nur kurz geschaut) unter Linux halbwegs ordentlich laufen und kostet ~25€
DDR5 wäre aktuell auch mein Favorit. Bisher komme ich gut mit 16GB RAM aus, ich bin aber auch am überlegen ob ich es mit Proxmox versuchen soll. Aktuell war hier der drang nicht wirklich hoch. Das System läuft, es gibt immer ein Backup des System das startbar ist auf einer separaten SSD (keine Spiegelung).
Proxmox bedeutet halt direkt ein wenig Overhead durch die Virtualisierung und wenn ich die GPU für AI durchreichen will ggF. etwas basteln? Auf der anderen Seite könnte ich zumindest im ersten Schritt virtuell Netzwerk separieren bis ich mich für eine Hardware für Opensense entschieden habe (Knackpunkt ist da noch Performance, N500X und N600X sind mir zu langsam, alles andere wird mir zu teuer, dann könnte ich auch eine Dream Machine einbauen, da ich sowieso schon Ubiquiti-Geräte hier habe. Ich habe irgendwie nur unterbewusst ein wenig "Angst" dass die ihre Kunden auf die Cloud zwingen wollen. Ist für mich ein absolutes No-Go. Also alles muss lokal ohne externe Abhängigkeiten laufen.

Ich hab mir mal diese beiden Punkte rausgepickt (zum Rest kann ich nicht viel sagen, gehöre zur Kilowattfraktion was das ganze Rack zusammen angeht):
DDR on die ECC RAM ist besser als ohne, aber schlechter als richtiges ECC RAM. Und: Ich würde niemals nen Dienstaanbietendenden Server und den Gatewayteil zusammenpacken. Never ever. Been there, done that, failed much. Ich habe dafür eine dedizierte Hardware für OPNsense und eine zweite, in diesem Fall virtualisierte OPNsense im Failover laufen.

Hui okay Einen KW-Rack wollte ich jetzt nicht aufbauen. Das ist einfach Overkill für mich. Die meiste Energie geht in der Tat tatsächlich auf Switches und POE-Kameras. Hier suche ich noch einen Ersatz, da ich inzwischen mehr als 8 POE-Ports benötige, der kleine 8-Port Ubiquiti 150W ziemlich warm wird und ich auch gerne auf 2,5GBit/s (und 2-4 10GBit/s) Ports upgraden würde. Aber das ist halt aktuell ziemlich teuer. Am nächsten würde hier noch der QNAP-Switch kommen. 16x 2,5G POE-Ports + 2xSFP + 2x10G, aber fast 800€ sind auch nicht geschenkt.
Ich habe hier zum Glück keine Geschäftsrelevanten Daten im Spiel. Storage ist hauptsächlich für meine Fotografie zuständig und es gibt zu diesem noch ein Duplikat, eigentlich zwei, eines Davon ist offline im Schrank und wird regelmäßig synchronisiert. Aber das ist auch nur Hobby, so wie das Smarthome.
Deswegen will ich das ganze in Maßen halten. Als Hobby darf es auch natürlich 1-2€ zusätzlich kosten, aber ich wollte keine 2000€+ für neue Hardware (inkl. Switch) ausgeben. Da würde ich aktuell den Mehrwert nicht sehen.

Für OpenSense habe ich ein wenig bei STH durchgeschaut, aber noch nicht das Richtige für mich gefunden. Effektiv bin ich dann doch bei 400€ oder muss im Kopf damit leben, dass die Bandbreite limitiert wird.

Vielen Dank für das erste Feedback!

Vielleicht komme ich heute dazu mal eine Liste bei Geizhals zusammen zu stellen und hier zu posten.



Nachtrag:

die cpu selbst wird im idle immer deutlich unter den 20 watt liegen (intel).
der rest ist natürlich auch am verbrauch beteiligt, vor allem die boards können hier enorme unterschiede ausmachen.
beim ram würde ich dann ehrlich gesagt auf ddr5 gehen, der ist preislich mittlerweile in sehr annehmbaren regionen angekommen.
schwieriger ist die andorderung an 8 sata anschlüssen, außer einer handvoll asrock boards die bis 280€ gehen, fangen da boards bei 400€ aufwärts an.

Ich habe noch zum Spaß meinen alten 3570k mit einer RTX 2060 bestückt um zu sehen wie sich das mit Frigate und den 10 Kameras, die verarbeitet werden müssen, verhält.
CPU ist bei ca. 25% Last für Motion Detection, die Grafikkarte benötigt meist 30W manchmal Peaks von 160W aber nur sehr kurz. Das andere System hat rein auf der CPU die doppelte Last, und eine deutlich geringere Detection FPS (10fps max, mit gpu komme ich auf 200fps).

Vermutlich wäre es deutlich energieeffizienter, wenn ich hier auf einen Coral (M.2 Basis wegen Kosten und zwei TPUs statt einer) setze. Dafür könnte ich mit der GPU die ich sowieso habe natürlich später auch Whisper und co für Homeassistant betreiben, was ohne Beschleunigung auf der aktuellen CPU extrem langsam ist.
Ich könnte auch, wenn ich eine CPU ab der 10. Generation habe zunächst nur mit openvino als Beschleunigung für Frigate arbeiten und später zur Not Upgrade. Performance ist in etwa auf dem Niveau einer Coral TPU. Allerdings, sollte ich mich dazu bewegen auch gleich noch auf Proxmox umzusteigen, dann müsste ich hierzu iGPU Passthrough machen, bräuchte nach ersten Infos mindestens eine CPU ab der 12. Generation und müsste überlegen ob ich mit einem Headless System leben kann oder doch noch eine GPU einbauen müsste, die ich dann vermutlich anstatt der iGPU in die VM geben würde.

Also ich man muss dazu sagen, dass alles Hobby ist. Ich betreibe das nur für mich, ich habe keinen Millionenverlust wenn mal was nicht klappt, aber natürlich will ich, wenn ich etwas mache schon ein stabiles System. Meine alten Server waren alle Standard-PCs von mir die umgelabled wurden und keine ECC-Speichermodule verwendet haben (Intel Desktop-CPUs halt). Immerhin längste Uptime (war 2 Jahre). Ich hatte bisher nie einen Datenverlust wegen CPU oder Speicherproblemen. wohl aber durch einen schlechten SATA-Chip wo auch das ECC im RAM nichts geholfen hätte. Ist lange her, war soweit ich weiß ein Marvell SATA-Controller der schlichtweg Bitfehler auf dem SATA erzeugt hat, dabei hat SATA ja auch ECC... nicht häufig aber reproduzierbar so alle 500GB. Erkannt habe ich das dann über Raid6 da ab und an korrigiert wurde, zum Glück waren nur zwei Platten am Controller und als ich das nachvollziehen und zuweisen konnte, wurde der Raid außer Dienst gestellt und neu aufgebaut mit anderer Hardware.

Ich hätte ja schon Lust es mit einem 14th-Gen Intel zu versuchen, aber das wird halt sehr teuer. Dafür hätte die CPU genug power, Intel ist mir unter Linux aktuell noch immer lieber als AMD, gerade wenn es um Idle-Power geht. Aber ich denke dann muss ich mit 20W (bei einem guten Netzteil) rechnen und müsste mich mal fix informieren wie weit man die CPU in der maximalen Leistungsaufnahme herunter schrauben kann. Die letzten 10-15% Peak-Performance gehen zu sehr zu Lasten der Energieeffizienz.

Habt ihr vielleicht irgendwas vergleichbares am Laufen mit Erfahrungswerten was die Leistungsaufnahme betrifft?