[Kaufberatung] Ein Server für alle Fälle? Konsolidierung der Systeme, Hardwarefindung und Brauchen vs Schöner Wohnen.

[seppendepp]

Hallo Freunde des Serverraums,

Achtung!
Jetzt kommt ein wenig Text. Wem das zu viel ist, der möge bitte in Frieden weiterziehen. Meine Motivation ist es, denjenigen, die sich die Zeit nehmen, mir bei meinen Fragen und Überlegungen zu helfen zu Beginn ein möglichst umfassendes Bild vom Ist-Zustand des aktuellen Setups zu liefern, um daraus möglichst präzise den Soll-Zustand mittels Diskussion, Empfehlungen und Erfahrungen abzuleiten. Ich bin hier also natürlicherweise erstmal in der Bringschuld und der möchte ich auch umfassend nachkommen. Ich hoffe, dass dies zudem den Prozess beschleunigt und die Anzahl von Rückfragen minimiert. Für Eure Anregungen und Hilfe schon mal vorab meinen herzlichen Dank!

Prolog:
Ich lese hier schon seit mehreren Monaten immer mal wieder mit und versuche halbwegs einen Überblick über bewährte Hardware vs Verfügbarkeit vs Stromaufnahme zu den diversen Heimserverprojekten anderer Benutzer zu bekommen. Gar nicht so einfach, finde ich. Allein die schier unendlichen Möglichkeiten und diversen Fallstricke bei der Kombination von Motherboard, CPU und (ECC-)RAM sind für mich alles, aber keineswegs übersichtlich oder verständlich. Und das, obwohl ich sehr technikaffin bin, allerdings weniger auf (Server-) Hardware bezogen. Da ich mit meinem eigenen Projekt seit geraumer Zeit nicht vorwärts komme (wie gesagt, ich lese schon seit längerem mit, studierte u.a. die Excel-Liste der sparsamsten Systeme), um mir daraus die für mich passende Lösung abzuleiten, versuche ich nun einen anderen Ansatz.

Aktuelles Setup:

1. Raspi 4 (4GB) auf Debian Buster​

pihole​

piVPN​

dnscrypt-proxy​

nextcloudpi​

raspiBackup​

​

An dem Pi hängt aktuell eine uralte WD 500 GB Platte, welche die Daten für Backup und Nextcloud vorhält. Über Nextcloud werden Kalender, Kontakte, Keepass synchronisiert mit den Endgeräten (2x Mobiltelefon, 2x Notebooks). Die Mobiltelefone schieben zudem gemachte Fotos per sofort Upload in die Nextcloud. Die Funktion von pihole und piVPN (via wireguard) sowie dnscrypt proxy sollten selbsterklärend sein.​

​

2. Raspi 3B (2GB) auf Debian Bullseye​

moOde audio player (i.V.m. HifiBerryDAC hat)​

raspiBackup​

docker container mit​

mosquitto MQTT​

node red​

influx db​

grafana​

nginx​

matrix-synapse​

synapse-admin​

​

Der Pi hat außer einen 32 GB USB Speicher keine externen Medien angeschlossen. Hier läuft vor allem der ganze MQTT Kram, welcher Produktions- und Verbrauchsdaten meines Balkonkraftwerks sammelt und darstellt, sowie eine gekapselte Instanz von Matrix als Alternative zu Whatsapp für familieninterne Belange.​

​

3. Daten, Daten, Daten auf diversen uralten, alten und nicht so alten Platten:​

• 1x 250 GB, 3,5" Samsung 840 Evo SSD (-> Platte für OS des neuen Servers!?)
• 1x 320 GB, 3,5" Seagate Momentus Thin
• 2x 500 GB, 3,5" WD MyPassport, extern
• 1x 500 GB, 5,5" WD Caviar Blue
• 1x 250 GB, 5,5" WD Caviar SE
• 1x 2048 GB, 5,5" WD Caviar Green
• 3x 500 GB, 5,5" WD MyPassport, extern

Die Daten sind teilweise redundant, teilweise auch nicht. Eine Konsolidierung auf einer zentralen Platte hat bisher mangels Speicherplatz nicht stattgefunden. Kritische Daten sind dort nicht enthalten. Die Zugriffe in den letzten Jahren, wenn mal was gesucht wurde, beliefen sich im einstelligen Bereich. Größtenteils sind das Medien (alte Serien und Filme), die den Umzug ins neue Zuhause mitmachen sollen.​

​

Wie Ihr seht, ist das ganze Setup über die Jahre gewachsen und nicht wirklich professionell aufgesetzt. Insbesondere der nextcloudpi diente anfangs nur als Testinstallation, um sich mit Nextcloud, Administration und geräteübergreifender Synchronisation vertraut zu machen. Nun läuft das Ganze aber schon mehr als drei Jahre produktiv und hat auch schon den Umzug vom Raspi 3B (siehe 2.) auf den Raspi 4 überlebt.​

Neues Setup und bisherige Überlegungen:

Was bereits geplant ist:​

- Umzug der DNS Dienste (pihole, piVPN und dnscrypt) vom Raspi 4 auf einen Fujitsu Futro S920 (bereits vorhanden) und Betrieb mit einer OPNsense Instanz. Ob das dann pihole oder adguard home wird, ist mir wumpe, hauptsache der ganze Dreck wie Werbung und Tracking werden netzwerkweit mit meinen Filterlisten zuverlässig weggeblockt. Die OPNsense soll auch als wireguard Tunnelendpunkt fürs VPN dienen.​

Der Futro soll nicht als NAS dienen und soll gesondert zum Heimserver betrieben werden.​

​

Unstrittig ist auch, dass der ganze Daten- und Nextcloudkram auf ein robustes Hardwaresetup gehört mit RAID und ECC-RAM, sowie gescheiten Backups. Eigenbau ist für mich gesetzt. Ich möchte mich nicht in 3-5 Jahren massiv darüber ärgern müssen, dass mein Fertig-NAS nun aus dem Support gelaufen ist, keine Sicherheitsupdates, geschweige Aktualisierungen erhält, zudem möchte ich mir die Möglichkeiten des Umbaus oder Aufrüstens offen halten. Bei gekauften Lösungen ist das nicht oder mitunter nur schwer machbar. Den o.g. Kram habe ich selbst aufgesetzt und warte ihn eigenständig, daher sehe ich mich durchaus technisch in der Lage mit meinem Sachverstand das umzusetzen und bin gerne bereit (idealerweise nur initial) mehr Einrichtungs- und Konfigurationsaufwand im Vergleich zu einer Fertiglösung in Kauf zu nehmen. Die Eigenbaulösung sollte dennoch auf robuster Software laufen (unixoid) und kein Bastelprojekt werden!​

​

Die Frage, die mich nunmehr indirekt in Bezug auf die zu beschaffende Hardware beschäftigt, ist, inwieweit ich die Hardware fürs NAS auch in soweit auslege und skaliere, dass es für die diversen Dienste (s.o.) und ggf. die ein- oder andere VM reicht. Kurz NAS vs Homserver, der Ansatz "Eierlegende Wollmilchsau" sozusagen. Alternative wäre analog zur OPNsense, die Systeme zu vereinzeln und dem Einsatzzweck nach zu skalieren und physisch getrennt zu betreiben: Ein System für Hypervisor, VMs und Container-Dienste sowie ein reines NAS. Sicherlich geht es auch alles in einem (siehe Unraid), aber ist es sinnvoll?! Was ich vermeiden will: Kann alles, aber nichts richtig und frisst dazu noch den Strom wie blöd. Sollte es aber so sein, dass meine Anforderungen neben dem NAS-Umfang gut mit abzudecken sind, dann ziehe ich gerne in Betracht, dass auf einem System zu machen. Allerdings dieses Mal der Wartbarkeit halber direkt mit Trennung über VMs, KVM (Neuland für mich) oder Container.​

​

Nun mal zu den Überlegungen und Wünschen in Bezug auf Hardware und Software unter der Voraussetzung, dass alles auf einer Kiste läuft:​

HW:​

• Nutzungszeitraum: Mindestens die nächsten 5 Jahre, 24/7 Betrieb
• ECC-RAM (besser mehr als zu wenig)
• CPU für 2-3 VMs (ggf. 1x Windoof, Rest Unix), sollte genug Reserven haben. Einen Wasserkocher und Toaster habe ich schon. ;-)
• Mindestens 2x 20 TB, RAID (welches? 1 oder 5?). Dürfen auch mehrere kleinere Platten sein. Hot-Swap wäre nett, aber nicht zwingend erforderlich. Konflikt: Mehr Platten = mehr Stromaufnahme, daher wenige große, richtig? Offtopic: Die zahlreichen alten Platten (siehe 3.) kann ich vermutlich nicht wiederverwenden z.B. als LVM Speicherarray fürs Backup des Servers?
• Effizienter Umgang mit Strom. Das die Kiste nicht mit Luft und Liebe läuft is' klar, allerdings sollte es (bei abgeschalteten HDDs) doch deutlich unter 50W sein, besser um die 20W. Realistisch? Ich möchte möglichst hohe C-States erreichen, d.h. hier sollte keine Billighardware drin sein, die das u.U. verhindert.
• Netzwerk: Aktuell 1000BASE-T
• Backups via USB auf externe Platte. Was wäre die Alternative?
• Formfaktor: Egal, steht im Hauswirtschaftsraum.
• Lautstärke ebenfalls zu vernachlässigen, leiser ist immer besser.
• Dateisystem: ZFS? Mit HDD Spindown vereinbar? Alternative? Copy-on-write Prinzip finde ich schon sehr nett.

​

SW:​

• Proxmox als Hypervisor (habe ich Bock drauf, allerdings noch keine Erfahrungen gesammelt)?
• NAS Software? Keine Ahnung. OMV, Truenas, FreeNAS oder Unraid? Ich weiß es nicht. Unraid erscheint mir sehr populär aber auch sehr proprietär.
• Ansonsten Unix bzw. Linux als OS. Debian bzw. Derivate. Keine Erfahrungen mit FreeBSD bisher.
• Diverse Docker Images (siehe 2. Raspi 3B).
• Nextcloud (im Container) (für DAV (Kalender, Kontakte, Telefonbücher), Dateisynchronisation sowie indirektes Backup der Mobiltelefone). Das dicke Webfrontend der Nextcloud brauche ich selten bis gar nicht. Gibt's hier was schlankes, wo ich nicht wieder Dienste wie DAV, Sync etc. vereinzelt betreiben muss? Ansonsten bleibe ich bei NC und nehme hier den Overhead in Kauf. Vorteil: Eine Baustelle weniger. Laufen tut es sehr stabil und die Wartbarkeit ist gut.
• Streamen von Medien. Plex? Keine Erfahrung damit bisher. Nur HD, kein 4K oder höher erforderlich.

So, fürs Erste soll's das mal gewesen sein. Ich freue mich auf Antworten, Diskussionen und Schelte über etwaige Widersprüche, den vielen Text und inhaltlichen Blödsinn. ;-)

Edit:
Ergänzung und Klarstellung

 

[Liesel Weppen]

Ich habe deine Wall-of-Text nur überflogen, also verzeih mir, wenn ich kleine Details verpasst habe.

Was bereits geplant ist:​

- Umzug der DNS Dienste (pihole, piVPN und dnscrypt) vom Raspi 4 auf einen Fujitsu Futro S920 (bereits vorhanden) und Betrieb mit einer OPNsense Instanz.​

Die erste Frage, die ich mir stelle ist: Ist der Futro S920 dann das System das alles ersetzen soll, oder soll der dann zusätzlich zu einem anderem System laufen?

Stromverbrauchstechnisch ist ein zentrales System eigentlich immer effizienter als zwei oder mehr Systeme.

Die Frage, die mich nunmehr indirekt in Bezug auf die zu beschaffende Hardware beschäftigt, ist, inwieweit ich die Hardware fürs NAS auch in soweit auslege und skaliere, dass es für die diversen Dienste (s.o.) und ggf. die ein- oder andere VM reicht. Kurz NAS vs Homserver, der Ansatz "Eierlegende Wollmilchsau" sozusagen.​

Diese Frage lässt sich nicht beantworten ohne zu wissen, was "die ein- oder andere VM" denn so zu tun haben soll.
Eine VM kostet kaum CPU-Leistung, sofern die eh nichts zu tun hat. Das kostet bestenfalls RAM.
Wenn du eine VM für Videotranscoding haben willst, dann sollte der Server eher eine dazu fähige GPU haben (inkl. Softwareunterstützung, also passende Treiber).
Läuft auf einer VM Numbercrunching oder Gameserver, brauchst du CPU-Leistung.
Einen DNS ala PiHole macht jede halbwegs aktuelle Low-End-CPU nebenbei ohne das du überhaupt merkst, das die was zu tun hat.

Alternative wäre analog zur OPNsense, die Systeme zu vereinzeln und dem Einsatzzweck nach zu skalieren und physisch getrennt zu betreiben: Ein System für Hypervisor, VMs und Container-Dienste sowie ein reines NAS.​

Das ist immer schlecht für den Stromverbrauch.

• Nutzungszeitraum: Mindestens die nächsten 5 Jahre, 24/7 Betrieb

Prognosen sind immer schwierig, vorallem wenn sie die Zukunft betreffen.

• Netzwerk: Aktuell 1000BASE-T

Für ein NAS, zumindest solange man davon nicht nur Videos streamt, es für zeitunkritische Backups benutzt oder mal ein Excelfile davon öffnet, ist 1Gbit/s heutzutage eher lahm.

• Backups via USB auf externe Platte. Was wäre die Alternative?

Bandlaufwerk?
Nein, für externe Backups würde ich heutzutage externe HDDs benutzen. Das dürfte so ziemlich das kosteneffizienteste sein.

 

[seppendepp]

Danke für die Anmerkung zum Futro. Der ist separat zu betrachten (und ja bereits vorhanden). Ich habe das im ursprünglichen Text ergänzt.

Als VM käme wie gesagt ein Windoze in Frage, über welches gelegentlich per RDP zugegriffen werden kann, um Software zu nutzen, für die es bisher keinen adäquates Linuxderivat gibt.
Zudem würde ich je nach Hypervisor bzw. OS Setup den ganzen Docker Kram in einer eigenen VM laufen lassen.

Ich spiele nicht, berechne keine komplexen Dinge und habe auch keinerlei Anwendungsfälle für Videobearbeitung und Transkodieren von Filmen. Diese Szenarien kann ich ganz klar ausschließen.

1000BASE-T habe ich aktuell hier verkabelt, mehr würde mir derzeit keinen Mehrwert bringen. Das Ding darf natürlich mehr können, um für die Zukunft auch höhere Datenraten liefern zu können, wenn das Netzwerk ein Upgrade erfährt. Hinsichtlich der NICs ist die Priorisierung zu Gunsten guter Treiberunterstützung in Kombination mit Verbrauchseffizienz (hohe c-states) statt der schnellsten Karte für wenig Geld.

Sagte ich schon was zum Budget? Ich bin zu arm, um billig zu kaufen.

 

[wddn]

Kurztip vom Telefon:

Separate FW mit OPNSense macht Sinn - ich habe aktuell einen HP T620+ mit Proxmox und OPNSense virtualisiert (+PiHole, Home Assistant, Omada).

Dazu meinen großen Server mit TrueNAS Scale.

Nach einigen Monaten um Erfahrung zu sammeln, werde ich nun folgendermaßen „umbauen“:

HP T620+ zu Lenovo M720q (3 fache CPU Leistung und mehr (non-ECC) RAM) und werde mehr Dienste auf den Proxmox Hypervisor ziehen. TrueNAS Scale Server wird mehr zum Fileserver (mit ECC), welche von Proxmox VMs konsumiert werden.
Der M720q hat mit QuickSync auch bessere Transcoding Leistung.
Auf TrueNAS Scale läuft PBS (Proxmox Backup Seever) und alle VMs und LXCs werden automatisch gesichert - sehr bequem…

Proxmox mit „Proxmox Helper Scripts“ von GitHub macht die Installation super easy.

2 Server:
1x Proxmox Hypervisor
1x Fileserver mit ZFS, ECC RAM, etc

Stromverbrauch bei mir:
Hypervisor 14W
Fileserver 80W (fährt nachts automatisch runter)

 

[MultumInParvo]

Mist, mein ganzer Text ist dank Firefox Update weg.
Guter Faden für mich, da ich auch auf der Suche nach einem Server/NAS/Hypervisor Update bin.

für mich gelten die selben Anforderungen wie Pihole, Wireguard, Dnscrypt, Nextcloud (aktuell noch per nextcloudpi gehostet), homeassistant, KODI mediencenter, kleineres restzeug, nur
- 2.5Gig Ethernet vorhanden, Aufrüstung auf 10Gig möglichst in den nächsten 1-2 Jahren, Heimnetzwerkverkabelung existent
- kein Router-Ersatz angedacht in den nächsten Monaten, da DDWrt Router aktuell noch ausreichend,
- kein Hardware-RAID sondern ZFS RAID-Z VDEVs (vielleicht was der Topicstarter auch meint),
- mehr Speicherplatz gewünscht, gedacht HDD Verbund mit 3*16TB oder (bestehend) 5-6 * 4TB HDDs im Spindown für Medien und "Cold-Storage",
- SSDs oder NVMEs als always on VDEV für Nextcloud Data und Lightroom Foto Datenbank (Hauptverwendungsgrund für NAS/Server) um auf MAcbook Pro nicht mehr mit externem TB4 Device arbeiten zu müssen, dafür ist mir aber 2.5Gig Eth evtl. zu lahm, ich will mehr, deshalb 10Gig Updatepfad,
- später evtl. jellyfin, kodi aktuell im einsatz, 4k streaming
- möglichst all in one Hardware, also nicht getrennt Hypervisor und Server

@wddn, warum zwei getrennte Hardwareplattformen? Das wird im Forum viel empfohlen, aber könnte man nciht auch auf einem Hypervisor (Proxmox) den Fileserver virtualisieren, also TrueNAS Scale, und dann entsprechend auch mit PBS arbeiten. Klar einen Server mit 14W IDLE bauen wird schon sportlich, aber nache 20W Idle ist glaub ich realistisich mit aktuellem core i3-13100 und W680 Asrock Industrial Board (wenn auch ekelig teuer).

 

[seppendepp]

Hallo,

Danke für die bisherigen Antworten. Vielleicht war mein Eingangsbeitrag wirklich zu textlastig. Bisher empfinde ich das Antwortverhalten als recht zurückhaltend.
Ich überlege, wie der Faden zu retten ist. Sind meine Fragen zu unpräzise? Oder ist irgendetwas unklar?

Zum Thema:
Den Netzwerkkram wie Router möchte ich separat laufen haben. Nicht nur der Verfügbarkeit halber (falls man darüber nachdenkt, den Heimserver nachts vom Strom zu nehmen), sondern insbesondere wegen Netzsegmentierung und Wartbarkeit.

RAID soll nicht auf Hardwarebasis mittels Controller realisiert werden. Ich las auf diesen Seiten, dass man das nicht (mehr) macht.

Die Frage, um die es mir zunächst primär geht ist
1. Kann ich mit einem Board und Prozessor die NAS Anforderungen realisieren und habe trotzdem noch genug Reserven für eine Notfall Windows VM sowie den ganzen Dockerkram bei gleichzeitiger niedriger Stromaufnahme deutlich unter 50W, besser unter 30W?
Wenn die Antwort "ja" lautet:
2. Was für eine Board/CPU Kombination wäre zu empfehlen? ECC-RAM ist für mich gesetzt.

 

[-->Andy<--]

Ich hatte das mit den zwei Servern auch so fand es aber nicht gut. Bei mir war es 1xHP MicroServer Gen8 (22W hdd standby idle) und ein NanoPI R5S (3-5W OpenWRT Router)

Ich bin jetzt umgestiegen auf ein D3402-B1 + i5 7400T + 16GB RAM (Leider kein ECC). Kann man mit einem teureren Board aus der Reihe aber machen. Der Rechner verbraucht ohne Festplatten ~4 Watt im Idle.


Mein aktuelle Konfiguration sieht so aus:

• i5 7400T
• D3402-B1
• 16 GB RAM
• 1xNvme
• 2x3 TB HDD (Waren noch über, zum verkauf zu schade, hab davon noch zwei )
• 2x12 TB HDD
• PICO PSU 120 Watt
• ArchLinux als Betriebsystem (ftp, nfs, cifs, smart als native Services)

idle hdd Standby: 7W mit 4 Docker Container
last hdd Standby: 10W mit 20 Docker Container (Paperless, Jellyfin etc. fährt nachts Runter)
last hdd aktiv: 30W (Jellyfin index aktualisieren)
last hdd ruhend: 20W

Ich betreibe alle "Services" auf der NVME und mache Nachts eine Kopie ins den Raid 1 Pool. Ich bin Mega Happy mit dem Gerät, der Arbeitsspeicher wird nochmal auf 64GB erhöht und gut.

 

[MultumInParvo]

Hallo,

Danke für die bisherigen Antworten. Vielleicht war mein Eingangsbeitrag wirklich zu textlastig. Bisher empfinde ich das Antwortverhalten als recht zurückhaltend.
Ich überlege, wie der Faden zu retten ist. Sind meine Fragen zu unpräzise? Oder ist irgendetwas unklar?

Zum Thema:
Den Netzwerkkram wie Router möchte ich separat laufen haben. Nicht nur der Verfügbarkeit halber (falls man darüber nachdenkt, den Heimserver nachts vom Strom zu nehmen), sondern insbesondere wegen Netzsegmentierung und Wartbarkeit.

RAID soll nicht auf Hardwarebasis mittels Controller realisiert werden. Ich las auf diesen Seiten, dass man das nicht (mehr) macht.

Die Frage, um die es mir zunächst primär geht ist
1. Kann ich mit einem Board und Prozessor die NAS Anforderungen realisieren und habe trotzdem noch genug Reserven für eine Notfall Windows VM sowie den ganzen Dockerkram bei gleichzeitiger niedriger Stromaufnahme deutlich unter 50W, besser unter 30W?
Wenn die Antwort "ja" lautet:
2. Was für eine Board/CPU Kombination wäre zu empfehlen? ECC-RAM ist für mich gesetzt.

core i3-13100 oder i5-13500 mit Asrock IndustriaI MB-X1314 (kostet leider 420 EUR über amazon aus US). ECC, 8xSATA (für SSD VDEV bspw., oder 3x16TB HDD VDEV), Einschränkungen: leider nur 2x nvme und über pci-e x16 nur 2x x8 für weitere 2 nvme oder sas platten möglich (wenn man nicht auf extra controler-karte geht).

damit sollten <20W IDLE bei gutem Netzteil und 1xSATA SSD plus NVME VDEV für VMs+Docker bei 2.5Gig Ethernet möglich sein, Alle weiteren Komponenten nicht mitgerechnet (ohne 10Gig Eth., ohne HDD VDEV, ohne extra Graka für ggf. Windows VM die Gamen soll usw.).

Ich überlege ob ich sowas in der Art kaufe.

 

[wddn]

warum zwei getrennte Hardwareplattformen?

ZFS mit ECC und 4 HDDs mit geringem Stromverbrauch und evtl. Preisgünstig ist extrem schwierig…

Ich bin auch gestartet mit der Idee eines einzigen Servers…
Den Fileserver kann ich auch mal separat runterfahren, bzw. Per Job regelmäßig…

Ein 13500 mit W680 und ECC RAM wäre sicher fein, aber ob sich die Stromeinsparung jemals rechnet?

 

[seppendepp]

It's been a while....
Das Thema hat leider in den letzten zwei Monaten zurückgestellt werden müssen. Ich möchte aber gerne nochmal hier ansetzen bzw. fortfahren. Dabei habe ich in den letzten Tagen nochmal meinen Bedarf analysiert und versuche ihn nochmals zu präzisieren:

• Datenhalde/Fileserver/Mediathek (streaming über LAN, kein transcoding)
• Docker Container (siehe Eingangspost, max 20 Stück)
• Windows VM mit RDP Zugriff

24/7 Betrieb
Beim OS schmeiße ich mal Unraid in den Raum auch wegen ZFS.

ECC ist für mich nach reiflicher Überlegung nicht mehr zwingend vorausgesetzt. Die HW Optionen werden für mich zu sehr eingeschränkt und der Preis in die Höhe getrieben. Daher: Kein ECC. Ich möchte gerne ZFS einsetzen und denke an 32GB Hauptspeicher. Viel hilft viel.

Die Docker Container will ich auf die vorhandene Samsung 256er SSD packen, die Daten sollen auf 2x CMR Platten, NAS bzw. industry grade. Lieber wenige große als viele kleine Platten zugunsten der Leistungsaufnahme. Die Größe der Platten werde ich anhand des P/L-Verhältnisses von TB/EUR bestimmen. Vermutlich reichen erstmal 2x 4 TB, aber Luft nach oben ist ja bekanntlich immer. Habe ich noch nicht recherchiert. Empfehlungen?

In der Liste der sparsamsten Systeme fallen die i3-10100 sowie die i5-11600 Systeme ins Auge wegen einstelliger Leistungsaufnahme im idle und Erreichen von hohen C-states. Das gefällt mir. Die Krux ist: Welches Board würdet ihr empfehlen? Das ist für mich schwierig bis undurchschaubar. Anschlüsse für o.g. Platten und SSD. Gigabit LAN reicht erstmal, aber soll auf 2,5G oder 10G durch Adapterkarte zu einem späteren Zeitpunkt erweiterbar sein.

Muss sonst noch was in die Kiste? Zusätzlicher Lüfter zur Wärmeabfuhr und Geräuschreduktion?

Danke Euch!

 

[Zeitmangel]

Beim OS schmeiße ich mal Unraid in den Raum auch wegen ZFS.

ECC ist für mich nach reiflicher Überlegung nicht mehr zwingend vorausgesetzt.

Den verstehe ich nicht.

 

[seppendepp]

Den verstehe ich nicht.

Den Zusammenhang zwischen ECC und ZFS? Den gibt es nicht.
Oder den Umstand, dass ich mittlerweile von ECC Abstand nehme?

 

[Zeitmangel]

Der Zusammenhang zwischen ZFS und ECC gibt es eigentlich schon...

 

[pumuckel]

Der Zusammenhang zwischen ZFS und ECC gibt es eigentlich schon...

wo genau ?

 

[Trambahner]

Der Zusammenhang zwischen ZFS und ECC gibt es eigentlich schon...

Als Abhängigkeit; Nein. Du kannst ZFS ohne ECC einsetzen und Du hast immer noch mehr Schutz vor Datenverlust als andere Dateisysteme.

Dass beides sinnvoll ist für Datenintegrität: ja.

 

[Zeitmangel]

"Zusammenhang" Mit nicht "zwingend vorausgesetzt" hat er ja Recht.

 

[Ceiber3]

Als Abhängigkeit; Nein. Du kannst ZFS ohne ECC einsetzen und Du hast immer noch mehr Schutz vor Datenverlust als andere Dateisysteme.

Dass beides sinnvoll ist für Datenintegrität: ja.

Mäh, das wer ja das gleiche wie Synology BTRFS ohne ECC Ram. Ich finde zu BTRFS und ZFS gehört ECC einfach dazu. Sonst schreibst dir die Fehler die auf den Weg auf den Datenträger passieren mit rein.

 

[seppendepp]

Ich verstehe die Einwände bzw. Bemerkungen, dass ECC in Kombination mit ZFS sicherlich am meisten Sicherheit bietet, was die Datenintegrität betrifft.

Umgekehrt gefragt: Habe ich ein größeres Problem beim Einsatz von ZFS ohne ECC wenn durch fehlerhaften RAM die Daten auf ein ZFS Dateisystem fehlerhaft geschrieben werden als es mit ext4 oder BTRFS der Fall wäre? Ein falsches Bit und die Daten sind "kaputt", so mein Verständnis, siehe

The thing that makes ZFS difficult to use with non-ECC RAM is that it won’t give you flawed data; it’ll give you no data. If you have a 20GB VM image on a ZFS volume and it develops a single uncorrectable bit out of place, the whole thing is marked ‘broken’ and ZFS won’t give it to you. Over a single bit. Which probably wasn’t important anyway.

siehe https://ianhowson.com/zfs/ecc-ram/

Und: Wie oft bzw. auf statistisch gesprochen wie viele Betriebsstunden kommt das mit dem "rotten Bit" wirklich vor? Letztendlich ist es doch Abwägungssache.

Ich finde ECC Klasse und würde es gerne einsetzen, aber wenn die meisten Intel i-Prozessoren das nicht beherrschen, die AMDs Ryzen Pros deutlich mehr Strom schlucken und dann ist da noch die Sache mit den Boards: Das Angebot ist - finde ich - sehr überschaubar und vieles nicht lieferbar oder nur zu horrenden Preisen über Umwege aus dem Ausland. Ganz ehrlich: Spekulantenpreise möchte ich nicht zahlen, daher zur Not ohne ECC. Wenn mir jemand einen brauchbare Prozessor/Board Kombi nennen kann, die ECC kann und sich im vernünftigen Preisbereich verhält, bin ich ja nach wie vor offen.

Für mich ist der Marktüberblick bei den CPU/Boards extrem undurchsichtig, wie im Eingangspost erwähnt. Daher bin ich ja hier.

 

[wddn]

Wenn mir jemand einen brauchbare Prozessor/Board Kombi nennen kann, die ECC kann und sich im vernünftigen Preisbereich verhält, bin ich ja nach wie vor offen.

Schau mal im Nachbar-Thread nach dem Gigabyte MC12-LE0 mit Ryzen 5600 und ECC RAM
Sollte für 200€-250€ machbar sein (gebrauchter RAM)

Ich komme mit 4650G, 32GB ECC RAM und 1x NVME auf 16.5W idle

 

[Fusseltuch]

Den Vorschlag von @wddn halte ich für wirtschaftlich am sinnvollsten. Das Board ist für den Preis einfach unschlagbar. Sicher kann man sparsamer agieren, was Idle-Verbrauch angeht, die Plattform an sich ist aber so günstig, dass man ziemlich viel Strom abnehmen kann, bevor sich der Aufpreis für eine andere Plattform wirklich rechnet. Aus Erfahrung kann ich und sicherlich viele andere hier auch sagen, wenn man mit dem ganzen Kram erstmal angefangen hat und von Synology und QNAP weg ist, hat immer etwas zu erweitern, zu ergänzen, umzubauen und ist ein wenig "angefixt" von der Bastelei. Die nächste Ausbaustufe kommt, das ist so sicher wie das Amen in der Kirche. ;-)

Ich habe es bei mir folgendermaßen gelöst:

Proxmox installiert auf einem ZFS Mirror aus zwei Samsung SSDs, außerdem direkt via Proxmox ein ZFS "RAID10" mit 4x 4TB WD Red Pro angelegt. Ein Proxmox-Container mit Samba zeigt direkt auf das ZFS RAID10. Somit habe ich Samba und Proxmox, was die Dienste angeht, sauber getrennt und muss mich nicht mit Passthrough von irgendwelchen Laufwerken oder HBA-Controllern rumschlagen. Das ging in der Durchführung lächerlich einfach 😅

 

[wddn]

Proxmox installiert auf einem ZFS Mirror aus zwei Samsung SSDs, außerdem direkt via Proxmox ein ZFS "RAID10" mit 4x 4TB WD Red Pro angelegt. Ein Proxmox-Container mit Samba zeigt direkt auf das ZFS RAID10. Somit habe ich Samba und Proxmox, was die Dienste angeht, sauber getrennt und muss mich nicht mit Passthrough von irgendwelchen Laufwerken oder HBA-Controllern rumschlagen. Das ging in der Durchführung lächerlich einfach 😅

Was fuer einen Container nutzt du? Irgendein Guide zum Empfehlen?

Ich habe aktuell eine TrueNAS Scale VM fuer SMB und NFS 😟, welche ich dann fuer die anderen VMs/LXCs als Storage nutze...

 

[Fusseltuch]

Bin keinem Guide gefolgt, eher "Selbststudium". 😅 Standard Debian 12, weil ich mich mit Debian am besten auskenne...

Mit

zfs create poolname\name_des_subfs

auf dem Proxmox-Host ein ZFS-Sub-Filesystem angelegt (heißt in meinem Fall "zfs_pool\smb") und dann einen Debian 12 Container erzeugt, der zusätzlich einen Mount-Point auf den Pool enthält:

Dann habe ich im Container "/data" verfügbar und kann darauf ganz klassisch Samba abfrühstücken. Wichtig war beim Container glaube ich nur, dass man wie im Screenshot ACL auf 1 hat. Bei Bedarf stelle ich meine smb.conf auch noch rein. Aber da steht nix spannendes drin.

€dit: smb.conf

[...]

# Allow users who've been granted usershare privileges to create
# public shares, not just authenticated ones
   usershare allow guests = yes
   vfs objects = acl_xattr
   map acl inherit = yes
   store dos attributes = yes

[...]

[nas]
comment = Network Attached Storage
path = /data/nas
valid users = name1 name2 name3 name4
admin users = name1
public = no
writable = yes
inherit permissions = yes
inherit acls = yes

Die genannten User name1 bis name4 müssen innerhalb des Containers als Linux-User angelegt sein und via

smbpasswd

ein Passwort zugewiesen haben. Dann kann man im Windows Explorer ganz stumpf die passenden Ordnerrechte vergeben.

 

[seppendepp]

Den Vorschlag von @wddn halte ich für wirtschaftlich am sinnvollsten. Das Board ist für den Preis einfach unschlagbar. Sicher kann man sparsamer agieren, was Idle-Verbrauch angeht, die Plattform an sich ist aber so günstig, dass man ziemlich viel Strom abnehmen kann, bevor sich der Aufpreis für eine andere Plattform wirklich rechnet.

Das stimmt. Das Board ist mit 50,- EUR ja wirklich sagenhaft günstig. Und vorausgesetzt ich komme <20W idle, ist das für mich noch allemal im dunkelgrünen Bereich.

Schau mal im Nachbar-Thread nach dem Gigabyte MC12-LE0 mit Ryzen 5600 und ECC RAM
Sollte für 200€-250€ machbar sein (gebrauchter RAM)

Ich komme mit 4650G, 32GB ECC RAM und 1x NVME auf 16.5W idle

Die 5600er können inoffiziell ECC oder muss ich auf die Buchstaben am Ende acht geben? Der 5700er kostet "nur" 40,- EUR mehr. Sinnvoll?
Empfehlungen für die ECC UDIMMs? 2x 16GB sollen es sein. Taugen die von Micron was?

Ich habe noch eine alte Samsung Evo 840 256 GB SSD hier rumliegen. Mit der würde ich es erstmal versuchen. Wenn die bei den c-states zickt, dann muss was anderes rein. Was für eine NVME hast Du verbaut?

Aus Erfahrung kann ich und sicherlich viele andere hier auch sagen, wenn man mit dem ganzen Kram erstmal angefangen hat und von Synology und QNAP weg ist, hat immer etwas zu erweitern, zu ergänzen, umzubauen und ist ein wenig "angefixt" von der Bastelei. Die nächste Ausbaustufe kommt, das ist so sicher wie das Amen in der Kirche. ;-)

Amen! ;-)
Wobei, wenn der ganze Kram erstmal installiert ist und so läuft, wie ich mir das gedanklich in meinen schlaflosen Nächten vorstelle, dann darf auch für eine gewisse Zeit Ruhe einkehren.

 

[wddn]

Was für eine NVME hast Du verbaut?

Eine Samsung 970 Evo 1TB

Die 5600er können inoffiziell ECC oder muss ich auf die Buchstaben am Ende acht geben? Der 5700er kostet "nur" 40,- EUR mehr.

Bei den APUs (mit iGPU) können nur die Pro Modelle ECC - Achtung: nur 8x4x4 bifurcation möglich

Alle Ryzen CPUs können ECC mit 4x4x4x4 bifurcation - AUSSER der Ryzen 5700 (ohne X), da eigentlich ein 5700G mit deaktivierter iGPU

Den 5600 gibt es für 99€ im Mindstar - bestes P/L

 

[Zeitmangel]

Ich verstehe die Einwände bzw. Bemerkungen, dass ECC in Kombination mit ZFS sicherlich am meisten Sicherheit bietet, was die Datenintegrität betrifft.

Umgekehrt gefragt: Habe ich ein größeres Problem beim Einsatz von ZFS ohne ECC wenn durch fehlerhaften RAM die Daten auf ein ZFS Dateisystem fehlerhaft geschrieben werden als es mit ext4 oder BTRFS der Fall wäre?

Nein., hast du nicht. Bit-Flips passieren auf Datenträgern ungleich öfters als im RAM. Jedenfalls, wenn man OC weglässt. Was bei so einer Kiste schon Sinn macht, es nicht zu tun...
Für die meisten ist das halt wie eine Portion Pommes. Kann man aufessen und ne Weille bisschen satt sein. Es ist aber irgendwie bisschen was anderes, wenn es da noch Majo (ECC) dazu gibt

Imho ist viel davon Placebo, am 1-Bit ECC. Das Zeug von u.a. AMD mit 2-Bit ECC (Multibit-ECC allgemein) bringt erst die reale Sicherheit. Ich bau meine Sachen die mehr als nur Daddelkiste (mal) oder "Bürorechner" sind trotzdem nicht aus Spielzeugteilen.
Also z.B. nicht mit Boards deren RAM-Slots links und rechts vom Sockel liegen. Sondern halt oben und unten Das sind eben meist "Serverboards" und diese können auch ECC. Samt den CPUs dafür. Also kommt ECC rein. Ja, eine Art Geisterkrankheit
Da ich mich aber sehr oft auch an der pro refurbished Resterampe bediene, bekomme ich das mit den Spekulanten auch nicht so mit. Ggf. weiß ich ja was es kosten sollte und was ich ausgeben will.

 

[seppendepp]

Bei den APUs (mit iGPU) können nur die Pro Modelle ECC - Achtung: nur 8x4x4 bifurcation möglich

Alle Ryzen CPUs können ECC mit 4x4x4x4 bifurcation - AUSSER der Ryzen 5700 (ohne X), da eigentlich ein 5700G mit deaktivierter iGPU

Die Bifurkation brauche ich, wenn ich >1 NVME via PCIe (Adapter vorausgesetzt) anschließe, richtig?

Den 5600 gibt es für 99€ im Mindstar - bestes P/L

Finde ich nicht. Vermutlich schon vergriffen, allerdings ist die Tray bzw. Box Version nur 10/20,- EUR teurer. Apropos: Ist der in der boxed Version enthaltene Kühler brauchbar oder kaufe ich den lieber separat und nehme die tray Version?

Ich fasse mal zusammen:

Board	Gigabyte Mainboard MC12-LE0
CPU	AMD Ryzen 5600
RAM	2x16GB, n.n.
NVME	Samsung 840EVO, 250GB (vorhanden), ggf. andere
Festplatten	2x xTB CMR, n.n.
Netzteil	n.n.
Gehäuse	n.n.
Zusätzliche Kühler?
PCIe Adapter?

 

[wddn]

Die Bifurkation brauche ich, wenn ich >1 NVME via PCIe (Adapter vorausgesetzt) anschließe, richtig?

Korrekt: die ASUS Hyper M.2 Karten bieten z.B. 4x NVME mit jeweils den vollen x4 lanes

Und der x4 Slot ist perfekt geeignet für eine 10GBit NIC Karte 😁 (mindestens PCIe 3.0), oder einen HBA, falls es mehr als die 6x SATA benötigt

 

[Ceiber3]

Gibt es keine Kombi Karte wo 10Gbit Lan und NVMe verbauen kann ? Am besten PCIe 4.0 x4 angebunden und dann mit PLX Chip aufgteilt.

 

[mrpasc]

Gibt es, allerdings nur für x8, z.B. von qnap.
Beim Preis suchen aber bitte vorher hinsetzen!

QM2-2P410G2T | 2 x M.2 PCIe Gen4 NVMe SSD & 2 x 10GbE Port Erweiterungskarten

Mit der QM2-2P410G2T können Sie ganz einfach M.2 NVMe SSDs und 10GbE RJ45 Konnektivität zu Ihrem QNAP NAS hinzufügen, ohne dass eine Treiberinstallation erforderlich ist. Die QM2-2P410G2T verfügt über einen Broadcom® Controller mit PCIe 4.0 Schnittstelle, die eine höhere Bandbreite für...

www.qnap.com

QM2-2P410G1T | 2 x M.2 PCIe Gen4 NVMe SSD & 1 x 10GbE Port Erweiterungskarte

Mit der QM2-2P410G1T können Sie ganz einfach M.2 NVMe SSDs und 10GbE RJ45 Konnektivität zu Ihrem QNAP NAS hinzufügen, ohne dass eine Treiberinstallation erforderlich ist. Die QM2-2P410G1T verfügt über einen Broadcom® Controller mit PCIe 4.0 Schnittstelle, die eine höhere Bandbreite für...

www.qnap.com

Etwas günstiger da nur PCIE 3.0:

QM2-2P10G1TB | 2 x PCIe Gen3 NVMe SSD & 1 x 10GbE Port Erweiterungskarte zur Leistungssteigerung

Mit der QM2-2P10G1TB können Sie ganz einfach zwei M.2 NVMe SSDs und 10GbE RJ45 Konnektivität zu Ihrem QNAP NAS hinzufügen. Im Vergleich zur SATA-Schnittstelle bietet die PCIe Gen3 x 8 Schnittstelle der QM2-2P10G1TB eine höhere Bandbreite für eine schnellere Verarbeitungsgeschwindigkeit und einen...

www.qnap.com

Diese von Ali wäre sogar wie gewünscht x4, aber liefert nicht nach Deutschland

Pcie 10g + m.2 Netzwerk karte | Netzwerk karte mit kostenlosem Versand auf ali express

Smarter Shopping, Better Living! Aliexpress.com

a.aliexpress.com

Und in der Synology Apotheke gibts auch was

E10M20-T1 | Synology Inc.

Kombi-Adapterkarte für M.2 SSD und 10 GbE zur Steigerung der Systemleistung

www.synology.com

 

[Fusseltuch]

Und mit USB-C in top gibt’s das auch:

McFiver PCIe Card - SONNETTECH

Multifunction PCIe Card with dual NVMe M.2 SSD slots, 10GbE Port, and 10Gbps USB-C ports. For Mac, Windows, and Linux.

www.sonnettech.com

Aber nur PCIe 3.0