TrueNAS Server mit ECC - Hardwareänderungen

ZTubePanda

Neuling
Thread Starter
Mitglied seit
29.01.2024
Beiträge
4
Hallöchen zusammen,

Ich versuche gerade mein Nas das ich vor etwa nem Jahr gebaut habe zu überarbeiten. Leider hat das Teil ein paar grundlegende Design Flaws, war halt der erste PC den ich je gebaut habe und ich könnte etwas Unterstützung brauchen was ich besser machen kann.

Erstmal zu meinem Usecase: Nutze das Nas als Server-Backup (Proxmox backup server) und als Medienspeicher (Und auch Jellyfin host etc.). Ich bin Informatikstudent und lebe in nem Studentenwohnheim, dementsprechend bin ich ziemlich in der Größe eingeschränkt die das Teil haben darf und auch Lautstärke und Stromverbrauch sollten sich in Grenzen halten. Wie bereits im Titel erwähnt nutze ich TrueNAS (Wobei ich Unraid, das jetzt wohl auch ZFS kann, auch mal ausprobieren würde) und dementsprechend sind ZFS und ECC Ram für mich ebenfalls Vorraussetzung.

Momentan ist folgendes verbaut:
  • CPU: AMD Ryzen 5 5600
  • GPU: keine :)
  • Mainboard: AsRock B550M Pro4 (uATX)
  • RAM: 2x Kingston KSM32ED8/16MR ECC
  • PSU: Seasonic Focus SGX-500 (SFX-L)
  • Case: Inter-Tech IM-1 Pocket
  • Speicher:
    • 2x 256Gb Intel nvme ssd fürs OS (TrueNas Scale)
    • 1x alte 512Gb Kingston ssd für TrueNas application volumes
    • 3x Seagate Barracuda Compute 4TB für die Backups und Medienspeicher
  • Lüfter:
    • Stock AMD CPU Lüfter
    • 3x Noctua NF-A12

Nachdem ich das Ganze jetzt für etwa ein Jahr so verwendet habe gibts so ein paar Dinge die mich daran etwas stören:
  • Noise:
    • Das Case ist leider nicht wirklich für 3x 3.5" Festplatten geeignet weshalb ich mir damals ein paar Teile 3D-gedruckt habe mit denen ich die ein wenig da reinstapeln kann. Leider überträgt das die Vibrationen ziemlich stark aufs Case was Einschlafen dann doch etwas schwieriger gestaltet. Auch spindown funktioniert nicht wirklich verlässlich und ich würde damit auch komplett auf Smart-Monitoring verzichten
  • Stromverbrauch:
    • Die Kiste idled bei etwa 50W. Das ist für meinen Geschmack dann doch etwas zu viel wenn es 24/7 an ist. Meine Vermutung ist, dass es an dem Chiplet Design von den AMD CPUs liegt und vlt das Motherboard auch ein wenig dazu beiträgt.
Deshalb überlege ich die folgenden Änderungen zu machen:
  • CPU:
    • Ryzen 3 PRO 4350G
    • oder Ryzen 5 PRO 4650G
    • Die Ryzen APUs sind wohl deutlich effizienter im Idle aber nur die Pro-Reihe kann ECC.
  • Case:
    • Jonsbo N3
    • oder Fractal Node 304
    • Das Jonsbo N3 ist noch relativ neu aufm Markt aber es wäre relativ kompakt und man kann als Bonus sogar die Festplatten hotswappen wegen den Trays. Das Node 304 ist schon etwas älter und man muss alles fest verschrauben aber vielleicht ist die Aufhängung der Festplatten damit etwas leiser und auch generell die Kühlung etwas besser?
  • Mainboard:
    • AsRock B550M-Itx/ac
    • Beide Cases können nur ITX, müsste also auch das Mainboard wechseln. Allerdings sind wohl ITX-Mainboards eh deutlich effizienter?
  • PSU:
    • Eher optional aber ich hab auch mal über ne PicoPSU nachgedacht. Weiß aber nicht ob die sich lohnen weil das Focus SGX-500 wohl auch bei geringerer Leistung noch relativ effizient zu sein scheint.

Die Teile die ich austausche würde ich dann nutzen um mir daraus einen PC fürs Gaming zu bauen, ein Projekt was eh noch ansteht.
Ansonsten Undervolting etc. hab ich schon ausprobiert, konnte damit aber nicht wirklich irgendwas erreichen.

Wäre cool wenn ihr ein Paar Tipps für mich hättet was ich am besten nehme oder auch Alternativvorschläge :)
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Mein Tipp: Ersetze die 3x4tb hdds durch 3x4tb SSDs. Dürfte Dir aber zu teuer sein...
 
Die 3x BarraCuda Compute sind Desktop-Festplatten und haben weder in einem RAID noch in einem Server etwas zu suchen. Das ist erstmal dein größtes Problem. Egal ob du SSDs oder NAS-/Server-HDDs nimmst, hauptsache raus mit denen. Wichtiger Tipp für dich als angehenden ITler: Datenblätter lesen.
 
Die 3x BarraCuda Compute sind Desktop-Festplatten und haben weder in einem RAID noch in einem Server etwas zu suchen. Das ist erstmal dein größtes Problem. Egal ob du SSDs oder NAS-/Server-HDDs nimmst, hauptsache raus mit denen. Wichtiger Tipp für dich als angehenden ITler: Datenblätter lesen.
Bin damals kostenlos an die rangekommen (sind bei nem Unternehmen mit relativ wenig Laufleistung rausgeflogen) und ich hab sie deshalb eingebaut. Was spricht gegen die Platten, abgesehen davon, dass sie SMR sein werden und dementsprechend mich in der Schreibgeschwindigkeit vielleicht etwas einschränken?
Beitrag automatisch zusammengeführt:

Mein Tipp: Ersetze die 3x4tb hdds durch 3x4tb SSDs. Dürfte Dir aber zu teuer sein...
Da wäre ich leider schnell bei > 700€
 
Was spricht gegen die Platten, abgesehen davon, dass sie SMR sein werden und dementsprechend mich in der Schreibgeschwindigkeit vielleicht etwas einschränken?
Das sind einfache Desktopplatten, also die billigste Kategorie von HDDs und als solche nicht für die Nutzung mehrere HDDs in einem Gehäuse geeignet. Das schreiben die Hersteller so direkt natürlich nicht dazu, aber bei den nächst besseren HDDs, den NAS Platten, steht es dann, wie z.B. hier bei den WD Red:
Außerdem sind Desktopplatten wie eben die Barracuda Compute oder auch die WD Blue nicht für den Dauerbetrieb ausgelegt, den halte sie zwar eine Weile durch, aber dann erreichen sie oft die vom Hersteller geplante Nutzungsdauer von 5 Jahren nicht, sondern sind teils schon nach etwas mehr als zwei Jahren, eben wenn ihre Garantie abgelaufen ist, hinüber, dann haben sie aber auch schon mehr Betriebsstunden runter als bei ihrer vorgesehenen Nutzung mit 2400 Betriebsstunden pro Jahr angefallen wären:
Desktop Storage field conditions bedeutet eine HDD im Rechner und maximal 2400 Power-On-Hourse pro Jahr. Dies kommt historisch daher, dass der Desktop eben der Rechner auf dem Schreibtisch ist, der als persönliches Arbeitsgerät eines Mitarbeiters dient und den schaltet er morgens ein und abends aus, dies von Montags bis Freitags und über 8 Stunden Arbeitszeit und dazu eine Stunde Mittagspause, da sollte die Platte mit 2400 Stunden im Jahr auskommen. Dies sind die Anforderungen für die Desktophardware ausgelegt ist, während Serverhardware für Dauerbetrieb und sogar Dauerlast ausgelegt ist.

Bei den HDDs liegen die NAS Platten dazwischen, die vertragen Dauerbetrieb und auch mehrere HDDs pro Gehäuse, aber nicht Dauerlast. Immer wenn man mehr als eine HDD im Gehäuse hat oder mehr als 2400 Power-On-Hours pro Jahr zusammenkommen, sollte man NAS (oder Enterprise) Platten nehmen, auch im Desktop und WD macht dies auch bei den MyBook Duo Gehäusen.
 
@ZTubePanda 50W Idle inkl. der Platten, wenn sie idle drehen, oder? Sonst stimmt da was nicht. Oder das Board frisst viel.

Beim B550M Tuf Gaming Plus mit 5600X, (ohne GPU, 128GB ECC, 2xWD SN850X, 3XEvo 870 Evo 4TB, 3 Fans) und nem BQ 400W Gold
habe ich ~28W Idle unter Proxmox 7.4 Idle. PBO ist an, PPT auf 105W hochgestellt und +200Mhz PBO-Overdrive aktiv.
Mit ner APU würde ich noch 6-7W sparen, AAABER verliere dann PCI gen4 und x4x4x4x4 Bifurcation am x16 Slot. Ist es mir nicht wert.
Die APUs sind ja im Grunde Chipdesigns ursprünglich für Laptops, die dann auf den Desktop adaptiert wurden.

Insofern, ja, die non-APUs sind ein kleinwenig höher im Idle, ist aber bei geschickter Komponentenwahl nicht sonderlich wesentlich.

Allgemein, es rentiert sich nicht hunderte Euro in einem existenten System auszugeben um vielleicht 10W wegzusparen.

Zum Vergleich: Auf 50-60W Idle komm ich bei meinem großen Server (X570D4U-2L2T +5950X mit 2x 10G Lan und IPMI), wenn die Platten im Idle stehen.

SMR HDDs mit ZFS? Gaaaanz schlechte Idee. Besonders beim Resilvern, aber Du hast ja auch ein gewisses Fragmentieren durch das Copy-on-Write Konzept von ZFS im regulären Betrieb.
Das kann auch im Regelbetrieb extrem langsam werden, wenn der Füllgrad zunimmt. Hands off.


Wenns klein sein soll: Deskmeet X300 mit der Pro-APU und SSD-only Speicher. Etwa 17W Idle in der Basisausstattung. Musst im Inneren etwa tricksen mit Adapterkabeln und ggf. Sata/SAS-Controller,
denn das Ding hat nur 2 Sata-Ports. Kann aber den x16-Slot z.B. per Bifurcation auf x8x4x4 aufteilen, Du kannst da also passive M.2-Riserkarten reinpacken z.B. und das Ding mit Flash-Speicher "füllen".
Der Deskmeet kann auch ECC, solang die CPU es kann.

Andererseits: Flash-only so wie es Asche77 vorschlägt hast auch mit dem IM-1 Pocket kein Lautstärke- oder Größenproblem.
 
Zuletzt bearbeitet:
Ja sind relativ genau 50W mit drehenden Platten. Aber auch mit Spindown reden wir von vielleicht 5W Unterschied. Hätte erwartet, dass die APUs nen deutlich größeren Unterschied machen als 6-7 Watt. Mein Plan war eher so auf 15-20W zu kommen mit den Änderungen. Das mit der x4x4x4x4 Bifurcation war auch schon meine Befürchtung aber dazu viel Dokumentation zu finden ist leider nicht so einfach. Aber ich schätze mal du wärst mit der APU dann auf x8x4x4 limitiert? Bisher nutze ich Bifurcation zwar noch nicht aber war früher oder später der Plan falls ich mal NVMEs als L2Cache oder Metadata vdev oder so reinpacke.

Flash-only würde ich gern machen aber das ist mir dann leider doch zu teuer für die Speichermenge. Momentan habe ich bereits 80% von dem Pool ausgelastet. Jetzt also 3x4TB von egal welcher Technologie neu kaufen würde schätze ich wenig Sinn ergeben bzw. ich müsste dann eher auf 3x8TB wechseln
 
Ja is immer noch bissl viel. Die APU selber macht 6-7W aus, quasi der I/O-Die den sie nicht hat; der kann nämlich nicht idlen.
Viel hängt halt aber auch noch am Board selber, die verwendeten Powerstages drauf usw, die auf dem Pro4 verbauten Mosfets seien wohl was ich verstanden habe, nennen wir es "sehr kostengünstig" und nicht wirklich effizient. Drum werden die bei Belastung durch starke CPUs auch heiss .

Die des B550M Tuf sind effizienter (das Asrock B550M Steel Legend hat die z.b. auch) ; das wird sicher auch beim Idle das eine oder andere Watt kosten. Dieses Board ist aber relativ bekannt dafür, insgesamt eines der sparsamen B550 zu sein. Am Ende liegt es ja m Zusammenspiel aller Komponenten drauf.
Hab ich nur nen 5750G oder 4750G drauf mit 32GB und einer SSD, komm ich knapp unter 20W Idle bei mir. Mit dem 5600X headless eben besagte 6-7W mehr.

L2Arc: erst nutzen wenn der Ram nicht mehr erweiterbar ist. Für sequentiellen Zugriff (also z.b. Videofiles wiedergeben) bringt der L2Arc nichts. Und L2Arc braucht selber einen Teil Ram für die Verwaltung. ein "special-vdev" für kleine Blöcke und Metadaten ist natürlich interessant: Aber Achtung, das was schon davon auf den HDDs liegt, wird beim Erweitern um ein Special-Vdev NICHT auf die SSD geschoben. Was auf den HDDs ist, bleibt auf den HDDs solange es neu zu schreiben ist.
Aber, nochmal eindrückliche Warnung vor SMR mit ZFS; wenn das auch noch 5400er rpm sind. dann ....*selbstzensiert*.
Einmal Videofiles oder ISOs drauflegen: klappt. Sobald Du aber Random I/O hast oder ständig Files änderst, löschst, wieder neu schreibst (also Backups die sich regelmässig ändern): Katastrophenperformance meiner Meinung nach vorprogrammiert. Und Du merkst das nicht sofort, sondern kann je nach Schreibmuster im Regelbetrieb ein schleichender Prozess sein.
Das hat seinen Grund, warum hier mehrere davor warnen und bei der Einführung von SMR bei WD Red vor ein paar Jahren die "storage-affine Community" so massiv Alarm schlug.
Wenn der Pool 80% schon voll ist, dann kommst Du eh schon in den Bereich wo für ZFS aus performancegründen frei gelassen werden sollte.


Das NT hat dann natürlich auch noch einen potentiell großen Einfluss, das o.G. Seasonic kann ich nicht einschätzen, das Label "80 Plus Gold" alleine sagt bzgl. Effizienz bei extrem niedriger Auslastung zwischen 5-10% im Idle sehr wenig bis nix. Für das o.G. Setup sind 500W natürlich extrem viel, aber ich weiss: kleine gute NTs können mittlerweile schwierig zu bekommen sein.

Ja, die 4000er und 5000er APUs können x16, x8x8 und x8x4x4. Was dann wirklich läuft hängt natürlich vom Board+Bios ab.
 
Zuletzt bearbeitet:
Ich bin kein ZFS-Experte, aber war da nicht sogar was mit ner Fehlermeldung bei der Nutzung von SMR+ZFS? Irgendwas war damals.
 
Gefahr von ultralangen Resilver-Jobs bis hin zu Abbrüchen wg. Timeouts wg. der superlangsamen Zugriffe, die da auftraten.
Womit man dann im Fall des Falles, wenn man die Redundanz notwendig wäre, den kürzeren zieht und Daten verlieren kann.
 
Die des B550M Tuf sind effizienter (das Asrock B550M Steel Legend hat die z.b. auch) ; das wird sicher auch beim Idle das eine oder andere Watt kosten. Dieses Board ist aber relativ bekannt dafür, insgesamt eines der sparsamen B550 zu sein. Am Ende liegt es ja m Zusammenspiel aller Komponenten drauf.
Hab ich nur nen 5750G oder 4750G drauf mit 32GB und einer SSD, komm ich knapp unter 20W Idle bei mir. Mit dem 5600X headless eben besagte 6-7W mehr.
Weißt du wie sich da im Vergleich dann das AsRock B550M-Itx/ac verhält? Leider findet man nur bei Asrock (Abgesehen von richtigen Serverboards) sinnvolle Angaben ob die Boards bei ECC mitspielen.
Aber, nochmal eindrückliche Warnung vor SMR mit ZFS; wenn das auch noch 5400er rpm sind. dann ....*selbstzensiert*.
Uff schätze da muss ich enttäuschen. Sind 5400. Hatte dann wohl bisher einfach Glück, ist nie zu irgendwelchen Timeouts oder sonstigen Problemen gekommen, und das trotz Belastung durch z.B. Proxmox Backup Server.
Das NT hat dann natürlich auch noch einen potentiell großen Einfluss, das o.G. Seasonic kann ich nicht einschätzen, das Label "80 Plus Gold" alleine sagt bzgl. Effizienz bei extrem niedriger Auslastung zwischen 5-10% im Idle sehr wenig bis nix. Für das o.G. Setup sind 500W natürlich extrem viel, aber ich weiss: kleine gute NTs können mittlerweile schwierig zu bekommen sein.
Meine Angabe bezieht sich da auf die Tests von Cybenetics: https://www.cybenetics.com/d/cybenetics_Va6_eu.pdf (Seite 11)
Laut deren Tests sollte das Netzteil bei 50 Watt in etwa bei 85-90% Wirkungsgrad liegen
 
Das Zugriffsmuster vom PBS kenn ich nicht. Wenn der einfach nur sequentiell Daten dranhängt und dranhängt und dranhängt, dann ist das wie das Füllen mit großen Videofiles. Da treten kaum Probleme auf.

Generell sagt ITX nicht aus, dass oder ob ein Board sparsamer als mATX/ATX ist. Die Powerstages sind ähnlich denen zum B550M Tuf, nur weniger und etwas weniger Amps.
Aber das alleine sagt halt nichts, das ist nur ein Faktor.

Ob ECC-Funktionalität (ganz oder teilw.) gegeben ist, wirst Du bei Consumer-Teilen annähernd nie verbindlichen Aussagen bekommen, Du kannst da nur Foren durchsuchen.
Manche Boards haben vollen Support, bei manchen werden Fehler zwar korrigiert, aber nicht ans OS gemeldet. Z.B.
Bei den Consumerboards wirst Du nix finden, wo es eine 100% zugesicherte und spezifizierte Eigenschaft ist. AMD hat es aber auf der CPU auch nicht deaktiviert.
Insofern ist das eine gewisse Grauzone.

Bei AM4 unterstützen es viele Asrock und Asus, Grauzone ist es aber dennoch in 99% der Fälle. Z.B. MSI unterstützt es bei AM4 gar nicht, Gigabyte hab ich keine Ahnung.
AM5 ist bzw. war wohl teilw. wieder anders.
 
Zuletzt bearbeitet:
  • CPU: AMD Ryzen 5 5600
  • GPU: keine :)
  • Mainboard: AsRock B550M Pro4 (uATX)
  • RAM: 2x Kingston KSM32ED8/16MR ECC
  • PSU: Seasonic Focus SGX-500 (SFX-L)
  • Case: Inter-Tech IM-1 Pocket
  • Speicher:
    • 2x 256Gb Intel nvme ssd fürs OS (TrueNas Scale)
    • 1x alte 512Gb Kingston ssd für TrueNas application volumes
    • 3x Seagate Barracuda Compute 4TB für die Backups und Medienspeicher
  • Lüfter:
    • Stock AMD CPU Lüfter
    • 3x Noctua NF-A12

  • Stromverbrauch:
    • Die Kiste idled bei etwa 50W. Das ist für meinen Geschmack dann doch etwas zu viel wenn es 24/7 an ist. Meine Vermutung ist, dass es an dem Chiplet Design von den AMD CPUs liegt und vlt das Motherboard auch ein wenig dazu beiträgt.

Bei mir läuft ein 5600X auf dem Board mit 2x32GB Kingston Server Premier DDR4-2666 (ECC) auf dem gleichen Board. PSU ist ein BeQuiet Pure Power 12M 550W. Hab per Bifurication 2x Samsung 970 EVO 1TB in ner einfachen PCIe x16 Karte die 4xm2 NVME anbietet.

Per SATA angeschlossen:
1xSamsung 860 EVO 1TB
2xToshiba 20TB
2xWD RED 12TB

Es laufen einige Docker und eine HomeAssistant VM dauerhaft. Da lag ich im Idle (Platten im Spindown) bei 41,4W mit nem ShellyPlug gemessen (unter unraid mit powertop). Hatte vorher nen älteres BeQuiet da lag ich noch 3-4W höher.

Ich hatte auch über einen CPU Wechsel auf eine APU nachgedacht. Gibt dann eben das "Bifurication-Problem" mit max 8x4x4 (https://community.amd.com/t5/processors/pcie-bifurcation-with-ryzen-apu/td-p/576063). Es gibt teurere Karten, die einen PCIe Switch haben, und es übernehmen können. Da müsste es im Unraid Forum ein paar Beiträge zu geben.
 
Da musst Du dann aber bedenken, dass diese Karten mit PLX-Chip oder vergleichbar (z.B. die Broadcom Trimode HBAs) selbst viel Power ziehen. 10W und mehr.
 
Bei AM4 unterstützen es viele Asrock und Asus, Grauzone ist es aber dennoch in 99% der Fälle. Z.B. MSI unterstützt es bei AM4 gar nicht, Gigabyte hab ich keine Ahnung.
Zumindestens bei AM4 Asrock scheint das mittlerweile ziemlich klar angegeben zu sein, beil welcher CPU ECC unterstützt wird und bei welcher nicht, z.B. bei diesem Board


- AMD Ryzen series CPUs (Vermeer) support DDR4 4600+(OC) / 4533(OC) / 4466(OC) / 4400(OC) / 4333(OC) / 4266(OC) / 4200(OC) / 4133(OC) / 4000(OC) / 3866(OC) / 3800(OC) / 3733(OC) / 3600(OC) / 3466(OC) / 3200 / 2933 / 2667 / 2400 / 2133 ECC & non-ECC, un-buffered memory*
 
Da muss ich Dich zum Teil enttäuschen: Das heisst erstmal nur, dass der Speicher da drin an sich läuft.
Das heisst nicht, dass volle Unterstützung der ECC-Funktionalität gegeben ist. Du kannst auch Boards haben, wo der Speicher läuft, aber keine ECC-Funktionalität da ist.
Und auch da gibt es verschiedene Levels, was funktioniert und was nicht.

ECC ist keine zugesicherte Produkteigenschaft seitens AMD für non-Pro CPUs ! Die Funktionalität dort ist nicht offiziell verifiziert und bestätigt. Ausnahme aktuell: der neue 8700G.
Man könnte auch interpretieren: man hats halt für die Enthusiasten nicht bewusst deaktiviert. Ist ja auch ein Differenzierungsmerkmal ggü. Intel, die erst mit Chipsatz W680
ECC auf den starken Consumer-CPUs zugelassen haben (offenbar aufgrund des Marktumfelds...).

Aber ich empfehle Dir hier, das Forum zu durchsuchen. Über ECC und AM4 findest Du hier im Forum zig Einträge.
 
Wenn Lautstärke und Stromverbrauch reduziert werden soll:

RAID1 für OS -> einzelne SSD (TNS config woanders abspeichern) - Recovery vom System in <1h

VMs: Ok, oder NVME

HDDs raus und ggf nur eine große HDD, oder zwei gespiegelt (CMR & Helium Füllung)

Mit powertop mal schauen, welche c-states erreicht werden…

Ansonsten finde ich das eigentlich eine passende Konfig… falls du Transcoding in Jellyfin benötigst: 4650G
 
Da muss ich Dich zum Teil enttäuschen: Das heisst erstmal nur, dass der Speicher da drin an sich läuft.
Das heisst nicht, dass volle Unterstützung der ECC-Funktionalität gegeben ist. Du kannst auch Boards haben, wo der Speicher läuft, aber keine ECC-Funktionalität da ist.
Und auch da gibt es verschiedene Levels, was funktioniert und was nicht.
Ja ist mir bewusst, aber auch die Fehlermeldung scheint mittlerweile in vielen Fällen (mit aktuellem Bios) zu funktionieren
 
Ich hab grad gesehen, AMD hat ECC als zugesicherte Eigenschaft beim 8700G auf ihrer Webseite entfernt...

Obs trotzdem geht: k.a. im Forum von Level1tech wird dadrüber bereits spekuliert. Man wird sehen.
 
Würde mich nicht wundern, wenn das wie bei der 5er-Reihe wird, mit diesen "Pro" Modellen... Ryzen Pro 8750G ? Man wird sehen.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh