Heimserver / NAS SSD Bestückung

[storageNator]

Hallo zusammen,

ich bin gerade bei der Zusammenstellung von meinem neuen Heimserver / NAS
Auf diesem wird höchstwahrscheinlich ein ZFS Pool erstellt.
Ich habe gestern ein wenig zu dem Thema ZFS Pools recherchiert und bin zu der Erkenntnis gelangt, dass es vermutlich mehr Sinn macht mehr SSDs einzubauen.
z.B. 4x1TB statt 2x2TB

Das Mainboard steht noch nicht genau fest, aber dieses hier ist aktuell ein möglicher Kandidat.
Voraussetzung ist DDR5 ECC RAM.
https://geizhals.de/asrock-b650m-pg-lightning-90-mxbmv0-a0uayz-a3059971.html?hloc=at&hloc=de

Dieses Board hat ja einige M2 Slots, daher kriege ich dort ja einige SSDs rein.
Stimmt ihr mir zu, dass aus Performance und Verfügbarkeits Gründen mehr Sinn macht eine größere Anzahl an SSDs mit der gleichen Kapazität zu verwenden?

Ich habe mich noch nicht endgültig entschieden, es wird aber wahrscheinlich ein N-2 Mirror oder RAID-Z2 ZFS Pool
Ich werde wahrscheinlich mit 2TB nutzbarer Kapazität starten, aber auch die möglichkeit haben, auf 4TB zu erweitern.
Dazu werde ich mindestens die PCIe Slots freihalten, damit ich diese bei Bedarf für einen weiteren vdev nutzen kann, ob mein Mainboard Bitfurcation beherrscht muss ich noch recherchieren.

Grundsätzlich ist der aktuelle Plan, dass Proxmox auf diesem Server laufen wird.
Dort landet dann eine VM für Seafile (Synchronisation von Daten von allen Clients) und eine Windows VM für Entwicklung und Tests.
Zusätzlich wird es noch weitere VMs geben für verschiedene Smart Home Sachen.
Ob da TrueNAS oder Unraid drauf landet, habe ich noch nicht entschieden, muss mir erst noch beide ansehen / testen.

 

[wddn]

Ich habe gestern ein wenig zu dem Thema ZFS Pools recherchiert und bin zu der Erkenntnis gelangt, dass es vermutlich mehr Sinn macht mehr SSDs einzubauen.
z.B. 4x1TB statt 2x2TB

Bei solch kleinen Speichermengen?

Einfach ein simples 2x4TB Mirror in ZFS und gut ist….

 

[storageNator]

Generell war ich anfangs auch der Meinung, aber die Preise werden ja ziemlich ähnlich sein, ob ich jetzt 2x4TB oder 4x2TB nehme.
Aber rein von der Theorie her sollte doch Performance und Ausfallsicherheit bei letzterem besser sein?

 

[asche77]

Besser wenige große als viele kleine.
- erweiterbar
- weniger Strom
- Ausfälle kommen selten vor - und RAID ist kein backup
- höherer Wiederverkaufswert/ geringer Verfall
- Performance Unterschied wirst Du im Home Server selten merken

 

[storageNator]

- Der Stromverbrauch im Standby ist doch fast vernachlässigbar, oder lügen da die Angaben auf Geizhals?
- Das ein RAID kein Backup ist, das ist mir klar, trotzdem ist das immer mit Arbeit verbunden, wenn man den RAID neu erstellen muss und dabei Daten von ggf. langsamen Datenträgern (HDDs) kopieren muss.
Wieso hier also nicht die Ausfallwahrscheinlichkeit reduzieren, wenn man es quasi zum gleichen Preis kann?

- Wieso sollte es einen geringeren Verfall haben, die Kapazität und damit die mögliche Datenmenge ist doch die gleiche?

- Erweiterbarkeit ist in der Tat ein Argument dagegen, ich würde es aber wohl so planen, dass ich noch mindestens ein vdev hinzufügen kann.
Alternativ müsste man dann eben die SSDs ersetzen, aber auch dabei kann man dann ja die alten verkaufen / in Desktop Clients verschieben

Edit:
Noch ein Argument für mehr SSDs, ich könnte z.B. RAIDZ2 nutzen, wenn ich 4 statt 2 SSDs einbauen würde.

 

[wddn]

Edit:
Noch ein Argument für mehr SSDs, ich könnte z.B. RAIDZ2 nutzen, wenn ich 4 statt 2 SSDs einbauen würde.

Ich weiß ZFS ist kompliziert, aber würde dir empfehlen dich nochmals zu informieren.

Vieles was du liest bezieht sich auf HDDs aus einer Zeit wo die HDDs auch kleiner waren.

Beispiel: scrubbing, oder resilvering ist massiv schneller mit SSD als mit HDDs, SSDs haben geringere Ausfall-Wahrscheinlichkeiten, etc.

Bei deinem wirklich geringen Speicherplatz Bedarf kannst du einen Mirror nehmen - wenn du „paranoid“ bist auch mit 3 SSDs.

RAIDZ2 ist bei >=6 HDDs meist die beste Option.

Um die Geschwindigkeit zu den Clients von normalen SATA SSDs auszunutzen benötigst du schon 5Gbit NICs auf beiden Seiten…
Mit meinem 10GBit Netzwerk komme ich unter Optimalbedingungen auf 1000MB/s (NVMEs auf beiden Seiten)

 

[Liesel Weppen]

Wieso hier also nicht die Ausfallwahrscheinlichkeit reduzieren, wenn man es quasi zum gleichen Preis kann?

Die Ausfallwahrscheinlichkeit ist mit weniger SSDs geringer!

 

[Shihatsu]

Die Ausfallwahrscheinlichkeit ist mit weniger SSDs geringer!

Vereinfacht dargestellt, aber prinzipiell richtig - je mehr Datenträger desto mehr Ausfallwarscheinlichkeit eines einzelnen Datenträgers. Allerdings ist ein 4er Mirror ausfallsicherer als ein 3er

 

[pwnbert]

Nimm einfach eine 1x 4 TB SSD und mach davon regelmäßig rsync/Snapshot auf eine gleich große oder größere HDD (oder halt SSD), fertig.

Dann hast zugleich ein Backup (zwar in der gleichen Maschine aber immerhin). Daten sind dann zwar nicht ganz aktuell, beim Ausfall, aber die Chance ist ja eher gering und wenn du damit leben kannst, was man wohl in den meisten Fällen könnte...

Macht 0 Sinn mit kleinen SSDs die teuren begrenzten Schnittstellen zu verstopfen.

 

[storageNator]

Bei deinem wirklich geringen Speicherplatz Bedarf kannst du einen Mirror nehmen - wenn du „paranoid“ bist auch mit 3 SSDs.

Mit einem n-3 Mirror habe ich aber nur eine 33% Kapazität.
Beim RaidZ2 bin ich bei 66%

Die Ausfallwahrscheinlichkeit ist mit weniger SSDs geringer!

Aber die gleichzeitige Ausfallwahrscheinlichkeit ist geringer bei mehr SSDs, würde ich behaupten

Macht 0 Sinn mit kleinen SSDs die teuren begrenzten Schnittstellen zu verstopfen.

Generell stimme ich dir zu, andererseits ist schon absehbar, dass ich aufsehbare Zeit nicht erweitern werden muss.
Und falls doch, lasse ich ja wie gesagt noch genügend Platz, damit ich einmal erweitern kann.
Und selbst wenn ich die alten SSDs austauschen müsste, habe ich dann für die kleinen eine wesentlich bessere Verwendung in den Clients, da in dem Desktop PC z.B. in der Regel eine 512GB SSD statt einer 2TB SSD ausreichend wäre und ich damit somit gleich mehrere Clients versorgen könnte.

 

[pwnbert]

Okay. Brauchst die Daten Stundenaktuell und unterbrechungsfreien Betrieb, oder isses okay, ein Backup das 1-2 Tage alt ist wieder einzuspielen?

Bedenke: Mir ist noch nie eine SSD verreckt, in jetzt über 10 Jahren. Ich machs zwar nicht beruflich, hab aber einiges an PCs in den Fingern für Freunde&Familie (und natürlich selbst).
Die Chance, dass du was löscht, weil dein Hirn einen Aussetzer hat und du einen Bullshit machst (passiert doch jedem mal), evtl. Auswirkungen von Schadsoftware oder "kaputter" Software etc., dass der PC (das NAS) absäuft, verbrennt oder geklaut wird, ist nicht geringer als die Chance eines Datenträgerdefektes.

Wäre halt zu überlegen.
Wenn dir die Daten von gestern reichen, lass das NAS einfach 1x am Tag die eine SSD auf die andere SSD (oder HDD, müsste man wegen performance schauen) backuppen, wenn du Paranoid bist, kannst du ein kleines 2. NAS (1-2 Bay) fürs Backup wo anders hinstellen (z.B. am Dachboden verstecken).

Ein Z1 aus 3-4 1 TB SSDs finde ich ehrlich gesagt... etwas lächerlich. Das ergibt einfach gar(!) keinen Sinn.
Bitte nicht beleidigend auffassen, aber im Ernst jetzt, versuchs mal aus einer anderen Perspektive zu sehen.

PS:

Das Mainboard steht noch nicht genau fest, aber dieses hier ist aktuell ein möglicher Kandidat.
Voraussetzung ist DDR5 ECC RAM.

Kann das Asrock denn ECC? Ich weiss, dass bei AM in der 5er Reihe (fast) alle ausser MSI ECC können, meine Asrock B550 und X570 können es in jedem Fall (auf DDR4).
Bei Geizhals steht ECC bei AM5 nur bei Asus dabei, aber das heisst nix.
PS: DDR5 ECC UDimm ist stinketeuer (damit meine ich nicht, dass man keins nehmen soll, auch meine ich nicht, dass man jetzt unbedingt noch AM4 kaufen sollte, nur so ne Beobachtung...).

 

[storageNator]

Ein Z1 aus 3-4 1 TB SSDs finde ich ehrlich gesagt... etwas lächerlich. Das ergibt einfach gar(!) keinen Sinn.

Kannst du auch begründen wieso?
Es soll übrigens ein Z2 werden und nicht Z1, ich möchte ja höhere Ausfallsicherheit dadurch erreichen.

Okay. Brauchst die Daten Stundenaktuell und unterbrechungsfreien Betrieb, oder isses okay, ein Backup das 1-2 Tage alt ist wieder einzuspielen?

Brauchen in 99% der Fällen vermutlich nicht.
Aber im letzten Prozent schlägt bestimmt mal Murphy zu, wo man dann mal zwingend ein möglichst aktuelles Backup haben möchte.

Die Argumente mit "keep it simple" kann ich ja durchaus nachvollziehen.
Aber höhere Ausfallsicherheit bei quasi den gleichen Kosten, ist ja auch nicht von der Hand zu weisen, oder doch?

Und ja ein zusätzliches Backup auf einem getrennten PC / Server wird es natürlich geben, weil ein Raid eben kein Backup ist.
Aber ein Backup wiederherstellen ist immer deutlich aufwändiger als eine neue SSD reinzustecken und das resilvering seinen Job erledigen zu lassen.

 

[Trambahner]

Bedenke, dass sämliche Daten der Slots am Chipsatz nebst Netzwerk, Sata, USB, über den Engpass CPU<>Chipsatz mit seinen 4x Lanes müssen.
Sich die Slots am Chipsatz daher mit nvme vollzupacken wenn Parallelzugriff (was ZFS ja tut) absehbar ist, ist nicht sinnvoll und nimmt einem unnötig Flexibilität bei der Auswahl der Hw-Konfiguration.

=> Mit 2x4TB qualitativ hochwertigen SSDs als Mirror starten und gut is für den Start; wenn die SSDs erst in dem Server sind und Dienst tun, werden die eh auch so schnell nicht mehr in einen Client wandern.
Ausserdem solltest Du die SSDs eh nicht vollständig nutzen, sondern idealerweise etwas Overprovisioning betreiben. Fördert die Haltbarkeit und Leistungsbeständigkeit, weil Du damit dem Controllerchip auf der SSD etwas Freiraum lässt für sein Management der Flash-Inhalte.
Dazu kommt, Du brauchst ja potentiell nicht nur den Speicherplatz in der Größe Deiner Dateien und Volumes, sondern mehr wenn Du ZFS-Snapshots nutzen willst. Das kommt da dann natürlich auf die Menge Deiner veränderlichen Daten an. Kurzum: Schaffe Dir viel Reserve, Du kaufst nicht jeden Monat neue SSDs.

Btw, der Hauptvorteil von Unraid (das selektiv HDDs schlafen gehen sollen um Energie zu sparen) hast Du nicht bei bei SSD-only Pools.

Proxmox: yup, macht Sinn und bringt ZFS ja auch selber direkt mit. Für fortgeschrittenere Sachen kommst Du dort aber um die Shell nicht herum.

Btw, AM5 mit seinen verfügbaren Prozessoren ist im Idle kein Kostverächter bzgl. Strom und ob die gerade angekündigten APUs Bifurcation auf dem x16-Slot können, weiss keiner ausser AMD und vmtl. den Boardherstellern.
Nach aktuell zugänglicher Datenlage haben die 8000er APUs nur 20 Lanes: 16 GPU-Slot und 4 zum Chipsatz ! . Die AM5 non-APUs haben 28 (16 + zwei 4er plus 4 zum Chipsatz).
D.h. AM5 APUs müssen die 16 "User-Lanes" dann aufteilen auf Slot und M.2-Slots (was x8x4x4 Bifurcation schon wäre), um überhaupt die M.2-Slots zu betreiben. Oder die M2 sind deaktiviert.
D.h. der x16-Slot ließe sich dann, wenn es bzgl. Bifurcation so liefe wie bei AM4-APUs, NICHT mehr aufteilen. Zumindest sagt mir das meine Logik, falls wie bei den AM4-APUs x4x4x4x4 nicht möglich wäre.
Was dann mit den AM5-APUs wirklich geht, wird sich im Laufe 2024 zeigen.

Persönliche Meinung:
1) Mir ist AM5 mit einer non-APU derzeit zu stromhungrig als NAS-/VM-System, wenn es ausgedehnte Niedriglast-Zeiten gibt. Ich bin da nachwievor bei AM4. Die Idle-Leistungsaufnahmen von ein paar AM4-Systemen siehst Du in meiner Signatur. Richtig konfiguriert kann man auch bei AM4 ohne APU ein relativ sparsames System bekommen.
2) Wenn AM5: Solange nicht klar ist, wieviel Lanes und Steckplätze maximal bei einem sparsamen System wirklich nutzbar sind: Mit PCIe-Lanes so sparsam wie möglich umgehen. = große wenige SSDs.
3) Wenn AM4 und Stromsparend: => kein X570 sondern B550 nehmen, d.h. aber auch weniger nutzbare Slots = große wenige SSDs.


Edit: Typo korrigiert.

 

[pwnbert]

Kannst du auch begründen wieso?
Es soll übrigens ein Z2 werden und nicht Z1, ich möchte ja höhere Ausfallsicherheit dadurch erreichen.

Hab ich doch schon begründet. Verbraucht unnötig viele der limitierten Schnittstellen, hat keinen Geschwindkeigkeitsvorteil und realistisch auch keinen merkbaren Sicherheitsvorteil (die Chance, dass dir 2 SSDs zugleich eingehen, ist einfach sooo gering... da ist es wahrscheinlicher, dass du vorher du am Dnjepr eingehst...).
Z1/Z2 killt IOPS. ZFS/Raid Basics.

Und ja ein zusätzliches Backup auf einem getrennten PC / Server wird es natürlich geben, weil ein Raid eben kein Backup ist.

Du musst jetzt nicht nachtippen, was die Leute hier alle tippen.
In der Realität lügen sich 80% davon selbst an und haben eben dieses nicht (oft ist es einfach auch nicht realistisch praktikabel das zu tun... in deinem Fall wäre es das aber).

Ich kann dir aber versichern, dass du in spätestens 3 Monaten alle 1 TB drives rauswerfen wirst und keinen Einsatzzweck/Käufer dafür finden wirst, weil sich keiner seine Slots mit dem Kleinkram zumüllen will (zmindest nicht, wenn man dafür zahlen soll, die meisten wsl. noch nicht mal geschenkt).


Mach was du wilst, wenn du weisst, was du willst. Du wirst dir ja selbst was dabei gedacht haben, und deine Gründe haben.
Wenn du paranoid is, mach nen Mirror aus 2x 4 TB und ein regelmäßiges, automatisches Backup auf ne HDD (oder halt SSD), fertig.

 

[storageNator]

Nach aktuell zugänglicher Datenlage haben die 8000er APUs nur 20 Lanes: 16 GPU-Slot und 4 zum Chipsatz ! . Die AM5 non-APUs haben 28 (16 + zwei 4er plus 4 zum Chipsatz).

Danke für die Hinweise zu den Lanes, werde ich mir definitiv nochmal anschauen.
Gerade nochmal nach den AM5 CPUs gesucht, die fangen ja schon relativ teuer an bei knapp 170€
Werde ich wohl doch nochmal bei Intel schauen, ob ich dort nicht auch ECC DDR5 bekomme bei den Consumer Boards / CPUs
Das hier ist übrigens die günstigste AM5 CPU

https://www.amd.com/en/product/13551

Laut Spezifikation haben die Chipsätze auf der B650 Plattform 8 PCIe4 Lanes, das sollte vermutlich locker reichen.

Hab ich doch schon begründet. Verbraucht unnötig viele der limitierten Schnittstellen, hat keinen Geschwindkeigkeitsvorteil und realistisch auch keinen merkbaren Sicherheitsvorteil

Ja es geht auf Kosten von IOPS, wobei es bei einem 4xSSD RaidZ2 vs 2xSSD Mirror eigentlich nur auf die Kosten von den Read IOPS geht, die sind beim RaidZ2 nur halb so groß.
Die Schreibgeschwindigkeit wäre dagegen doppelt so groß und die Lesegeschwindigkeit identisch.
Und also Bonus bekomme ich dann 66% statt 50% Kapazität und die höhere Ausfallsicherheit

https://static.ixsystems.co/uploads/2020/09/ZFS_Storage_Pool_Layout_White_Paper_2020_WEB.pdf

Ich kann dir aber versichern, dass du in spätestens 3 Monaten alle 1 TB drives rauswerfen wirst und keinen Einsatzzweck/Käufer dafür finden wirst

Und ich kann dir versichern, dass das definitiv nicht der Fall sein wird
An verkaufen muss ich da gar nicht denken, selbst wenn ich in den Desktop Clients kein Bedarf haben sollte, kann ich mir immer noch sehr schöne USB-Sticks, Cache für den Backup Server, whatever daraus bauen.
Zumal man sehr schlecht geplant hat, wenn man in 3 Monaten schon erweitern muss.

Btw, der Hauptvorteil von Unraid (das selektiv HDDs schlafen gehen sollen um Energie zu sparen) hast Du nicht bei bei SSD-only Pools.

Ich habe das zwar bisher nicht recherchiert, aber die SSDs sollten doch generell deutlich sparsamer sein, da diese ja immer schnell in den Standby schalten können, wenn gerade nichts zu tun ist.
Bei HDDs vermeidet man ja dagegen eher zu viele Start/Stop Vorgänge?

 

[pwnbert]

Die Schreibgeschwindigkeit wäre dagegen doppelt so groß und die Lesegeschwindigkeit identisch.

Kannst eh nicht übertragen übers LAN. Für die lokale VM? Ob das den Unterschied macht?

Zumal man sehr schlecht geplant hat, wenn man in 3 Monaten schon erweitern muss.

Ja eh. Darum gehts ja.

Aber mach halt.
Nimmst dir das Gigabyte AM4 Board ausm Nachbarthread um ~50€ mit IMPI & Co., einen Ryzen 5600/5900X (je nach gewünschter Rechenleistung), 2-4x 32gb DDR4 Udimm ECC (kostet die Hälfte vom DDR5).
Dann steckst in den PCIe x16 Slot eine 4x M.2 Riser-Card und probierst den Spaß einfach aus.
In den unteren PCIe kannst dann noch eine Netzwerkkarte stecken, in den M.2 PCIe 3.0 x1 das Boot-Drive.
6x SATA hast dann noch frei.

Meine Prognose: Wenn du jetzt schon mit 1 TB M.2s herumeierst, kaufst du kein DDR5 UDimm ECC.

 

[storageNator]

Ja, werde ich mal gegenrechnen müssen AM5 vs AM4 und auch Intel Setups die ECC RAM unterstützen.
Ob ich 4x1TB oder 4x2TB SSDs kaufe steht noch nicht fest, muss ich nochmal überschlagen.
Aber tendenziell kann man da auch erstmal knapper kalkulieren, muss man ja sonst nichts anderes dann ersetzen, wenn man das vergrößern möchte.
Bei DDR4 vs DDR5 sieht das ja schon wieder anders aus.

Kannst eh nicht übertragen übers LAN. Für die lokale VM? Ob das den Unterschied macht?

Die schönen Messwerte beziehen sich ja häufig auf 4MB Dateien, bei 4KB Dateien sieht das schon ganz anders aus und in dem Bereich dazwischen auch.
Und ja für Tests ist das sicher auch mal schön, wenn man eine vergleichsweise hohe Geschwindigkeit nutzen kann.

 

[Holt]

Werde ich wohl doch nochmal bei Intel schauen, ob ich dort nicht auch ECC DDR5 bekomme bei den Consumer Boards / CPUs

Dazu brauchst Du ein W680 Mainboard, dann kannst Du mit jeder S. 1700 CPU auch ECC RAM nutzen.

 

[sandreas]

@storageNator Brauchst du denn überhaupt "Ausfallsicherheit" zu Hause? In deinem Fall bedeutet das ja, wenn eine SSD ausfällt und du mit Consumer-Hardware arbeitest, dass du dich bei einem (sehr unwahrscheinlichen) Ausfall einer SSD nur über ein paar Tage retten kannst (bzw. willst), das System aber trotzdem ausschalten und aufschrauben musst, um die SSD zu tauschen. Das dauert mindestens mal 5 Minuten, eher aber 20 Minuten.

Die Frage ist, ob du, wenn du auf 20 Minuten Ausfall zum Umbau kommst, nicht auch etwas mehr Zeit für das Einspielen eines Backups planbar wäre. Insbesondere, da du ja beim Ausfall eines anderen Bauteils deines Systems (Netzteil, Mainboard, RAM) ohnehin keinen Vorrat da liegen hast und mindestens 1 Tag drauf geht.

Ich persönlich hab früher auch immer gedacht, dass mir Ausfallsicherheit wichtig ist. Inzwischen ist mir aber klar: Backups und eine entsprechende Recovery Prozedur zu kennen sind für mich viel wichtiger.

Hatte kürzlich meinen ersten Ausfall einer Samsung 980 Pro 2TB mit etwa 600GB Verkehrsdaten und das Backup war, weil ich die Recovery Prozedur vorher getestet hatte, innerhalb von etwa 90 Minuten über zfs send via Gigabit Lan (!) wieder drin.

Ich hab EINE 2TB SSD verbaut, eine externe für Backup und eine neue ungenutzte im Schrank als Recovery (damit ich keine bestellen muss, wenn eine ausfällt, sondern gleich loslegen kann). Das ist schon recht teuer. Zusätzlich noch eine alte 8TB WD RED Festplatte als Disaster Fallback.
Bei dir wäre das deutlich mehr an Anfschaffungskosten, wenn du noch ein Backup machen willst.

Was man auch bedenken muss: Je komplexer das Setup, desto

• mehr Stromverbrauch
• mehr Installationsaufwand
• mehr Anschaffungskosten
• mehr Kosten fürs Backup

Ich mache es seit Jahren so: Wenn mein Speicher ungefähr zu 60% voll ist, denke ich über den Kauf einer größeren SSD nach (oder wahlweise, wenns grade eine gutes Angebot gibt). Damit bin ich bisher super gefahren, weil SSDs immer günstiger werden und ich so nicht schon für was planen musste, was erst in 2 Jahren kommt. Da du mit 2TB planst, kauf ne 2TB. Selbst wenn die nur 1 Jahr hält, hast du gute Chancen, dass die SSDs gleicher Größe dann sehr viel günstiger sind.

 

[Trambahner]

Laut Spezifikation haben die Chipsätze auf der B650 Plattform 8 PCIe4 Lanes, das sollte vermutlich locker reichen.

Das ist zu einfach gedacht. Das sind nur die Lanes, die der Chipsatz zur Anbindung von Geräten hat.

Vom Chipsatz zur CPU weiter geht es dann mit nur 4 Lanes. Alles an Datentransfer von Geräten die am Chipsatz hängen muss über diese 4 Lanes (= etwa 7 GiB/s pro Richtung)
Ob es dann in der Praxis zu Engpässen kommt und Geräte ausgebremst werden, kommt von den Geräten und den Zugriffen ab.
7 GiB/s wollen für Homeserver-Zwecke durchaus erstmal ausgelastet werden, sooo schnell passiert das im realen Leben zuhause nicht. Aber: theoretisch reicht eine einzige gute PCIe gen4 SSD
mit sequentiellem Zugriff, dass der Link zwischen CPU und Chipsatz ausgelastet ist.

Aktuelle Intel und ECC? Teuer. Da brauchst Du bei gen12/13/14 wie Holt schon geschrieben hat ein W680-Board für ECC.


PS: Bei mir liegen bereits mehrere-etliche 960GB bis 2TB SSDs rum (Sata Datacenter und NVME), die ich nur hier und da für Clientrechner oder Testzwecke verwende, weil die beiden Server bereits 4TB und größere haben.

 

[pwnbert]

Ich persönlich hab früher auch immer gedacht, dass mir Ausfallsicherheit wichtig ist. Inzwischen ist mir aber klar: Backups und eine entsprechende Recovery Prozedur zu kennen sind für mich viel wichtiger.

Jo, aber diese ganze Backupsoftware ist halt PITA, drum macht man lieber ein 12x gespiegeltes Raid und redet sich ein, dass sonst eh nix passieren wird, und man eh 12-fach geschütztt ist ...

Ich kenns ja, dieses ganze "Backupthema" wird immer so salopp erwähnt mit diesem dämlichen "ist natürlich selbstverständlich" Unterton, in der Realität passiert aber nix, weils eben nicht selbstverständlich ist, sondern eine sehr komplexe Sache, so dass das gut funktioniert.
Eine, über die zu wenig gesprochen wird, übers Raid zu viel.

 

[storageNator]

Dazu brauchst Du ein W680 Mainboard, dann kannst Du mit jeder S. 1700 CPU auch ECC RAM nutzen.

Habe ich auch schon gesehen, die Preise von Intel, wenn man ECC möchte, sind jenseits von gut und böse.
Bei AMD ist die günstigste CPU auf der AM5 Plattform relativ teuer und hat vermutlich deutlich mehr Leistung und damit Stromverbrauch ich eigentlich notwendig wäre.
Daher wird es wohl eher doch AM4

Hatte kürzlich meinen ersten Ausfall einer Samsung 980 Pro 2TB mit etwa 600GB Verkehrsdaten und das Backup war, weil ich die Recovery Prozedur vorher getestet hatte, innerhalb von etwa 90 Minuten über zfs send via Gigabit Lan (!) wieder drin.

Das ist durchaus ein guter Ansatz, den Recovery von einer SSD zu machen.
Bisher habe ich den nämlich von HDDs kalkuliert und das würde sich dann wohl eher lange hinziehen bei mehreren TB.
Murphy schlägt dann vermutlich aber genau dann zu, wenn du das Backup benötigst und macht dir dann zum gleichen Zeitpunkt die Backup SSD kaputt, aber in dem Fall muss dann wohl einfach in den sauren Apfel beißen und den längeren recovery über die HDDs in Kauf nehmen.
Das Risiko davon, dass die SSDs vom Main Server Raid und die Backup SSD gleichzeitig ausfallen, dürfte ja schon ausreichend gering sein

Das ist zu einfach gedacht. Das sind nur die Lanes, die der Chipsatz zur Anbindung von Geräten hat.

In der Tat, danke für den Hinweis, das habe ich wohl auf der Grafik übersehen.
Aber auch diese sollten vermutlich reichen, da stimme ich dir zu, dass das so schnell im realen Leben nicht ausgereizt wird

Eine, über die zu wenig gesprochen wird, übers Raid zu viel.

Beim Raid ist der Recovery eben deutlich einfacher, daher fokussieren sich vermutlich so viele darauf.
Und vor allem ist man beim Raid im besten Fall nicht oder nur kurz offline.
Bin ich aber auch deiner Meinung, dass man definitiv mehr über das Backup sprechen sollte, weil das Raid eben einige bedeutende Fälle nicht abdeckt.

Beitrag automatisch zusammengeführt: 13.01.2024

In der Tat, danke für den Hinweis, das habe ich wohl auf der Grafik übersehen.

Habe mir nochmal die Grafik angesehen, dort sind ja 8 Lanes für NVME angegeben, das meinte ich eigentlich.
Oder sind die nicht direkt an der CPU?
Auch bei der B550 Plattform sind in der Grafik (wahlweise) 4 Lanes für NVME direkt an der CPU vorgesehen

https://www.hardwareluxx.de/images/cdn02/uploads/2022/Sep/poetic_chip_ys/amd-ryzen-7000-soc-presentation-026_1920px.jpeg

 

[sandreas]

Murphy schlägt dann vermutlich aber genau dann zu, wenn du das Backup benötigst und macht dir dann zum gleichen Zeitpunkt die Backup SSD kaputt, aber in dem Fall muss dann wohl einfach in den sauren Apfel beißen und den längeren recovery über die HDDs in Kauf nehmen.

Ich hab keine Ahnung, wie du bei dieser Annahme rechtfertigst, dass eine dauernd laufende RAID SSD "sicherer" ist. Die fällt eher aus, als ein cold storage, der einmal die Woche nur fürs Backup benutzt wird. Aber gut, ich fahre hier halt einen komplett anderen Ansatz... eher mathematisch als philosophisch

 

[Holt]

Bei AMD ist die günstigste CPU auf der AM5 Plattform relativ teuer und hat vermutlich deutlich mehr Leistung und damit Stromverbrauch ich eigentlich notwendig wäre.

Das Problem bei AMD ist die Idle Leistungsaufnahme der CPUs, die ist im Vergleich zu Intel CPUs und auch den APUs recht hoch. Die maximale Leistungsaufnahme kann man beeinflussen, bei Intel setzt man einfach die Power Limits im BIOS entsprechend und bei AMD gibt es zumindest den Eco Mode oder in die andere Richtung dann PBO.

Daher wird es wohl eher doch AM4

Da können auch die PRO APUs ECC, die normalen APUs aber nicht und auch dort ist die Idle Leistungsaufnahme der CPUs eben recht hoch. Vorsicht mit Modellen wie dem 5500, der ist eigentlich eine APU (Cezanne), hat also nur maximal PCIe 3.0 und ich weiß nicht ob die ECC Unterstützung haben. Wobei dies bei AM4 nie ein offizielles Feature war, die war einfach nicht deaktiviert, aber auch nie offiziell von AMD validiert und man findet daher bei AM4 CPUs auch keinen Hinweis von AMD darauf, wie es bei AM5 z.B. hier der Fall ist:

ECC Support: Yes (Requires mobo support)

Entsprechend ist auch die BIOS Unterstützung für Dinge wie eben das Reporting vom korrigierten RAM Fehlern oder die Reaktion auf unkorrigierbare Fehler oft eher halbherzig vorhanden, wenn überhaupt. Das ist bei W680 Boards anders, da ist ja gerade die ECC RAM Unterstützung das was sie von den anderen wie den Z690/Z790 Boards unterscheidet. Dazu sind diese Intel Chipsätze mit 8 PCIe 4.0 Lanes angebunden und bieten selbst auch reichlich PCIe Lanes.

 

[storageNator]

Ich hab keine Ahnung, wie du bei dieser Annahme rechtfertigst, dass eine dauernd laufende RAID SSD "sicherer" ist. Die fällt eher aus, als ein cold storage, der einmal die Woche nur fürs Backup benutzt wird. Aber gut, ich fahre hier halt einen komplett anderen Ansatz... eher mathematisch als philosophisch

Ich habe mich hier wohl falsch ausgedrückt.
Die Backup SSD wäre zusätzlich zu den Backup HDDs, natürlich nicht einem gemeinsamen Raid.
Die Backup HDDs würde ich in ein Raid packen, weil ich zwar kostenlos HDDs von der Arbeit bekomme, die haben aber schon ein paar Jahre auf dem Buckel, sind aber noch funktionsfähig, da die nur wegen zu geringer Größe ausgetauscht wurden.
Zusätzlich würde ich da wohl noch eine neue HDD kaufen, so der aktuelle Plan.
Ja ich weiß, das ist ggf. etwas overkill für den Privatbereich

Power Limits im BIOS entsprechend und bei AMD gibt es zumindest den Eco Mode oder in die andere Richtung dann PBO.

Ich habe in einem Reddit Thread gelesen, dass jemand eine 7800x3d auf 15W im Idle bekommen hat, ob das jetzt aber nur die CPU oder das Gesamtsystem ist, ist leider nicht angegeben.
Der hat PBO und Boost (was genau er auch immer damit meint) deaktiviert und laut ihm hat er dadurch kaum Performance Verluste gehabt

https://www.reddit.com/r/AMDHelp/comments/18lzgew/comment/ke0z5os/?utm_source=share&utm_medium=web3x&utm_name=web3xcss&utm_term=1&utm_content=share_button

Wobei dies bei AM4 nie ein offizielles Feature war, die war einfach nicht deaktiviert, aber auch nie offiziell von AMD validiert und man findet daher bei AM4 CPUs auch keinen Hinweis von AMD darauf, wie es bei AM5 z.B. hier der Fall ist:

Mittlerweile ist das auch bei AM4 Consumer Prozessoren angegeben, siehe z.B. beim Ryzen 5600

https://www.amd.com/en/product/11831

Entsprechend ist auch die BIOS Unterstützung für Dinge wie eben das Reporting vom korrigierten RAM Fehlern oder die Reaktion auf unkorrigierbare Fehler oft eher halbherzig vorhanden, wenn überhaupt

Ja in der Tat, zwischendurch wurde das ECC Feature sogar entfernt mit einem Bios Update, aber mittlerweile scheint es sich wohl stabilisiert zu haben, auch wenn man gerade beim Reporting noch einige Dinge zu beachten hat

Bericht zu Ryzen ECC Error Reporting

Diese ECC-Optionen waren/sind beim B550M Tuf Gaming mit 1202 auch einzustellen. Musste nur wieder zurück auf 1004 weil PBO-Boost mit dem 1202 und Renoir nicht läuft. Suche mich beim TUF Gaming B550 gerade blöd. Wo finde ich ECC Injection? PFEH ist da.

www.hardwareluxx.de

 

[sandreas]

Ich habe mich hier wohl falsch ausgedrückt.
Die Backup SSD wäre zusätzlich zu den Backup HDDs, natürlich nicht einem gemeinsamen Raid.
Die Backup HDDs würde ich in ein Raid packen, weil ich zwar kostenlos HDDs von der Arbeit bekomme, die haben aber schon ein paar Jahre auf dem Buckel, sind aber noch funktionsfähig, da die nur wegen zu geringer Größe ausgetauscht wurden.
Zusätzlich würde ich da wohl noch eine neue HDD kaufen, so der aktuelle Plan.
Ja ich weiß, das ist ggf. etwas overkill für den Privatbereich

Das hat mit Privatbereich wenig zu tun - es ist einfach nicht bedarfsgerecht. Merkst du eigentlich nicht, was du hier für eine Komplexität aufbaust? RAID, Backup-SSD, Backup-HDD, Multi-NVMe-Board und das alles wahrscheinlich auch noch mit normalem Gigabit-LAN, über das maximal 120MB pro Sekunde gehen. Denk dran: Du musst das System auch zusammen bauen und warten, weil das länger läuft als ein Jahr.

Das ist ein bisschen so, als wenn du dir einen Lamborghini kaufst, um damit Pakete auszuliefern. Aber ich verstehe es (ein bisschen). Ich denke oft: Man ich bin ja schon ziemlich bekloppt, was ich hier zu Hause an Technik rumstehen habe. Wenn ich dann wieder manche "Home-Server" Setups von IT-Spezialisten sehe, bin ich wieder bei: Och, es geht ja noch Glaub mir: Du brauchst keinen 128-Core EPYC für dein Home-Lab... ein Quad-Core reicht vermutlich vollkommen aus.

 

[Holt]

Ich habe in einem Reddit Thread gelesen, dass jemand eine 7800x3d auf 15W im Idle bekommen hat, ob das jetzt aber nur die CPU oder das Gesamtsystem ist, ist leider nicht angegeben.

Das dürfte die CPU Package Power sein, mein 13900K braucht da übrigens nur knapp über 2W, auf einem ASRock Z790 Steel Legend WiFI.

 

[storageNator]

Das hat mit Privatbereich wenig zu tun - es ist einfach nicht bedarfsgerecht

Naja das definiert jeder anders.
Aber Ich gebe auch zu, dass ist etwas overkill was ich da mache.
Das SSD Raid ist auch zu einem gut Stück des Interesse halbers und beim HDD Raid habe ich halt die gebrauchten HDDs, die ich zwar gratis bekomme, denen alleine ich allerdings nicht das Backup anvertrauen würde, daher wird dies vermutlich ein N-3 Mirror

Das dürfte die CPU Package Power sein

Ich habe aber an anderen Stellen auch schon von Systemen gelesen, die um die 20W mit einem Ryzen 5600 geschafft haben

 

[Holt]

Im Review bei Anantech hat der 5600X im Idle 11W gezogen, davon entfiel 1W auf die Kerne. Bei 5800X waren es 12W und bei denen mit zwei Chiplets nochmal deutlich mehr. 20W mit einem 5600 als Systemleistungaufnahme im Idle sind also möglich, aber es muss schon ein System sein welches ehr auf die Idle Leistungsaufnahme optimiert ist, z,B. ohne Graka (was nicht jedes Board erlaubt, manche booten ohne gar nicht). Vielleicht war es auch ein 5600G, die APUs sind im Idle sparsamer, aber ECC gibt es nur bei den PRO Modellen und bei AM4 nur maximal PCIe 3.0 (bei AM5 maximal PCIe 4.0 statt PCIe 5.0 bei den CPUs).

 

[storageNator]

Danke für den Test, der gibt ja durchaus Grund zur Hoffnung, dass man auch mit AMD sparsame Systeme hinbekommt.

Und ja im default Fall soll mein Server auf Leistungsoptimierung optimiert sein und nur wenn ich mal etwas mehr Power benötige, z.B. die Windows VM anwerfe, dann soll das hochschalten.
Wobei ich da dann erstmal prüfen muss, ob man dann Optimierungen zurückdrehen muss, oder ob das noch immer genügend ist, ich gehe davon aus, dass das auch auf stromsparend optimiert genügend Leistung bieten wird.

aber ECC gibt es nur bei den PRO Modellen und bei AM4 nur maximal PCIe 3.0 (bei AM5 maximal PCIe 4.0 statt PCIe 5.0 bei den CPUs).

Beim 5600 wird ECC unterstützt laut Datenblatt von AMD, beim 5600G ist ECC überhaupt nicht erwähnt...
Und beim PCIe 3.0 kommt es darauf an, ob es PCIe Lanes gibt, die direkt mit den M.2 Slots verbunden werden können, das suggeriert ja die Grafik der B550 Plattform.
Muss ich mir mal ein Datenblatt von einem Mainboard genauer anschauen