[Kaufberatung] NAS Server SSD > 20TB

[🖫 Michael]

Hallo zusammen,

ich möchte endlich meine beiden QNAP NAS Server ersetzen durch eine flexiblere Eigenbaulösung. Die NAS Server werden als private 24/7 Datenablage für überwiegend große Dateien (vor allem Videos) genutzt, die sich nicht häufig ändern.

Anforderungen​

• Energieeffizienz
  • Idle: < 20W
  • Normalbetrieb: < 50W
  • Vollast: < 100W
• Gesamtkapazität
  • Initial: 24 TB
  • Max: 48 TB
• Lärmemission
  • Idle: geräuschlos
  • Normalbetrieb: geräuscharm
  • Volllast: so laut wie nötig
• Datensicherheit
  • Es wird täglich ein Backup des gesamten Systems erstellt
  • Zwischen den Backups soll die Integrität erhalten bleiben
• Latenz
  • Idle: < 5 Sekunden
  • Normalbetrieb: Latenz der Netzwerkverbindung
• Sonstige Dienste (Docker, VMs etc.)
  • keine, es soll ein reiner NAS Server sein
• Erweiterbarkeit
  • Es sollen Festplatten beliebiger Bauart und Kapazität nachrüstbar sein
  • Es soll möglich sein, PCIe Erweiterungen nachzurüsten, z.B. 10Gb NIC
• Preis
  • Das gesamte System soll weniger als 3.000,00 € kosten

Frage 1: Sind die Anforderungen realistisch, sinnvoll und nachvollziehbar?

Hardwareliste (ohne Datenfestplatten)​

Komponente	Produkt	Bemerkungen	Link
Gehäuse	Fractal Design Node 804	PC-Gehäuse	Amazon
Netzteil	Corsair RM550x	PC-Netzteil (Voll-Modulares Kabelmanagement, 80 Plus Gold, 550 Watt, EU) Schwarz	Amazon
Festplatte (System)	Western Digital SN530	Client SSD Drive PCIe M.2 2280 256	Amazon
	Crucial P3 1TB M.2 PCIe Gen3	NVMe Intern SSD, Bis zu 3500MB/s - CT1000P3SSD8, unterstützt ASPM	Amazon
Motherboard	ASRock B560M Pro4	Intel S1200 MATX	Amazon
Prozessor	Intel Pentium Gold G-6500	Desktop-Prozessor, 2 Kerne, 4,1 GHz, LGA1200 (Intel® 400-Serie-Chipsatz), 58 W	Amazon
Arbeitsspeicher	Crucial RAM 32GB (2x16) DDR4 3200MHz	CL22 (2933MHz oder 2666MHz) Desktop Arbeitsspeicher CT2K16G4DFRA32A	Amazon
Motherboard	Fujitsu B3417-B2	Intel C236 So.1151 DDR4 mATX
Prozessor	Intel Celeron G3900	2,80GHz Tray CPU 51W	Amazon
	Intel® Core™ Prozessor i3-6100	Prozessor der 6. Generation (3,70 GHz, 3 MB Intel Smart-Cache)	Amazon
Arbeitsspeicher	2x 16GB Samsung ECC DDR4-2133		Amazon
PCIE SATA Karte	Delock 5 Port SATA PCI Express x4 Karte	JMicron JMB585 - Low Profile Formfaktor	Amazon
	BEYIMEI PCI-E 4X zu 6-Port SATA3.0	Erweiterungskarte,6 Gbit/s, ASM1166	Amazon

Frage 2: Was haltet ihr von der Liste soweit?

Datenfestplatten​

Bezüglich der Datenfestplatten bin ich mir noch unsicher. Am liebsten würde ich SATA SSDs einsetzen, mit der Erwartungshaltung:

• SSDs verbrauchen weniger Strom
• (SATA) SSDs erzeugen weniger Abwärme
• SSDs haben eine höhere Lebensdauer
• SSDs arbeiten geräuschlos
• SSDs erzeugen keine Vibrationen

Natürlich sehe ich auch Nachteile:

• SSDs sind ca. doppelt so teuer wie mechanische Festplatten
• SSDs fallen nicht schleichend aus, sondern plötzlich
• SSDs sind auf dem Markt rar gesät, wenn es um Kapazitäten ab 4TB geht

Als "Dateisystem" würde ich MergerFS einsetzen, damit unterschiedlich große Festplatten zu einem Pool zusammengefasst werden können.
Als Dateisystem würde ich BTRFS oder ZFS einsetzen, da ich Paritätsinformationen brauche.
Für eine Gesamtkapazität von 24TB bräuchte ich entweder 6x 4TB SSDs oder 3x 8TB SSDs.
Für eine Gesamtkapazität von 24TB bräuchte ich bei 10 verfügbaren SATA Ports 6x 4TB und 1x4TB (Parity).

Datensicherheit / -integrität​

Wenn möglich, würde ich die Datenintegrität für die Zeit zwischen den Backups (1 Tag) OHNE Parität und Mirroring erhalten.

Frage 3: Gibt es eine Möglichkeit folgendes zu tun?

Die Änderungen eines Tages (Hinzufügen, Ändern, Löschen) haben einen Umfang von max. 1TB. Sie werden auf einer separaten SSD in Form eines Patches festgehalten und können auf ein Backup angewandt werden.​

Wenn das möglich ist, würde ich eine separate 1-2 TB Festplatte dafür einbauen.

Anscheinend gibt es keine Möglichkeit ohne Parität auszukommen, zumindest nicht, wenn man Bitfehler verhindern möchte.
Ich brauche also eine Datenplatte, die ausschließlich Paritätsinformationen speichert.

Backupplan​

Auf vielfachen Wunsch hier mehr Details zu meinem beabsichtigten Backupplan und meinem Bedarf an Datensicherheit:

• Jede Nacht soll ein Backup aller Daten auf einen externen NAS Server (eins von den QNAPs) mit mechanischen Festplatten durchgeführt werden. Der externe Server wird über eine 1Gb Netzwerkverbindung angeschlossen. Da die tägliche Datendifferenz einen maximalen Umfang von 1TB hat, sollte das Backup nicht länger als drei Stunden dauern.
• Wenn die Änderungen eines Tages verloren gingen, wäre dies zu verschmerzen. Besser wäre natürlich eine Lösung, die unter Einhaltung der Energieanforderungen die Datensicherheit für den Zeitraum bis zum nächsten Backup sicherstellen kann.

Updates​

• Motherboard B560M durch D3417 ersetzt, um ECC nutzen zu können. Dementsprechend muss noch der Prozessor (LGA 1151) und ECC RAM ersetzt werden. Vorschläge?
• Anforderung bzgl. Idle Stromverbrauch auf 20W erhöht, für Normalbetrieb auf 50W erhöht
• Datensicherheit: Es geht leider doch nicht ohne Parität
• Datenfestplatten: Konsequenzen aus benötigter Parität
• Systemfestplatte: SN530 gestrichen
• Prozessor: i3 gestrichen. Kann bei Bedarf (z.B. bei 10G) später nachgerüstet werden.
• PCIE SATA Karte hinzugefügt, Berechnung in Datenfestplatten aktualisiert
• PCIE SATA Karte geändert
• Arbeitsspeicher eingetragen

 

[Potz]

Hmm ich glaube der Spaß ist insgesamt unrealistisch. Idle <10W kannst du knicken. Im Betrieb <30W geht nur mit SATA-SSDs und auch sonst bei sehr geschickter Wahl aller Komponenten. Hier wirds vmtl. mit dem Budget knapp.

Das große Fragezeichen ist für mich das Thema Datenintegrität/-verlust. Eine Lösung, die weiß, für welche Daten bereits ein Backup gemacht wurde und nur die Änderungen durch lokale Kopien (im weitesten Sinne RAID) schützt, ist mir nicht bekannt. Ganz allgemein stellt sich aber unabhängig von alledem die Frage, wie wichtig diese Daten sind. Kein System kann garantieren, dass etwas verloren geht! Die Spanne der erzielbaren Sicherheit ist gigantisch und hier scheint mir unklar, was deine Anforderungen sind.

 

[🖫 Michael]

Danke für die schnelle Antwort. Dadurch, dass ich kein RAID nutze, sollte im Betrieb immer nur eine der Datenfestplatten und evtl. ein Cache laufen. Damit sollten <30W im Normalbetrieb möglich sein. Die anderen Platten sind per ASPM schlafen gelegt. Wenn man alle Datenplatten nach x Minuten Inaktivität derart schlafen legt, sollten doch auch <10W im Idle erreichbar sein, oder?

 

[Potz]

Deine erste Argumentation funktioniert, bis du zum Thema Datensicherheit kommst. Deine zweite Einschätzung ist unrealistisch.

 

[🖫 Michael]

Kannst du genauer erklären, was an der Einschätzung unrealistisch ist?

Meinst du, dass Prozessor, MB und RAM schon so viel im Idle verbrauchen, dass für die Festplatten kein Spielraum mehr bleibt? Oder bezweifelst du, dass man die Festplatten per ASPM in einen stromsparenden Zustand von <1W pro Platte versetzen kann?

 

[Potz]

Das zweite Problem bei deiner ersten Argumentation ist, dass ich nicht weiß welche Software so arbeitet. Typischer Weise denkt ein Informatiker immer an den Worst-Case und in dem ist die Performance katastrophal, wenn für den Zugriff auf jede weitere Datei zunächst mal wieder eine Festplatte gestartet werden muss. Ich will nicht sagen, dass das auf keinen Fall tolerierbar wäre (nur du kennst deinen Anwendungsfall), aber ich weiß nicht, ob es das so gibt.

Beitrag automatisch zusammengeführt: 07.04.2023

Kannst du genauer erklären, was an der Einschätzung unrealistisch ist?

Meinst du, dass Prozessor, MB und RAM schon so viel im Idle verbrauchen, dass für die Festplatten kein Spielraum mehr bleibt? Oder bezweifelst du, dass man die Festplatten per ASPM in einen stromsparenden Zustand von <1W pro Platte versetzen kann?

Genau, im Endeffekt denke ich, dass es aktuell schwierig ist ein System zu finden, was insgesamt das tut was du willst. Es fängt an damit, dass nur sehr wenige Basis-Systeme (MB, CPU, RAM) aktuell unter 10W liegen. Man bräuchte dazu eher Notebook-Hardware. Dann kommt aber halt leider der Punkt mit den Platten, der viele Stromsparsysteme ausschließt. Selbst wenn du auf HDDs gehst, brauchst du mindestens 3 Platten am Start und Platz für weitere 2, sonst gibt es in der Realität vmtl. kein System, was funktioniert und auch nur einen Hauch von Sicherheit vor Datenverlust zwischen den Backups liefern kann. Durch die Anforderung von mindestens 5x SATA (in der Regel +1 für Boot System) fallen schon viele stromsparende Plattformen raus. Je nachdem welche Software du nutzt, würdest du fürs Erweitern von 24TB auf 48TB auch eher wieder weitere 3 Platten brauchen. Dann der Cache... Wir sind also eher bei 8x SATA.
Was eine HDD im tiefsten Ruhezustand verbraucht, kann ich dir nicht sagen. Ich habe nur noch in meinem Backupserver HDDs und der läuft nur 1x täglich für 20min. Schwierigkeiten könnte auch hier wieder der Softwarestack bereiten. Es ist häufig bei "realexistierenden Systemen" abseits von Notebooks gar nicht so einfach die niedrigsten Schlafzustände zu erreichen. Ich würde also eher mit 1W pro SATA-Gerät im Idle rechnen.

 

[🖫 Michael]

Ja, das hatte ich bei den Anforderungen unter dem Punkt Latenz. Für mich wäre es ok, wenn das bis zu 5s dauern würde ehe die Festplatte nach dem Aufwachen antwortet.
Anwendungsfall bei mir: Datenablage für überwiegend große Dateien, die sich nicht häufig ändern.
Bisher habe ich bei meinen QNAP Systemen mit mechanischen Festplatten (WD Red) in RAID5 und RAID6 gearbeitet. Das hat dann zur Folge, dass die Festplatten viel zu häufig allesamt laufen, laut sind, viel Strom verbrauchen, schnell verschleißen... Das hatte ich jetzt zehn Jahre und möchte es nie wieder 🙄

 

[Potz]

Es wäre meiner Meinung nach auf jeden Fall sinnvoll dir über den zweiten Teil von meinem ersten Post intensiv Gedanken zu machen und das hier zu verschriftlichen. Meiner Meinung nach ist das der größte Knackpunkt, der verhindert, wie die ganz grobe Marschrichtung hier aussehen sollte.

Beitrag automatisch zusammengeführt: 07.04.2023

(WD Red) in RAID5 und RAID6 gearbeitet. Das hat dann zur Folge, dass die Festplatten viel zu häufig allesamt laufen, laut sind, viel Strom verbrauchen, schnell verschleißen

Vielleicht wären hier sogar Desktopfestplatten geschickter gewesen, weil die tendenziell eher aufs ständige An/Aus ausgelegt sind. Habe aber keine persönlichen Erfahrungen damit.

Beitrag automatisch zusammengeführt: 07.04.2023

Ein Gedanke noch:
Falls das für dich realistisch ist, kannst du auch zwei Pools anlegen und das von dir angedachte System manuell umsetzten. Ein Pool von HDDs ohne RAID auf das du nur Daten packst, die du noch woanders hast und sie am zweiten Ort erst löschst, wenn das Backup durch ist. Dazu dann ein Mirror von 2x SSD auf dem du arbeitest. Das senkt ganz sicher nicht den Stromverbrauch, aber das ständige Starten und Stoppen der Festplatten und bringt darüber hinaus noch viel Performance für deinen "Hot-Data".

 

[Shihatsu]

Was deine Datenintegrität und -Sicherheit angeht ist das Mittel der Wahl ZFS. Das beißt sich aber mit deinen (unrealistischen) Energieanforderungen und im allgemeinen mit deinem Konzept.
ZFS kann die eigene Integrität sicherstellen und - sofern das Backupziel ebenfalls ZFS basiert ist - nur geänderte Versionen übertragen, während der Übertragung die Integrität sicherstellen und das ganze extrem schnell und sicher. Aber es ist Hungrig. Mehr RAM - mehr Power. Mehr PArity - mehr Sicherheit.
Ich verstehe deinen Anweendungsfall nicht. Idle, aber trotzdem ziemlich niedrige Latenz, bei großen DAteien die selten gebraucht werden, und dann soviel Geld in Flashspeicher verwenden? Das ganze auf consumer Hardware? Ohne schlüssiges Backupkonzept? Das ist für mich alles ziemlich unrund, sorry.

 

[maxblank]

Wie wichtig sind diese Daten? Wird das privat oder beruflich eingesetzt?
Anwendungsfall mit den Platten oben klingt für mich als Betriebssystem als Empfehlung nach Unraid. Sind dir die Daten wichtig, schau nach ECC RAM.

 

[🖫 Michael]

Wow, vielen Dank für den Input. Ich versuche mal nacheinander auf alle Hinweise einzugehen.

Es fängt an damit, dass nur sehr wenige Basis-Systeme (MB, CPU, RAM) aktuell unter 10W liegen. Man bräuchte dazu eher Notebook-Hardware.

Wie im ersten Post erwähnt, habe ich mir die Empfehlungen von @MPC561 angeschaut. Er schlägt zwei Systeme vor. Eins basierend auf einem J4105 ATOM / J5040 ATOM und eins basierend auf dem B560M. Ersteres soll mit 4 SSDs ca. 7W im Idle verbrauchen. Letzteres mit einer Cache NVME und 6 HDDs ca. 14W.
Zuerst habe ich mir das J5040 angeschaut. Es hat viel Charme, ist aber nur sehr eingeschränkt erweiterbar. 4 SATA Ports auf dem MB sind natürlich ordentlich, würden für mich aber nicht ausreichen. Es gibt nur einen PCIe Slot und der ist gerade einmal 1x, weshalb ich ihn höchstens für die Systemplatte verwenden würde (mit entsprechendem Adapter). Zwar hat jemand es sogar hinbekommen über den M.2 Slot, der eigentlich nur für Wifi gedacht ist, einen 4xSATA Adapter anzuflanschen, aber das scheint mir aus mehreren Gründen keine solide Option zu sein.
So bin ich dann also beim B560M gelandet und versuche durch den Einsatz von SSDs die 14W von @MPC561 unter 10W zu drücken.

Durch die Anforderung von mindestens 5x SATA (in der Regel +1 für Boot System) fallen schon viele stromsparende Plattformen raus.

Das B560M hat zwei M.2 Slots onboard. Davon würde ich einen für die Systemplatte nutzen, den anderen für einen eventuellen Cache.

Wir sind also eher bei 8x SATA.

Damit ich überhaupt die Option habe, irgendwann 8 vollwertige SATA Ports zu nutzen, habe ich mich im ersten Wurf für das B560M entschieden, da kann ich zur Not per PCIe noch eine Erweiterungskarte hinzufügen. Außerdem bietet das Fractal Designs Gehäuse Platz für 10 Festplatten.

 

[Liesel Weppen]

Also prinzipiell wäre das denke ich schon möglich. Ein Intel NUC11 (i5-1135G7) läuft bei mir mit <5W idle und unter Volllast mit 50W. Non-idle ist schwierig zu beziffern. Wenn ich einen Gameserver drauf laufen lasse, der aber aktuell nicht bespielt wird, aber dadurch das er einfach nur läuft die Sleepstates der CPU weitgehend unterbindet, lande ich meist bei 10-15W.

Das Problem dabei ist "nur": Das sind alles SoC-Systeme und die haben meist nur 1, mit Glück vielleicht 2 SATA-Anschlüsse.
Da gäbe es dann die Möglichkeit, das das System entweder PCIe-Slots hat und man dort einen SATA-Controller reinsteckt, oder in M.2-M-Key-Slots SATA-Controller steckt. In einem M-Key sind wohl bis zu 5 SATA-Anschlüsse möglich (mehr passen einfach nicht auf das Kärtchen). PCIe-SATA-Controller gibts auch mit mehr Anschlüssen, je nach Anzahl braucht man dann halt einen 8x Slot. Allerdings kann es gut sein, das so ein Controller dann auf den Idle-Verbrauch schon wieder 5W oder gar mehr draufschlägt.

Aber ohne Notebook-Unterbau wirds schwierig deine vorgegebenen Stromverbräuche zu erreichen.

 

[Trambahner]

- SSDs mit knapp 8 oder 16 TB Kapazität sind doch kein Problem: Die PM9A3 gibts dafür und die ist für ihre Kapazität durchaus bezahlbar, wenn man Flash-only gehen will. Mit für Homelabs massivst I/O-Power, die man kaum bis nicht ausreizen wird.
=> 3 PM9A3 16TB im Raidz1 => knapp 30 TB nutzbarer Platz.
- Als Client SSD würde ich was substantielleres/haltbareres als eine runtergesparte SN530 nehmen. Idealerweise ne kleine Datacenter-SSD mit Powerloss-Protection.
- Wenn SSD-only: "Schlafen legen" von Platten zählt dann quasi nicht. Unraid unnötig. FreeBSD und Proxmox (=etwas stromsparender) bringen ZFS out-of-the-box mit.

ZFS und ECC-Ram wurden schon erwähnt bzgl. Datenintegrität. Backuppen mit ZFS klappt wunderbar: inkrementelle Snapshots an zweite Maschine schicken (ZFS send/receive).

Auf Idle-Leistungsaufnahme zu achten ist wichtig und richtig, sollte aber IMO nicht übertrieben ausfallen. Wenn man da zu verkrampft dran festhält, beschränkt man sich extrem stark.
Mach das Powerbudget etwas auf und Du hast exponentiell mehr Möglichkeiten.
Ein Deskmeet X300 mit 4350G oder 4650G zieht Basislast 17W , Du kannst ECC-Ram einsetzen und Du hast ein paar sinnvolle IO-Möglichkeiten und genug CPU-Power für ordentlich I/O . Für 10G brauchst Du auch gut CPU-Power , das alles zu wuppen.
B550-Konfigs mit APU fangen ab so 18-20W Idle an. Du siehst ja in meiner Signatur, dass selbst ein 5600X auf B550 und ein 5950X auf X570 für ihre Verhältnisse recht sparsam laufen können.
Die Verarbeitung eines 10G-Datenstream kann übrigens durchaus auchmal 2 dieser starken Zen3-Kerne voll auslasten.

Btw, das 5950X-System in meiner Signatur wird beim nächsten Tausch der jetzigen HDDs vermutlich auch Flash-only werden. Zwei PM9A3 sind ja schon drin.

Beachte: Bei Intel Sockel 1200+1700 kannst Du den x16-Slot nur x8x8 aufteilen, bei AMD in der Regel auch x8x4x4 und bei Nicht-APUs auch x4x4x4x4. Sprich Du kannst da mehr PCIe-SSDs Ende direkt an die CPU hängen.

 

[🖫 Michael]

Ein Gedanke noch:
Falls das für dich realistisch ist, kannst du auch zwei Pools anlegen und das von dir angedachte System manuell umsetzten. Ein Pool von HDDs ohne RAID auf das du nur Daten packst, die du noch woanders hast und sie am zweiten Ort erst löschst, wenn das Backup durch ist. Dazu dann ein Mirror von 2x SSD auf dem du arbeitest. Das senkt ganz sicher nicht den Stromverbrauch, aber das ständige Starten und Stoppen der Festplatten und bringt darüber hinaus noch viel Performance für deinen "Hot-Data".

Vielen Dank für den Tipp. Das werde ich mir mal gut überlegen.

Beitrag automatisch zusammengeführt: 07.04.2023

ZFS kann die eigene Integrität sicherstellen und - sofern das Backupziel ebenfalls ZFS basiert ist - nur geänderte Versionen übertragen, während der Übertragung die Integrität sicherstellen und das ganze extrem schnell und sicher.

Guter Hinweis, danke. Für ZFS wäre es dann wahrscheinlich besser, wenn das MB ECC unterstützen würde, oder?

Aber es ist Hungrig. Mehr RAM - mehr Power. Mehr PArity - mehr Sicherheit.

Habe mal gehört, dass es eine Faustregel für den RAM Bedarf von ZFS gibt: 1GB pro 1TB. Das wäre bei meinem Vorschlag mit 32GB für 24TB meines Wissens nach erfüllt. Das mit der Parity ist noch nicht ganz klar. Kann ich das ZFS Feature nur geänderte Version zu übertragen auch ohne Parity nutzen? Eigentlich wollte ich keine Parity einsetzen, da hierfür wieder mehr Platten gleichzeitig laufen müssen. Das ist natürlich nicht in Stein gemeißelt. Wenn es ohne Parity nicht geht, werde ich in den (leicht) sauren Apfel beißen müssen.

Idle, aber trotzdem ziemlich niedrige Latenz, bei großen DAteien die selten gebraucht werden, und dann soviel Geld in Flashspeicher verwenden? Das ganze auf consumer Hardware? Ohne schlüssiges Backupkonzept? Das ist für mich alles ziemlich unrund, sorry.

Sind 5s zum Aufwachen einer SSD sehr unrealistisch hoch? Ich könnte zur Not auch 10s verkraften. Ich fand es nur wichtig die Anforderung nach einem schnell antwortenden System aufzuweichen. Das liest man nämlich selten. Man kann halt nicht alles gleichzeitig haben. Irgendwo muss man Abstriche machen.
Ich habe nicht geschrieben, dass ich die Daten selten brauche, sie werden nur selten geändert.
Das Backupkonzept habe ich soeben nochmal genauer im ersten Post beschrieben. Wenn da noch Fragen offen sind, kann ich gerne noch mehr dazu schreiben.

 

[Trambahner]

"1GB pro 1TB" ist eine Legende, die i.W. mit Aktivierung der Deduplizierung von Daten entstand.
Richtig ist, dass je mehr Ram ZFS hat, desto besser läuft es. Es kommt immer auf die Nutzung an. Mein Hauptfiler hat 24GB Ram zugewiesen für ZFS (bei 6x14TB HDD und ein 2x8TB SSD Pool).

Du kannst auch ZFS-Pools anlegen ohne Parität, also quasi Raid0. Du kannst auch single-Devices Zpools erzeugen. Sinn macht das aber nicht, da dann die "ZFS-Selbstheilungskräfte" weitgehend nicht funktionieren. ZFS wird Fehler erkennen, kann aber dann nichts reparieren. Aber gehen tut es.

SSDs schlafen und wachen nicht auf wie HDDs. Das Wechseln der Powerstates geht da in Milli- und Mikrosekunden zwischen Datentransfers.

ZFS funktioniert auch ohne ECC.
Jedes Dateisystem mit Massendaten freut aber sich, wenn ECC eingesetzt wird. Egal ob NTFS, ZFS, BtrFS, oder was auch immer.

 

[🖫 Michael]

Wie wichtig sind diese Daten? Wird das privat oder beruflich eingesetzt?
Anwendungsfall mit den Platten oben klingt für mich als Betriebssystem als Empfehlung nach Unraid. Sind dir die Daten wichtig, schau nach ECC RAM.

Die Daten sind wichtig, aber vor allem, dass sie nicht alle auf einmal verloren gehen. Die Differenz eines Tages könnte ich verschmerzen. Bisher habe ich, wie eben geschrieben, mit RAID5 und RAID6 gearbeitet und diese natürlich als Backup gesehen. Ich weiß auch, dass das technisch nicht stimmt, aber so handhaben das bestimmt viele nach individueller Abwägung Kosten<->Risiko. Jetzt sehe ich ein explizites externes Backup vor, so dass selbst einer der Server kaputt gehen dürfte.

Unraid wollte ich mir mal anschauen, sobald ich die Hardware beisammen habe.

ECC RAM...das kann das B560M nicht. Ich habe dazu bisher unterschiedliche Einschätzungen gelesen. Die einen sagen, dass man es im Consumer Bereich nicht braucht. Die anderen sagen, dass man es braucht, sobald man mit Parity arbeitet. Da ich die Hoffnung noch nicht aufgegeben habe ohne Parity auszukommen, plane ich bisher nicht mit ECC.

 

[Trambahner]

Sobald Du Daten/Dokumente da speicherst, auf die Du keinen Fall verzichten willst/kannst > go ECC + go ZFS mit Parity. Ich hab damit seit 2013 kein einziges Bit mehr verloren/verfälscht bekommen.
Speicherst Du nur einfach wiederherstellbare Daten für den Zugriff > brauchst kein ECC.
Du musst da Kosten, Risiken und Aufwand für ggf. Wiederbeschaffung von Daten abwägen.

Vorher (mit servergrade Raid5-Hw-Controller, guten Consumer-HDDs und ohne ECC) durchaus. Fotos hatten nach einiger Zeit auf einmal Streifen drin (=> Bitfehler), Zip-Dateien waren korrupt und konnten nicht mehr entpackt werden, usw. Seit ZFS+ECC: Nie mehr passiert.


Und für den Filer steht als echtes Backup noch ein zweiter Filer parat, auf den regelmässig Snapshots von der Hauptmaschine übertragen werden. Der steht auch körperlich woanders.
Ja, ist nicht billig. Aber es muss bei mir eben schon extrem viel passieren, dass ich Daten vom NAS-Filer verliere. Wenn man aber wichtige Dinge nur noch digital hat, erhöht das das Bewusstsein für Datenintegrität deutlich und senkt die Hemmschwelle für Kosten der Datenhaltung deutlich.

Problem auch bei Consumer-SSDs: Kein Powerloss-Protection (=PLP)! Heisst, wenn Du Pech hast und das System schaltet sich unkontrolliert ab (Stromausfall, Netzteil- oder Mainboard-Schaden), können (nicht müssen!) Daten auf SSDs ohne Powerloss-Protection durchaus auch verloren gehen, weil der SSD-Controllerchip die Daten (geänderte Verwaltungsdaten, Userdaten)im SSD-Cache nicht mehr wegschreiben kann.
SSDs mit PLP haben Stützkondensatoren drin, die das verhindern. Das geht aber auf Kosten höheren Preises und Idle-Verbrauch.

Bei 24/7-Systemen mit wichtigen Daten sollte man ferner auch über eine USV nachdenken.


Unterm Strich: Man muss sich viele Gedanken machen und bewusst abwägen, wenn man es ernst meint mit Datenintegrität. Bzgl. Konzept, bzgl. Hardware und deren exakten Eigenschaften, etc. .

 

[🖫 Michael]

Das sind mal viele konstruktive Anregungen
Da komme ich gar nicht hinterher mit dem Schreiben.

- SSDs mit knapp 8 oder 16 TB Kapazität sind doch kein Problem: Die PM9A3 gibts dafür und die ist für ihre Kapazität durchaus bezahlbar, wenn man Flash-only gehen will. Mit für Homelabs massivst I/O-Power, die man kaum bis nicht ausreizen wird.
=> 3 PM9A3 16TB im Raidz1 => knapp 30 TB nutzbarer Platz.

Werde ich mir mal anschauen, danke!
UPDATE: Angeschaut, Preis gesehen, Weggeschaut. Ca. 1.300,00 € für eine PM9A3 16TB als SATA.

- Als Client SSD würde ich was substantielleres/haltbareres als eine runtergesparte SN530 nehmen. Idealerweise ne kleine Datacenter-SSD mit Powerloss-Protection.

Ich habe eine USV. Kann ich dann bei der SN530 bleiben? Auch die sollte natürlich hin und wieder gebackupt werden.

- Wenn SSD-only: "Schlafen legen" von Platten zählt dann quasi nicht. Unraid unnötig. FreeBSD und Proxmox (=etwas stromsparender) bringen ZFS out-of-the-box mit.

Das klingt auch gut. Proxmox ist bei mir bereits auf mehreren Systemen als Cluster im Einsatz. Tolle Software.

ZFS und ECC-Ram wurden schon erwähnt bzgl. Datenintegrität. Backuppen mit ZFS klappt wunderbar: inkrementelle Snapshots an zweite Maschine schicken (ZFS send/receive).

Auch hier die Frage, ob ich wirklich ECC brauche bzw. ob ich Parity brauche, wenn ich nur das Feature der inkrementellen Snapshots nutzen möchte.

Auf Idle-Leistungsaufnahme zu achten ist wichtig und richtig, sollte aber IMO nicht übertrieben ausfallen. Wenn man da zu verkrampft dran festhält, beschränkt man sich extrem stark.
Mach das Powerbudget etwas auf und Du hast exponentiell mehr Möglichkeiten.
Ein Deskmeet X300 mit 4350G oder 4650G zieht Basislast 17W , Du kannst ECC-Ram einsetzen und Du hast ein paar sinnvolle IO-Möglichkeiten und genug CPU-Power für ordentlich I/O . Für 10G brauchst Du auch gut CPU-Power , das alles zu wuppen.
B550-Konfigs mit APU fangen ab so 18-20W Idle an. Du siehst ja in meiner Signatur, dass selbst ein 5600X auf B550 und ein 5950X auf X570 für ihre Verhältnisse recht sparsam laufen können.
Die Verarbeitung eines 10G-Datenstream kann übrigens durchaus auchmal 2 dieser starken Zen3-Kerne voll auslasten.

Zu deiner Signatur bin ich noch nicht gekommen. Werde ich aber noch nachholen. Wenn ich also von <10W auf <20W hochgehe, was den Strombedarf im Idle angeht, habe ich langfristig mehr Möglichkeiten. Das muss ich mir mal überlegen. Bis 10G wird aber wohl auch noch eine Weile vergehen. Meinst du die CPU, die ich im Auge habe, ist dafür zu schwach?

Btw, das 5950X-System in meiner Signatur wird beim nächsten Tausch der jetzigen HDDs vermutlich auch Flash-only werden. Zwei PM9A3 sind ja schon drin.

Das klingt gut. Schön, dass auch jemand mit viel Erfahrung auf Flash-only geht.

Beachte: Bei Intel Sockel 1200+1700 kannst Du den x16-Slot nur x8x8 aufteilen, bei AMD in der Regel auch x8x4x4 und bei Nicht-APUs auch x4x4x4x4. Sprich Du kannst da mehr PCIe-SSDs Ende direkt an die CPU hängen.

Das MB, das ich im Auge habe, hat schon alleine 6xSATA, d.h. falls ich noch mehr brauche, käme ich wahrscheinlich mit zwei weiteren Slots aus. Schließlich soll mein System mit unterschiedlich großen Festplatten klarkommen. Da kann ich also jederzeit eine vorhandene Platte durch eine größere ersetzen. Und habe sofort mehr Gesamtkapazität.

Beitrag automatisch zusammengeführt: 07.04.2023

ZFS funktioniert auch ohne ECC.
Jedes Dateisystem mit Massendaten freut aber sich, wenn ECC eingesetzt wird. Egal ob NTFS, ZFS, BtrFS, oder was auch immer.

Sobald Du Daten/Dokumente da speicherst, auf die Du keinen Fall verzichten willst/kannst > go ECC + go ZFS mit Parity. Ich hab damit seit 2013 kein einziges Bit mehr verloren/verfälscht bekommen.
Speicherst Du nur einfach wiederherstellbare Daten für den Zugriff > brauchst kein ECC.
Du musst da Kosten, Risiken und Aufwand für ggf. Wiederbeschaffung von Daten abwägen.

Danke für einen neuen Albtraum 😉
Verhalten sich SSDs da anders als mechanische Platten? Wenn du von eigenen Negativerfahrungen berichtest, beziehen diese sich evtl. noch auf mechanische Platten?
Ansonsten bräuchte ich ein anderes stromsparendes Mainboard mit 6xSATA und 2xPCIe.

Beitrag automatisch zusammengeführt: 07.04.2023

Und für den Filer steht als echtes Backup noch ein zweiter Filer parat, auf den regelmässig Snapshots von der Hauptmaschine übertragen werden. Der steht auch körperlich woanders.

Würden Bitfehler als Änderung erkannt werden und sich dann auf das Backup durchschlagen?

 

[gea]

Danke für einen neuen Albtraum 😉
Verhalten sich SSDs da anders als mechanische Platten? Wenn du von eigenen Negativerfahrungen berichtest, beziehen diese sich evtl. noch auf mechanische Platten?
Ansonsten bräuchte ich ein anderes stromsparendes Mainboard mit 6xSATA und 2xPCIe.


Würden Bitfehler als Änderung erkannt werden und sich dann auf das Backup durchschlagen?

SSD verhalten sich in zwei Aspekten anders.
Positiv ist natürlich die um ein vielfaches bessere Performance bei random io und geringere Stromaufnahme. Sequentiell sind sie (6G Sata) nicht soviel besser als mechanische Platten. Besonders Desktop SSD sind bei steady write und mehr noch bei mixed read/write load sogar oft relativ schlecht. Die geringere Stromaufnahme muss man auch relativieren, da sie bezogen auf die Kapazität viel teurer sind und mehrere SSD Strom wie eine Platte brauchen.

Kritisch ist der Aspekt Datensicherheit bei SSD ohne gute powerloss protection. Stürzt der Rechner während eines Schreibvorgangs ab, so kann es passieren dass atomate Schreibvorgänge (die nie nur teilweise ausgeführt werden dürfen wie Daten schreiben und Metadaten aktualisieren oder Raid Stripe über mehrere Platten) nur teilweise auf SSD(s) sind mit dem Ergebnis eines korrupten Dateisystems oder Raid. Auch die internen SSD Optimierungen im Hintergrund (Garbage Collection) können bei Stromausfall problematisch sein. Mechanische Platten bei deaktiviertem Schreibcache haben dieses Problem nicht.

Dieses Problem bekommt man nur durch ZFS Raid in den Griff da es da zumindest ohne VMs das Problem der nur teilweise durchgeführten atomare Schreibvorgänge wegen Copy on Write nicht gibt. Auch entdeckt ZFS Fehler durch die Prüfsummen auf Daten und Metadaten und kann Raid vorrausgesetzt diese on the fly reparieren. Fehlendes ECC kann natürlich auch bei ZFS wie bei allen Systemen zu unentdeckbaren Fehlern führen (Korrupte Daten mit korrekter Prüfsumme). Auch bei ZFS brauchen SSD ohne Raid z.B. Slog immer powerloss protektion.

Sind korrupte Daten erstmal auf Platte sind sie auch im Backup. Ohne Prüfsummen wie bei ZFS sogar ohne Möglichkeit diese jemals zu entdecken.

ps
Datenkorruption wegen Ramfehler, Stromausfall oder Silent errors (Datenrost) sind relativ selten, haben aber eine statistische Häufigkeit. Das Problem dabei, je größer RAM oder Platten desto wahrscheinlicher ist ein Auftreten. Ein 32 GB RAM Server hat ein 64 mal so hohes Risiko für RAM Fehler wie ein alter 512 MB Server bei gleich gutem RAM.

 

[danielmayer]

Will man Massendaten auf SSD kostet das eben was. 1300€/16TB sind 81,25€/TB. Das geht zwar mittlerweile günstiger, aber nur bei günstigen Consumer-SSDs. Mir ist gerade eine SN550 abgeraucht, nach etwa einem Jahr. Ohne Parity wäre ich unglücklich, obwohl täglich Backup gezogen wird: auch eine problemlose Wiederherstellung mehrerer TB von HDD aus kostet Geld: nämlich viel Zeit.
Festplatten mit 14TB+ kannst Du bei 7-8W jeweils rechnen. Meine 6x14TB Red RaidZ1 liegen bei 45W alleine - daher unrealistische Stromvorstellungen. Die legen sich auch nicht mehr schlafen, das verhindert die Firmware. Die gehen nur „idle“ und sind dann bei 5-6W jeweils. 24/7…
Tendenziell wäre vermutlich ein A2SDI-h-TF von Supermicro richtig: reg ECC RAM möglich (günstig), 12x-SATA, 10G onboard bei ca 25W regulär idle. Ist aber recht teuer als Board&SoC.

 

[🖫 Michael]

Hi Daniel, danke für die Tipps.

Will man Massendaten auf SSD kostet das eben was. 1300€/16TB sind 81,25€/TB. Das geht zwar mittlerweile günstiger, aber nur bei günstigen Consumer-SSDs.

Consumer-SSDs wären in Ordnung. Ich habe keine hohen Ansprüche an die Lese- und Schreibgeschwindigkeiten. Derzeit habe ich nur 1G LAN, da sind 500 MB/s lesen und schreiben mehr als genug. Was die Haltbarkeit angeht: es ist ja berücksichtigt, dass auch mal eine Platte abraucht.

Mir ist gerade eine SN550 abgeraucht, nach etwa einem Jahr. Ohne Parity wäre ich unglücklich, obwohl täglich Backup gezogen wird: auch eine problemlose Wiederherstellung mehrerer TB von HDD aus kostet Geld: nämlich viel Zeit.

Die SN550 ist eine NVMe, ich würde eher SATAs einsetzen. Die halten tendenziell länger. Und wie oben bereits gesagt, darf auch mal eine abrauchen. Davor schützen mich auch die Enterprise SSDs nicht. Ob die Rechnung (Pro Zeitraum 1 x Enterprise oder N x Consumer) am Schluss aufgeht kann man leider noch nicht sagen, dafür gibt es noch zu wenige Flash-only Systeme hier.
Was die Parity angeht habt ihr mich schon überredet. Habe in der Hardwareliste bereits das Motherboard ausgetauscht.

Festplatten mit 14TB+ kannst Du bei 7-8W jeweils rechnen. Meine 6x14TB Red RaidZ1 liegen bei 45W alleine - daher unrealistische Stromvorstellungen. Die legen sich auch nicht mehr schlafen, das verhindert die Firmware. Die gehen nur „idle“ und sind dann bei 5-6W jeweils. 24/7…

Jetzt redest du aber von mechanischen Festplatten. Ich denke mittlerweile ist klar, dass ich meine Anforderungen bzgl. Stromverbrauch wohl nur mit SSDs hinkriege und selbst dann werden es wohl eher um die 20W als um die 10W im Idle sein.

Tendenziell wäre vermutlich ein A2SDI-h-TF von Supermicro richtig: reg ECC RAM möglich (günstig), 12x-SATA, 10G onboard bei ca 25W regulär idle. Ist aber recht teuer als Board&SoC.

Das ist ein interessantes Teil. Habe es mir gerade einmal angeschaut. Sieht auf den ersten Blick etwas zu mächtig aus, aber ich behalte es mal im Hinterkopf. Danke dafür

 

[p4n0]

Heyho, habe aehnliche Anforderungen an meinen Server gehabt und das Ding sollte auch deine Anforderungen abdecken koennen.
Lediglich beim Preis wirst du mit Full-Flash nicht hinkommen.

~30w im Idle sind damit moeglich. System siehe Signatur.
Aufrüstbarkeit ist bei der Kiste natuerlich nicht endlos moeglich. Aber die Plattform gibt es sicher auch in anderen Gehaeusen.

 

[🖫 Michael]

Dieses Problem bekommt man nur durch ZFS Raid in den Griff da es da zumindest ohne VMs das Problem der nur teilweise durchgeführten atomare Schreibvorgänge wegen Copy on Write nicht gibt. Auch entdeckt ZFS Fehler durch die Prüfsummen auf Daten und Metadaten und kann Raid vorrausgesetzt diese on the fly reparieren. Fehlendes ECC kann natürlich auch bei ZFS wie bei allen Systemen zu unentdeckbaren Fehlern führen (Korrupte Daten mit korrekter Prüfsumme). Auch bei ZFS brauchen SSD ohne Raid z.B. Slog immer powerloss protektion.

Ihr habt mich mittlerweile überzeugt, dass ich ECC und Parity brauche. Ich habe mittlerweile das Motherboard in meiner Hardwareliste geändert. Als Dateisystem kommen dann also ZFS oder BTRFS in Frage. Kann man bei ZFS unterschiedliche Festplattenkapazitäten haben? Muss die Paritätsplatte mindestens so groß sein wie die größte Datenplatte?

SSD verhalten sich in zwei Aspekten anders.
Positiv ist natürlich die um ein vielfaches bessere Performance bei random io und geringere Stromaufnahme. Sequentiell sind sie (6G Sata) nicht soviel besser als mechanische Platten. Besonders Desktop SSD sind bei steady write und mehr noch bei mixed read/write load sogar oft relativ schlecht. Die geringere Stromaufnahme muss man auch relativieren, da sie bezogen auf die Kapazität viel teurer sind und mehrere SSD Strom wie eine Platte brauchen.

Die Geschwindigkeit bei SSDs ist mir gar nicht so wichtig. Ist der Unterschied bei der Stromaufnahme wirklich so gering bzw. sogar eher zugunsten von HDDs? Gilt das auch für den Betrieb oder nur für Idle?

Beitrag automatisch zusammengeführt: 07.04.2023

Heyho, habe aehnliche Anforderungen an meinen Server gehabt und das Ding sollte auch deine Anforderungen abdecken koennen.
Lediglich beim Preis wirst du mit Full-Flash nicht hinkommen.

~30w im Idle sind damit moeglich. System siehe Signatur.
Aufrüstbarkeit ist bei der Kiste natuerlich nicht endlos moeglich. Aber die Plattform gibt es sicher auch in anderen Gehaeusen.

Danke für den Hinweis. Welche 8TB SSDs hast du verwendet? Was das Rahmensystem angeht (s. Hardwareliste im ersten Post) komme ich auch auf 600 - 700€.

 

[p4n0]

Welche 8TB SSDs hast du verwendet?

Das sind Micron ION5210. Aber keine Ahnung wie die aktuell verfuegbar sind und was sie kosten. Evtl. gibts auch schon Nachfolger von den Dingern.
Laufen jedenfalls seit bald 2 Jahren 24/7 ohne jegliche Anstalten an nem virtualisiertem ZFS Filer.

 

[🖫 Michael]

Die kosten so um die 1.200,00 €. Dagegen sind die PM9A3 ja spottbillig

 

[gea]

Ihr habt mich mittlerweile überzeugt, dass ich ECC und Parity brauche. Ich habe mittlerweile das Motherboard in meiner Hardwareliste geändert. Als Dateisystem kommen dann also ZFS oder BTRFS in Frage. Kann man bei ZFS unterschiedliche Festplattenkapazitäten haben? Muss die Paritätsplatte mindestens so groß sein wie die größte Datenplatte?

Nur Unraid (wie der Name bereits sagt, kein Raid) kann man unterschiedlich große Platten kombinieren. Die Paritätsplatte muss so groß sein wie die größte der anderen damit "verteiltes Backup on demand" funktioniert.

Echtzeit Raid baut ein Array über alle Platten. Performance skaliert mit den Platten. Bei unterschiedlich großen Platten bestimmt die kleinste die nutzbare Kapazität aller Platten.

Bei btrfs ist Raid-1 ok, nicht aber höhere Levels. Sowas wie das sync write Konzept fehlt aber.

ps
Ich habe die Risiken eines Datenverlusts mal zusammengefasst

OpenSolaris derived ZFS NAS/ SAN (OmniOS, OpenIndiana, Solaris and napp-it)

You do not want open Internet access to the management interface unless you use a VPN router ex GLinet and Wireguard. With VPN you can even simply use SMB. If you want to use Apache you can configure at /var/web-gui/_my/tools/apache/httpd.conf Without VPN enabling a webbased Amazon S3...

hardforum.com

ps
Ist in Englisch. Mit Google Chrome kann man das ganz gut direkt übersetzen.

 

[Potz]

Die SN550 ist eine NVMe, ich würde eher SATAs einsetzen. Die halten tendenziell länger.

Wie kommst du da drauf? Ich sehe bei SATA eher den Vorteil des geringeren Stromverbrauchs pro Kapazität (Stromverbrauch pro Performance wäre bei NVMe besser, aber für dich ja unwichtig)

Die A2SDi-* finde ich nicht mehr so attraktiv, es sei denn man möchte mehr als 8x SATA (oder Quick Assist wobei hier ein A3* besser wäre) bei geringem Stromverbrauch. Die Boards bieten einfach relativ wenig Features und Performance für relativ viel Geld und der Idle-Verbrauch ist jetzt nicht um Welten geringer als bei einem LGA1151/1200 Board. Nett ist vielleicht noch, dass man die RDIMMs etwas günstiger bekommt, als die UDIMMs mit ECC, aber bei den aktuellen Preisen halte ich das für egal.

 

[Holt]

Ich sehe bei SATA eher den Vorteil des geringeren Stromverbrauchs pro Kapazität

Wieso pro Kapazität? Am wichtigsten ist meist die Idle Leistungsaufnahme und die hängt massiv davon ab welche Energiesparmaßnahmen aktiv sind, aber nicht wirklich von der Kapazität. Im Review der Samsung 980 500GB und 1TB was die Idle Leistungsaufnahme der 1TB sogar minimal geringer als die der 500GB! Wie man da sieht ist die 870 EVO zwar ohne jegliche Energiesparmaßnahmen im Idle deutlich sparsamer als die NVMe SSDs, aber schon bei den im Test Desktop aktiven Energiesparmaßnahmen ist nur noch durchschnittlich, wobei die SN550 da ganz mies abschneidet und offenbar nicht alle Energieeinstellungen unterstützt.

Man kann also nicht pauschal sagen, dass SATA SSDs sparsamer als NVMe SSDs sind und wenn sich dies nicht auf Idle bezogen haben sollte, so muss man bei der Leistungsaufnahme beim Lesen oder Schreiben natürlich auch die Lese- oder Schreibrate berücksichtigen, denn es werden ja im Alltag immer bestimmte Datenvolumen gelesen oder geschrieben, die Größe der Dateien hängt ja in aller Regel nicht von der Lese- oder Schreibrate ab und je schneller es geht, umso schneller ist die SSD wieder Idle. Wenn also eine NVMe SSD doppelt so viel braucht, aber dafür viermal so schnell ist, so ist sie dann immer noch energieeffizienter.

 

[Potz]

OK, meine Angaben bezogen sich eher auf Enterprise SSDs. Das "pro Kapazität" war eher im Sinne des vorher gezogenen Vergleichs zu HDDs gedacht, also auf einen Verbund bezogen. Ich hätte besser "pro SSD" geschrieben. Wobei es jenseits des limitierenden M.2 (also z.B. bei U.2) schon die Tendenz dazu gibt, dass NVMe SSDs mit mehr Kapazität deutlich mehr Leistung aufnehmen können. Natürlich bieten sie dabei auch mehr Performance, aber darauf gehe ich ja zwischen den Klammern ein. Und natürlich sind größere SSDs effizienter. Somit war meine Aussage nicht so richtig hilfreich, weil viel zu stark verkürzt.
Schlussendlich ging es mir darum, dass es mit SATA SSDs in einem NAS tendenziell einfacher ist, bei einer gegebenen Gesamtkapazität über alle Laufwerke, einen geringen Stromverbrauch zu erzielen. Deine Ausführungen sehe ich hier nicht im Widerspruch, sondern ergänzend.

 

[Holt]

OK, meine Angaben bezogen sich eher auf Enterprise SSDs.

Die Enterprise SSDs sind bzgl. der Idle Leistungsaufnahme leider oft jenseits von Gut und Böse, gerade wenn jemand ein System mit <20W im Idle bauen möchte, Aber auch hier würde ich im Zweifel immer auf die Spezifikationen der keweiligen Modelle schauen und diese vergleichen, da Pauschalaussagen eben auch mal schnell falsch sein können, wenn man sie mit konkreten Modellen vergleicht.

Ich hätte besser "pro SSD" geschrieben.

Ja, denn wie bei HDDs ist es eben so, dass gerade was die Idle Leistungsaufnahme angeht, weniger mit großer Kapazität meist gegenüber mehreren kleinerer Kapazität im Vorteil sind. Zumindest wenn man Modelle der gleichen Familie betrachtet, sonst gilt es wie eben geschrieben, die Spezifikationen der konkreten Modelle zu vergleichen.

Schlussendlich ging es mir darum, dass es mit SATA SSDs in einem NAS tendenziell einfacher ist, bei einer gegebenen Gesamtkapazität über alle Laufwerke, einen geringen Stromverbrauch zu erzielen.

Das ergibt sich ja alleine daraus, dass Plattformen wie die die der TE im ersten Post nennt, natürlich nur wenige NVMe SSDs anbinden können, meist weniger als SATA SSDs und Plattformen die deutlich mehr PCIe Lanes für NVMe SSDs haben, meist schon von sich aus auch eine weitaus höhere Idle Leistungsaufnahme besitzen.

Lässt man dies mal weg, so würde ich auch hier sagen, dass man mit solchen Aussagen zu Tendenzen eben schnell auf die Nase fallen kann. Zumal wenn man sich die Kapazitäten ansieht, denn SATA Enterprise SSDs gibt es nur bis 7,68TB, z.B. die PM893 die mit 1,5W Idle angegeben ist, während man Enterprise NVMe SSDs auch mit 30,72TB[/URL bekommen kann, also viermal so viel Kapazität, wie die [URL=https://geizhals.de/intel-ssd-d5-p5316-30-72tb-ssdpf2nv307tzn1-a2579737.html?hloc=at&hloc=de&hloc=eu&hloc=pl&hloc=uk]P5316 die mit 5W im Idle angegeben ist, also 1W weniger als die vier SATA SSDs zusammen, die man bräuchte um auf die gleiche Kapazität zu kommen.

Vergleicht man die Preise, so ist der Unterschied übrigens erstaunlich gering, die PM893 wird ab €602,97 gelistet, vier davon wären also €2411,88, während die P5316 ab €2638 gelistet ist, also nicht einmal 10% mehr kostet.

Aber eine 30TB SSDs kommen hier wohl eher nicht in Frage es sollen ja unter 3000€ kosten und auch wenn ich den Rest nicht zusammengerechnet habe, so dürfte es knapp werden, wenn die SSD schon über 2600€ kostet und noch so ein Adapter dazu kommt um sie einbauen zu können, womit dann keine 350€ für den Rest übrig wären. 16,36TB Enterprise NVMe. SSDs sind günstiger, die PM9A3 (3,5W im Idle) ist ab € 1172,98 gelistet zwei davon ließen sich unterbringen, aber dann wäre kein Slot mehr für den 10GbE NIC oder ggf. mal eine Dritte frei, um auf die 48TB zu kommen. Man müsste also den M.2 Slot auf U.2 adaptieren, was nicht immer problemlos ist und auch nur eine der beiden Anforderungen erfüllen würde. Damit hat sich auch erledigt über NVMe SSDs mit noch geringerer Kapazität nachzudenken.

Bleibst also realistisch nur die Auswahl zwischen SATA SSDs oder HDDs und keine Ahnung was man bei ZFS brutto braucht um mit Parität zu erreichen, ich würde immer ein normaler RAID5 nehmen und bei Anfangs 24TB und später max. 48TB würden sich da anfangs drei 12TB HHDs und später dann maximal 5 anbieten, aber ZFS kann meines Wissens nach seine RAIDs nur auf größere Platten richtig erweitern und wenn man später mehr Platten integrieren will, genießen diese nicht den gleichen Schutz wie die ursprünglichen Platten. Wenn dem noch so ist, würde ich direkt auf 48TB gehen und das wären dann vier 16TB im RAID 5 und 16TB HDDs gibt es ab 234€, wobei dies eine Toshiba Enterprise HDD ist und man da die Garantie nur über den Händler hat (was bei Samsung OEM SSDs wie allen PM auch so ist) und wenn man dies nicht will, nimmt man die Seagate Exos die ab 240€ kostet. Das wären dann 936€ bzw. 960€ für die HDDs, die mit 4W (Toshiba) bzw. 5W (Seagate) im Idle angegeben sind.

Von der PM893 7.68TB, wären für 48TB 6 nötig, wenn man die 7,.68TB als 8TB durchgehen lässt, also mit 46TB auskommt, sonst 7 und natürlich dazu eine für die Redundanz des RAID 5. Also rechne ich mal mit 7, dies wären 603€ * 7 = 4221€ damit über dem Budget, Mal davon ab, dass das Mainboard nur 6 SATA Ports hat und man nicht einen Zusatzcontroller verbauen müsste, aber die kleinen z.B. mit einem ASM1061 mit 2 SATA Ports kosten ja nicht viel und passen auch in einem x1 Slot. von der Idle Leistungsaufnahme wären wir bei 7 * 1,5W = 10,5W, gegenüber 16W für die 4 Toshiba HDDs. Das sind 5,5W für 3285€ mehr, 4,5 mal so viel Geld!

Fangen wir also mit 23TB an, dies wären dann 4 PM983 7,68TB für 2412€, was mit dem Rest wohl hart am Budget Limit ist. Hier können wir wohl aufhören, denn Enterprise SSDs kommen wohl preislich nicht in Frage, außer man kauft sie gebraucht, wobei die Frage ist, ob man 7.68TB SATA Modelle bekommt und zu welchem Preis.

Die billigste 8TB Consumer SSD geht bei 419€, die 870 QVO 8TB und die hat QLC NAND und ist eben keine Enterprise SSD. 7 davon wären 2933€ und damit wären wir mit dem Rest dann deutlich über dem Limit. Dies wäre dann auch immer noch etwa dreimal so viel wie für HDDs! Man müsste also mit 4 für 1676€ oder vielleicht 5 anfangen und die Frage mit dem RAID Growing anderweitig lösen, ggf. indem man das RAID neu aufsetzt und das Backup zurückspielt, Es bleiben dann aber eben Consumer SSDs und trotzdem sind sie so viel teurer, das man dies über die Stromrechnung über eine realistische Lebensdauer nie reinholen kann.