TrueNAS ZFS SSD-Upgrade 2025 - Strategie

[hs_warez]

Hallo!

Habe derzeit folgenden Server/folgendes NAS laufen:

"Eigenbau-Server (TrueNAS scale / derzeit bare metal)": Gigabyte C246M-WU4, Intel Xeon E-2226G, 4x16GB Kingston (KSM26ES8/16ME) ECC-Ram, Intel i350-F2 (LWL), Intel DC 3700 200GB (OS), Dell H330 Controller (LSI3008 "it mode") + 2x Toshiba Enterprise MG07ACA 12TB + 2x Intel D3-S4510 1,92TB

Die beiden Intel SSD's werden "gespiegelt" (ZFS via TrueNAS) betrieben und da liegen meine wichtigsten Daten (Fotos) drauf.
Derzeit werden diese Daten auch täglich vollverschlüsselt auf eine Hetzner-Storage-Box gesichert (für den Katastrophenfall; Brand, Hochwasser).

Mein "Problem" ist, dass diese 2TB SSD's vermutlich nach dem Sommer 2025 voll sein werden und die Preise für die SSD's ja heuer explodiert sind!
=> wenn die Preise so bleiben sollten, dann werde ich mir den Luxus von 2x 3,84TB "Server" SSD's nicht mehr unbedingt leisten wollen


Wie was wäre denn eure Empfehlung/Vorgehensweise?

Mein Favorit wäre natürlich:

• Preise sinken wieder und 2 neue Server-SSD's werden wieder "leistbar".
• Finde durch Zufall 2 neuwertige/preiswerte gebrauchte Server-SSD's. (Meine derzeitigen Intel habe ich damals auch neuwertig/gebraucht und günstig bekommen.)

Alternative wäre ev. nur eine neue 3,84TB Server-SSD (PLP und hohe TBW möchte ich haben) zu kaufen und dafür die Daten dann z.B. mehrmals täglich an die Storage-Box zu "schicken"!?
Eine defekte SSD hatte ich bisher noch nie - defekte HDD's jedoch schon.
Wenn ich also mehrmals täglich extern sichern würde, dann wäre ein möglicher Datenverlust "fast ausgeschlossen".



Wie was wäre denn eure Empfehlung/Vorgehensweise?


Danke!


LG

 

[pwnbert]

Kannst mit dem Datenverlust im Fall des Falles leben?

 

[hs_warez]

Hm, es werden nur alle paar Tage/Wochen mal die Fotos von den iPhones übertragen.

Wenn ich also die Sicherung in die StorageBox von 1x täglich auf mehrmals täglich umstelle, dann müsste ich für einen ev. Datenverlust schon ordentliches Pech haben.

 

[pwnbert]

Kannst auch lokal machen, von 1 Drive aufs 2. Drive...? Je nach dem, wie schnell dein Internet ist.

Ich hab schon überlegt einfach nen simplen ZFS Mirror aus KC3000 zu machen und gut ists... die Chance, da was zu bricken dürfte ohnehin schon absolut klein sein. Evtl. noch ein ZIL/SLOG aus 1x PLP SSD dazu machen (da reicht ja was mit weniger als 100gb auch, irgendwas halbwegs schnell schreibendes, ich hätt noch ne 1tb Micron 7400pro, welche ich da angedacht hätte... SLOG ist nicht Lebenswichtig und darf sterben).

Musst du wissen, wie wichtig dein Kram ist.
Das Sicherheitsgefühl kostet halt Geld und 100% "sicher" bist du ohnehin nie. Wenn dich der Blitz beim Scheißen trifft, hast auch nix mehr vom Backup. Insofern ist die Frage, ob die Chance auf Datenverlust kleiner sein muss als die Chance des Frühablebens - weisst was ich mein?


Ich wäre da relativ schmerzbefreit und würde das PLP einfach weglassen, 3-4x 4tb M.2 SSD ins Z1 tun (in so ner Asus Hyper), so kommt man halbwegs preiswert an SSD-Speicher, 1000€ für 12tb... mit Redundanz n-1.
Ob man ein SLOG dazu tun will oder nicht, kein Plan ob das wirklich was bringt, würde natürlich TBW Belastung von den SSDs nehmen. Dafür könntest auch eine der schnelleren PLP SSDs nehmen, die du schon hast, die dann frei werden, würde dich nicht mal was kosten.

Bei der Onlinebackup Häufigkeit von 1x pro Tag hätte ich da keine Sorgen... hast du echt Sachen, die du Tagesaktuell brauchst, welche richtig schlimm wären, wenn sie nicht dabei wären?

 

[hs_warez]

"Lokale Sicherung" hilft mir im Fall von Brand/Hochwasser/... nicht wirklich - deshalb externe StorageBox bei Hetzner.

"Wichtige" Daten sind für mich einige Verträge/Zertifikate/... in PDF-Form - die ändern sich so gut wie nie; und dann halt die Fotos - die werden halt wie es sich ergibt von den Handys aufs TrueNAS gesichert.
Wenn ich dann die externe Sicherung von derzeit 1x täglich auf mehrmals täglich ändere, dann wäre dort ein Verlust auch sehr sehr unwahrscheinlich.

Consumer-SSDs bei TrueNAS hatte ich mal ein paar Monate als Übergangslösung - in der kurzen Zeit haben die Samsung Evo's schon ordentlich gelitten - keine wirkliche Alternative für mich.

Mindestlösung wäre halt dann 1x 4 TB DC/Server-SSD + mehrmals tägliche externe Sicherung.
2x 4 TB DC/Server-SSD's ist mir bei den derzeitigen Preisen einfach zu teuer - außer ich finde gute gebrauchte!?

 

[pwnbert]

"Lokale Sicherung" hilft mir im Fall von Brand/Hochwasser/... nicht wirklich - deshalb externe StorageBox bei Hetzner.

Ich meinte ja nicht stattdessen...

Wenn ich dann die externe Sicherung von derzeit 1x täglich auf mehrmals täglich ändere, dann wäre dort ein Verlust auch sehr sehr unwahrscheinlich.

Naja, wenn das von der Bandbreite her kein Problem ist? Aber wenns eh nur inkrementell ist, wirds nicht so das Thema sein... wobei ich keine Ahnung hab, wie groß der "Verwaltungsaufwand" fürs Inkrementelle ist, es muss ja trotzdem geprüft werden, welche Daten sich verändert haben (oder eben auch nicht).

Consumer-SSDs bei TrueNAS hatte ich mal ein paar Monate als Übergangslösung - in der kurzen Zeit haben die Samsung Evo's schon ordentlich gelitten - keine wirkliche Alternative für mich.

Naja, eine Samsung PM9A3 mit 4tb hat ca. 5.5 PBW, eine 4tb Micron 7400 read intensive hat 7 PBW.
Eine 4tb Fury Renegade hat 4 PBW... ne KC3000 3.2 PBW... ne FireCuda 530 hat 5.1 PBW (diese 3 sind alle mehr oder weniger baugleich, so Controller und verbauter NAND... ist wohl die Art der Berechnung, die Sache mit dem pSLC etc., welche da die Unterschiede macht).

4tb >10 PBW gibts eig. nur in SATA und kosten mal >700€ pro Stück.

Festplatten & SSDs Solid State Drives (SSD) mit Kapazität (dezimal/SI) ab 3.84TB, Kapazität (dezimal/SI) bis 4TB, Speicherzellen-Typ: TLC (3 Bit pro Zelle), TBW: ab 10PB Preisvergleich Geizhals Österreich

Preisvergleich und Bewertungen für Festplatten & SSDs Solid State Drives (SSD) mit Kapazität (dezimal/SI) ab 3.84TB, Kapazität (dezimal/SI) bis 4TB, Speicherzellen-Typ: TLC (3 Bit pro Zelle), TBW: ab 10PB

geizhals.at

Besser (8tb und >10-15 PBW) wirds dann mit der 8tb DC600M SATA um 850-900€ und diversem U.2 8tb Kram um 4-stellig (so 1000-1500€ je nach Modell und Händler).


...nachdem wir da bei den TBW nur um den Faktor 1,5-3 auseinanderliegen (und wir hier nicht beim 10 bis 100-fachen sind, wie bei manchen Billig-Consumer-SSDs mit 100 TBW oder so) ist mir das in meinen Augen den Aufpreis nicht wert.
Mit nem SLOG/ZIL "Opferlaufwerk" fängst schon ein paar Writes ab, dann halt noch ums Thema Write-Amplification kümmern (ob man da irgendwas optimieren kann).


Was soll ich dir sagen?
Du kannst es billig lösen oder teuer... oder halt irgendwas dazwischen.

Ein Geheimrezept um "teuer" um "billig" zu bekommen, hab ich leider nicht. Kann dir nur sagen, was ich beobachtet und überlegt habe.

Mindestlösung wäre halt dann 1x 4 TB DC/Server-SSD + mehrmals tägliche externe Sicherung.

Micron 7400 bekommst evtl. verhältnismäßig günstig, musst bissl schauen, brauchen halt auch idle ihre 7-8W...



Ich weiss ja nicht, was du tatsächlich alles machst auf dem NAS.
Das mit der Fotoablage und so... sollte jetzt nicht sooo viel TBW brauchen?

 

[hs_warez]

Ich meinte ja nicht stattdessen...

Ah, na dann - habe ich falsch verstanden.

Naja, wenn das von der Bandbreite her kein Problem ist? Aber wenns eh nur inkrementell ist, wirds nicht so das Thema sein... wobei ich keine Ahnung hab, wie groß der "Verwaltungsaufwand" fürs Inkrementelle ist, es muss ja trotzdem geprüft werden, welche Daten sich verändert haben (oder eben auch nicht).

Ja, das ganze läuft inkrementell und völlig automatisch via TrueNAS - also kein manueller Aufwand nötig.

Naja, eine Samsung PM9A3 mit 4tb hat ca. 5.5 PBW, eine 4tb Micron 7400 read intensive hat 7 PBW.
Eine 4tb Fury Renegade hat 4 PBW... ne KC3000 3.2 PBW... ne FireCuda 530 hat 5.1 PBW (diese 3 sind alle mehr oder weniger baugleich, so Controller und verbauter NAND... ist wohl die Art der Berechnung, die Sache mit dem pSLC etc., welche da die Unterschiede macht).

4tb >10 PBW gibts eig. nur in SATA und kosten mal >700€ pro Stück.

Festplatten & SSDs Solid State Drives (SSD) mit Kapazität (dezimal/SI) ab 3.84TB, Kapazität (dezimal/SI) bis 4TB, Speicherzellen-Typ: TLC (3 Bit pro Zelle), TBW: ab 10PB Preisvergleich Geizhals Österreich

Preisvergleich und Bewertungen für Festplatten & SSDs Solid State Drives (SSD) mit Kapazität (dezimal/SI) ab 3.84TB, Kapazität (dezimal/SI) bis 4TB, Speicherzellen-Typ: TLC (3 Bit pro Zelle), TBW: ab 10PB

geizhals.at

Besser (8tb und >10-15 PBW) wirds dann mit der 8tb DC600M SATA um 850-900€ und diversem U.2 8tb Kram um 4-stellig (so 1000-1500€ je nach Modell und Händler).


...nachdem wir da bei den TBW nur um den Faktor 1,5-3 auseinanderliegen (und wir hier nicht beim 10 bis 100-fachen sind, wie bei manchen Billig-Consumer-SSDs mit 100 TBW oder so) ist mir das in meinen Augen den Aufpreis nicht wert.
Mit nem SLOG/ZIL "Opferlaufwerk" fängst schon ein paar Writes ab, dann halt noch ums Thema Write-Amplification kümmern (ob man da irgendwas optimieren kann).


Was soll ich dir sagen?
Du kannst es billig lösen oder teuer... oder halt irgendwas dazwischen.

Ein Geheimrezept um "teuer" um "billig" zu bekommen, hab ich leider nicht. Kann dir nur sagen, was ich beobachtet und überlegt habe.

Micron 7400 bekommst evtl. verhältnismäßig günstig, musst bissl schauen, brauchen halt auch idle ihre 7-8W...



Ich weiss ja nicht, was du tatsächlich alles machst auf dem NAS.
Das mit der Fotoablage und so... sollte jetzt nicht sooo viel TBW brauchen?

Hm, keine Ahnung - hatte damals halt normale Samsung EVOs (SATA) für einige Monate im Einsatz - die haben dank TrueNAS (ZFS; Snapshots;...) schon deutlich gelitten - denn die reinen "neuen" Daten (Fotoübertrag von den Handys) war von der Menge (GB) nicht viel!

Na ja, mal sehen was die Zeit so ergibt...


Danke!


LG

 

[pwnbert]

also kein manueller Aufwand nötig.

Meinte den Rechenaufwand... obs jetzt nen großartigen Unterschied macht das Backup 1x am Tag oder 6x am Tag laufen zu lassen z.B....
Es muss ja trotzdem das Filesystem gelesen werden, um zu sehen, was sich geändert hat... kein Plan wie schnell das geht bzw. wie viel Ressourcen das braucht.
So meinte ich das.

die haben dank TrueNAS (ZFS; Snapshots;...) schon deutlich gelitten

Hm, müsste man mal lesen.
Weiss auch nicht, was du unter "gelitten" verstehst.
(Ist ja auch nicht so, dass ne SSD bei erreichen ihrer TBW explodiert oder so...)

Mach halt mal ein smartctl -a /dev/nvme... von deinen SSDs, und schau, was die bisher tatsächlich so haben arbeiten müssen (wenn du sie gebraucht bekommen hast, wäre halt interessant, wo man gestartet ist).
Bei mir war das bisher überschaubar, hab aber auch kaum Snapshots verwendet, muss ich gestehen.


Ich hab ja ein ähnliches Thema, mein Plan sind jetzt 2x 2tb KC3000 als Mirror für Proxmox und VMs (evtl. mit der 7400pro als SLOG) und 2x 4tb Fury Renegade als SVDEV für mein HDD-Z1-Pool.
Mal sehen, wie lange das hält.
Die KC3000 hab ich für 119€/2tb gekauft und die Fury Renegade um 239€/4tb... das sind halt Preise, zu denen ich das Experiment wagen werde.

 

[Reflexion]

@pwnbert Ich habe da mal eine Frage an Dich, gibt es einen speziellen Grund weshalb Du auf TNS setzten möchtest und nicht etwas auf unRAID? Für mich ist es nebe unRAID eher ein lernen und testen. Was ich nicht so ganz verstehen kann ist diese Aussage; "...SLOG ist nicht Lebenswichtig und darf sterben..." So wie ich ZIL/SLOG verstehe, sorgt die im (Mirror Verbunden am besten) für eine vorzeitige Annahme aus dem RAM sodass nicht erst auf das meist langsamere array geschrieben werden muss, zudem sorgt es je nach Protokoll für async transf. Allerdings wenn PLP/USV versagt und die die ZIL/SLOG SSD abraucht, war es dass dan mit den dort vorliegenden Daten.

 

[pwnbert]

Das ist nur ein temporärer Speicher, die werden dort mal "zur Sicherheit" abgelegt (im ZIL - ZFS Intent Log), bleiben aber im RAM und werden ausm RAM geschrieben.

ZFS ZIL and SLOG

Provides clarification on ZFS, ZIL, and SLOG concepts.

www.truenas.com

ZIL ist dann interessant, wenn du beim Schreiben nen Crash hast.
Wenn dir das SLOG stirbt, kommt der ZIL auf den Datenträger selbst, was speziell bei HDDs natürlich extra kleine Random Write Zugriffe macht und die HDD bremst.

Das einzige Problem ist, wenn du nen Crash hast, und dieser das SLOG mitnimmt, dann fehlen dir die Daten, die da noch zu schreiben gewesen wären.
Eine Sache, mit der man Daheim vermutlich leben könnte.

Anders als beim SVDEV oder nem Stripe verlierst du nicht den ganzen Pool-Inhalt, wenn das SLOG ausfällt.

So die Theorie.