TrueNAS ZFS SSD-Upgrade 2025 - Strategie

[hs_warez]

Hallo!

Habe derzeit folgenden Server/folgendes NAS laufen:

"Eigenbau-Server (TrueNAS scale / derzeit bare metal)": Gigabyte C246M-WU4, Intel Xeon E-2226G, 4x16GB Kingston (KSM26ES8/16ME) ECC-Ram, Intel i350-F2 (LWL), Intel DC 3700 200GB (OS), Dell H330 Controller (LSI3008 "it mode") + 2x Toshiba Enterprise MG07ACA 12TB + 2x Intel D3-S4510 1,92TB

Die beiden Intel SSD's werden "gespiegelt" (ZFS via TrueNAS) betrieben und da liegen meine wichtigsten Daten (Fotos) drauf.
Derzeit werden diese Daten auch täglich vollverschlüsselt auf eine Hetzner-Storage-Box gesichert (für den Katastrophenfall; Brand, Hochwasser).

Mein "Problem" ist, dass diese 2TB SSD's vermutlich nach dem Sommer 2025 voll sein werden und die Preise für die SSD's ja heuer explodiert sind!
=> wenn die Preise so bleiben sollten, dann werde ich mir den Luxus von 2x 3,84TB "Server" SSD's nicht mehr unbedingt leisten wollen


Wie was wäre denn eure Empfehlung/Vorgehensweise?

Mein Favorit wäre natürlich:

• Preise sinken wieder und 2 neue Server-SSD's werden wieder "leistbar".
• Finde durch Zufall 2 neuwertige/preiswerte gebrauchte Server-SSD's. (Meine derzeitigen Intel habe ich damals auch neuwertig/gebraucht und günstig bekommen.)

Alternative wäre ev. nur eine neue 3,84TB Server-SSD (PLP und hohe TBW möchte ich haben) zu kaufen und dafür die Daten dann z.B. mehrmals täglich an die Storage-Box zu "schicken"!?
Eine defekte SSD hatte ich bisher noch nie - defekte HDD's jedoch schon.
Wenn ich also mehrmals täglich extern sichern würde, dann wäre ein möglicher Datenverlust "fast ausgeschlossen".



Wie was wäre denn eure Empfehlung/Vorgehensweise?


Danke!


LG

 

[pwnbert]

Kannst mit dem Datenverlust im Fall des Falles leben?

 

[hs_warez]

Hm, es werden nur alle paar Tage/Wochen mal die Fotos von den iPhones übertragen.

Wenn ich also die Sicherung in die StorageBox von 1x täglich auf mehrmals täglich umstelle, dann müsste ich für einen ev. Datenverlust schon ordentliches Pech haben.

 

[pwnbert]

Kannst auch lokal machen, von 1 Drive aufs 2. Drive...? Je nach dem, wie schnell dein Internet ist.

Ich hab schon überlegt einfach nen simplen ZFS Mirror aus KC3000 zu machen und gut ists... die Chance, da was zu bricken dürfte ohnehin schon absolut klein sein. Evtl. noch ein ZIL/SLOG aus 1x PLP SSD dazu machen (da reicht ja was mit weniger als 100gb auch, irgendwas halbwegs schnell schreibendes, ich hätt noch ne 1tb Micron 7400pro, welche ich da angedacht hätte... SLOG ist nicht Lebenswichtig und darf sterben).

Musst du wissen, wie wichtig dein Kram ist.
Das Sicherheitsgefühl kostet halt Geld und 100% "sicher" bist du ohnehin nie. Wenn dich der Blitz beim Scheißen trifft, hast auch nix mehr vom Backup. Insofern ist die Frage, ob die Chance auf Datenverlust kleiner sein muss als die Chance des Frühablebens - weisst was ich mein?


Ich wäre da relativ schmerzbefreit und würde das PLP einfach weglassen, 3-4x 4tb M.2 SSD ins Z1 tun (in so ner Asus Hyper), so kommt man halbwegs preiswert an SSD-Speicher, 1000€ für 12tb... mit Redundanz n-1.
Ob man ein SLOG dazu tun will oder nicht, kein Plan ob das wirklich was bringt, würde natürlich TBW Belastung von den SSDs nehmen. Dafür könntest auch eine der schnelleren PLP SSDs nehmen, die du schon hast, die dann frei werden, würde dich nicht mal was kosten.

Bei der Onlinebackup Häufigkeit von 1x pro Tag hätte ich da keine Sorgen... hast du echt Sachen, die du Tagesaktuell brauchst, welche richtig schlimm wären, wenn sie nicht dabei wären?

 

[hs_warez]

"Lokale Sicherung" hilft mir im Fall von Brand/Hochwasser/... nicht wirklich - deshalb externe StorageBox bei Hetzner.

"Wichtige" Daten sind für mich einige Verträge/Zertifikate/... in PDF-Form - die ändern sich so gut wie nie; und dann halt die Fotos - die werden halt wie es sich ergibt von den Handys aufs TrueNAS gesichert.
Wenn ich dann die externe Sicherung von derzeit 1x täglich auf mehrmals täglich ändere, dann wäre dort ein Verlust auch sehr sehr unwahrscheinlich.

Consumer-SSDs bei TrueNAS hatte ich mal ein paar Monate als Übergangslösung - in der kurzen Zeit haben die Samsung Evo's schon ordentlich gelitten - keine wirkliche Alternative für mich.

Mindestlösung wäre halt dann 1x 4 TB DC/Server-SSD + mehrmals tägliche externe Sicherung.
2x 4 TB DC/Server-SSD's ist mir bei den derzeitigen Preisen einfach zu teuer - außer ich finde gute gebrauchte!?

 

[pwnbert]

"Lokale Sicherung" hilft mir im Fall von Brand/Hochwasser/... nicht wirklich - deshalb externe StorageBox bei Hetzner.

Ich meinte ja nicht stattdessen...

Wenn ich dann die externe Sicherung von derzeit 1x täglich auf mehrmals täglich ändere, dann wäre dort ein Verlust auch sehr sehr unwahrscheinlich.

Naja, wenn das von der Bandbreite her kein Problem ist? Aber wenns eh nur inkrementell ist, wirds nicht so das Thema sein... wobei ich keine Ahnung hab, wie groß der "Verwaltungsaufwand" fürs Inkrementelle ist, es muss ja trotzdem geprüft werden, welche Daten sich verändert haben (oder eben auch nicht).

Consumer-SSDs bei TrueNAS hatte ich mal ein paar Monate als Übergangslösung - in der kurzen Zeit haben die Samsung Evo's schon ordentlich gelitten - keine wirkliche Alternative für mich.

Naja, eine Samsung PM9A3 mit 4tb hat ca. 5.5 PBW, eine 4tb Micron 7400 read intensive hat 7 PBW.
Eine 4tb Fury Renegade hat 4 PBW... ne KC3000 3.2 PBW... ne FireCuda 530 hat 5.1 PBW (diese 3 sind alle mehr oder weniger baugleich, so Controller und verbauter NAND... ist wohl die Art der Berechnung, die Sache mit dem pSLC etc., welche da die Unterschiede macht).

4tb >10 PBW gibts eig. nur in SATA und kosten mal >700€ pro Stück.

Festplatten & SSDs Solid State Drives (SSD) mit Kapazität (dezimal/SI) ab 3.84TB, Kapazität (dezimal/SI) bis 4TB, Speicherzellen-Typ: TLC (3 Bit pro Zelle), TBW: ab 10PB Preisvergleich Geizhals Österreich

Preisvergleich und Bewertungen für Festplatten & SSDs Solid State Drives (SSD) mit Kapazität (dezimal/SI) ab 3.84TB, Kapazität (dezimal/SI) bis 4TB, Speicherzellen-Typ: TLC (3 Bit pro Zelle), TBW: ab 10PB

geizhals.at

Besser (8tb und >10-15 PBW) wirds dann mit der 8tb DC600M SATA um 850-900€ und diversem U.2 8tb Kram um 4-stellig (so 1000-1500€ je nach Modell und Händler).


...nachdem wir da bei den TBW nur um den Faktor 1,5-3 auseinanderliegen (und wir hier nicht beim 10 bis 100-fachen sind, wie bei manchen Billig-Consumer-SSDs mit 100 TBW oder so) ist mir das in meinen Augen den Aufpreis nicht wert.
Mit nem SLOG/ZIL "Opferlaufwerk" fängst schon ein paar Writes ab, dann halt noch ums Thema Write-Amplification kümmern (ob man da irgendwas optimieren kann).


Was soll ich dir sagen?
Du kannst es billig lösen oder teuer... oder halt irgendwas dazwischen.

Ein Geheimrezept um "teuer" um "billig" zu bekommen, hab ich leider nicht. Kann dir nur sagen, was ich beobachtet und überlegt habe.

Mindestlösung wäre halt dann 1x 4 TB DC/Server-SSD + mehrmals tägliche externe Sicherung.

Micron 7400 bekommst evtl. verhältnismäßig günstig, musst bissl schauen, brauchen halt auch idle ihre 7-8W...



Ich weiss ja nicht, was du tatsächlich alles machst auf dem NAS.
Das mit der Fotoablage und so... sollte jetzt nicht sooo viel TBW brauchen?

 

[hs_warez]

Ich meinte ja nicht stattdessen...

Ah, na dann - habe ich falsch verstanden.

Naja, wenn das von der Bandbreite her kein Problem ist? Aber wenns eh nur inkrementell ist, wirds nicht so das Thema sein... wobei ich keine Ahnung hab, wie groß der "Verwaltungsaufwand" fürs Inkrementelle ist, es muss ja trotzdem geprüft werden, welche Daten sich verändert haben (oder eben auch nicht).

Ja, das ganze läuft inkrementell und völlig automatisch via TrueNAS - also kein manueller Aufwand nötig.

Naja, eine Samsung PM9A3 mit 4tb hat ca. 5.5 PBW, eine 4tb Micron 7400 read intensive hat 7 PBW.
Eine 4tb Fury Renegade hat 4 PBW... ne KC3000 3.2 PBW... ne FireCuda 530 hat 5.1 PBW (diese 3 sind alle mehr oder weniger baugleich, so Controller und verbauter NAND... ist wohl die Art der Berechnung, die Sache mit dem pSLC etc., welche da die Unterschiede macht).

4tb >10 PBW gibts eig. nur in SATA und kosten mal >700€ pro Stück.

Festplatten & SSDs Solid State Drives (SSD) mit Kapazität (dezimal/SI) ab 3.84TB, Kapazität (dezimal/SI) bis 4TB, Speicherzellen-Typ: TLC (3 Bit pro Zelle), TBW: ab 10PB Preisvergleich Geizhals Österreich

Preisvergleich und Bewertungen für Festplatten & SSDs Solid State Drives (SSD) mit Kapazität (dezimal/SI) ab 3.84TB, Kapazität (dezimal/SI) bis 4TB, Speicherzellen-Typ: TLC (3 Bit pro Zelle), TBW: ab 10PB

geizhals.at

Besser (8tb und >10-15 PBW) wirds dann mit der 8tb DC600M SATA um 850-900€ und diversem U.2 8tb Kram um 4-stellig (so 1000-1500€ je nach Modell und Händler).


...nachdem wir da bei den TBW nur um den Faktor 1,5-3 auseinanderliegen (und wir hier nicht beim 10 bis 100-fachen sind, wie bei manchen Billig-Consumer-SSDs mit 100 TBW oder so) ist mir das in meinen Augen den Aufpreis nicht wert.
Mit nem SLOG/ZIL "Opferlaufwerk" fängst schon ein paar Writes ab, dann halt noch ums Thema Write-Amplification kümmern (ob man da irgendwas optimieren kann).


Was soll ich dir sagen?
Du kannst es billig lösen oder teuer... oder halt irgendwas dazwischen.

Ein Geheimrezept um "teuer" um "billig" zu bekommen, hab ich leider nicht. Kann dir nur sagen, was ich beobachtet und überlegt habe.

Micron 7400 bekommst evtl. verhältnismäßig günstig, musst bissl schauen, brauchen halt auch idle ihre 7-8W...



Ich weiss ja nicht, was du tatsächlich alles machst auf dem NAS.
Das mit der Fotoablage und so... sollte jetzt nicht sooo viel TBW brauchen?

Hm, keine Ahnung - hatte damals halt normale Samsung EVOs (SATA) für einige Monate im Einsatz - die haben dank TrueNAS (ZFS; Snapshots;...) schon deutlich gelitten - denn die reinen "neuen" Daten (Fotoübertrag von den Handys) war von der Menge (GB) nicht viel!

Na ja, mal sehen was die Zeit so ergibt...


Danke!


LG

 

[pwnbert]

also kein manueller Aufwand nötig.

Meinte den Rechenaufwand... obs jetzt nen großartigen Unterschied macht das Backup 1x am Tag oder 6x am Tag laufen zu lassen z.B....
Es muss ja trotzdem das Filesystem gelesen werden, um zu sehen, was sich geändert hat... kein Plan wie schnell das geht bzw. wie viel Ressourcen das braucht.
So meinte ich das.

die haben dank TrueNAS (ZFS; Snapshots;...) schon deutlich gelitten

Hm, müsste man mal lesen.
Weiss auch nicht, was du unter "gelitten" verstehst.
(Ist ja auch nicht so, dass ne SSD bei erreichen ihrer TBW explodiert oder so...)

Mach halt mal ein smartctl -a /dev/nvme... von deinen SSDs, und schau, was die bisher tatsächlich so haben arbeiten müssen (wenn du sie gebraucht bekommen hast, wäre halt interessant, wo man gestartet ist).
Bei mir war das bisher überschaubar, hab aber auch kaum Snapshots verwendet, muss ich gestehen.


Ich hab ja ein ähnliches Thema, mein Plan sind jetzt 2x 2tb KC3000 als Mirror für Proxmox und VMs (evtl. mit der 7400pro als SLOG) und 2x 4tb Fury Renegade als SVDEV für mein HDD-Z1-Pool.
Mal sehen, wie lange das hält.
Die KC3000 hab ich für 119€/2tb gekauft und die Fury Renegade um 239€/4tb... das sind halt Preise, zu denen ich das Experiment wagen werde.

 

[Reflexion]

@pwnbert Ich habe da mal eine Frage an Dich, gibt es einen speziellen Grund weshalb Du auf TNS setzten möchtest und nicht etwas auf unRAID? Für mich ist es nebe unRAID eher ein lernen und testen. Was ich nicht so ganz verstehen kann ist diese Aussage; "...SLOG ist nicht Lebenswichtig und darf sterben..." So wie ich ZIL/SLOG verstehe, sorgt die im (Mirror Verbunden am besten) für eine vorzeitige Annahme aus dem RAM sodass nicht erst auf das meist langsamere array geschrieben werden muss, zudem sorgt es je nach Protokoll für async transf. Allerdings wenn PLP/USV versagt und die die ZIL/SLOG SSD abraucht, war es dass dan mit den dort vorliegenden Daten.

 

[pwnbert]

Das ist nur ein temporärer Speicher, die werden dort mal "zur Sicherheit" abgelegt (im ZIL - ZFS Intent Log), bleiben aber im RAM und werden ausm RAM geschrieben.

ZFS ZIL and SLOG

Provides clarification on ZFS, ZIL, and SLOG concepts.

www.truenas.com

ZIL ist dann interessant, wenn du beim Schreiben nen Crash hast.
Wenn dir das SLOG stirbt, kommt der ZIL auf den Datenträger selbst, was speziell bei HDDs natürlich extra kleine Random Write Zugriffe macht und die HDD bremst.

Das einzige Problem ist, wenn du nen Crash hast, und dieser das SLOG mitnimmt, dann fehlen dir die Daten, die da noch zu schreiben gewesen wären.
Eine Sache, mit der man Daheim vermutlich leben könnte.

Anders als beim SVDEV oder nem Stripe verlierst du nicht den ganzen Pool-Inhalt, wenn das SLOG ausfällt.

So die Theorie.

 

[Reflexion]

Danke Dir, ja hatte mir diesen Beitrag angesehen

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

, schade, dass ZFS zumindest in der Config, nicht zur Sicherheit alles erst in den cache ballert /(wie bei unRAID) um Performance zu verbessern und den cache dann das Schreiben aufs Array überlässt.

 

[pwnbert]

Ich bin der falsche Ansprechpartner dafür, es gibt nen Thread dafür (ZFS), wo du Leute findest, die mehr Ahnung davon haben als ich.

Das ist einfach was grundlegend anderes...
Das ist eigentlich nix für Popelsysteme mit 3 Datenträgern, das ist eher was für Systeme mit >100 Datenträgern (vor allem für viel spinning rust)... so von der Idee her.

, schade, dass ZFS zumindest in der Config, nicht zur Sicherheit alles erst in den cache ballert /(wie bei unRAID) um Performance zu verbessern und den cache dann das Schreiben aufs Array überlässt.

Bin mir nicht sicher, ob dus ganz verstanden hast...
Im RAM bleibt nie mehr liegen, als auch gleich ins ZIL kommt.
Das finale schreiben dauert wohl deshalb länger, weils ja ein COW Filesystem ist, welches die Datenblöcke wohl entsprechend ordnen muss etc., was auch immer da genau geschieht (wie gesagt, kann dir jemand anders besser sagen).
Das ZIL ist default da, wo das Pool selbst ist. Mit dem SLOG kann man das ZIL auslagern auf was schnelleres kleineres, z.B. ne Optane oder so... dadurch spart man sich das doppelte Schreiben (also Zugriffszeit auf der HDD und TBW auf der SSD).
Mit lahmen Netzwerk (10 gbit ist für anständige Verhältnisse lahm...) bzw. SSDs macht das gar nicht so viel Sinn, kann man daheim eigentlich ignorieren, betrifft imho auch nur Sync Writes.

Special-VDEV ist interessanter, aber auch hiekler, dort kommen Metadaten und ganz kleine Daten drauf, damit hast du quasi ein SSD HDD Hybrid Pool... aber wenn die Metadaten weg sind, ist das ganze Pool tot.



Unraid ist eben anders und daheim vielleicht je nach Anwendungsfall auch die bessere Wahl.

 

[Reflexion]

"...Im RAM bleibt nie mehr liegen, als auch gleich ins ZIL kommt." genau, aber wird in Pool (teil vom Array) geschaufelt und im Anschluss in das Array verteilt, SLOG/ZIL ist nur zur Redundanz und eben dem etwas schnelleren abfertigen da direkt auf das Array ohne ZIL dazwischen.. also immerhin etwas Performance gewinn. Danke Dir für die Mühe, ich schau’ mich dort um.

 

[pwnbert]

SLOG/ZIL ist nur zur Redundanz

Slog und ZIL sind nicht das gleiche.
Slog ist ein "special log device", ein Platz fürs ZIL, das ZFS Intent Log (also quasi die Todo List), um den Vorgang zu beschleunigen (und evtl. um Writes am Zieldatenträger zu "sparen").
Das ZIL selbst ist nicht optional.

Insofern braucht man kein SLOG.
Ist auch so ne Sache mit den Sync und Async writes, was da jetzt genau was ist, das weiss ich selbst auch nicht so genau... ist ein ziemliches Rabbithole.

Don't worry about SLOG.

 

[Reflexion]

Ja genau so habe ich das auch verstanden, nur eben nicht so gut formuliert. Muss mal schauen, wie ich meine 5x Micron 5200 Max 960 Gb MTFDDAK 960 TDN am sinnvollsten einsetze. Hatte eigentlich vor die als Z2 zu setzen und 2x M.2 Optane für SLOG/ZIL. Frage ist aber, ob die Intel Optane Memory Series M.2 (M.2/B-M-Key (PCIe 3.0 x2)) kompatibel sind, mit meinem Gigabyte MJ11-EC1 AMD EPYC 3151, die Anbindung ist so ja nicht mehr typisch.

 

[pwnbert]

Vergiss das SLOG...
Vergiss das Optane gelaber, das ist Schnee von vor 5 Jahren, als Optane noch was war. Optane ist super im Random Read. Aufs SLOG wird allerdings nur geschrieben und nie davon gelesen. Diese kleinen Optanes sind gar nicht so schnell mit heutigen M.2 verglichen...
Da kannst irgend ne PLP SSD nehmen, welche aber alle viel Strom brauchen, also meh, teuer sind sie auch, für nix.
Imho tuts Z1 auch... Z2... weiss nicht. Kann man machen.

Was willst überhaupt erreichen? NAS? V-Host? Als V-Host ist TrueNAS eh scheiße.
5200 Max billig abgegriffen? Ist ne nette SATA SSD, aber als Datengrab mit 1tb eigentlich auch schade um den SATA-Slot...

 

[Reflexion]

Wollte erstmal bissl mit TruenAS herumspielen und dann vllt für VMS/Docker nutzen je nachdem. 5200 Max billig abgegriffen -ja günstig abgegriffen und mit PLP, aber eben auch Stromfresser. Optane mit nichtflüchtigem 3D XPoint fand ich schon klasse und der guten random iops und ggf. Haltbarkeit der Optane ebenso.

 

[pwnbert]

VMS Virteulle MaSchine?

aber eben auch Stromfresser

Was brauchen sie denn idle?

Optane mit nichtflüchtigem 3D XPoint fand ich schon klasse und der guten random iops und ggf. Haltbarkeit der Optane ebenso.

Diese kleinen 16gb Nudeln kannst dir imho aber spraen, so schnell sind die halt auch nicht (mehr). Ich mein schneller als die Micron Max. wsl schon, aber das ganze Theater tu dir für bissl rumspielen bitte nicht an.
Im Ernst, du merkst nix davon.
Been there, done that.

 

[Reflexion]

Ok, bleibt aber noch die Haltbarkeit im Raum 16Gb wären ja für SLOG/ZIL ganz ausreichend, zumal eh nicht mehr als 2,5G LAN angebunden werden würde, das weiß man hinterher erst wie man ab besten investiert. Habe die 5200 max noch verpackt. Aber laut Datasheet;

 

[pwnbert]

Ist harmlos, 7400pro braucht 7,5-8w idle...

Ok, bleibt aber noch die Haltbarkeit im Raum 16Gb wären ja für SLOG/ZIL ganz ausreichend

Kauf halt eine, wenn du sie irgendwie aufs Brett gefrickelt bekommst... ich halte das für unnötig, aber wenn du Bock hast, mach...
Und vergiss das mit dem Mirror dafür, 1x reicht.

 

[Reflexion]

Ist harmlos, 7400pro braucht 7,5-8w idle... ist auch schneller wieder am idle, aber genau der Idle ist eben das was zieht auf Dauer. Muss schauen, ob der Anschluss eben kompatibel ist, also testen.

 

[pwnbert]

Du verstehst nicht, 8w idle... Last ca. das gleiche.. da ist kein Unterschied dank dem PLP... nicht 1.5w wie die 5200...

 

[Reflexion]

ok, krass, bin Werte von 0,0.. gewohnt, das ist schon happig.

 

[pwnbert]

Drum mein ich, vergiss das einfach und geh mal "spielen" mit den SSDs, die du hast, so wie sie sind...
Ist eh viel mehr eine Frage der Software als eine Frage der Hardware, du hast noch 100 Stolpersteine die interessanter sind als die Hardwarefrage...

Beitrag automatisch zusammengeführt: Gestern um 22:41

Nachtrag:
Mit so ner Hobby-Spiel-Gurke machst du erstmal so wenig TBW, dass es einfach egal ist... sowas kannst dir überlegen, wenns mal läuft, und wenns nötig ist...
Mit sudo smartctl -a /dev/sda(..) bekommst ausreichend Infos wie z.B. TBW, kannst ja nen Screen speichern vom Zeitpunkt "0" und nach x Wochen nochmal nachsehen... wenn sich da nix wildes tut, kannst ruhig schlafen.

Ich behaupte: Diese 1tb SATAs wirst du rauswerfen weil sie zu klein werden ehe sie totgeschrieben sind...