Vielleicht sind auch die ganzen laufenden VMs schuld.
Wobei lesen ist ja auch kein Problem, nur schreiben.
Vielleicht sind auch die ganzen laufenden VMs schuld.
Wobei lesen ist ja auch kein Problem, nur schreiben.
pwnbert
Urgestein
- Mitglied seit
- 30.10.2014
- Beiträge
- 4.316
... wenn ich ein Hybrid-Pool hab, also mit special-vdev (also z.B. 4x HDD im Z1 und 2x SSD Mirror), kommt dann das ZIL immer auf die SSDs?
Wie ist das mit der Max. Dateigröße für die "kleinen Dateien", kann man die im nachhinein hoch oder runter setzen? Werden die "unpassenden" dann beim Scrub "aktuallisiert"?
Wie ist das mit der Max. Dateigröße für die "kleinen Dateien", kann man die im nachhinein hoch oder runter setzen? Werden die "unpassenden" dann beim Scrub "aktuallisiert"?
Ich habe das auch schon in OpenZFS discuss gefragt, aber keine befriedigende Antwort erhalten.
Ich habe dann mal sync aktiviert und geschrieben. zpool iostat hat dabei gezeigt dass die Writes auf den normalen Pool gehen.
Eine Einstellung wie man ZIL auf das special vdev zwingen könnte ist mir nicht bekannt - leider weil ein special vdev ist besser als L2Arc, kann neben small io und Metadaten auch fast dedup Tabellen. Als Slog wäre es auch prima, vielleicht kommt es ja noch.
"brute force" müsste es das doch gehen, indem man ein Dateisystem / file auf dem vdev anlegt und diese Datei dann als ZFS SLOG in den pool einbindet? (wenn man sync-writes für dieses SLOG-vdev irgendwie ausschalten kann)
pwnbert
Urgestein
- Mitglied seit
- 30.10.2014
- Beiträge
- 4.316
Ja, wohl so wie ich 3 SLOGs und 3 L2ARCs auf 1 M.2 SSD gekloppt hab.
Sowas "heikles" wie ein special-vdev hätte ich aber gern mit der TrueNAS GUI gemacht nach den offiziell von TNS supporteten Richtlinien.
Das mit dem Backup ist immer so eine Sache. Das ist halt richtig Aufwand.
Dachte halt, wenn ZFS schlau genug ist kleine Dateien und Metadaten aufs special-vdev zu legen, müsste das mit dem ZIL ja auch so sein.
Sowas "heikles" wie ein special-vdev hätte ich aber gern mit der TrueNAS GUI gemacht nach den offiziell von TNS supporteten Richtlinien.
Das mit dem Backup ist immer so eine Sache. Das ist halt richtig Aufwand.
Dachte halt, wenn ZFS schlau genug ist kleine Dateien und Metadaten aufs special-vdev zu legen, müsste das mit dem ZIL ja auch so sein.
ludwinator
Enthusiast
- Mitglied seit
- 28.12.2006
- Beiträge
- 529
Also was mal auf spinning rust is, wandert sicher nicht mehr auf ein special device bei einem scrub. Höchstens wenn neu geschrieben wird. Genausowenig wie es ein automatisches rebalancing zwischen vdevs gibt.
Weil ich grade drüber stolpere: ab 75% Füllgrad werden standardmässig nur noch Metadaten auf special vdevs geschrieben, da bricht die Performance massiv ein.
Weil ich grade drüber stolpere: ab 75% Füllgrad werden standardmässig nur noch Metadaten auf special vdevs geschrieben, da bricht die Performance massiv ein.
pwnbert
Urgestein
- Mitglied seit
- 30.10.2014
- Beiträge
- 4.316
... gibts denn manuelles?
Meinst für kleine Daten dann? Wäre jetzt bei meiner Verwendung nicht das Drama.
ludwinator
Enthusiast
- Mitglied seit
- 28.12.2006
- Beiträge
- 529
manuell wäre per zfs send/receive
Ja, ne Änderung an special_small_blocks tut erstmal gar nichts mit den existierenden Blöcken.
Ja, ne Änderung an special_small_blocks tut erstmal gar nichts mit den existierenden Blöcken.
HardwareFreaky
Legende
Mal vorweg ich bin absolut neu im Thema Raidz1 daher weiß ich nicht wie sinnvoll die Frage ist 🤣
Ich hab gelesen das ich die HDDs nach und nach gegen größere tauschen kann. Hab ich das erfolgreich geschafft, kann ich die alten HDDs als Backup ansehen?
Ich hab gelesen das ich die HDDs nach und nach gegen größere tauschen kann. Hab ich das erfolgreich geschafft, kann ich die alten HDDs als Backup ansehen?
pwnbert
Urgestein
- Mitglied seit
- 30.10.2014
- Beiträge
- 4.316
Meinst du manuell runter kopieren und wieder drauf, oder send/receive mit dem gleichen Ziel quasi?
ludwinator
Enthusiast
- Mitglied seit
- 28.12.2006
- Beiträge
- 529
auf den gleichen Pool in eine neues FS und dann umbenennen. Oder einen Zwischenpool verwenden, dann muss man allerdings zweimal kopieren.
Sync write ist schon langsam genug. Jetzt noch ein file als Disk mit ZFS on ZFS ist sicher nicht ds was man an Performance möchte. Ixh hoffe ja darauf dass ein special vdev irgendwann auch ein Slog ersetzen kann, auch wenn das Performancemäßig nicht ganz optimal ist.
CommanderBond
Enthusiast
- Mitglied seit
- 16.04.2012
- Beiträge
- 703
Woran kann es liegen dass der SMB Zugriff teilweise so quälend langsam ist.
Ich verschiebe zB einen Ordner auf meinem NAS, der Kopierdialog läuft durch bis 99% und bleibt stehen für vielleicht 30s bevor er dann auf 100% und zu geht.
Oder auch wenn ich einen Ordner mit HEIC Dateien habe, vielleicht 3MB pro Bild. Wenn ich im Explorer über Miniaturansicht öffne läd die Vorschau mit etwa ein Bild pro Sekunde.
Habe einen Mirror aus 2 SSDs auf dem NAS. Warum ist das so langsam? 1Gbit/s Netzwerk und SSD, da sollte sowas doch sofort da sein oder nicht?
Ich verschiebe zB einen Ordner auf meinem NAS, der Kopierdialog läuft durch bis 99% und bleibt stehen für vielleicht 30s bevor er dann auf 100% und zu geht.
Oder auch wenn ich einen Ordner mit HEIC Dateien habe, vielleicht 3MB pro Bild. Wenn ich im Explorer über Miniaturansicht öffne läd die Vorschau mit etwa ein Bild pro Sekunde.
Habe einen Mirror aus 2 SSDs auf dem NAS. Warum ist das so langsam? 1Gbit/s Netzwerk und SSD, da sollte sowas doch sofort da sein oder nicht?
Ich plane einen neunen Server und würde aufgrund der gewachsenen Festplattengrößen und dem Stromverbrauch gerne auf weniger Platten setzten.
Man ließt immer wieder die Regeln:
Raid-Z1: 3, 5, 7, ... HDDs
Raid-Z2: 4, 6, 8, ... HDDs
Ich hätte fast lieber ein Raid-Z2 um beim Rebuild noch eine "Reserveplatte" zu haben.
Ist eine Raid-Z2 aus 5 Platten wirklich von der Datenausnutzung und Performance so viel schlechter als eines aus 6 Platten?
Wie kann man das selbst ausrechnen?
Man ließt immer wieder die Regeln:
Raid-Z1: 3, 5, 7, ... HDDs
Raid-Z2: 4, 6, 8, ... HDDs
Ich hätte fast lieber ein Raid-Z2 um beim Rebuild noch eine "Reserveplatte" zu haben.
Ist eine Raid-Z2 aus 5 Platten wirklich von der Datenausnutzung und Performance so viel schlechter als eines aus 6 Platten?
Wie kann man das selbst ausrechnen?
pwnbert
Urgestein
- Mitglied seit
- 30.10.2014
- Beiträge
- 4.316
Hab ich noch nie gehört und hätte ich noch nie gelesen, wüsste nicht warum das sein sollte, halte das für Unsinn.
Datenausnutzung:
Diese Rechnung wirst du ja selbst schaffen, oder?
Performance: Naja, hab nur Z1, so schlecht ist diese nicht.
Ich weiss aber nicht ob ich Z2 daheim wirklich so toll finde. Dann lieber irgendwie ein brauchbares externes Backup Konzept.
Außer man kauft absichtlich billige gebrauchte Platten und tauscht die halt wenn sie verrecken, dann doch lieber Z2.
Ich halte die Chance, dass du dir den Pool mit irgend einer dummen Aktion zerstörst viel wahrscheinlicher als den Ausfall von 2 Platten im Zeitfenster. Da hilft dir das alles nicht.
besterino
Legende
Ist halt ne Wahrscheinlichkeitsrechnung. Wenn ich das richtig in Erinnerung habe, ist das unkorrigierbarer Lesefehler mit einer Wahrscheinlichkeit von 1:10^14 ab so 12TB quasi „sicher“, und jede Platte mehr im Verbund erhöht das Ausfallrisiko! Bei 1:10^15 kann man etwas entspannter sein (da wirds dann halt ab ca. 120TB doof). Je nachdem wo der Fehler liegt, ist eine Datei bis der ganze Pool weg. Ist keine Frage der Zeit sondern eine Frage der Lese-Vorgänge und beim Rebuilt sind das halt einfach VERDAMMT VIELE.
Drum Augen auf beim Plattenkauf. Bei den großen Dingern ist 1:10^15 daher m.E. Pflicht.
Wahrscheinlichkeiten sind aber halt immer ne Bitch, nutzt Dir alles nix wenn Dich der Fehler schon nach 2TB erwischt. Drum meine Meinung: heutzutage mit Platten mit 20TB und mehr lieber RaidZ2.
Aber am Ende auch eine Frage des Risikoprofils: wenn z.B. nicht alle Daten im 140TB Datengrab wichtig sind und man von dem Wichtigen nen sicheres Backup hat… hey, dann mag auch Raid0 angehen.
Edit & Nachtrag: wie zutreffend die Angaben der Hersteller zu den UREs sind, kann ich allerdings auch nicht sagen. Sicherlich ist da ein großes Sicherheitspolster drin („Guck, hier steht 1:10^14, also komm jetzt hier nicht an und heul rum nach 20TB…“), zumal ansonsten bei diversen Scrubs großer Pools Fehler auftreten müssten - aber davon liest man, soweit für mich ersichtlich, eben auch nichts groß in Foren oder sonstwo.
Drum Augen auf beim Plattenkauf. Bei den großen Dingern ist 1:10^15 daher m.E. Pflicht.
Wahrscheinlichkeiten sind aber halt immer ne Bitch, nutzt Dir alles nix wenn Dich der Fehler schon nach 2TB erwischt. Drum meine Meinung: heutzutage mit Platten mit 20TB und mehr lieber RaidZ2.
Aber am Ende auch eine Frage des Risikoprofils: wenn z.B. nicht alle Daten im 140TB Datengrab wichtig sind und man von dem Wichtigen nen sicheres Backup hat… hey, dann mag auch Raid0 angehen.
Edit & Nachtrag: wie zutreffend die Angaben der Hersteller zu den UREs sind, kann ich allerdings auch nicht sagen. Sicherlich ist da ein großes Sicherheitspolster drin („Guck, hier steht 1:10^14, also komm jetzt hier nicht an und heul rum nach 20TB…“), zumal ansonsten bei diversen Scrubs großer Pools Fehler auftreten müssten - aber davon liest man, soweit für mich ersichtlich, eben auch nichts groß in Foren oder sonstwo.
Zuletzt bearbeitet:
Es geht hier irgendwie um die Verteilung der Block, weil sonst nicht alle Bits in einen Block auf der Festplatte passen. Und das soll dann ganz schön verfügbare Speicher kosten.
Dadurch kamen wohl diese "Regeln".
Nur ich würde gerne selbst verstehen können, ob das wirklich so ist .....
pwnbert
Urgestein
- Mitglied seit
- 30.10.2014
- Beiträge
- 4.316
Das klingt so nach uralt-Raid-Zeug, wüsste aber nicht, dass ich davon in den 2000er Jahren gehört hätte. Wobei, jetzt wo du drauf bestehst, verunsicherst du mich etwas.
Ich meine, das ist eine Oldschool-Sache und trifft auf Z nicht zu.
Besterino hat natürlich Recht mit der Betrachtung. Die Betrachtung ist halt schon recht "professionell"...
Allgemein klingt ein Z2 beim Home-User für mich immer nach "No-Backup" (bzw. dieser Hoffnung, dass dann eh nie was sein kann) - und jetzt mal ehrlich, bei den meisten ist es wohl echt so (jetzt mal die paar Datacenternerds hier im Subforum ausgeschlossen).
Musst dir halt überlegen, wie ein Backup gemacht werden kann und ob/wie aktuell die Daten sein müssen, wie schnell sich die Daten in deinem Pool verändern.
Angenommen du rechnest in nächster Zeit mit 30TB Daten, solltest du ein 40TB Pool bauen (ca. 75% Füllstand).
Das wären 3 Platten a 350€ im Z1, 4 Platten a 350€ im Z2.
So, die Data-Nerds hier werden jetzt sagen kein Problem, machst n Z2 und baust dir noch zusätzlich n 2. NAS als Backupserver, wo du nochmal so ein Z2 reinsteckst. Sind 8 Platten + doppelt Hardware.
Klar, gute Lösung, ich bin da auch grad bissl am murksen. Sind realistisch aber mal ~3000€ für Festplatten, für nutzbare 40TB (also 700€ Äquivalent).
Man könnte natürlich als "Sparlösung" (was für die meisten Home-User eh schon Ultimate-Premium ist) ein Z1 machen und regelmäßig die Daten auf 2 nicht gespiegelte HDDs syncen, wären 5 Platten. Immerhin fast 40% Einsparung. Das ist mehr Backup und Datensicherheit, als 95% der Luxx-User und 98% der Staatsbürger haben.
Die Chance, dass dir der ganze Pool ausfällt und dazu noch das Backup... die ist so klein... da ist die Chance größer, dass dich das Hochwasser wegspült oder du an ner Blutvergiftung nach dem Biss einer Wühlmaus stirbst.
=> Ich denke, man muss sich das halt ansehen, überlegen und für sich selbst einen brauchbaren Mittelweg finden. Zum Glück sind die wirklich wichtigen Daten ja meist eher klein.
Nachtrag:
Dazu kommt ja, dass ich mein Privat-NAS im Zweifel auch mal ein paar Tage runterfahren kann, bis die Ersatzharddisk da ist und das NAS beim Rebuild "in Ruhe lassen"...
Ist ja wieder was anderes, wenn das NAS irgendwo in ner Firma (oder sonst wo) arbeitet, und dauerhaft unter einer DDOS-ähnlichen Benutzung steht...
... rede ich mir zumindest ein.
Ich meine, das ist eine Oldschool-Sache und trifft auf Z nicht zu.
Besterino hat natürlich Recht mit der Betrachtung. Die Betrachtung ist halt schon recht "professionell"...
Allgemein klingt ein Z2 beim Home-User für mich immer nach "No-Backup" (bzw. dieser Hoffnung, dass dann eh nie was sein kann) - und jetzt mal ehrlich, bei den meisten ist es wohl echt so (jetzt mal die paar Datacenternerds hier im Subforum ausgeschlossen).
Musst dir halt überlegen, wie ein Backup gemacht werden kann und ob/wie aktuell die Daten sein müssen, wie schnell sich die Daten in deinem Pool verändern.
Angenommen du rechnest in nächster Zeit mit 30TB Daten, solltest du ein 40TB Pool bauen (ca. 75% Füllstand).
Das wären 3 Platten a 350€ im Z1, 4 Platten a 350€ im Z2.
So, die Data-Nerds hier werden jetzt sagen kein Problem, machst n Z2 und baust dir noch zusätzlich n 2. NAS als Backupserver, wo du nochmal so ein Z2 reinsteckst. Sind 8 Platten + doppelt Hardware.
Klar, gute Lösung, ich bin da auch grad bissl am murksen. Sind realistisch aber mal ~3000€ für Festplatten, für nutzbare 40TB (also 700€ Äquivalent).
Man könnte natürlich als "Sparlösung" (was für die meisten Home-User eh schon Ultimate-Premium ist) ein Z1 machen und regelmäßig die Daten auf 2 nicht gespiegelte HDDs syncen, wären 5 Platten. Immerhin fast 40% Einsparung. Das ist mehr Backup und Datensicherheit, als 95% der Luxx-User und 98% der Staatsbürger haben.
Die Chance, dass dir der ganze Pool ausfällt und dazu noch das Backup... die ist so klein... da ist die Chance größer, dass dich das Hochwasser wegspült oder du an ner Blutvergiftung nach dem Biss einer Wühlmaus stirbst.
=> Ich denke, man muss sich das halt ansehen, überlegen und für sich selbst einen brauchbaren Mittelweg finden. Zum Glück sind die wirklich wichtigen Daten ja meist eher klein.
Nachtrag:
Dazu kommt ja, dass ich mein Privat-NAS im Zweifel auch mal ein paar Tage runterfahren kann, bis die Ersatzharddisk da ist und das NAS beim Rebuild "in Ruhe lassen"...
Ist ja wieder was anderes, wenn das NAS irgendwo in ner Firma (oder sonst wo) arbeitet, und dauerhaft unter einer DDOS-ähnlichen Benutzung steht...
... rede ich mir zumindest ein.
Hehe ich nutze sogar Mainserver RAIDZ2 - Backupserver 1 RAIDZ2 und Backupserver 2 RAIDZ2
Klar ist das bei der Anschaffung dann 1x richtig teuer aber wenn man die Server lange nutzt relativiert sich das ja über die Zeit vor allem wenn das einige Jahre sind.
Klar ist das bei der Anschaffung dann 1x richtig teuer aber wenn man die Server lange nutzt relativiert sich das ja über die Zeit vor allem wenn das einige Jahre sind.
ludwinator
Enthusiast
- Mitglied seit
- 28.12.2006
- Beiträge
- 529
Zum Thema Raid-Z:
www.delphix.com
Zusammenfassung:
If you are using RAID-Z with 512-byte sector devices with recordsize=4K or 8K and compression=off (but you probably want compression=lz4): use at least 5 disks with RAIDZ1; use at least 6 disks with RAIDZ2; and use at least 11 disks with RAIDZ3.
How I Learned to Stop Worrying and Love RAIDZ
The popularity of OpenZFS has spawned a great community of users, sysadmins, architects and developers, contributing a wealth of advice, tips…
www.delphix.com
Zusammenfassung:
If you are using RAID-Z with 512-byte sector devices with recordsize=4K or 8K and compression=off (but you probably want compression=lz4): use at least 5 disks with RAIDZ1; use at least 6 disks with RAIDZ2; and use at least 11 disks with RAIDZ3.
besterino
Legende
@HansBohne: wenn Du es wirklich ernst meinst, hast Du diese Kosten aber alle 5 Jahre (am besten natürlich gestaffelt über 5 Jahre, weil alle Deine HDDs zu unterschiedlichen Zeitpunkten gekauft wurden, aus unterschiedlichen Chargen stammen usw.)…
Gut, soweit treibe ich es nicht. Meine „besten“ Platten sind tatsächlich die im Backup und da gibt’s nur nen 3-Fach-22TB-Mirror. Und da wird tatsächlich alle 2-3 Jahre eben eine der Platten getauscht. So ist mindestens eine HDD im unkritischsten Zeitraum (HDDs fallen ja entweder gerne früh oder eben gegen Ende ihrer Lebenszeit aus). Zum Glück reichen die 22TB eben locker für alles wichtige (und noch etwas mehr).
Gut, soweit treibe ich es nicht. Meine „besten“ Platten sind tatsächlich die im Backup und da gibt’s nur nen 3-Fach-22TB-Mirror. Und da wird tatsächlich alle 2-3 Jahre eben eine der Platten getauscht. So ist mindestens eine HDD im unkritischsten Zeitraum (HDDs fallen ja entweder gerne früh oder eben gegen Ende ihrer Lebenszeit aus). Zum Glück reichen die 22TB eben locker für alles wichtige (und noch etwas mehr).
pwnbert
Urgestein
- Mitglied seit
- 30.10.2014
- Beiträge
- 4.316
Ja gut, jetzt haben wir hier wieder meine "Datacenter-Nerds" - mein ich nicht böse. Ist halt auch euer Hobby (und vermutlich auch Job), siehe auch 100G Spielereien usw... (zudem muss man paar € über haben)
Ich weiss, der Luxx'sche Weg ist so von "ich kauf mir um 300€ son NAS, sieht praktisch aus" zur 5000€ Home-Server-Investition...
Ich hab den Weg ja auch schon über die Hälfte geschafft.
Man muss ja dann irgendwo die Realität der Menschen treffen auch... wisst ihr, wie ich meine?
- mein ich nicht böse. Ist halt auch euer Hobby (und vermutlich auch Job), siehe auch 100G Spielereien usw... (zudem muss man paar € über haben)Ich weiss, der Luxx'sche Weg ist so von "ich kauf mir um 300€ son NAS, sieht praktisch aus" zur 5000€ Home-Server-Investition...
Ich hab den Weg ja auch schon über die Hälfte geschafft.
Man muss ja dann irgendwo die Realität der Menschen treffen auch... wisst ihr, wie ich meine?
@ludwinator Danke, genau das meinte ich.
Ja, am Anfang sieht alles so billig aus und dann bestellt man das und das und das Ding ist schneller 4-stellig als man schauen kannIch weiss, der Luxx'sche Weg ist so von "ich kauf mir um 300€ son NAS, sieht praktisch aus" zur 5000€ Home-Server-Investition...
Die Platten im Backupserver 2 laufen allerdings sehr viel weniger als im Backupserver 1 und diese auch viel viel weniger als im Mainserver.
Daher ist das nicht ganz so relevant - Ich muss die nur alle tauschen weil natürlich alle den gleichen Speicherplatz haben für ein Vollbackup
Ach naja ich finde wenn man ein Thema interessant findet gehört doch ein bisschen übetreiben immer dazu - wenn es finanziell jetzt keine Abstriche verlangt, dann natürlich nicht dann macht es sicher auch genausoviel Spass aus der Summe X das Optimale rauszuholen - glaube ich hätte daran genausoviel Spass.
Daher ist das nicht ganz so relevant - Ich muss die nur alle tauschen weil natürlich alle den gleichen Speicherplatz haben für ein Vollbackup
Ach naja ich finde wenn man ein Thema interessant findet gehört doch ein bisschen übetreiben immer dazu - wenn es finanziell jetzt keine Abstriche verlangt, dann natürlich nicht dann macht es sicher auch genausoviel Spass aus der Summe X das Optimale rauszuholen - glaube ich hätte daran genausoviel Spass.
Das bringt mich jetzt ins nächste Dilemma .... Ich will eigentlich ein Z2 (-> 6 HDDs), aber wenn ich hier nur halbwegs aktuelle Platten mit 8 oder 10 TB will, dann lande ich netto bei 32 bzw. 40 TB so viel brauch ich ja keineswegs .....
Echt ärgerlich, dass der beste Preis pro TB bei 16TB-Platten liegt und nicht bei kleineren HDDs
naja es heisst doch nicht dass es nicht geht man verliert halt ein paar % Performance das ist alles - sicher kaum etwas das man im Single (bis 10 Leute) Betrieb merken wird.
Du könntest ja auch jetzt so vivle kleine kauifen wie du brauchst und später wenn du mal günstig an eine rankommst oder so das erweitern und mit anschliessendem rebalance biste dann wieder optimal.
Ist nicht mehr statisch das RAIDZ das kann ja jetzt gefahrlos später grösser werden.
Du könntest ja auch jetzt so vivle kleine kauifen wie du brauchst und später wenn du mal günstig an eine rankommst oder so das erweitern und mit anschliessendem rebalance biste dann wieder optimal.
Ist nicht mehr statisch das RAIDZ das kann ja jetzt gefahrlos später grösser werden.
Dachte ein Raid-Z bleibt immer gleich groß von der Plattenanzahl ohne den Pool aufzulösen?
Man kann natürlich die Platten darin stückweise vergrößern ... das meinst du oder?
