Er meint vermutlich das neue OpenZFS feature "RAID-Z Expansion". Siehe google oder zB hier: https://github.com/openzfs/zfs/pull/15022/commits/c3f8a291b12aae4b6864b0e48652d05130e96fcf und https://github.com/openzfs/zfs/discussions/15232
ludwinator
Enthusiast
- Mitglied seit
- 28.12.2006
- Beiträge
- 529
... wovon ich tunlichst die Finger lassen würde ...
Gibts eh nich bei illumos.
Gibts eh nich bei illumos.
Beitrag automatisch zusammengeführt:
warum dann nicht einfach nen Mirror aus 2*16TB machen, den kann man später tatsächlich gefahrlos erweitern?Das bringt mich jetzt ins nächste Dilemma .... Ich will eigentlich ein Z2 (-> 6 HDDs), aber wenn ich hier nur halbwegs aktuelle Platten mit 8 oder 10 TB will, dann lande ich netto bei 32 bzw. 40 TB so viel brauch ich ja keineswegs .....
Echt ärgerlich, dass der beste Preis pro TB bei 16TB-Platten liegt und nicht bei kleineren HDDs
wieso sollte man davon die FInger lassen?
Wenn man den ZFS Entwicklern dabei nicht vertraut dnan kann man denen doch bei gar nichts vertrauen? Das Expansion Feature wurde ja über Jahre entwickelt und auf Sicherheit abgeklopft. Und baut auf ganz "normalen" ZFS Funktionalität auf wie auch beim Resilver und Co,
Das Konzept wie das umgesetzt ist, wenn man sich das ansieht hat doch Hand und Fuss - die Datensicherheit bleibt bei der Expansion voll erhalten.
Das sind sicher alle möglichen neues Features gefährlicher
Wenn man den ZFS Entwicklern dabei nicht vertraut dnan kann man denen doch bei gar nichts vertrauen? Das Expansion Feature wurde ja über Jahre entwickelt und auf Sicherheit abgeklopft. Und baut auf ganz "normalen" ZFS Funktionalität auf wie auch beim Resilver und Co,
Das Konzept wie das umgesetzt ist, wenn man sich das ansieht hat doch Hand und Fuss - die Datensicherheit bleibt bei der Expansion voll erhalten.
Das sind sicher alle möglichen neues Features gefährlicher
pwnbert
Urgestein
- Mitglied seit
- 30.10.2014
- Beiträge
- 4.316
.. auf jeden Fall ist die Sache mit dem Mirror aus 16-22 TB Platten in meinen Augen eine Sinnvolle.
Z2 kannst natürlich auch aus 4 Platten machen. Das ist halt von der Speicherplatzausnutzung und der Performance her nicht ideal, drum wirds mit 6 empfohlen, damit man einen brauchbaren Schnitt aus Ausfallssicherheit, IOPS und seq. Bandbreite hinbekommt.
Man darf nicht vergessen, 95% der ganzen ZFS Artikel kommen aus dem Server-Bereich wo es nicht um 6 sondern eher um 60 oder 600 HDDs geht.
Dieses ganze ZFS Enterprise-Empfehlungwerk gilt für dich als Privato ja mehr oder weniger nicht.
Z2 kannst natürlich auch aus 4 Platten machen. Das ist halt von der Speicherplatzausnutzung und der Performance her nicht ideal, drum wirds mit 6 empfohlen, damit man einen brauchbaren Schnitt aus Ausfallssicherheit, IOPS und seq. Bandbreite hinbekommt.
Man darf nicht vergessen, 95% der ganzen ZFS Artikel kommen aus dem Server-Bereich wo es nicht um 6 sondern eher um 60 oder 600 HDDs geht.
Dieses ganze ZFS Enterprise-Empfehlungwerk gilt für dich als Privato ja mehr oder weniger nicht.
Ja denke aber seit es OpenZFS und Linux gibt ist das langsam schon auf öfter im ambitionierten Homeuserbereich zu finden - unter FreeBSD war das glaub eher noch nicht so verbreitet. Ich bin bals FreeBSD 8 rauskam auf ZFS umgestiegen,.d a gab es fast nur Oralce Doku - inzwischen ist das ja ganz anders geworden vor allem seit OpenZFS
Hab ich auch schon überlegt, aber dann würde ich eher zwei striped mirrors machen und mit der Gefahr leben, dass nicht gleich zwei Platten von 4 im selben Mirror ausfallen. Wirklich sehr unwahrscheinlich!
Kann das TrueNAS Scale schon per GUI und hat das schon jemand erfolgreich getestet?
pwnbert
Urgestein
- Mitglied seit
- 30.10.2014
- Beiträge
- 4.316
Da kannst gleich ein Z1 machen. Nur weil mehr Speicherplatz belegt wird, heisst das nicht, dass es deshalb irgendwie sicherer wäre.
So unwahrscheinlich ist das nicht... immerhin 50:50... im Gegensatz zu der Unwahrschienlichkeit, dass überhaupt ne 2. Platte aufällt (also Z1 stirbt) sind da Zehnerpotenzen um...
Mal von der anderen Seite:
Wie viel Speicherplatz brauchst du wofür (Dateigröße, Änderungsintervall)?
Ich rate mal, da du sagst 40 TB sind so viel, das brauchst du gar nicht, dass du umdie 10 TB brauchst, also ca. 20 willst.
Dann kaufst dir 3 Stück Festplatten 16-22 TB wo die €/TB okay sind. Machst einen Mirror und die 3. HDD verwendest ab und zu als externes Backup, damit du im Worst-Case nicht ganz blöd da stehst (bzw. wenn du dir selbst irgendwas wegformatierst etc.).
Damit stehst du relativ einfach relativ gut da.
Aktuell brauche ich ca. 17 TB.
Anwendungsfall:
- wichtige Dokumente (gescannt) - Datenmenge fast irrelevant
- Foto/Video Dateien aus DSLM
- RAW Dateien
- 4K Aufnahmen
- Cature One Bildkatalog
Aktuell kommen je nach Anzahl der Urlaube ca. 2-3 TB ein Daten hinzu. Wobei der Bedarf die kommenden Jahre noch wachsen wird, weil ich bald auf die alpha 7V wechseln will und die IV in Rente schicken werde. Durch 8K wird die Datenmenge beim Filmen dann sichern nochmals wachsen.
Bevor die Frage kommt was ich mit 8K will ... es ist ein Hobby und am Ende sind es mehr Reserven für Bildausschnitte beim Schnitt und für digitale Bildstabilisierung ohne großen Auflösungsverlust bei 4K Output.
pwnbert
Urgestein
- Mitglied seit
- 30.10.2014
- Beiträge
- 4.316
Naja aber dann sind wir mit 40 TB ja nicht weit weg, wenn du jetzt schon 17 hast und in "nächster Zeit" mit ~10 mehr rechnest.
Ein realistisches Problem solcher Datenmengen ist, dass man oft bei "No-Backup" Bereichen endet. Gerade dieses "Datenmessie-tum" (verstehe ich eh) ist so eine Sache... da kannst halt fett Geld drin versenken in nichts..
Ich hab ähnliche Mengen, bei mir wurde es ein Z1 und 4x HC560 (hatte erst nur 3 und auf 4 aufgestockt, rückblickend hätte ich bei den Preisen aber gleich 5 kaufen sollen)., am Papier 60TB, sind aber nur noch 54TiB und nachdem man das Z eh nicht vollstopfen sollte realistisch eher so 40-45 "Nutzfläche"... gibt auf jeden Fall Luft für längere Zeit.
Backupserver bin ich gerade am murksen, mal sehen, wie ich da mach.
So mengen privat im Z2 zu halten und auch noch im Z2 zu backuppen ist halt ein ganz anderes Kaliber an Preisen. Bei momentanen Preisen sind das knapp 4000€ für Platten allein.
Musst dir eh selber überlegen, wie du tust.
Nur so viel, ob du jetzt 3/4/5/6 in Z1/Z2 hat ist egal... das machts nicht aus.
Ein realistisches Problem solcher Datenmengen ist, dass man oft bei "No-Backup" Bereichen endet. Gerade dieses "Datenmessie-tum" (verstehe ich eh) ist so eine Sache... da kannst halt fett Geld drin versenken in nichts..
Ich hab ähnliche Mengen, bei mir wurde es ein Z1 und 4x HC560 (hatte erst nur 3 und auf 4 aufgestockt, rückblickend hätte ich bei den Preisen aber gleich 5 kaufen sollen)., am Papier 60TB, sind aber nur noch 54TiB und nachdem man das Z eh nicht vollstopfen sollte realistisch eher so 40-45 "Nutzfläche"... gibt auf jeden Fall Luft für längere Zeit.
Backupserver bin ich gerade am murksen, mal sehen, wie ich da mach.
So mengen privat im Z2 zu halten und auch noch im Z2 zu backuppen ist halt ein ganz anderes Kaliber an Preisen. Bei momentanen Preisen sind das knapp 4000€ für Platten allein.
Musst dir eh selber überlegen, wie du tust.
Nur so viel, ob du jetzt 3/4/5/6 in Z1/Z2 hat ist egal... das machts nicht aus.
Was ist das?
Deswegen steht auch eine Neuanschaffung an, weil der alte Backup Server zu klein wird.
Also wird der jetzt noch Neue zum Alten ...
https://www.captureone.com/de
Eine Datenbank in der du deine Bilder im Rohformat inkl. aller bearbeiteten Parameter drin hast.
Hat hier jemand für ZFS im IT-Mode einen Dell HBA330 im Einsatz für sein SATA-HDDs.
Mir gefällt der sehr wegen seinem großen Kühlkörper, aber es verunsichert mich, dass im Dell Handbuch steht es würde nur SAS gehen.
Handbuch Auf Seite 8 steht: ANMERKUNG: SATA wird auf der Dell HBA330 MMZ- und der 12-Gbit/s-SAS-HBA-Controllerkarte nicht unterstützt .
Würde mich wundern ... Hat wer die Karte und kann SATA bestätigen?
pwnbert
Urgestein
- Mitglied seit
- 30.10.2014
- Beiträge
- 4.316
Also etwas, das auf SSD laufen sollte?
... oder auf einem special-vdev?
+1000€ "katsching" *Kassa-Sound*
Hat sich durch das englische Manual gelöst. Der Ausschluss bezieht sich nicht auf die "Dell HBA330 adapter card"
Sehr verwirrend beschrieben von Dell! Das läuft komischerweise super gut auf dem Raid-Z2 aus 6x8TB.
Was nicht gut geht ist Videoschnitt. Hier kopiere ich um auf eine lokale SSD und dann wieder auf den Server!
Hier wäre ein Z-Pool schön, aber das will ich nicht investieren in große PLP-SSDs. Und das mir während der Bearbeitung viele Bits kippen ist sehr unwahrscheinlich
pwnbert
Urgestein
- Mitglied seit
- 30.10.2014
- Beiträge
- 4.316
Mich verunsichert der Kühlkörper. Der wird wohl nicht zum Spaß so groß sein. Worauf ich hinaus will, das Ding könnte gut Strom ziehen.
ludwinator
Enthusiast
- Mitglied seit
- 28.12.2006
- Beiträge
- 529
ich meinte damit, generell von OpenZFS für Linux die Finger zu lassen, weil man genau hier eben nicht nicht von "richtig grosse (Multiuser)umgebungen" und jahrelangen Erfahrungen sprechen kann.wieso sollte man davon die FInger lassen?
Wenn man den ZFS Entwicklern dabei nicht vertraut dnan kann man denen doch bei gar nichts vertrauen? Das Expansion Feature wurde ja über Jahre entwickelt und auf Sicherheit abgeklopft. Und baut auf ganz "normalen" ZFS Funktionalität auf wie auch beim Resilver und Co,
Das Konzept wie das umgesetzt ist, wenn man sich das ansieht hat doch Hand und Fuss - die Datensicherheit bleibt bei der Expansion voll erhalten.
Das sind sicher alle möglichen neues Features gefährlicher
In meinem aktuellen Master Server habe ich einen seit Jahren einen IBM Lenovo M1215.
Der wurde beim Ersttest so heiß, dass ich mir beim Hinfassen den Finger fast wirklich verbrannt habe.
Daraufhin ist hier ein PCI-Slot Lüfter der in Anpustet .....
Dann versuche ich es mal mit dem großen Kühlkörper, auch wenn du natürlich recht haben kannst.
Wobei, wieso sollte der gleiche Chip (SAS3008) im Dell wesentlich mehr Strom brauchen?
pwnbert
Urgestein
- Mitglied seit
- 30.10.2014
- Beiträge
- 4.316
Nein, dann wird das einfach besser gelöst sein.
Ich such ja auch gerade einen HBA für 8x SATA, ist aber hier vllt. der falsche Thread.
Wäre da angetan über Hinweise, was man kaufen kann. Soll per Proxmox an ein Truenas weitergegeben werden, am MC12 und einem anderen B550 Board (würde das 2x kaufen wenns so klappt).
Ich such ja auch gerade einen HBA für 8x SATA, ist aber hier vllt. der falsche Thread.
Wäre da angetan über Hinweise, was man kaufen kann. Soll per Proxmox an ein Truenas weitergegeben werden, am MC12 und einem anderen B550 Board (würde das 2x kaufen wenns so klappt).
Das ist genau so wie ich es auch machen will. Den IBM M1250 habe ich noch in einem ESXi per Passthrugh an eine TrueNAS VM durchgereicht. Läuft seit Jahren ohne Probleme.
Ich kann gerne bzgl. des HBA330 berichten. Weiß aber nicht, ob ich es noch das Wochenende schaffe, weil bei Mindfactory jetzt meine beiden SSDs nicht lieferbar sind und somit auch der RAM nicht kommt
Ich kann gerne bzgl. des HBA330 berichten. Weiß aber nicht, ob ich es noch das Wochenende schaffe, weil bei Mindfactory jetzt meine beiden SSDs nicht lieferbar sind und somit auch der RAM nicht kommt
Naja OpenZFS ist doch überall der freie Standard geworden und das ist ja zu 100% das ZFSonLinux Projekt, denn das ZFSOnLinux wurde doch einfach umbenannt in OpenZFS
Egal ob Illumos oder FreeBSD heute nutzen alle bis auf Solaris die Linuximplementierung weil die halt am aktivsten ist
Behlendorf ist doch denke ich inzwischen längst DER ZFS Guru geworden
OpenZFS 2.0 unterstützt bereits Linux, FreeBSD und mehr
Brian Behlendorf, der Hauptentwickler von ZFS unter Linux, hat vor einigen Wochen die neue Version 2.0 von OpenZFS veröffentlicht ...
blog.desdelinux.net
Beitrag automatisch zusammengeführt:
Hmmm ich nutze aktuell bei allen einfach 6 onboard sata + jeweils 1 4 port lsi (9211) 4-fach. Also dann 1 System Ssd + 9 Daten hdds
Damit kann man auch ohne Cache Ssds und Co 10 Gbit relativ gut auslasten.
Viele hdds verteilen halt die Last was die einzelne hdd zu tun hat
Zuletzt bearbeitet:
RAIDZ Expansion feature discussion · openzfs zfs · Discussion #15232
This is carrying on from PR #15022, so we don't crowd the PR out with general discussion traffic. 😄
github.com
Sieht eigentlich ganz gut aus.
Die Pools sind aber nicht mehr abwärtskompatibel
ludwinator
Enthusiast
- Mitglied seit
- 28.12.2006
- Beiträge
- 529
Naja OpenZFS ist doch überall der freie Standard geworden und das ist ja zu 100% das ZFSonLinux Projekt, denn das ZFSOnLinux wurde doch einfach umbenannt in OpenZFS
Egal ob Illumos oder FreeBSD heute nutzen alle bis auf Solaris die Linuximplementierung weil die halt am aktivsten ist
Behlendorf ist doch denke ich inzwischen längst DER ZFS Guru geworden
Nein, hier bist du falsch informiert. Die Softwarequalität kannst du auch nicht an Personen wie Brian Behlendorf oder Matt Ahrens festmachen, der OpenZFS Fork ist mittlerweile Jahre entfernt von illumos. Mir geht es rein um Datensicherheit und da geh ich keine Kompromisse ein. Es werden immer wieder Patches von OpenZFS nach illumos portiert aber nur unter sehr strengen Voraussetzungen. Ich empfehle das hier zu lesen:
cu
Es gibt im Moment neben Solaris mit native ZFS das aus Illumos weiterentwickelte OpenZFS. Illumos pflegt weiter seine eigene ZFS Entwicklung, übernimmt aber bei Bedarf neuere Sachen aus OpenZFS, jedoch mit einer weiteren Freigabeprozedur. Das aktuelle Illumos hat daher nach meinem Eindruck eine bessere Stabilität als das aktuelle OpenZFS bei dem doch sehr viele Entwickler neue Features hinzufügen die dann "beim Kunden reifen". Mit vielen Entwicklern ein möglicherweise gangbarer Weg. Es kann halt passieren dass einzelne Distributionen mit ihren zu neuen oder zu alten OpenZFS Versionen übel buggy sind.
Im Moment sind OpenZFS on OSX und Windows eigenständige Forks von OpenZFS. ZFS on Qnap würde ich als Abspaltung von OpenZFS, nicht als kompatiblen Fork sehen.
Ich habe jedoch auch mit dem "Stability first" Ansatz von Illumos mein Problem weil OpenZFS sehr schnell sehr interessante Features nachschiebt. Werden die nicht ausreichend implementiert, leidet die Kompatibilität. Illumos ist zwar viel kompatibler zu OpenZFS als z.B. Qnap ZFS das tatsächlich ein Fork eines älteren OpenZFS ist mit eigenen inkompatiblen Erweiterungen.
"In Schönheit sterben" sollte ja auch nicht das Ziel von Illumos sein, dazu ist es in einigen Bereichen einfach zu gut, ja überlegen zu allem was Linux bietet wie mit der perfekten Windows SMB/ACL/SID Integration in ZFS. Au0erdem: Es tut einfach ohne den 5. Rad am Wagen Eindruck den ich manchmal bei Linux ZFS habe.
Im Moment sind OpenZFS on OSX und Windows eigenständige Forks von OpenZFS. ZFS on Qnap würde ich als Abspaltung von OpenZFS, nicht als kompatiblen Fork sehen.
Ich habe jedoch auch mit dem "Stability first" Ansatz von Illumos mein Problem weil OpenZFS sehr schnell sehr interessante Features nachschiebt. Werden die nicht ausreichend implementiert, leidet die Kompatibilität. Illumos ist zwar viel kompatibler zu OpenZFS als z.B. Qnap ZFS das tatsächlich ein Fork eines älteren OpenZFS ist mit eigenen inkompatiblen Erweiterungen.
"In Schönheit sterben" sollte ja auch nicht das Ziel von Illumos sein, dazu ist es in einigen Bereichen einfach zu gut, ja überlegen zu allem was Linux bietet wie mit der perfekten Windows SMB/ACL/SID Integration in ZFS. Au0erdem: Es tut einfach ohne den 5. Rad am Wagen Eindruck den ich manchmal bei Linux ZFS habe.
Zuletzt bearbeitet:
Reicht da nicht ein Perc 310? Werkelt bei mir mit einem Noctua Lüfter und kann 8 Laufwerke. Passtrough geht auchDas ist genau so wie ich es auch machen will. Den IBM M1250 habe ich noch in einem ESXi per Passthrugh an eine TrueNAS VM durchgereicht. Läuft seit Jahren ohne Probleme.
Ich kann gerne bzgl. des HBA330 berichten. Weiß aber nicht, ob ich es noch das Wochenende schaffe, weil bei Mindfactory jetzt meine beiden SSDs nicht lieferbar sind und somit auch der RAM nicht kommt
Luckysh0t
Enthusiast
Nutzt du kein napp-it ? Ich war nur wenige male auf der Solaris CLI, napp-it installieren, checkmk agent installieren, die ersten und bisher einzigen freien Updates installieren.
Doch, musste trotzdem öfter auf die Shell, gerade um Festplatten mit PI Sektoren auf 4K um zu formatieren. Oder weil napp-it meine SMB Shares nicht mehr angezeigt hat. Oder generell auch die Smart Werte, Netzwerkconfig in der Terminalkonsole ändern, weil man sich selbst abgeschossen hat usw. ipadm ist ein graus.
Hi
Also nochmals für Dummies, kurz und knapp. Wurde ja schon kreuz und quer diskutiert, und von @gea ein SOAP fix in napp-it eingebaut, bezüglich der Autosnapshot Funktion, welches von einer VM ein ESXi Snap macht, ein ZFS Snap auf napp-it anlegt, und danach den ESXi snap wieder löscht. Verstehe den Sinn nicht ganz dahinter, also irgendwie schon. Aber Autosnap von ZFS wurde ja offensichtlich schon vor dem SOAP Feature genutzt. Bin auch noch auf der LTS Version von napp-it. Das darf auch nicht nach aussen telefonieren, und hat von daher noch keine Updates gesehen.
Was passiert jetzt, wenn ich von einem ZFS Filesystem, wo ein paar (laufende) VMs drauf liegen auf welche eh nur selten geschrieben wird, einen Snap mache? Ist der Snap dadurch korrupt? Bezieht sich das Problem nur auf den vram, bzw. die .lck Dateien? Oder liegen die Einschränkungen tiefgreifender? Was muss ich genau tun, um Autosnaps nutzen zu können? Bislang habe ich alle VMs händisch runter gefahren, und dann einen Snap über alles gemacht. Reicht für mich auch, weil wie gesagt, da wird eigentlich nichts geschrieben auf die VMs.
Die VMs pro Platte liegen alle zusammen auf je einem Pool. Hätte ich da besser für jede VM einen eigenen Pool gemacht? RAID gibt es nicht.
Gruss und danke
Also nochmals für Dummies, kurz und knapp. Wurde ja schon kreuz und quer diskutiert, und von @gea ein SOAP fix in napp-it eingebaut, bezüglich der Autosnapshot Funktion, welches von einer VM ein ESXi Snap macht, ein ZFS Snap auf napp-it anlegt, und danach den ESXi snap wieder löscht. Verstehe den Sinn nicht ganz dahinter, also irgendwie schon. Aber Autosnap von ZFS wurde ja offensichtlich schon vor dem SOAP Feature genutzt. Bin auch noch auf der LTS Version von napp-it. Das darf auch nicht nach aussen telefonieren, und hat von daher noch keine Updates gesehen.
Was passiert jetzt, wenn ich von einem ZFS Filesystem, wo ein paar (laufende) VMs drauf liegen auf welche eh nur selten geschrieben wird, einen Snap mache? Ist der Snap dadurch korrupt? Bezieht sich das Problem nur auf den vram, bzw. die .lck Dateien? Oder liegen die Einschränkungen tiefgreifender? Was muss ich genau tun, um Autosnaps nutzen zu können? Bislang habe ich alle VMs händisch runter gefahren, und dann einen Snap über alles gemacht. Reicht für mich auch, weil wie gesagt, da wird eigentlich nichts geschrieben auf die VMs.
Die VMs pro Platte liegen alle zusammen auf je einem Pool. Hätte ich da besser für jede VM einen eigenen Pool gemacht? RAID gibt es nicht.
Gruss und danke
pwnbert
Urgestein
- Mitglied seit
- 30.10.2014
- Beiträge
- 4.316
Hab hier was zur Z1/Z2 Konfiguration mit Laufwerksanzahl gefunden, weil wir das Thema erst hatten.
github.com
Sieht ja weniger toll aus erstmal, aber inwiefern ist das in der Realität überhaupt zutreffend, vor allem mit TrueNAS?
ZFS/The problem with RAIDZ.md at main · jameskimmel/ZFS
Stuff about ZFS. Contribute to jameskimmel/ZFS development by creating an account on GitHub.
github.com
Sieht ja weniger toll aus erstmal, aber inwiefern ist das in der Realität überhaupt zutreffend, vor allem mit TrueNAS?
ZFS sieht nur die Daten auf der Platte. Was im RAM/Schreibcache der VM liegt, sieht (und sichert) ein ZFS snap nicht.
ESXi SNAP ist quasi wie kurzfristiges runterfahren.
Den Zustand kann ein ZFS snap dann sichern.
Das wäre grds besser, vor allem da es den Rollback erleichtert, aber ist unkomfortabel -- zumindest ESXi konnte mit "nested" NFS nicht stabil umgehen, man müsste also jeden Pool einzeln einbinden.
Zuletzt bearbeitet:
