[Sammelthread] ZFS Stammtisch

Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
... wovon ich tunlichst die Finger lassen würde ...
Gibts eh nich bei illumos.
Beitrag automatisch zusammengeführt:

Das bringt mich jetzt ins nächste Dilemma .... Ich will eigentlich ein Z2 (-> 6 HDDs), aber wenn ich hier nur halbwegs aktuelle Platten mit 8 oder 10 TB will, dann lande ich netto bei 32 bzw. 40 TB so viel brauch ich ja keineswegs ..... :(
Echt ärgerlich, dass der beste Preis pro TB bei 16TB-Platten liegt und nicht bei kleineren HDDs :(
warum dann nicht einfach nen Mirror aus 2*16TB machen, den kann man später tatsächlich gefahrlos erweitern?
 
wieso sollte man davon die FInger lassen?

Wenn man den ZFS Entwicklern dabei nicht vertraut dnan kann man denen doch bei gar nichts vertrauen? Das Expansion Feature wurde ja über Jahre entwickelt und auf Sicherheit abgeklopft. Und baut auf ganz "normalen" ZFS Funktionalität auf wie auch beim Resilver und Co,

Das Konzept wie das umgesetzt ist, wenn man sich das ansieht hat doch Hand und Fuss - die Datensicherheit bleibt bei der Expansion voll erhalten.

Das sind sicher alle möglichen neues Features gefährlicher :d
 
.. auf jeden Fall ist die Sache mit dem Mirror aus 16-22 TB Platten in meinen Augen eine Sinnvolle.

Z2 kannst natürlich auch aus 4 Platten machen. Das ist halt von der Speicherplatzausnutzung und der Performance her nicht ideal, drum wirds mit 6 empfohlen, damit man einen brauchbaren Schnitt aus Ausfallssicherheit, IOPS und seq. Bandbreite hinbekommt.
Man darf nicht vergessen, 95% der ganzen ZFS Artikel kommen aus dem Server-Bereich wo es nicht um 6 sondern eher um 60 oder 600 HDDs geht.

Dieses ganze ZFS Enterprise-Empfehlungwerk gilt für dich als Privato ja mehr oder weniger nicht.
 
Ja denke aber seit es OpenZFS und Linux gibt ist das langsam schon auf öfter im ambitionierten Homeuserbereich zu finden - unter FreeBSD war das glaub eher noch nicht so verbreitet. Ich bin bals FreeBSD 8 rauskam auf ZFS umgestiegen,.d a gab es fast nur Oralce Doku - inzwischen ist das ja ganz anders geworden vor allem seit OpenZFS
 
Ja eh, meine damit nur, dass viele dieser "Empfehlungen" nicht so 1:1 zu übernehmen sind...
 
ja denke auch - bisher waren ja auch ZFS wahrscheinlich eher richtig grosse (Multiuser)umgebungen :d
 
Z2 kannst natürlich auch aus 4 Platten machen.
Hab ich auch schon überlegt, aber dann würde ich eher zwei striped mirrors machen und mit der Gefahr leben, dass nicht gleich zwei Platten von 4 im selben Mirror ausfallen. Wirklich sehr unwahrscheinlich!

Kann das TrueNAS Scale schon per GUI und hat das schon jemand erfolgreich getestet?
 
Hab ich auch schon überlegt, aber dann würde ich eher zwei striped mirrors machen und mit der Gefahr leben, dass nicht gleich zwei Platten von 4 im selben Mirror ausfallen. Wirklich sehr unwahrscheinlich!
Da kannst gleich ein Z1 machen. Nur weil mehr Speicherplatz belegt wird, heisst das nicht, dass es deshalb irgendwie sicherer wäre.
Wirklich sehr unwahrscheinlich!
So unwahrscheinlich ist das nicht... immerhin 50:50... im Gegensatz zu der Unwahrschienlichkeit, dass überhaupt ne 2. Platte aufällt (also Z1 stirbt) sind da Zehnerpotenzen um...

Mal von der anderen Seite:
Wie viel Speicherplatz brauchst du wofür (Dateigröße, Änderungsintervall)?

Ich rate mal, da du sagst 40 TB sind so viel, das brauchst du gar nicht, dass du umdie 10 TB brauchst, also ca. 20 willst.
Dann kaufst dir 3 Stück Festplatten 16-22 TB wo die €/TB okay sind. Machst einen Mirror und die 3. HDD verwendest ab und zu als externes Backup, damit du im Worst-Case nicht ganz blöd da stehst (bzw. wenn du dir selbst irgendwas wegformatierst etc.).
Damit stehst du relativ einfach relativ gut da.
 
Mal von der anderen Seite:
Wie viel Speicherplatz brauchst du wofür (Dateigröße, Änderungsintervall)?
Aktuell brauche ich ca. 17 TB.
Anwendungsfall:
  • wichtige Dokumente (gescannt) - Datenmenge fast irrelevant
  • Foto/Video Dateien aus DSLM
    • RAW Dateien
    • 4K Aufnahmen
    • Cature One Bildkatalog
Leider bin ich hier ein Daten-Messi und kann mich schlecht von "Erinnerungen" trennen.
Aktuell kommen je nach Anzahl der Urlaube ca. 2-3 TB ein Daten hinzu. Wobei der Bedarf die kommenden Jahre noch wachsen wird, weil ich bald auf die alpha 7V wechseln will und die IV in Rente schicken werde. Durch 8K wird die Datenmenge beim Filmen dann sichern nochmals wachsen.

Bevor die Frage kommt was ich mit 8K will ... es ist ein Hobby und am Ende sind es mehr Reserven für Bildausschnitte beim Schnitt und für digitale Bildstabilisierung ohne großen Auflösungsverlust bei 4K Output.
 
Naja aber dann sind wir mit 40 TB ja nicht weit weg, wenn du jetzt schon 17 hast und in "nächster Zeit" mit ~10 mehr rechnest.
Ein realistisches Problem solcher Datenmengen ist, dass man oft bei "No-Backup" Bereichen endet. Gerade dieses "Datenmessie-tum" (verstehe ich eh) ist so eine Sache... da kannst halt fett Geld drin versenken in nichts..

Ich hab ähnliche Mengen, bei mir wurde es ein Z1 und 4x HC560 (hatte erst nur 3 und auf 4 aufgestockt, rückblickend hätte ich bei den Preisen aber gleich 5 kaufen sollen)., am Papier 60TB, sind aber nur noch 54TiB und nachdem man das Z eh nicht vollstopfen sollte realistisch eher so 40-45 "Nutzfläche"... gibt auf jeden Fall Luft für längere Zeit.
Backupserver bin ich gerade am murksen, mal sehen, wie ich da mach.
So mengen privat im Z2 zu halten und auch noch im Z2 zu backuppen ist halt ein ganz anderes Kaliber an Preisen. Bei momentanen Preisen sind das knapp 4000€ für Platten allein.

Musst dir eh selber überlegen, wie du tust.
Nur so viel, ob du jetzt 3/4/5/6 in Z1/Z2 hat ist egal... das machts nicht aus.

Cature One Bildkatalog
Was ist das?
 
Ein realistisches Problem solcher Datenmengen ist, dass man oft bei "No-Backup" Bereichen endet. Gerade dieses "Datenmessie-tum" (verstehe ich eh) ist so eine Sache... da kannst halt fett Geld drin versenken in nichts..
Deswegen steht auch eine Neuanschaffung an, weil der alte Backup Server zu klein wird.
Also wird der jetzt noch Neue zum Alten ... :)

https://www.captureone.com/de
Eine Datenbank in der du deine Bilder im Rohformat inkl. aller bearbeiteten Parameter drin hast.


Hat hier jemand für ZFS im IT-Mode einen Dell HBA330 im Einsatz für sein SATA-HDDs.
Mir gefällt der sehr wegen seinem großen Kühlkörper, aber es verunsichert mich, dass im Dell Handbuch steht es würde nur SAS gehen.
Handbuch Auf Seite 8 steht: ANMERKUNG: SATA wird auf der Dell HBA330 MMZ- und der 12-Gbit/s-SAS-HBA-Controllerkarte nicht unterstützt .

Würde mich wundern ... Hat wer die Karte und kann SATA bestätigen?
 
Hat hier jemand für ZFS im IT-Mode einen Dell HBA330 im Einsatz für sein SATA-HDDs.
Hat sich durch das englische Manual gelöst. Der Ausschluss bezieht sich nicht auf die "Dell HBA330 adapter card" ;) Sehr verwirrend beschrieben von Dell! :)

Also etwas, das auf SSD laufen sollte?
Das läuft komischerweise super gut auf dem Raid-Z2 aus 6x8TB. :)

Was nicht gut geht ist Videoschnitt. Hier kopiere ich um auf eine lokale SSD und dann wieder auf den Server! ;)
Hier wäre ein Z-Pool schön, aber das will ich nicht investieren in große PLP-SSDs. Und das mir während der Bearbeitung viele Bits kippen ist sehr unwahrscheinlich :d
 
wieso sollte man davon die FInger lassen?

Wenn man den ZFS Entwicklern dabei nicht vertraut dnan kann man denen doch bei gar nichts vertrauen? Das Expansion Feature wurde ja über Jahre entwickelt und auf Sicherheit abgeklopft. Und baut auf ganz "normalen" ZFS Funktionalität auf wie auch beim Resilver und Co,

Das Konzept wie das umgesetzt ist, wenn man sich das ansieht hat doch Hand und Fuss - die Datensicherheit bleibt bei der Expansion voll erhalten.

Das sind sicher alle möglichen neues Features gefährlicher :d
ich meinte damit, generell von OpenZFS für Linux die Finger zu lassen, weil man genau hier eben nicht nicht von "richtig grosse (Multiuser)umgebungen" und jahrelangen Erfahrungen sprechen kann.
 
Mich verunsichert der Kühlkörper. Der wird wohl nicht zum Spaß so groß sein. Worauf ich hinaus will, das Ding könnte gut Strom ziehen.
In meinem aktuellen Master Server habe ich einen seit Jahren einen IBM Lenovo M1215.
Der wurde beim Ersttest so heiß, dass ich mir beim Hinfassen den Finger fast wirklich verbrannt habe.
Daraufhin ist hier ein PCI-Slot Lüfter der in Anpustet .....

Dann versuche ich es mal mit dem großen Kühlkörper, auch wenn du natürlich recht haben kannst.
Wobei, wieso sollte der gleiche Chip (SAS3008) im Dell wesentlich mehr Strom brauchen?
 
Nein, dann wird das einfach besser gelöst sein.

Ich such ja auch gerade einen HBA für 8x SATA, ist aber hier vllt. der falsche Thread.

Wäre da angetan über Hinweise, was man kaufen kann. Soll per Proxmox an ein Truenas weitergegeben werden, am MC12 und einem anderen B550 Board (würde das 2x kaufen wenns so klappt).
 
Das ist genau so wie ich es auch machen will. Den IBM M1250 habe ich noch in einem ESXi per Passthrugh an eine TrueNAS VM durchgereicht. Läuft seit Jahren ohne Probleme.
Ich kann gerne bzgl. des HBA330 berichten. Weiß aber nicht, ob ich es noch das Wochenende schaffe, weil bei Mindfactory jetzt meine beiden SSDs nicht lieferbar sind und somit auch der RAM nicht kommt :(
 
ich meinte damit, generell von OpenZFS für Linux die Finger zu lassen, weil man genau hier eben nicht nicht von "richtig grosse (Multiuser)umgebungen" und jahrelangen Erfahrungen sprechen kann.

Naja OpenZFS ist doch überall der freie Standard geworden und das ist ja zu 100% das ZFSonLinux Projekt, denn das ZFSOnLinux wurde doch einfach umbenannt in OpenZFS

Egal ob Illumos oder FreeBSD heute nutzen alle bis auf Solaris die Linuximplementierung weil die halt am aktivsten ist

Behlendorf ist doch denke ich inzwischen längst DER ZFS Guru geworden :)

Beitrag automatisch zusammengeführt:

Hmmm ich nutze aktuell bei allen einfach 6 onboard sata + jeweils 1 4 port lsi (9211) 4-fach. Also dann 1 System Ssd + 9 Daten hdds

Damit kann man auch ohne Cache Ssds und Co 10 Gbit relativ gut auslasten.

Viele hdds verteilen halt die Last was die einzelne hdd zu tun hat
 
Zuletzt bearbeitet:
Naja OpenZFS ist doch überall der freie Standard geworden und das ist ja zu 100% das ZFSonLinux Projekt, denn das ZFSOnLinux wurde doch einfach umbenannt in OpenZFS

Egal ob Illumos oder FreeBSD heute nutzen alle bis auf Solaris die Linuximplementierung weil die halt am aktivsten ist

Behlendorf ist doch denke ich inzwischen längst DER ZFS Guru geworden :)

Nein, hier bist du falsch informiert. Die Softwarequalität kannst du auch nicht an Personen wie Brian Behlendorf oder Matt Ahrens festmachen, der OpenZFS Fork ist mittlerweile Jahre entfernt von illumos. Mir geht es rein um Datensicherheit und da geh ich keine Kompromisse ein. Es werden immer wieder Patches von OpenZFS nach illumos portiert aber nur unter sehr strengen Voraussetzungen. Ich empfehle das hier zu lesen:

cu
 
Es gibt im Moment neben Solaris mit native ZFS das aus Illumos weiterentwickelte OpenZFS. Illumos pflegt weiter seine eigene ZFS Entwicklung, übernimmt aber bei Bedarf neuere Sachen aus OpenZFS, jedoch mit einer weiteren Freigabeprozedur. Das aktuelle Illumos hat daher nach meinem Eindruck eine bessere Stabilität als das aktuelle OpenZFS bei dem doch sehr viele Entwickler neue Features hinzufügen die dann "beim Kunden reifen". Mit vielen Entwicklern ein möglicherweise gangbarer Weg. Es kann halt passieren dass einzelne Distributionen mit ihren zu neuen oder zu alten OpenZFS Versionen übel buggy sind.

Im Moment sind OpenZFS on OSX und Windows eigenständige Forks von OpenZFS. ZFS on Qnap würde ich als Abspaltung von OpenZFS, nicht als kompatiblen Fork sehen.

Ich habe jedoch auch mit dem "Stability first" Ansatz von Illumos mein Problem weil OpenZFS sehr schnell sehr interessante Features nachschiebt. Werden die nicht ausreichend implementiert, leidet die Kompatibilität. Illumos ist zwar viel kompatibler zu OpenZFS als z.B. Qnap ZFS das tatsächlich ein Fork eines älteren OpenZFS ist mit eigenen inkompatiblen Erweiterungen.

"In Schönheit sterben" sollte ja auch nicht das Ziel von Illumos sein, dazu ist es in einigen Bereichen einfach zu gut, ja überlegen zu allem was Linux bietet wie mit der perfekten Windows SMB/ACL/SID Integration in ZFS. Au0erdem: Es tut einfach ohne den 5. Rad am Wagen Eindruck den ich manchmal bei Linux ZFS habe.
 
Zuletzt bearbeitet:
Das ist genau so wie ich es auch machen will. Den IBM M1250 habe ich noch in einem ESXi per Passthrugh an eine TrueNAS VM durchgereicht. Läuft seit Jahren ohne Probleme.
Ich kann gerne bzgl. des HBA330 berichten. Weiß aber nicht, ob ich es noch das Wochenende schaffe, weil bei Mindfactory jetzt meine beiden SSDs nicht lieferbar sind und somit auch der RAM nicht kommt :(
Reicht da nicht ein Perc 310? Werkelt bei mir mit einem Noctua Lüfter und kann 8 Laufwerke. Passtrough geht auch
 
Stabilität und Datensicherheit sind leider immer noch meine 2 Killerargumente, warum ich mir Solaris antue. Die Administration ist grauenhaft (via CLI), aber das rennt halt leider auch rock stable.
 
Nutzt du kein napp-it ? Ich war nur wenige male auf der Solaris CLI, napp-it installieren, checkmk agent installieren, die ersten und bisher einzigen freien Updates installieren.
Doch, musste trotzdem öfter auf die Shell, gerade um Festplatten mit PI Sektoren auf 4K um zu formatieren. Oder weil napp-it meine SMB Shares nicht mehr angezeigt hat. Oder generell auch die Smart Werte, Netzwerkconfig in der Terminalkonsole ändern, weil man sich selbst abgeschossen hat usw. ipadm ist ein graus.
 
Hi

Also nochmals für Dummies, kurz und knapp. Wurde ja schon kreuz und quer diskutiert, und von @gea ein SOAP fix in napp-it eingebaut, bezüglich der Autosnapshot Funktion, welches von einer VM ein ESXi Snap macht, ein ZFS Snap auf napp-it anlegt, und danach den ESXi snap wieder löscht. Verstehe den Sinn nicht ganz dahinter, also irgendwie schon. Aber Autosnap von ZFS wurde ja offensichtlich schon vor dem SOAP Feature genutzt. Bin auch noch auf der LTS Version von napp-it. Das darf auch nicht nach aussen telefonieren, und hat von daher noch keine Updates gesehen.

Was passiert jetzt, wenn ich von einem ZFS Filesystem, wo ein paar (laufende) VMs drauf liegen auf welche eh nur selten geschrieben wird, einen Snap mache? Ist der Snap dadurch korrupt? Bezieht sich das Problem nur auf den vram, bzw. die .lck Dateien? Oder liegen die Einschränkungen tiefgreifender? Was muss ich genau tun, um Autosnaps nutzen zu können? Bislang habe ich alle VMs händisch runter gefahren, und dann einen Snap über alles gemacht. Reicht für mich auch, weil wie gesagt, da wird eigentlich nichts geschrieben auf die VMs.

Die VMs pro Platte liegen alle zusammen auf je einem Pool. Hätte ich da besser für jede VM einen eigenen Pool gemacht? RAID gibt es nicht.

Gruss und danke



ZFS_VMs.JPG
 
Hab hier was zur Z1/Z2 Konfiguration mit Laufwerksanzahl gefunden, weil wir das Thema erst hatten.


Sieht ja weniger toll aus erstmal, aber inwiefern ist das in der Realität überhaupt zutreffend, vor allem mit TrueNAS?
 
Was passiert jetzt, wenn ich von einem ZFS Filesystem, wo ein paar (laufende) VMs drauf liegen auf welche eh nur selten geschrieben wird, einen Snap mache? Ist der Snap dadurch korrupt?
ZFS sieht nur die Daten auf der Platte. Was im RAM/Schreibcache der VM liegt, sieht (und sichert) ein ZFS snap nicht.

ESXi SNAP ist quasi wie kurzfristiges runterfahren.

Den Zustand kann ein ZFS snap dann sichern.
Die VMs pro Platte liegen alle zusammen auf je einem Pool. Hätte ich da besser für jede VM einen eigenen Pool gemacht?
Das wäre grds besser, vor allem da es den Rollback erleichtert, aber ist unkomfortabel -- zumindest ESXi konnte mit "nested" NFS nicht stabil umgehen, man müsste also jeden Pool einzeln einbinden.
 
Zuletzt bearbeitet:
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh