[Sammelthread] ZFS Stammtisch

[gea]

Hallo zusammen,

bin nach langer Zeit endlich mal dazu gekommen meine Daten auf den Solaris zfs filer umzuziehen, dabei aber jetzt auf ein paar Ungereimtheiten gestossen dir mir nicht ganz klar sind.

Zum einen stutze ich über die iostat softerror counter, welche sich mit der Zeit nach oben „schrauben“, offenbar auch gleich verteilt über alle sata Laufwerke. Nach ein bißchen suchen, habe was im Zusammenhang mit smartmontools gefunden welche offenbar bei smartchecks diesen Wert ansteigen lassen? Zudem scheint per default im napp-it ja auch der accelarator für smart aktiv zu sein, welcher dies dann im Hintergrund quasi noch forciert? Ist dem so und letztlich sind diese Werte in dieser Konstellation dann zu „vernachlässigen“?

Smartmontools unter Oracle Solaris erzeugen bei jedem Aufruf einen Smart Softerror. Liegt daran dass es keine spezielle Solarisversion gibt und der Aufruf (der normalen kompilierten "Linuxversion") eine unerwartete Rückmeldung hat. In napp-it kann man unter Services > ACC den Smartcheck deaktivieren damit es keine Checks im Hintergrund gibt. Für Smartchecks "on Demand" dann Menü Disks > Smartinfo bemühen.

Ein weiterer Aspekt ist mir beim Schreiben auf ein smb share aufgefallen, hier werden von Win10 Clients aus, nicht wirklich die eigentlich erwarteten Werte von annähernd einer 1Gbit Anbindung (~115MB/s) erreicht. Es schwankt immer wieder mal zwischen 65-115 hin und her. Scheint beim Lesen aber nicht aufzutreten. Auch hier ließ sich was zu einem Problem finden was mit SRU9 gefixt worden seil soll. In dem Zusammenhang wurde ein Parameter

set ip:tcp_reass_max=3000

erwähnt, welcher sich in der /etc/system setzen lassen soll. Aber offenbar wird dieser Wert von GA Version ohne SRU gar nicht unterstützt und beim Start nicht angewendet, da dieser nicht im Modul IP vorhanden ist. Irgendwer noch ne Idee warum es zu der unstabilen Schreibperformance kommt und was man dagegen tun könnte?

Ich kenne auch nur diesen Workaround. Was noch hilft ist manchmal SMB max und minprotokol auf 2.1 zu setzen (Menü Services > SMB > Properties) und Anzahl der tcp Puffer zu erhöhen (Napp-it System > Tuning) und natürlich hilft mehr RAM (=mehr Schreibcache).

Insgesamt sieht es leider so aus. Da Oracle Solaris auf v 11.4 praktisch eingefroren ist und es ähnlich wie bei Windows 10 nur rollierende Updates gibt (an die man aber nur mit Subscription kommt z.B. 11.4 SRU20) hat man nicht mehr die Situation dass Solaris alle 2-3 Jahre ein "freies" Update erhält. Mit der Zeit nehmen dann die Inkompatibilitäten immer mehr zu.

Da der freie Solaris Fork Illumos (NexentaStor, OI, OmniOS, SmartOS) mit ZFS/kernelbasiertem SMB 3.1.1, Verschlüssellung, removeable vdev oder sequentielles Resilvering viele wichtigen Oracle Solaris Features nun auch enthält, würde ich (kostenloses Home-) Solaris eher nicht mehr einsetzen. Wenn nun durch Kompatibilitätsprobleme der Geschwindigkeitsvorteil von Native-ZFS gegenüber Open-ZFS auch nicht mehr gegeben sein sollte, dann sowieso.

 

[Wesumat]

Smartmontools unter Oracle Solaris erzeugen bei jedem Aufruf einen Smart Softerror. Liegt daran dass es keine spezielle Solarisversion gibt und der Aufruf (der normalen kompilierten "Linuxversion") eine unerwartete Rückmeldung hat. In napp-it kann man unter Services > ACC den Smartcheck deaktivieren damit es keine Checks im Hintergrund gibt. Für Smartchecks "on Demand" dann Menü Disks > Smartinfo bemühen.

Ja, das hatte ich mittlerweile auch gefunden und umgesetzt und schon ist ein Anstieg der softerror verschwunden. Quasi nur bei einer on demand Anfrage geht der Counter noch um 1 hoch.

Damit kann man leben, wenn man die Herkunft kennt.


Bezüglich der weiteren Entwicklung von Solaris, sind deine Argumente vermutlich nicht von der Hand zu weisen. Natürlich unschön, dass Oracle jetzt auf der 11.4 festzusitzen scheint und alles nur noch per monatlichem SRU abfackelt. Sonst hätte man ja vermutlich mittelfristig einer freien 11.5 entgegen sehen können.

 

[Swivel]

Wieviel Mirror kann man eigentlich zu einem Raid10 Zusammenfügen? Bzw ab wann macht es kein Sinn mehr für dieses Konstrukt?

Vorhaben: neuen Server , reiner Napp-it Server mit Mirror‘ langsam die Kapazität erhöhen...

welche Platten würdet ihr dazu empfehlen? WD Red oder die Ironwolf? Z.b. die 4TB WD Red Soll langsam sein?

 

[Trambahner]

Einfachste Empfehlung an der Stelle: "hands off" von SMR-Platten für ZFS. Damit kann man spätestens beim Resilvering mit hoher Wahrscheinlichkeit unglücklich werden.

Mirror-Pärchen sind gut für Random-Zugriff, also Datenbanken, virtuelle Systemdisks von VMs, o.ä. Sowas legt man aber eher auf SSD-Pools, HDD-Pools machen da eher nicht Spass.
Raidz ist gut für eher sequenentiellen Zugriff, große Mediendateien, o.ä.
Ich hab zwei Pools: Ein Pool aus 3 Mirror-Pärchen aus SSDs (also 6 stück, Samsung SM683/SM883) für alles mit kleinen Files, Arbeitsdateien, VMs, etc. und einen Pool Raidz2 aus 6 HDD (6x14TB Ultrastar). für Medien, Backups von den SSDs und Rechnern.

Es kommt also immer auf die jeweiligen Bedürfnisse an, für was man den Storage braucht (oder haben will) und wieviel Geld man ausgeben will/kann. Und bei den HDDs auch: wie hoch darf die Lautstärke sein.
Für zuhause empfiehlt sich oft: wenige große Platten (insbesondere die mit Helium sind oft schön sparsam bzw. Strom) statt viele kleine für HDD-Pools und wenn man Performance für VMs/Random IO braucht: SSD-Pools.

Und, ganz wichtig, immer ans Backuppen der Daten denken. Ich hab dafür eine zweite ZFS-Maschine, ebenso mit 6x14 TB. Diese bekommt regelmässig inkrementell ZFS-Snapshots von der Hauptmaschine (via ZFS send/receive). Geht so einfach, schnell und zuverlässig.

 

[Swivel]

Ah okay, naja Lautstärke sag ich mal egal.
Soll nur ein Datastore werden, also keine bis 1VM und den Rest nur Daten, Bilder, Filme Musik...das übliche

 

[Trambahner]

Mirror-Pärchen sind halt auch etwas flexibler. Man kann ja an einen bestehenden Pool jederzeit vdevs (also weitere Mirrors oder Raidz (theoretisch auch single drives ohne Redundanz, aber macht keinen Sinn) ) dranhängen und damit Kapazität erweitern.
Und 2 HDDs für ein Mirror-Pärchen zu kaufen ist in aller Regel halt auch günstiger, als z.B. ein weiteres Raidz aus z.B. 5-6 Platten.
Dafür hast Du immer 50% verlorene Nutzkapazität, bei einem Raidz2 mit 6 Platten dagegen z.B. nur 33%.
Theoretisch kann man das später auch kombinieren, ist aber nicht "good practise". Normal nimmt man immer gleichartig aufgebaute vdevs.
Btw, die maximale Mirrorzahl pro Pool dürfte jenseits unserer Geldbeutel und Vernunft liegen.

Nachteil Mirror: es dürfen bei mehreren Pärchen nicht beliebige HDDs eingehen, sondern nur jeweils eine eines Mirros. Bei einem Raidz2 zwei beliebige.
Für allg. Storage daheim würde ich wohl zu Raidz2 greifen.
Wichtig ist: von vorherein ausreichend dimensionieren. D.h. genug Platz für Snapshots, genug freien Restplatz damit die Performance gut bleibt und auf Sicht für ggf. 3 Jahre genug Datenmengenwachstum.
Man will sich ja nicht alle Jahr mit Kapazitätsproblemen und deren Beseitigung beschäftigen.

Unterm Strich: wenn Du eh durch 1Gbit-Lan limitiert bist, keine VMs drauf ablegst, reichen WD RedPlus oder die normalen Ironwolfs.
Wenn man aufpasst was drin ist, eventuell auch günstige, geshuckte Laufwerke ("White Labels") aus externen WD Laufwerken (WD Elements/My Book/My Book Duo). Da muss man dann genau schauen und auswählen, damit man bei kleineren Kapazitäten keine SMR bekommt.
Bis lang waren in den Mybook Duo immer richtige "Red" drin. Bei den 2*12 und 2*14 TB Modellen z.B. bekommst Du 99,9999% garantiert die Heliumlaufwerke ohne SMR. Bis 2*8GB sinds ziemlich sicher welche mit Luft (lauter und brauchen mehr Strom), bei 2*10 gibts glaub ich beides. K.a. wie das nun bei den Kapzitäten ist, wo es auch SMR-Versionen gibt.
=> Öfter mal bei Mydealz oder anderen Schnäppchenportalen reinschauen. Da kommen immer wieder brauchbare bis sehr gute Deals mit den WD Duo.

Alternativ die Ironwolfs, dort glaub ich ist generell kein SMR dabei (Im Gegensatz zu den Barracudas, da gibts SMR).

 

[MisterY]

ich habe in meinem Dell R710 nun die SSD ausgetauscht, die immer im scrub "degraded", da sie "too many errors" aufwies. Nun weißt die neue SSD (anderer Hersteller) genau die selbe Problematik auf. Weiß jemand, woran das liegen könnte? Ist vielleicht die SSD, die den Fehler nicht aufweist, die defekte? Controller ist ein H310 im IT Modus. Mein striped mirror aus HDDs läuft ohne Probleme.

Edit: stimmt nicht, ist die andere, nicht ausgetauscht SSD, die nun Fehler aufweist.

 

[asche77]

Firmware des Controllers aktuell? Eine alte Firmware führte bei mir Mal zu haufenweise Fehlern.

 

[MisterY]

sollte die neueste sein. habe den Controller erst vor ein paar Monaten geflasht. Es handelt sich dabei aber um einen H200.

 

[chicken]

Kurze Frage um den Einkauf abschließen oder erweitern zu können... sofern das kurz beantwortet werden kann. ;-)

Hier ist meine Konfig für den neuen Homeserver. CPU wird später noch auf ZEN3 gehieft und die 4-Port-NIC ist auch optional für später. Es soll ein AiO-Homi werden mit ESXi als Basis. TrueNAS, napp-it oder was anderes mit ZFS als Filer. Gefüttert wird das Gehäuse mit mindesten 5x 10TB WD Red Plus Platten, so das mindestens 30-40TB netto zur Verfügung stehen. Ob RaidZ1 oder 2 ist noch unsicher.

ESXi läuft vom USB-Stick. Auf die Samsung SSD PM983 1.92TB, M.2 kommt das VMFS für die VMs. Die VMs werden maximal irgendwohin weg gesichert, aber sie laufen nicht vom Netz.

Kann ich auf diese SSD auch ein SLOG drauf packen oder sollte das lieber eine extra SSD sein? Reicht als SLOG auch eine SATA SSD ? Wie groß sollte das SLOG sein? Hab was von Netzwerkbandbreite * 10s gelesen. Wären dann bei 10Gbit gerademal 12,5GB, also unter Berücksichtigung von Overprovisioning etc. irgendwas unter 100GB?

 

[dstockm]

Hallo,

kurze Frage bzgl. Firmware-Update bei Platten aus einem ZFS-Pool. Ich habe das bei einem pool gemacht und gesehen dass OmniOS sich über geänderte ID's beschwert hat. Ich bin mir aber nicht sicher ob das sowieso nach einem Neustart weg gewesen wäre oder erst durch das Löschen des pools gekommen ist - der pool sollte sowieso neu gebaut werden.
Sind da Probleme bei einer Platte zu erwarten die zu einem aktiven Pool gehört? Eine von der Sorte habe ich noch und den zugehörigen pool möchte ich nicht neu aufbauen.

 

[gea]

Kurze Frage um den Einkauf abschließen oder erweitern zu können... sofern das kurz beantwortet werden kann. ;-)

Hier ist meine Konfig für den neuen Homeserver. CPU wird später noch auf ZEN3 gehieft und die 4-Port-NIC ist auch optional für später. Es soll ein AiO-Homi werden mit ESXi als Basis. TrueNAS, napp-it oder was anderes mit ZFS als Filer. Gefüttert wird das Gehäuse mit mindesten 5x 10TB WD Red Plus Platten, so das mindestens 30-40TB netto zur Verfügung stehen. Ob RaidZ1 oder 2 ist noch unsicher.

ESXi läuft vom USB-Stick. Auf die Samsung SSD PM983 1.92TB, M.2 kommt das VMFS für die VMs. Die VMs werden maximal irgendwohin weg gesichert, aber sie laufen nicht vom Netz.

Kann ich auf diese SSD auch ein SLOG drauf packen oder sollte das lieber eine extra SSD sein? Reicht als SLOG auch eine SATA SSD ? Wie groß sollte das SLOG sein? Hab was von Netzwerkbandbreite * 10s gelesen. Wären dann bei 10Gbit gerademal 12,5GB, also unter Berücksichtigung von Overprovisioning etc. irgendwas unter 100GB?

Ja darauf achten dass man keine MSR/Archiv Platten erwischt, die sind im Raid unbrauchbar, https://www.servethehome.com/wd-red-smr-vs-cmr-tested-avoid-red-smr/

Die Samsung PM ist gut für VMs geeignet (mit powerloss protection), ist aber eher read optimiert. Wenn man da sync aktiviert wid man vermutlich unter 100MB/s landen. Die schreiboptimierte schnellere Variante ist SM..

Statt dem USB Stick kann man auch ESXi mit auf die SSD packen. Die SSD kann man auch unter der ZFS Storage VM verwalten und per NFS bereitstellen. Vorteil: ZFS Cache, sync write, NFS+SMB Zugriff für Copy/move/backup/Snaps, https://napp-it.org/doc/downloads/napp-in-one.pdf (geht so auch mit anderer Storage VM)

ps
Ein Slog "packt man da nicht drauf". Man aktiviert bei ZFS einfach sync und die Protokollierung findet in einem ZIL Bereich des Pools statt der auf kleine Daten optimiert ist. Ansonsten wären 10-20GB für ein Slog ausreichend. Ein Slog muss aber erheblich schneller sein als der Pool damit es was bringt, dazu plp haben, hohe steady write iops und geringste Latenz (Optane 4801, WD SS530, Intel DC3700 etc).

Wenn man vmfs nutzt gibts halt keinen rambasierten Schreibcache wie unter ZFS. Ist sicher aber langsam.

Beitrag automatisch zusammengeführt: 24.11.2020

Hallo,

kurze Frage bzgl. Firmware-Update bei Platten aus einem ZFS-Pool. Ich habe das bei einem pool gemacht und gesehen dass OmniOS sich über geänderte ID's beschwert hat. Ich bin mir aber nicht sicher ob das sowieso nach einem Neustart weg gewesen wäre oder erst durch das Löschen des pools gekommen ist - der pool sollte sowieso neu gebaut werden.
Sind da Probleme bei einer Platte zu erwarten die zu einem aktiven Pool gehört? Eine von der Sorte habe ich noch und den zugehörigen pool möchte ich nicht neu aufbauen.

Wenn die Platten über Portnummern am Controller verwaltet werden (c0t0d0, sda etc) können sich die Nummern ändern. Werden WWN Nummern wie t5000CCA249D5A807d0 benutzt, bleibt die ID gleich, allenfalls der vorangestellte Controller z.B. c1 kann sich ändern.

Ein Pool export + import behebt in beiden Fällen eventuelle Probleme.

 

[chicken]

Danke für deine Antwort.

Statt dem USB Stick kann man auch ESXi mit auf die SSD packen. Die SSD kann man auch unter der ZFS Storage VM verwalten und per NFS bereitstellen. Vorteil: ZFS Cache, sync write, NFS+SMB Zugriff für Copy/move/backup/Snaps, https://napp-it.org/doc/downloads/napp-in-one.pdf (geht so auch mit anderer Storage VM)

Ist das mit einer einzigen SSD nicht ein Henne- Ei-Problem? Zuerst muss ja der Hypervisor laufen, damit die Sorage-VM gestartet werden kann. Andersrum müsste die SSD mit ZFS planiert werden, um den VMFS in ein NFS-Share ablegen zu können, welches auf diesem ZFS liegt. Lässt sich das so überhaupt mit einer SSD bewerkstelligen? Wie wär das Vorgehen? Mal davon abgesehen, dass ich ne vSphere-Lizenz bräuchte um NFS nutzen zu können - was jetzt nicht sooooo das Problem darstellt.

Dass die Daten-HDDs dann an die Storage-VM durchgereicht und quasi RAW mit ZFS eingerichtet werden müssen, ist klar. Ich glaub ich hab noch CMR-Platten, aber ich werde das vorher nochmal prüfen.

Die Samsung PM ist gut für VMs geeignet (mit powerloss protection), ist aber eher read optimiert. Wenn man da sync aktiviert wid man vermutlich unter 100MB/s landen. Die schreiboptimierte schnellere Variante ist SM..

SM-Modell gibts laut Geizhals-Filter nur in 2,5"-SATA, oder? Wenn ich mir die Datenblätter dieser Platten angucke, dann sind die mit 97k/29k IOPS nicht wirklich schneller als die PM mit 480k/42k. Ansonsten gibts noch SSDs in PCIe-Kartenformat, aber ich wollte Speicher abseits von M.2 eher meiden.

ps
Ein Slog "packt man da nicht drauf". Man aktiviert bei ZFS einfach sync und die Protokollierung findet in einem ZIL Bereich des Pools statt der auf kleine Daten optimiert ist. Ansonsten wären 10-20GB für ein Slog ausreichend. Ein Slog muss aber erheblich schneller sein als der Pool damit es was bringt, dazu plp haben, hohe steady write iops und geringste Latenz (Optane 4801, WD SS530, Intel DC3700 etc).

Wenn man vmfs nutzt gibts halt keinen rambasierten Schreibcache wie unter ZFS. Ist sicher aber langsam.

Ah, ok. Dachte der ZIL-Bereich der auf nen kleinen, sicheren, schnellen Festspeicher gelegt wird nennt man SLOG.
In dem Fall kommt nur die Optane 4801 in Betracht. Die kostet dann um die 300EUR für etwa 100GB. Ich glaub, ich schau mir das dann erstmal ohne SLOG an. Nachgerüstet wäre das ja schnell.

 

[Trambahner]

Du braucht für die NFS-Variante mit den VMs entweder mininum 2 SSD (eine zum Booten von ESXI und der Storage-VM und dann 1-x SSDs zum Durchreichen an die Storage SSD für den ZPool, d.h. das müssen da dann auch zwei getrennte PCI-Devices sein).
Oder Du bootest von USB, nimmst dafür eine portable SSD (z.B. eine dieser kleinen externen Seagate 500GB oder Samsungs), moddest per Kommandozeile die Partitions so dass auf dem Medium auch ein lokaler VMFS-Datastore für die Storage-VM drauf ist), dann reicht Dir eine PCIe-SSD und kannst ggf. auch noch den Sata-Controller (geht aber nicht bei allen) durchreichen für mehr Ports in der VM.
Theoretisch geht das auch mit USB-Sticks, nur sind die in aller Regel unangenehm langsam für Datastores und fallen eher mal aus. Achtung: Für ESXI 7 braucht man ein anderes Partitionlayout als bei 6.7!

Oder Du bootest ESXI von Sata-SSD und hast da drauf den lokalen VMFS für die Storage-VM. Dann ist aber nichts mehr wg. Henne-Ei mit Sata-Controller in die VM durchreichen.

=> gibbet also mehrere Varianten, wenn man all-in-one NFS-Datastores mit ZFS will.

Slog bringt Dir auch nur was für Sync-Operationen. NFS-Datastores sind bei ESXI per default "sync" btw.

 

[gea]

Die Defaultkonfiguration bei mir ist immer eine kleine billige Sata SSD (ca 100GB) oder M.2 für ESXi und die Storage VM. Alle "produktiven" VM liegen dann auf der Platte die per ZFS und NFS bereitsgestellt wird.

 

[Trambahner]

Yup, das ist die einfachste und "straight forward" Variante. (Solange man den Sata-Controller nicht in der VM will/braucht. Geht aber eh nicht auf allen Plattformen, hängt z.B. an den IOMMU-Gruppen.)
Auch am einfachsten für den Wartungsfall.

 

[chicken]

Danke für die Hilfestellung. Ich denke es wird so laufen:

Variante 1: ESXi von USB Stick booten, VMFS mit Storage VM auf ner alten 2.5" 128GB OCZ Vertex 3 SSD.

Variante 2: Wenn das Modden vom VMFS kein nennenswerter Aufwand ist, kann auch beides auf die Vertex 3. Hab da in der Regel nur keine Lust, mich im Notfall noch um das dann lästiges gemodde kümmern zu müssen.

Die Vertex werde ich in jedem Fall über so ein Kabel an den internen USB3.1 20-Pin-Header anschließen.

Die 2TB Samsung PM983 SSD wird dann Datastore für alle anderen VMs. Ob erstmal als VMFS oder gleich über NFS vom Filer, muss ich mir noch anschauen. In letzterem Fall aber sicher als single vDev in ihrem eigenen Pool.

Die vier SATA-Controller vom Chipsatz kann ich über Passthrough durchreichen, das hab ich schon nachgeschaut. Dürften dann je zwei SATA-Kanäle pro Controller sein, weil acht Ports auf dem Board sind. Da dran kommen dann die HDD-Datengräber.

 

[fard dwalling]

Mal davon abgesehen, dass ich ne vSphere-Lizenz bräuchte um NFS nutzen zu können - was jetzt nicht sooooo das Problem darstellt.

NFS geht nicht mit dem kostenlosen esxi?? Echt?
Dann muss ich mir Mal fix was überlegen, meiner läuft noch im Testmodus...

 

[gea]

NFS geht nicht mit dem kostenlosen esxi?? Echt?
Dann muss ich mir Mal fix was überlegen, meiner läuft noch im Testmodus...

NFS ist kein Problem mit ESXi free.

 

[zos]

Nach einer frischen Installation von Omniosce r151036 und Aktivierung von smb/server fiel mir im LOG (/var/adm/messages) folgende Meldung auf:

smbd ... SMF initialization problem: %s#012: handle not bound

Den einzigen einigermaßen passenden Hinweis im Netz fand ich bei den Illumos issues, wobei netbios_enabled=true bereits eingestellt ist.

Zum Vergleich habe ich mir die LOG-Meldungen in einem vor ein paar Monaten installierten napp-it-all-in-one ovf-template von @gea angesehen und dort die gleiche Meldung gefunden.

Wenn ich smb/server disable, kommen diese Meldungen nach einen Reboot nicht mehr. Wenn ich den Service nach diesem Reboot manuell starte, kommt ebenfalls keine solche Meldung. Es scheint mir, als ob es nur bei smb/server enabled zum Systemstart auftritt.

smb-Freigaben funktionieren jedenfalls ohne Probleme, von daher bin ich geneigt dem nicht allzu viel Bedeutung beizumessen.

Aber vielleicht hat hier im Forum ja jemand eine Erklärung...

 

[gea]

Ich habe gerade selbst nachgeschaut und sehe den gleichen Fehler. Ist mit aber bisher auch nicht aufgefallen. Ich habe dann napp-it probehalber deaktiviert und neu gestartet. Der Fehler bleibt immer noch.

Ich würde jetzt auch zunächst davon ausgehen, dass das kein weiteres Problem darstellt. Ich werde mal bei OmniOS-discuss nachfragen.

ps
Der Link ist alt und handelt von SAMBA.

 

[CommanderBond]

Habe folgendes Problem: Wenn ich unter meinem Windows Konto mit eingeschränkten Rechten am Laptop auf mein NAS zugreife per SMB und dort eine .exe Datei ausführen möchte mit Rechtsklick/Als Admin ausführen bekomme ich jedesmal 2mal einen Dialog vorgesetzt zur Passwort abfrage. Der erste für mein lokales Admin Konto am Rechner, was normal ist, aber dann will er auch noch passwort und username für mein NAS haben.
Ich vermute mal dass es daran liegt dass er sich dann auch mit dem Admin Konto am NAS verbinden will, welches es da aber nicht gibt.
Gibt es irgendeine Möglichkeit dies zu umgehen, da es recht nervig ist?

 

[Stangensellerie]

Hast du ZFS für "Jeder" freigegeben oder nur mit Benutzeranmeldung?

 

[Penecho]

Hallo zusammen, ich hätte auch mal eine Frage zu ZFS (bzw. openzfs). Aktuell betreibe ich meine HDDs (6 Stück gemischt zwischen 4TB und 10TB) komplett ohne Raid. Idealerweise würde ich das ganze switchen wollen zu RAIDZ1 (Raid5) oder RAIDZ2 (Raid6).

Erste Frage (sorry totaler ZFS Neuling), das ganze funktioniert ja in sogenannten "Pools" (ähnlich Windows Server Storage Spaces?). Kann man die Pools vermutlich nachträglich noch erweitern mit HDDs mit der selben Kapazität?

Kann man die die HDDs von der Größe her "mischen" oder muss ein Pool immer die selben HDDs (von der Größe her) haben? Ich vermute mal nicht, weil ansonsten ist man ja nicht durch Aufall von einem Laufwerk geschützt?

Gibt es eine aktuelle Liste von kompatiblen SATA Controllern die man mit openzfs nutzen kann (ich habe nur eine bei openzfs gefunden die schon etwas in die Jahre gekommen ist)?

 

[gea]

Hallo zusammen, ich hätte auch mal eine Frage zu ZFS (bzw. openzfs). Aktuell betreibe ich meine HDDs (6 Stück gemischt zwischen 4TB und 10TB) komplett ohne Raid. Idealerweise würde ich das ganze switchen wollen zu RAIDZ1 (Raid5) oder RAIDZ2 (Raid6).

Erste Frage (sorry totaler ZFS Neuling), das ganze funktioniert ja in sogenannten "Pools" (ähnlich Windows Server Storage Spaces?). Kann man die Pools vermutlich nachträglich noch erweitern mit HDDs mit der selben Kapazität?

Strenggenommen nein.

Ein ZFS Pool besteht aus vdevs. Das kann eine einzelne Platte ohne Raid sein oder ein Mirror oder Raid-Z. Erweitert wird ein Pool durch weitere vdevs. Ein Pool aus einem Mirror (basic/Z) also durch ein weiteres vdev (basic/mirror/Z). Bei traditionellem Raid hat man sowas auch z.B. mit Raid-5 -> Raid 50.

Ein einzelnes vdev, z.B. ein Z2 läßt sich (noch nicht) z.B. von 6 Platten auf 7 Platten erweitern.

Kann man die die HDDs von der Größe her "mischen" oder muss ein Pool immer die selben HDDs (von der Größe her) haben? Ich vermute mal nicht, weil ansonsten ist man ja nicht durch Aufall von einem Laufwerk geschützt?

Man könnte einen Pool aus unterschiedlichen Vdevs (Art/Größe) aufbauen. Wenn man aber ein traditionelles Raid wie Mirror/Raid-5/6 bzw ZFS vdev wie Mirror/Z2/2/3 erstellt, so bestimmt immer die kleinste Platte die Arraygröße

Gibt es eine aktuelle Liste von kompatiblen SATA Controllern die man mit openzfs nutzen kann (ich habe nur eine bei openzfs gefunden die schon etwas in die Jahre gekommen ist)?

Open-ZFS ist zunächst nur das gemeinsame Dach der freien ZFS Varianten. Dafür gibt es keine Controller. Bei Original ZFS muss man bei der Hardwareunterstützung bei Oracle nach Solaris HCL (hardware compatibility list) suchen, bei Open-ZFS auf Illumos (freier Solaris fork) nach Illumos HCL, bei Free-BSD nach deren HCL und bei Linux genauso. Als Beta gibt es Open-ZFS auch für Windows.

Das OS muss Treiber bereitstellen. Dem Dateisystem ist das egal.

Man kann allenfalls sagen, dass der "Goldstandard" normales Sata/AHCI ist und die HBAs mit BroadCom/LSI Chipsatz und Chips mit Namen wie 2008, 2307, 3008 und die dann idealerweise mit IT Firmware für Software-Raid.

Bei Ebay findet man sowas mit Suche nach LSI und IT Firmware

 

[chicken]

Ich hab meinen ESXi jetzt soweit am laufen und bin gerade dabei, Napp-IT zu testen.

Ich hab zuerst zwei VMs von Hand mit Openindiana (einmal Konsole, einmal mit GUI) installiert und dann Napp-IT. VMWare Tools sind auch installiert. Beides mal hab ich es geschafft, auf die Napp-IT Weboberfläche zu kommen und mich anzumelden. Wenn ich dann aber anfangen will einen Pool hinzuzufügen (Pools -> Create Pools) kommt folgende Fehlermeldung:

Can't load '/var/web-gui/data/napp-it/CGI/auto/IO/Tty/Tty.so' for module IO::Tty: ld.so.1: perl: fatal: /var/web-gui/data/napp-it/CGI/auto/IO/Tty/Tty.so: wrong ELF class: ELFCLASS64 at /usr/perl5/5.22/lib/i86pc-solaris-64int/DynaLoader.pm line 193. at /var/web-gui/data/napp-it/CGI/IO/Tty.pm line 30. Compilation failed in require at /var/web-gui/data/napp-it/CGI/IO/Pty.pm line 7. BEGIN failed--compilation aborted at /var/web-gui/data/napp-it/CGI/IO/Pty.pm line 7. Compilation failed in require at /var/web-gui/data/napp-it/CGI/Expect.pm line 22. BEGIN failed--compilation aborted at /var/web-gui/data/napp-it/CGI/Expect.pm line 22. Compilation failed in require at /var/web-gui/data/napp-it/zfsos/_lib/illumos/zfslib.pl line 2185. BEGIN failed--compilation aborted at /var/web-gui/data/napp-it/zfsos/_lib/illumos/zfslib.pl line 2185. Compilation failed in require at admin.pl line 434.

Wenn ich die Napp-IT-OVA nutze, kommt diese Fehlermeldung nicht.

Die manulle Installation hat soweit ohne Fehlermeldungen geklappt. Ich hab auch das Installationsskript ein zweite mal drüber laufen lassen, was nichts gebracht hat. Auch ein Update auf Version 19.12b12 noncommercial homeuse über die Weboberfläche hat geklappt, aber keine Besserung gebracht.

Weiß jemand wo der Fehler liegt?

 

[gea]

Napp-it nutzt interaktive CLI Befehle wie passwd oder Domäne beitreten mit smbadm. Um derartige Kommandos per Browser remote auszuführen wird das Perl Modul Expect.pm benötigt. Das Kompilieren dieses Moduls ist etwas aufwändig und geht auch nur interaktiv. Napp-it liefert daher dieses Modul in kompilierter Form für verschiedene Perl Versionen mit.

Nutzt man eine andere Perlversion, so erhält man in manchen Menüs z.B. User diese Fehlermeldung. Welche OpenIndiana bzw Perl Version wird denn benutzt (perl -v)

bzw. Ist OpenIndiana aktuell?
Die letzte OI iso Version zum Download ist was Perl angeht etwas buggy. Ich würde zunächst (Konsole als root) ein pkg update aufrufen damit man auf die aktuelle OI Version kommt.

 

[asche77]

OpenZFS 2.0.0: FreeBSD und GNU/Linux Hand in Hand

Nach langem Warten ist die erste stabile Version von OpenZFS erschienen. Zum Start bauen Linux und BSDs nun auf einer Codebasis auf, macOS soll folgen.

www.heise.de

OpenZFS 2.0.0: FreeBSD und GNU/Linux Hand in Hand​

Nach langem Warten ist die erste stabile Version von OpenZFS erschienen. Zum Start bauen Linux und BSDs nun auf einer Codebasis auf, macOS soll folgen.

 

[chicken]

Napp-it nutzt interaktive CLI Befehle wie passwd oder Domäne beitreten mit smbadm. Um derartige Kommandos per Browser remote auszuführen wird das Perl Modul Expect.pm benötigt. Das Kompilieren dieses Moduls ist etwas aufwändig und geht auch nur interaktiv. Napp-it liefert daher dieses Modul in kompilierter Form für verschiedene Perl Versionen mit.

Nutzt man eine andere Perlversion, so erhält man in manchen Menüs z.B. User diese Fehlermeldung. Welche OpenIndiana bzw Perl Version wird denn benutzt (perl -v)

bzw. Ist OpenIndiana aktuell?
Die letzte OI iso Version zum Download ist was Perl angeht etwas buggy. Ich würde zunächst (Konsole als root) ein pkg update aufrufen damit man auf die aktuelle OI Version kommt.

Perl 5.22.4 built for i86pc-solaris-64int. Installiert hab ich von der OI-hipster-gui-20201031.iso (bzw. der entsprechenden text-Version), also Release 2020.10.

Ein Update hab ich gerade mal angestoßen. An der Perl-Version hat sich dadurch nichts geändert.

Edit: Auch nach Neustart hat sich nichts geändert. Der Fehler bleibt.

Beitrag automatisch zusammengeführt: 02.12.2020

OpenZFS 2.0.0: FreeBSD und GNU/Linux Hand in Hand

Nach langem Warten ist die erste stabile Version von OpenZFS erschienen. Zum Start bauen Linux und BSDs nun auf einer Codebasis auf, macOS soll folgen.

www.heise.de

Heißt das, man kann zukünftig ohne Problem die Pools von OminiOS/IO mit Napp-IT auch z.B. bei FreeBDS (TrueNAS) einsetzen, sobald die alle OpenZFS 2.x oder höher integriert haben ? Wie ist da der aktuelle Stand, wenn noch kein OZFS2.x zum Einsatz kommt?

 

[martingo]

Ich evaluiere eine Umstellung meiner verschlüsselten Dateisysteme von verschachtelten Filesysteme auf flach liegende Filesystems.
Bisher gebe ich einen Key für das oberste Filesystem ein und die darunter liegenden tatsächlichen Nutzfreigaben werden dann automatisch entschlüsselt. Das birgt aber auch Nachteile und wird so nicht unbedingt empfohlen.

Grundsätzlich war der Plan, auf den lokalen Keyserver zu gehen. Ich bin mir noch nicht ganz sicher, was der sinnvollste Weg wäre:
1. Ein großes Filesystem, in dem dann die eigentlichen Freigabeordner liegen und der Zugriff über ABE und Berechtigungen laufen, ist leicht zu berechtigen, hat aber mehrere große Nachteile: Die Replikation läuft auf Dateisystem-Ebene, d.h. ich kann nicht mehr zwischen dem 15minütigen-DMS-Backup an wechselnde Orte und dem wöchentlichen Homemedia-Backup auf eine externe Platte unterscheiden. Der Umzug eines Ordners (z.B. Homemedia) von einem Pool auf einen anderen (z.B. HDD auf SSD oder 3way-Mirror auf RaidZ1) ist zwingend mit einer Änderung der Freigabe verbunden (\\fileserver\HDD\Homemedia -> \\fileserver\SSD\Homemedia). Netzlaufwerke verbinde ich zwar über das Logon Script, aber UNC-Pfade werden immer wieder mal gebraucht und müssten dann jedes mal geändert werden.
2. Viele kleine Filesystems kann ich granular einstellen/sichern, aber, wenn ich die GUI verwende, muss ich nach dem Entsperren dann bei jedem einzelnen Filesystem auf Unlock klicken und den trägen Dialog abwarten?? Das Auto-Unlock beim Booten kann ich nicht nutzen, weil zu diesem Zeitpunk das keydata-Filesystem noch nicht entsperrt ist. Außerdem werden die Replication-Jobs echt unübersichtlich.

Übersehe ich etwas, wie macht Ihr es/was würdet Ihr empfehlen?

Eine Möglichkeit wäre direkt noch die Umstellung auf DFS, aber ich frage mich, ob ich da nicht gerade vom hundertste ins tausendste komme.