[Sammelthread] ZFS Stammtisch

[ludwinator]

Weniger grübeln, einfach mal nen zpool status -v rüberwachsen lassen, dann sehen wir weiter.
Lass die Finger von dem GUI!

cu

 

[Elmario]

root@freenas:~ # zpool status -v
pool: dotsystem
state: ONLINE
scan: scrub repaired 0 in 0 days 00:00:03 with 0 errors on Fri Dec 1 02:00:03 2017
config:

NAME STATE READ WRITE CKSUM
dotsystem ONLINE 0 0 0
gptid/96e8ade3-ce37-11e4-98ab-000c29055118 ONLINE 0 0 0

errors: No known data errors

pool: freenas-boot
state: ONLINE
scan: scrub repaired 0 in 0 days 00:00:27 with 0 errors on Thu Nov 29 03:45:27 2018
config:

NAME STATE READ WRITE CKSUM
freenas-boot ONLINE 0 0 0
da0p2 ONLINE 0 0 0

errors: No known data errors

pool: z2pool
state: ONLINE
scan: scrub in progress since Tue Jan 15 21:06:03 2019
1.89T scanned at 971M/s, 1.26T issued at 644M/s, 21.7T total
0 repaired, 5.77% done, 0 days 09:15:52 to go
config:

NAME STATE READ WRITE CKSUM
z2pool ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
gptid/2c5d710c-b611-814e-a225-1aa51e68a575 ONLINE 0 0 0
gptid/cc2da5ee-733a-c148-bf15-d20be715c5f2 ONLINE 0 0 0
gptid/45adb761-b939-284f-9019-e0ccf35e9c73 ONLINE 0 0 0
gptid/9ce5247f-331b-3148-9b38-c958d2bd057a ONLINE 0 0 0

errors: No known data errors

So sieht es jetzt aus. Formell ist Alles in Ordnung. Aber dass auf der HDD, die zuvor Schreibfehler meldete wirklich Alles OK ist kann ZFS ja nicht einfach so aus dem Stehgreif so behaupten, oder?
Edit:
OK, ich sehe gerade in der Statusausgabe dass ZFS auf dem Datengrab im Moment ja anscheinend einen Scrub ausführt... damit hat sich die Frage nach dem Scrub natürlich schon Mal erledigt.

 

[sch4kal]

und ggf. für FreeBSD-User

Wundert mich nicht weiter, aus der Linux-Ecke kamen viel mehr (und vielversprechendere) Patches zu OpenZFS, ist klar das dann in Richtung Linux geht.
Wobei ZoL ja gerade etwas auf der Kippe steht, siehe Beitrag weiter oben
Proxmoxx macht damit wohl keinen Sinn/Spaß mehr, zumindest aus momentaner Sicht.

 

[MisterY]

Proxmox hatte doch bei ZFS eh ein eigenes, kleines Süppchen gekocht.

 

[morph027]

Ne, die haben das nur schon viel eher als Kernelmodul gebaut.

 

[VirtuGuy]

Wundert mich nicht weiter, aus der Linux-Ecke kamen viel mehr (und vielversprechendere) Patches zu OpenZFS, ist klar das dann in Richtung Linux geht.
Wobei ZoL ja gerade etwas auf der Kippe steht, siehe Beitrag weiter oben
Proxmoxx macht damit wohl keinen Sinn/Spaß mehr, zumindest aus momentaner Sicht.

Linux 5.0: _kernel_fpu{begin,end} no longer exported · Issue #8259 · zfsonlinux/zfs · GitHub

Klingt nicht so dramatisch.

 

[Blackspoded]

Hey kann ich in napp-it die Smart Werte der am HBA angeschlossenen Festplatten auslesen?

 

[gea]

Menü Disks > Smartinfo > get smartvalues?

Mit Acceleration wird das in Echtzeit im Hintergrund für das Menü Disks > Smartinfo ermittelt
(smart auslesen kann mit vielen Platten dauern). Alle Details bekommt man da mit Klick auf die Smart SN.

 

[Turboschnecke]

Ich hab zwei 4TB Toshiba HDDs per RDM an eine OmniOS VM mit Napp-It durchgereicht. Nach Initialisieren hat er auch 4TB erkannt pro HDD. Hab dann einen Mirror gemacht und da hab ich jetzt nur 1,62TB zur Verfügung. Hab ich noch irgendetwas übersehen oder woran könnte das liegen?

Pool 	 VER 	 RAW SIZE/ USABLE 	 ALLOC 	 RES 	 FRES 	 AVAIL zfs [df -h/df -H] 	 DEDUP 	 FAILM 	 EXP 	 REPL 	 ALT 	 GUID 	 HEALTH 	 SYNC 	 ENCRYPT 	 ACTION 	 ATIME 	 PriCache 	 SecCache 	 ACLinherit 	 ACLmode 	 CP 	 Rdonly 	   
 Storage 	 5000 	 1.62T/ 1.6TB 	 7.28G 	 - 	 164G 	 1.57T   [1.6T /1.8T] 	 1.00x 	 wait 	 off 	 off 	 - 	 11495641880198607197 	 ONLINE 	 standard 	 n.a. 	 clear errors 	 on 	 all 	 all 	 passthrough 	 passthrough 	 no 	 no

pool: Storage
 state: ONLINE
  scan: none requested
config:

	NAME        STATE     READ WRITE CKSUM      CAP            Product /napp-it   IOstat mess          SN/LUN
	Storage     ONLINE       0     0     0
	  mirror-0  ONLINE       0     0     0
	    c2t0d0  ONLINE       0     0     0      4 TB           TOSHIBA MD04ACA4   S:0 H:0 T:0          X4KGK4UJFSBA
	    c2t1d0  ONLINE       0     0     0      4 TB           TOSHIBA MD04ACA4   S:0 H:0 T:0          X4KHK5RWFSBA

errors: No known data errors

 

[gea]

Werden die Platten über einen 6G/12G SAS HBA als Raw Device zur Verfügung gestellt?
Damit klappts eigentlich immer.

Ein 3G HBA oder RDM per Sata mit 2GB Beschränkung könnte die Ursache sein.

 

[Turboschnecke]

Öhm, die hängen direkt am Mainbord Supermicro X10SRL-F. In ESXi werden die auch mit 4TB erkannt. Kein HBA, den wollte ich mir erstmal sparen. Für meinen Zweck langen mir auch die verfügbaren 1,62TB, aber es würde mich schon interessieren, was ich eventuell falsch gemacht habe

 

[gea]

Es gibt ja nur zwei Optionen

1. RDM über den ESXi Sata Treiber ist eine unsupported Option
Geht halt nicht in der Konfiguration

2. Das Partitionsschema passt nicht
Da könnte man bei der Platte testhalber die Partition löschen und
eine GPT Partition neu anlegen. (eventuell in ESXi oder komplett außerhalb des ESXi Systems)

 

[sch4kal]

Seh ich das richtig, das zfs send bzw. zfs receive zwischen Solaris und FreeBSD (also OpenZFS) nicht möglich ist !?

 

[gea]

Oracle Solaris mit ZFS > v28/5 ist inkompatibel mit Open-ZFS (v5000).

 

[sch4kal]

Oracle Solaris mit ZFS > v28/5 ist inkompatibel mit Open-ZFS (v5000).

Alles klar, danke. Hast du zufällig die aktuelle VMWare Tools ISO für Solaris 11.4 ? Ist leider nicht auf meinem ESXi drauf :/

*EDIT* Nevermind, habs gefunden, hier https://my.vmware.com/group/vmware/details?downloadGroup=VMTOOLS1035&productId=491

 

[gea]

Die Tools aus ESXi 6.7u1 downloaden. Ältere laufen nicht ohne Tricks

 

[sch4kal]

Danke, die Tools laufen jetzt.
An meinem HBA (LSI 9300-8i mit SAS3008) erkannte Solaris nur eine Festplatte, ein Reboot hat das Ganze gelöst.

cfgadm -al

meldete die restlichen Festplatten als "unconfigured".

Da ich Neuling in napp-it bin, kann man beim Erzeugen eines neuen Pools auch Attribute mitgeben oder mache ich das besser noch per CLI ?
Hätte autoexpand=on setzen wollen, da ich in absehbarer Zeit Plane, auf größere Platten umzusteigen.

Btw: napp-it Pro Complete Home ist bestellt

 

[gea]

welche Attribute?

Mit einem HBA und Pass-through, einfach Platten einstecken und "Pools anlegen", z.B. aus einem Mirror oder Raid-Z. Eventuell "Pools erweitern" um weitere Mirror oder Raid-Z. Dann Dateisysteme anlegen und per SMB freigeben.

Autoexpand kann man auch nachträglich im Menü Pools ändern.

 

[sch4kal]

Gibt es schon Erfahrungsberichte bei der Verwendung von Smartcards ivm. PKCS#11 als Keystore unter Solaris 11.4 ?
Wenn nicht, würde ich mich da mal ran wagen und etwas testen (Nitrokey HSM).

 

[Wesumat]

Hi,

kann es sein, dass es unter napp-it 19.01b ein Problem mit der Anzeige der Snapshots in der gui gibt? Kann das eventuell jemand bestätigen?

Ich bekomme hier in der Tabelle Fehlermeldungen der Art. "For more info, run: zfs help list" und "bad property list: invalid property 'clones'"

 

[gea]

Kann ich bestätigen.
Solaris 11 unterstützt die ZFS Eigenschaft clones nicht (eines der neuen Features von Illumos).

Der Fehler ist in der aktuellen 19dev behoben.
Ich warte aber noch kurz ab ob der Fix sontige Nebenauswirkungen hat bevor ich den in die 18.12/19.02 übernehme.

napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris Changelog

 

[Wesumat]

Hallo gea,

danke für die rasche Rückmeldung, weiß ich Bescheid und brauche nicht weiter nach einem etwaigen Fehler in meinem setup schauen.

Warte dann auf die 19.02, da das System aktuell eh noch nicht produktiv ist.

 

[gea]

Einfach auf 19.dev updaten (Stand 23.Jan 2019)
Zur aktuellen 19.01 hat die zusätzlich

- Edit Disk Maps
- Replikation mit Linux als Ziel
- Chap Authentifizierung z.B. für Windows und iSCSI
Napp-IT ISCSI-Target with CHAP not working for Windows Initiators | ServeTheHome and ServeThe.Biz Forums

sowie für Solaris
- Behebung des List Snapshot Problems
- Option sasirci (Disk Location) zu deaktivieren

also eigentlich nichts kritisches

 

[gea]

ZFS benötigt Backups - auch mit 3way Mirror

Heute habe ich zum erstenmal in den 10 Jahren seit ich ZFS nutze ein Backup benötigt, davor ließ sich alles aus Snaps wiederherstellen. Wir hatten in unserem Stadtviertel einen kompletten Stromausfall. Trotz Blitzschutz hatten wir mehrere Defekte (Ein Netzteil, ein Mainboard, mehrere Platten) und eben einen defekten ZFS Datenpool (3 way Mirror, sowas gilt als extrem sicher, Ausfallwahrscheinlichkeit nahe Null).

Der Pool ließ sich nicht mehr importieren, egal mit welcher Platte. Es gab immer einen Absturz auch mit der Importoption -F bei der die letzte Transaktion übersprungen wird, auch mit neuestem OmniOS das erweiterte Pool Reparaturoptionen hat.

War hier kein Problem, ich habe tagesaktuelle Replikationen des Pools auf einem Online Backupsystem (und auf einem Offlinesystem das nur zum Backup eingeschaltet wird). War aber mal wieder eine Erinnerung dass es ab und an doch eines Disaster-Backup bedarf - auch mit ZFS das ansonst nahezu unkaputtbar ist.

 

[sch4kal]

Kein Online-USV dazwischen gehabt ? Das hatte meinem Arbeitgeber beim großen Stromausfall 08/2017 bei DigitalRealty (RZ Betreiber in FFM) den Arsch gerettet. Da hatte die Carrier-USV einen Defekt und hat eine starke Überspannung abgegeben, wer kein eigenes USV als zusätzliche Absicherung dazwischen hatte durfte nach Frankfurt gondeln und Netzteile/Mainboards tauschen.

 

[JohnnyBGoode]

Kann jemand ein "einsteigerfreundliches" Wiki zu Oracle ZFS empfehlen?

Bis bei Open ZFS der Funktionsumfang der Verschlüsselung auf dem Niveau von Oracle ZFS ist, würde ich gerne letzteres verwenden.

Um Anfängerfehler bei der heiklen, großen Migration von Hardware-RAID zu vermeiden (habe leider nicht genug HDDs, um immer ein Backup zu haben, die sind dann erst "hinterher" wieder frei), ist es ja wichtig, die Nomenklatur ordentlich zu lernen, um Missverständnissen vorzubeugen

 

[gea]

Unseren Haupt-Storage und VM Servern im RZ ist auch nichts passiert, (Gut ein defektes SuperMicro Netzteil, ein Mainboard wollte Bios Recovery und ein paar kaputte Platten). Lag beim Netzteil vermutlich daran dass wir Dual-Netzteile einsetzen und ein Bein ins Netz und eines an die USV hängen. Wir hatten über die Jahre halt mehr Abstürze durch USVs als durch unseren Energieversorger. Vermutlich haben wir im RZ auch den besseren Überspannungsschutz.

Hier handelt es sich um ein kleines externes System in einer Hochschuleinrichtung (ein HP Microserver 7, Gott hab ihn selig. Zeit den auszutauschen). Die haben keine USV - auch weil die sehr wartungsintensiv sind. ZFS ist normalerweise extrem unkritisch was Absturz angeht (auch beim Schreiben). Das steckt das Dateisystem problemlos weg. Selbst An- und Abstecken einzelner Platten beim Schreiben im Raid ist kein Problem. Hardware-Raid wär da längst gestorben. Überspannung war hier wohl das Problem beim Ausfall zweier Stadtviertel (zusammen mit dem HP Microserver, unsere (vielen) SuperMicro Server waren ja unkritischer)

- - - Updated - - -

Kann jemand ein "einsteigerfreundliches" Wiki zu Oracle ZFS empfehlen?

Bis bei Open ZFS der Funktionsumfang der Verschlüsselung auf dem Niveau von Oracle ZFS ist, würde ich gerne letzteres verwenden.

Um Anfängerfehler bei der heiklen, großen Migration von Hardware-RAID zu vermeiden (habe leider nicht genug HDDs, um immer ein Backup zu haben, die sind dann erst "hinterher" wieder frei), ist es ja wichtig, die Nomenklatur ordentlich zu lernen, um Missverständnissen vorzubeugen

Die (meine) beste Empfehlung lautet das zu nehmen was alle anderen mit ZFS nehmen und das als Web- Appliance zu installieren (Bei Solarish mit meinem napp-it) und dann zu lernen, vgl https://napp-it.org/doc/downloads/napp-it_build_examples.pdf

Dann kann man die Oracle Manuals lesen, Oracle Solaris 11 Documentation
Nach wie vor DIE ZFS Referenz, egal welche Plattform

Die Manuals sind aber für System Admins geschrieben. Am Anfang ist man erschlagen. Das Problem gründet aber in Sun. Als die ZFS erfanden war das die innovativste IT Firma überhaupt, angetreten um Windows NT Paroli zu bieten. Die haben derart viel in Solaris und ZFS integriert, das plättet einen am Anfang.

Also einfach ein passendes System nehmen, eine ZFS Web-Appliance aufsetzen (vielleicht da noch mal fragen) und nutzen. Dann lernen und fragen.

 

[CommanderBond]

Was ist der Sinn eines Offlinesystems außer dass es weniger Strom braucht als eine welches online ist? Ich mein bei Überspannungsschäden wie Blitzeinschlag dürfte es weitesgehend egal sein ob das System an oder aus ist solange die Kabel anne noch drin stecken oder?

 

[Trambahner]

Heut hab ich mal angefangen, OpenZFS for Windows auszuprobieren. Derzeit noch in einer VM am Desktop, aber am Wochenende muss ich dat mal direkt "am Blech" probieren.
Auch um z.B. ein paar Benches zu machen.
Ist ja noch frühe Alpha-Version, aber es scheint vorwärts zu gehen.

 

[Bzzz]

Du hast das Zauberwort ja selbst schon erwähnt...
Keine Wärme bzw. kein Verbrauch, kein Krach, kein 24/7-Betrieb von Consumerplatten, dazu nur eine 2m-Induktionsstummelantenne statt Elektronenautobahn zur Einschlagstelle. Außerdem sind Verschlüsselungstrojaner, die von Windows auf Linux auf ein ausgeschaltetes Solaris übersetzen, dort root werden, das Daten-ZFS entschlüsseln, Snaps löschen und dann alles einmal durch AES drehen ECHT selten Wärs ein Spermium, würde mans wohl verdienterweise David Copperfield nennen.