[Sammelthread] ZFS Stammtisch

[Digi-Quick]

Ok, ich will mal etwas detaillierter werden. Ich habe folgenden Controller für den es vermutlich keine Unterstützung von FreeNAS gibt mangels Treibers.
PMC Adaptec HBA 1000-16i

Eigentlich ist Der Treibersupport für Adaptec bei FreeBSD recht gut.
Allerdings findet man aktuellere HBAs / Raidcontroller nicht mehr unbedingt in der HCL, funzen aber trotzdem
z.B. ein LSI 9211-8i, funzt aber trotzdem, da Dieser einem LSI 2008 ROC nutzt - und der ist gelistet.
Ich finde auf die Schnelle keine Infos. auf welchem ROC / Chip die HBAs der "1000Series" basieren

Es gibt also 2 Möglichkeiten wenn du es ausprobierst.
es funzt, oder es funzt nicht

Nachtrag:
Adaptec HBA 1000-16I SATA/SAS LP-MD2 2288400-R | FreeNAS Community
Adaptec war mal 'ne Größe
Vermutlich haben die Kaufleute die Firma technologisch kaputtgemacht

Noch 'n Nachtrag
Top Picks for FreeNAS HBAs (Host Bus Adapters)
"We did test an Adaptec 1000-8i adapter in our lab’s ZFS test bed and it causes the server not to boot."

 

[CommanderBond]

Hat jemand erfahrungen mit SMR Platten und ZFS? Könnte ein simpler Pool eine Platte pro vdev und dann copies=2 funktionieren für ein simples Datengrab wo Daten nur geschrieben aber quasi nie geändert werden?

 

[besterino]

Hab ne Archive in einem Solaris 11.3 ZFS Single-Drive-Pool als Backup-Storage. Write "ab und zu", read "almost never". Scrub 1x im Monat. Bisher ohne Auffälligkeiten.

 

[Digi-Quick]

Ja, ich
[News] Seagate 8 TB Festplatte für unter 250 € nagelneu , wo ist der Haken ? - Seite 49

 

[Luckysh0t]

Guten Abend,

spricht etwas dagegen einen/mehrere 3ware 9650se im Singel Disk Mode in einer Napp-it als HBA zu nutzen ? Weil da hätte ich noch ein paar da.

 

[gea]

Eigentlich alles bis auf dass es nichts kostet.
Der Controller ist 10 Jahre alt und kann nur 3G Sata, Treiber wird es wohl nur für Linux geben und ob der Pool woanders sauber importiert werden kann, wenn man jede Platte als Single Disk nutzt müsste man testen.

Bis 6 Platten ist Onboard Sata 6G doppelt so schnell. Bei mehr Platten fällt ein aktueller HBA mit LSI 2008 Chipsatz finanziell nicht ins Gewicht (Dell, HP, LSI etc ab ca 60 Euro)

 

[rayze]

Vielleicht hat jemand eine Idee wie man das Problem lösen kann. Ich habe 8 SATA Platten an einem LSI SAS2308 hängen. Immer wenn die Platten Abends ausschalten (Spindown) und morgens der erste Zugriff erfolgt erhalte ich für jede Platte eine solche E-Mail

eid: 100
class: io
host: thinkserver
time: 2017-06-01 06:26:05+0200
vtype: disk
vpath: /dev/disk/by-id/ata-ST3000VN000-1H4167_Z3100N6H-part1
vguid: 0xD908E4629F427B0B
cksum: 0
read: 0
write: 0
pool: tank

ZFS has detected an io error:

eid: 96
class: io
host: thinkserver
time: 2017-06-01 06:25:31+0200
vtype: raidz
vguid: 0x4FD9F2D4DCB2E6B3
cksum: 0
read: 0
write: 0
pool: tank

eid: 101
class: io
host: thinkserver
time: 2017-06-01 06:26:13+0200
vtype: disk
vpath: /dev/disk/by-id/ata-ST4000VN000-1H4168_Z302G8N2-part1
vguid: 0x751B029CBA1F51A4
cksum: 0
read: 0
write: 0
pool: tank

Die Platten sind in Ordnung. Ich geh davon aus das ZFS der Spinup etwas zu lange dauert und er deswegen diese Meldung raushaut. Kann man bei ZFS on Linux irgendeinen Parameter (Timeout I/O) ändern um diese Fehlermeldung nicht mehr zu erhalten? Wenn die Platten durchlaufen gibt es keine Probleme. Nur Im Spindown kommt es zu dieser Meldung.

 

[hoppel118]

@rayze Schau mal hier:

0.6.5.6 - I/O timeout during disk spin up · Issue #4638 · zfsonlinux/zfs · GitHub

Ich habe das Problem auch. Es hängt irgendwie mit dem sequentiellen Spinup der HDDs, ZoL und lsi Controllern (Modul: mpt3sas) zusammen. Ja, es scheint so, als ob die Platten für ZoL einfach zu lange brauchen, bis sie up sind.

Auch wenn diese Meldungen zu sonst keinen Fehlern führen, habe ich den Spindown meiner HDDs bis auf weiteres deaktiviert. Habe ich alles bei github beschrieben.

Von daher bin ich auch an einer Lösung interessiert. Es gibt bei github noch weitere Issues, die alle dasselbe Problem beschreiben.

Das einzige was ich noch nicht getestet habe, ist ein Firmware-Update meines lsi 3008 auf die IT-Firmware. Da es sich um einen Onboard-Controller handelt, habe ich mich da bisher noch nicht rangetraut. Die IR-Firmware meines Controllers scheint auch schon etwas in die Jahre gekommen zu sein.

Was hast du denn so für Hardware im Einsatz?

Gruß Hoppel

 

[hoppel118]

Warum sollte ZFS das tun? Ich kann es mir zumindest nicht vorstellen.

Mein Server läuft 24/7. Da gibt's kein WoL. Der Spindown meiner 8 HDDs würde schon ein paar Euros sparen.

 

[rayze]

Was hast du denn so für Hardware im Einsatz?

Ist ein Supermicro X10SL7-F mit LSI SAS2308 onboard Flashed @ PH20.00.07.00-IT

Platten sind

pool
- vdev raidz1 : 3x Seagate NAS 4TB ST4000VN000 + 1 WD RED 4Tb WD40EFRX
- vdev raidz1 : 4x Seagate NAS 3TB ST3000VN000

Mein Server läuft 24/7. Da gibt's kein WoL. Der Spindown meiner 8 HDDs würde schon ein paar Euros sparen.

Ist bei mir ähnlich. Da es auch mein Proxmox Host ist auf welchen 8 VM's laufen (auf einem zweiten ZFS SSD Pool) ist WOL leider keine Option. Die Platten brauch ich 3-4 Stunden täglich. Die restlichen ~ 20 Stunden können die ruhig im Spindown sein.

 

[xymos]

Servus,

wie kann ich nach einer Neuinstallation und Import meines bestehenden Pools Napp-it beibringen, wieder meine LU - sprich Comstar Volumes wieder zu nutzen ?

 

[hoppel118]

@rayze Ok, dann befinden wir uns hardwareseitig in einer ähnlichen Situation. Ich habe:

Supermicro X11SSH-CTF
mit LSI SAS3008

Du hast die IT-Firmware schon drauf. Das bringt also auch nichts. Im BIOS des SAS-Controllers kann man konfigurieren, wie viele Platten beim sequentiellen Spinup gleichzeitig hochgefahren werden sollen. Damit habe ich mich auch noch nicht so richtig beschäftigt. So könnte man die Spinup-Dauer auch noch verkürzen. Vielleicht klappt das. Hast du dich damit schon beschäftigt?

Hast du irgendwo eine verlässliche Anleitung für das Flashen der IT-Firmware? Wollte dazu eigentlich Supermicro anschreiben.

Gruß Hoppel

 

[rayze]

Die Option für staggered spin up kannte ich ehrlich gesagt noch nicht. Hab das Board erst eine Woche.

Du meinst folgendes?


Habe ich jetzt mal Testweiße auf 8 gesetzt.

Anleitung habe ich nur diese hier . Danach hab ich meinen Controller geflashed.

Edit: leider nicht die Lösung.
Hab die Disk schlafen geschickt. Dann während ich die Disks Anlaufen gehört hab kamen schon die ersten E-Mails. Habe dann mit hdparm geprüft ob die Disks schon laufen. Bei sda ist das script schon ca. 3 Sekunden stehen geblieben bis ich die Zeile drive state is angezeigt bekommen hab. Der Rest ist in einem Rutsch angezeigt worden. Die Disks befinden sich also beim Spinup in einem State der nicht von hdparm abgefragt werden kann und wohl auch auf keine Kommandos reagiert. Denke das könnte ZFS nicht schmecken und deswegen Meckern.

[root@thinkserver:~/scripts# ./disk_is_spindown.sh

/dev/sda
 drive state is:  active/idle

/dev/sdb
 drive state is:  active/idle

/dev/sdc
 drive state is:  active/idle

/dev/sdd
 drive state is:  active/idle

/dev/sde
 drive state is:  active/idle

/dev/sdf
 drive state is:  active/idle

/dev/sdg
 drive state is:  active/idle

/dev/sdh
 drive state is:  active/idle

 

[hoppel118]

Ja, genau das diese Option meinte ich. Berichte Mal, ob das bei dir klappt.

 

[hoppel118]

Das ist bescheiden. Aber nun gehen mir leider alle Ideen aus...

 

[gea]

Servus,

wie kann ich nach einer Neuinstallation und Import meines bestehenden Pools Napp-it beibringen, wieder meine LU - sprich Comstar Volumes wieder zu nutzen ?

Wenn die iSCSI Targets im Menü ZFS Dateisysteme als Share-Eigenschaft eines Dateisystems erstellt wurden, so kann in diesem Menü das Target einfach wieder aktiviert werden. Die GUID bleibt dabei erhalten.

Wurde das Target über das Menü Comstar erstellt, so kann man das LU/Logical Unit hier wieder importieren. Anschliessend wieder ein View setzen und man kann auf das Target zugreifen.

 

[the_pi_man]

@gea
Was bedeuten die blauen Werte in der Spalte IOstat mess?

 

[xymos]

Ich habe das Problem, dass ein "stmfadm list-lu -v" mir keine LU anzeigt. Auch beim Import wird keine als verfügbar angezeigt.
Entsprechend kann ich auch kein View setzen.

Share Eigenschaft als Dateisystem:



Ist damit diese Option gemeint ?

 

[CommanderBond]

Was muss man beachten damit OmniOS als VM die Platten welche mit RDM durchgereicht wurden herunterfährt (SpinDown)?
Host ist Esxi. Habe den Timer in OmniOS mal auf 120s gesetzt, aber da tut sich überhaupt nix, geht das überhaupt?

 

[gea]

Ich habe das Problem, dass ein "stmfadm list-lu -v" mir keine LU anzeigt. Auch beim Import wird keine als verfügbar angezeigt.
Entsprechend kann ich auch kein View setzen.

Share Eigenschaft als Dateisystem:

Anhang anzeigen 402907

Ist damit diese Option gemeint ?

Ja.
Bei iSCSi Share als Dateisystem-Eigenschaft wird ein zvol/Lu mit dem GUID Namen im Dateisystem angelegt. Ist so ein zvol vorhanden, kann das iSCSI LUN hier einfach jederzeit wieder aktiviert werden. Das klappt aber nur mit Zvols die in diesem Menü angelegt wurden.

Wurde das Logical Unit per Menü Comstar angelegt, muss es erst importiert werden damit es mit stmfadm angezeigt werden kann. War das LU auf einem Zvol angelegt, so kann man das zvol beim Import auswählen (Ist das zvol denn vorhanden, siehe Menü Comstar > Volumes). War das LU auf einer Datei angelegt, so muss die Datei manuell angegeben werden.

Erst nach dem Import der Logical Unit kann man Views darauf setzen

 

[nas4me]

moin

hab mal ne frage bezgl. USB2.0
soweit ich weiss unterstützt omniOS/Nappit kein usb3.0 also wollte ich via esx-host der VM einen virtuellen usb2.0Controller spendieren. gesagt getan.

der controller wird erkannt und auch ein usb stick, beim stick werden aber nur 0 MB angezeigt, außerdem weiss ich auch nicht wo/wie ich in einen Ordner vom Stick komme. Vielleicht hat jmd. einen Tipp für mich.

Ich habe auch versucht einen USB Controller durchzureichen, aber komischerweise schlägt dann ein vCore auf 100%



Meine Hardware:
x10slh-f
xeon 1230v3
lsi 9240 8i mit IT-9210
16 GB RAM


mfg nas4me

 

[xymos]

r151014 --- > USB 3.0 XHCI controller and device support


Welche OmniIOS Version hast Du ?

- - - Updated - - -

@ Gea

danke Dir !
Werde ich gleich mal testen.

- - - Updated - - -

Hier mal was aus meiner "Praxis".
Seit 1991 bin ich ein Apple User. Auch wenn mich so manches aktuell massiv stört, bin ich dem OS treu geblieben.
Und aktuell hasse ich mich dafür...

Ich nutze seit 2011 ZFS auf meinen FileServern und administriere sie mit Napp-it. Soweit alles Super !
Im Zuge der Modernisierung meiner Netze, ersetze ich 1g durch 10g.
Heute war ich am verzweifeln, bis mir beim Klettern in der Halle, meine Lösung einviel..

Ich konnte ums verrecken Teile meiner Ordner und Dateien nicht kopieren. Dabei war es egal, ob ich von OSX, FreeBSD, Linux usw versucht habe zu verschieben.
SMB und OSX war lange so ein Thema mit schlechter Performance. Ergo nutze ich AFP, bis ich seit OmniOS und SMB 2.1 AFP den rücken kehrte.
Alle Pools wurden beim Systemwechsel immer nur importiert und mein "Problem" von dem ich damals nichts ahnen konnte, immer umschifft.


ZFS 5000 mit Feature Flags wird von Solaris 11.3 nicht unterstützt. Ergo musste ich die Pools neue bauen. Ich nutze auch die Zeit, um alle Dateien zusätzlich auf eine USB HDD zu sichern, falls auch mal das
Backupsystem platt sein sollte.....und da hatte ich den Salat. NICHTS GING ! Andauernd Fehler -43 unter OSX und Windows konnte / wollte nicht kopieren.

Zu AFP Zeiten nutze ich "? [] / \ = + <>; : ", |" in meinen Ordner. Dämlich, wie sich heute herausstellte. Somit war klar, da lag der Fehler.
Nach dem umbenennen der Ordner und Dateien lief dann alles....nervig.

Frage: wie hätte man das im Nachgang anders machen können ?

 

[gea]

Wenn man etwas plattformübergreifend nutzt, sollte man derlei Zeichen nie in Dateinamen nutzen.
Aber man kann ja danach suchen und ersetzen (zur Not per Unix find / -name)

 

[nas4me]

@xymos
danke für die info
habe mir jetzt 151022 drauf gemacht mal schauen was da geht ....

- - - Updated - - -

c1t0d0   	 Soft Errors: 0   	 Hard Errors: 5   	 Transport Errors: 0   	   
    	 Vendor: NECVMWar   	 Product: VMware IDE CDR10   	 Revision: 1.00   	 Serial No:  
    	 Size: 0.00GB <0 bytes>  	    	    	   
    	 Media Error: 0   	 Device Not Ready: 5   	 No Device: 0   	 Recoverable: 0  
    	 Illegal Request: 1   	 Predictive Failure Analysis: 0

erkennen tut er die vmware controller aber den usb stick nicht, ich spiel mal etwas rum vielleicht finde ich es raus ....

- - - Updated - - -

so stick wurde erkannt aber size bleibt bei 0 GB

hat da jemand einen tipp ?

c14t0d0   	 Soft Errors: 0   	 Hard Errors: 0   	 Transport Errors: 0   	   
    	 Vendor: Intenso   	 Product: Ultra Line   	 Revision: 1.00   	 Serial No:  
    	 Size: 0.00GB <0 bytes>  	    	    	   
    	 Media Error: 0   	 Device Not Ready: 0   	 No Device: 0   	 Recoverable: 0  
    	 Illegal Request: 0   	 Predictive Failure Analysis: 0

 

[xymos]

Welches Format hat der Stick ?

 

[nas4me]

Welches Format hat der Stick ?

fat32

 

[xymos]

Ok, das mit dem Import hat soweit funktioniert. Ein View konnte ich auch setzen. Allerdings will der Initiator das Volume nun neu installieren.. ?

 

[nas4me]

mir ist eben aufgefallen , nach einem reboot ist der stick komplett da auch die größe wurde erkannt aber das system entfernt es automatisch

 

[gea]

Ok, das mit dem Import hat soweit funktioniert. Ein View konnte ich auch setzen. Allerdings will der Initiator das Volume nun neu installieren.. ?

Wenn man eine neue GUID beim LU Import angibt ist das zu erwarten.

Das ist der Vorteil der iSCSI Targets über das Menü ZFS Dateisysteme und iSCSI Sharing.
Da setze ich die GUID als Teil des Zvol Namens. Damit ist die alte GUID beim Import bekannt.

- - - Updated - - -

Anhang anzeigen 402967
mir ist eben aufgefallen , nach einem reboot ist der stick komplett da auch die größe wurde erkannt aber das system entfernt es automatisch

Wird denn der Stick sauber erkannt, wenn man an der Console format aufruft (format dann mit ctrl-c beenden)

 

[nas4me]

Wird denn der Stick sauber erkannt, wenn man an der Console format aufruft (format dann mit ctrl-c beenden)

unter format ist kein usb stick zu sehen nur 2 hdds und die vmware disk
komisch