[Sammelthread] ZFS Stammtisch

[gea]

Tritt das Problem auf beiden Pools auf?
Was für ein HBA/ Firmware wird benutzt?

Was für ein Disk-Timeout ist eingestellt?
In /etc/system oder napp-it Appliance - Tuning

Irgendwelche speziellen Einstellungen wie LACP/ Jimboframes
Tritt das Problem auch auf, wenn man sync deaktiviert = LU writeback enabled

 

[sashXP]

Tritt das Problem auf beiden Pools auf?
Was für ein HBA/ Firmware wird benutzt?

Hi Gea,
danke für Deine Rückmeldung, als HBA ist ein LSI 9300-8i SAS3 im Einsatz. Die Firmware weiß ich aktuell nicht, sie "sollte" aber aktuell sein. Wenn das wirklich relevant ist, checke ich das, bzw. lass ich das checken.
Problem tritt auf beiden Pools auf, damit meine ich, auf dem "slow" wird der scrub durchgeführt und Windows schmeißt - die Festplatten - also beide Devices - raus - also vom "slow" wie auch vom "fast" - die sind gesondert exportiert.

Was für ein Disk-Timeout ist eingestellt?
In /etc/system oder napp-it Appliance - Tuning
Irgendwelche speziellen Einstellungen wie LACP/ Jimboframes
Tritt das Problem auch auf, wenn man sync deaktiviert = LU writeback enabled

Das Disktimeout ist nicht verändert, da in /etc/system komplett auskommentiert ist - also Standard?! Es ist eine einzige 10GBit Leitung, also ohne LACP - ABER: es sind Jumboframes aktiv - auf dem OmniOS Host sind MTU9000 eingestellt und auf den Clients - den HyperV Servern sind ebenfalls die Jumbos aktiv.
sync ist auf beiden Pools auf "Standard" - mit deaktiviert habe ich es noch nicht ausprobiert. Writebackcache ist ebenfalls disabled - mit anderen Einstellungen habe ich es noch nicht probiert, da das immer zu einem "Totalausfall" führte :-/

Hast Du einen Tipp?



p.s. - habe eben Napp-It Pro gekauft ;-)

 

[gea]

HBA
Probleme gabs vor allem mit den LSI 2008 Controllern und Firmware 20 bis 20.004
Mit dem 3008 LSI sind mir keine Probleme bekannt.

Jumbo Frames machen gerne Probleme.
Ich würde auf MTU 1500 zurückgehen und schauen ob das Problem bleibt.

Die generelle Last kann man mit Sync = disabled verringern.
Das kann helfen um zu entscheiden ob es primär ein Lastproblem ist, also
sync = disabled auf dem Zvol Dateisystem bzw
Sync = default + Writeback Cache=enabled auf dem LU bewirkt dasselbe

btw
Danke

Gea

 

[fdiskc2000]

HBA
Probleme gabs vor allem mit den LSI 2008 Controllern und Firmware 20 bis 20.004

@gea: aber nicht zufällig der Art, das das System mit einem Kernel Panic rebootet und dadurch die NFS Shares über den Jordan gehen und die VM´s ebenso? Erst nach einem kompletten ESXI Reboot läuft wieder alles?
Rein zufällig habe ich einen LSI9211-8i und den im Februar gekauft/umgeflasht. Und die 20.00.07 ist vom 04/2016 was den Schluss nahe liegt, ich habe irgend eine der "defekten" 20er drauf? (gerade läuft er, ich muss beim nächsten reboot mal genau schauen)

 

[pumuckel]

https://forums.servethehome.com/index.php?threads/flashing-dell-h310-for-windows-server-2016.10431/

da schon behandelt

 

[fdiskc2000]

Danke Pumuckel. Hat mir doch keine Ruhe gelassen und ich habe nachgeguckt. Es ist die 20.00.04.00 drauf. Macht also wohl Sinn, das Ding neu zu flashen.

@gea: kannst Du sagen ob meine Probleme an der FW liegen?

@gea/pumuckel: lieber die P20 oder doch noch die P19 flashen?

 

[gea]

Danke Pumuckel. Hat mir doch keine Ruhe gelassen und ich habe nachgeguckt. Es ist die 20.00.04.00 drauf. Macht also wohl Sinn, das Ding neu zu flashen.

@gea: kannst Du sagen ob meine Probleme an der FW liegen?

@gea/pumuckel: lieber die P20 oder doch noch die P19 flashen?

Ein Kernel Panic ist meist defekte Hardware oder Treiber.
Ein Firmware kann Ursache sein, ich vermute aber eher weniger. Die 20.00.4 gilt bereits als stabil.

Wenn einem aber nichts anderes auffällt, kann man aber schon die P19 oder 20.0.0.7 testen.
in den System Logs oder System Faults gabs keine weiteren Infos?

 

[fdiskc2000]

Hm, die logs ... guter Einwand ... wenn ich nicht eine neue Napp-IT VM aufgesetzt hätte mit falschem Zeitstempel. So finde ich da aktuell nichts mehr zu dem Zeitpunkt.
Beim nächsten Crash liefere ich Dir die, versprochen

 

[qoosinoo8]

Vielen Dank an gea & besterino

Ich habe noch eine Frage. Ist es normal, dass ZFS so viel Speicherplatz verschlingt? Ich habe jetzt 3x 2TB HDDs (Seagate NAS) in einem Raid Z Pool am Laufen und habe darauf 3-4 Filesysteme erstellt (mit 10% Reserve). Nun habe ich den Speicher (NFS) in ESXi eingebunden und es zeigt mir gerade mal 3,16TB verfügbaren Speicher an (ich habe noch keine Daten darauf gespeichert). Ist das normal?

 

[fdiskc2000]

3x 2TB mit Raidz bedeutet eigentlich schonmal nur 2x2TB = 4TB (lt. Angabe auf den HDD). 1 ist ja nur parity.

Bei korrekter Umrechnung werden aber auf den 4TB nur noch rund 3,6. Davon 10% Reserve = 3,24 wenn ich in allem richtig gerechnet habe. Schau mal in die Poolübersicht. Und da ist Deine Differenz nicht mehr so groß. Entweder habe ich falsch gerechnet oder Du hast irgendwo noch etwas "Verbrauch"

 

[qoosinoo8]

Bei der Poolübersicht sieht es aktuell so aus:



Verwendet werden 3x 2TB Seagate NAS HDDs im Raid Z Verbund, dazu 2x 120GB Sandisk SSDs als Mirror.

 

[fdiskc2000]

Und Deine ZFS-Dateisysteme Übersicht?
Und hast Du evtl. schon was drauf gehabt und Snapshots erstellt?

 

[qoosinoo8]

ZFS Übersicht:



Snaps habe ich noch nicht erstellt, ich habe aber mehrmals den Pool & die ZFS Dateisysteme gelöscht und neue erstellt? Evtl. wird nicht alles gelöscht?


Ich habe noch eine Frage bzgl. der Dateisystem- bzw. Ordnerstruktur: 2 Pools habe ich ja bereits erstellt (SSD & HDD Pool) und der Server soll als Fileserver dienen. Nun habe ich 2 ZFS Dateisysteme (ssd_esx & hdd_esx) erstellt und diese via NFS in ESXi eingebunden.

Wie ich gelesen habe, soll ja die Shares für ESXi und für die User getrennt werden, d.h. ich habe jetzt noch 2 ZFS Dateisysteme (hdd_userdata & ssd_userdata) für sämtliche Files erstellt.

Soll ich nun die weiteren Shares (u.a. für Timemachine Backup, Public Ordner, Bilder, ...) als weitere Dateisysteme erstellen? Falls ja, sollen diese direkt unter dem Pool laufen, d.h. zb hdd_pool/public/ ; hdd_pool/timemachine/ oder unter dem userdata Filesystem (also hdd_pool/hdd_userdata/public ; hdd_poll/hdd_userdata/timemachine/) ?

Ich frage mich nur, ob da nicht irgendeine Vererbung im Spiel ist, also das zB alle Filesysteme unterhalb hdd_userdata von hdd_userdata erben.

Vielen Dank schon mal im Voraus

 

[fdiskc2000]

ZFS Übersicht:

Anhang anzeigen 371014

Snaps habe ich noch nicht erstellt, ich habe aber mehrmals den Pool & die ZFS Dateisysteme gelöscht und neue erstellt? Evtl. wird nicht alles gelöscht?

Doch wird es. Wie aus Deinen 4TB nur noch 3,51TiB werden kannst Du hier mal nachlesen. Ich muss auch immer mal wieder nachschlagen. Dann von den 3,51 noch die 10% Reservierung runter: ergibt die 3,16TiB

Ich habe noch eine Frage bzgl. der Dateisystem- bzw. Ordnerstruktur: 2 Pools habe ich ja bereits erstellt (SSD & HDD Pool) und der Server soll als Fileserver dienen. Nun habe ich 2 ZFS Dateisysteme (ssd_esx & hdd_esx) erstellt und diese via NFS in ESXi eingebunden.

Wie ich gelesen habe, soll ja die Shares für ESXi und für die User getrennt werden, d.h. ich habe jetzt noch 2 ZFS Dateisysteme (hdd_userdata & ssd_userdata) für sämtliche Files erstellt.

Soll ich nun die weiteren Shares (u.a. für Timemachine Backup, Public Ordner, Bilder, ...) als weitere Dateisysteme erstellen? Falls ja, sollen diese direkt unter dem Pool laufen, d.h. zb hdd_pool/public/ ; hdd_pool/timemachine/ oder unter dem userdata Filesystem (also hdd_pool/hdd_userdata/public ; hdd_poll/hdd_userdata/timemachine/) ?

Ich frage mich nur, ob da nicht irgendeine Vererbung im Spiel ist, also das zB alle Filesysteme unterhalb hdd_userdata von hdd_userdata erben.

Vielen Dank schon mal im Voraus

Ich habe das zumindest so meine ich anfangs mal als Empfehlung gelesen und lege daher auch kein Filesystem unter einem andern an, also alles direkt unter dem pool. Ich finde so kann man die jeweiligen Dienste/Quota etc. auch besser steuern.
TimeMachine ist ein gutes Beispiel. 1x TM mit 1TB für das Macbook und 1xTM für den Mac Pro mit 1,5TB. Jeweils halt eine eigene Quota.

Aber nachher kommen sicher noch die anderen Jungs hier, die das besser beantworten können.

 

[sashXP]

Hilfe! ;-(
Ich habe eben mittels Napp-it einen Pool zerstört und wollte ihn direkt wieder anlegen. Das klappt aber nicht! Napp-It will ein "parted -lm" aufrufen, bekommt aber kein Ergebnis zurück - genauso auf der Console - wenn ich parted -lm manuell ausführe, kommt nichts zurück!

Was kann ich tun? Ich kann/will den Server nicht einfach neustarten...

 

[besterino]

Äh. Willst du die Daten wieder haben oder einfach neuer Pool mit gleichem Namen?

 

[sashXP]

Äh. Willst du die Daten wieder haben oder einfach neuer Pool mit gleichem Namen?

nur einen neuen Pool anlegen, aber soweit komme ich ja gar nicht...

NACHTRAG: ein Menü Disk - Initialize bleibt genauso hängen...

 

[besterino]

Geht ein Pool mit einem anderen Namen? Wenn ja, guck mal, ob das Verzeichnis noch da ist (müsste unter / sein) und wenn ja lösch mal das Verzeichnis manuell (rm -R POOLNAME). Bei mir bleiben die Filesysteme auch ab und an mal über (hab noch nicht raus ob immer und wieso).

 

[sashXP]

Ich habe jetzt länger gewartet und ich komme zumindest jetzt dazu einen neuen Pool anzulegen, nachdem ich das gemacht habe, hängt das aber schon wieder:

p1--- _lib _lib/illumos/get-disk.pl &get_mydisk_parted 14 <- admin.pl (eval) 871 <- admin.pl &load_lib 553 ---

main, /_lib/illumos/get-disk.pl, line 210
exe (get-disk.pl 28): parted -lm

EDIT: die anderen Pools sind noch da - das ist alles OK. Aber den Pool, den ich gelöscht habe - ist richtigerweise weg (ohne rm -R POOLNAME)

 

[gea]

Das Unix Tool parted liest die Partitionsdaten einer Platte.

Da es hier hängt gibts die Optionen
- Support für Partitionen abschalten (Disks > Partitions > disable Partition support)

dann die alten Poolplatten eventuell neu initialisieren (Disks > initialize)

 

[qoosinoo8]

Mein Aufbau: ESXi Host mit Dell Perc Controller welcher an

Frage bzgl. Napp-It: Wenn ich den NFS Share in ESXi einbinde (Napp-It ist auf dem selben Server, und läuft mit durchgereichtem Dell Perc Controller), nehme ich da ganz normal die IP von der Napp-It VM? So muss ich ja immer den Umweg über den DHCP Server bzw. Router (in meinem Fall FritzBox) gehen. Gibts da nicht irgendeine Möglichkeit, dies zu umgehen (localhost IP etc.)? Fällt der Router aus, ist der gesamte Server ja auch down.

 

[effemmess]

Auf Servern richtet man typischerweise feste IP-Adressen ein, also auch auf der Napp-it-VM. Über diese kannst du dann den ESXi über NFS anbinden.

Gesendet von meinem Redmi Note 2 mit Tapatalk

 

[besterino]

Für diese Zwecke bietet sich durchaus eine feste IP an, glaub bei der Fritzbox standardmäßig 1-20 und 250-254 vom DHCP-Dienst ausgeklammert.

 

[effemmess]

Naja, da hat wohl jeder Admin seine eigene Strategie... Bei mir haben Storages die 61-69.

Gesendet von meinem Redmi Note 2 mit Tapatalk

 

[teqqy]

Wer mehrere Storages betreibt hat im Regelfall auch keine Fritzbox als Router da stehen die DHCP macht.

Ich habe übrigens, wie gea das auf seiner Seite schreibt, eine dedizierte Verbindung über eine 10 GBit virtuelle Netzwerkkarte gemacht und diese in ein eigenes Storage Netz gepackt. Da konnte ich mir zumindest das rumfummeln mit den NFS Berechtigungen sparen.

Anderes Thema:
Da ich immer total wankelmütig bin, überlege ich gerade meinen SSD Raid1 für die VMs aufzulösen und die VMs auf das RaidZ2 der HDDs zu legen. Die Consumer SSDs dann als ZIL und LARC2 zu verwenden. Wäre da die Performance mit ca. 10 VMs noch okay, oder darf ich mit bootzeiten von 2 min für ne Linux VM rechnen?

 

[qoosinoo8]

Danke für Eure Hilfe!

Ich habe noch ein Problem mit napp-it & Timemachine Backup. AFP habe ich via Konsole installiert, NBMAND ist ausgeschaltet und das Filesystem ist auch freigeschaltet.

Der Timemachine bzw. AFP Share taucht auch als Timemachine Medium auf, nur bekomme ich jedes mal eine Fehlermeldung, wenn ich ihn als Backupmedium einbinden will ("Time Machine kann nicht auf das Backup-Volume "timemachine" zugreifen. Der Vorgang konnte nicht abgeschlossen werden. (OSStatus-Fehler 2.)")

Medium & Fehlermeldung:




Der User gehört zur Unix Gruppe staff und ich denke das auch die Einstellungen passen (siehe hier die Screenshots):

User Übersicht:


ZFS Filesystem Übersicht:


Folder ACL & Share ACL Übersicht:





Vielen Dank im Voraus

 

[zos]

Danke für Eure Hilfe!

Ich habe noch ein Problem mit napp-it & Timemachine Backup. AFP habe ich via Konsole installiert, NBMAND ist ausgeschaltet und das Filesystem ist auch freigeschaltet.

Der Timemachine bzw. AFP Share taucht auch als Timemachine Medium auf, nur bekomme ich jedes mal eine Fehlermeldung, wenn ich ihn als Backupmedium einbinden will ("Time Machine kann nicht auf das Backup-Volume "timemachine" zugreifen. Der Vorgang konnte nicht abgeschlossen werden. (OSStatus-Fehler 2.)")

Vielen Dank im Voraus

Hast Du denn die Datei /etc/afp.conf an Deine Gegebenheiten angepasst?

Siehe hierzu auch die netatalk-Dokumentation sowie einen Thread im servethehome-Forum.

 

[qoosinoo8]

Hast Du denn die Datei /etc/afp.conf an Deine Gegebenheiten angepasst?

Siehe hierzu auch die netatalk-Dokumentation sowie einen Thread im servethehome-Forum.

Vielen Dank, aber es läuft leider immer noch nicht...


Ich habe auch wie gea im servethehome Forum beschrieben hat, die ACLs resettet. Ich zitiere ihn mal:

gea:

"napp-it Menu ZFS filesystems, click on a filesystem row under "Folder ACL"
You see a listing of permissions. below the listing is "reset ACL"

Set to modify, recursive"

Meine AFP Config sieht aktuell so aus:

;
; Netatalk 3.x configuration file
;

[Global]
; Global server settings
log level = default:warn
log file = /var/log/afp.log
; hosts allow = 0.0.0.0/24
disconnect time = 1

; [Homes]
basedir regex = /hddpool/timemachine

; [My AFP Volume]
; path = /path/to/volume


[timemachine]
path = /hddpool/timemachine
vol size limit = 300000
time machine = yes
valid users = @staff

Wenn ich jetzt den Server mit "afp://192.168.178.79" hinzufüge (im Finder), dann bekomme ich folgende Fehlermeldung, dass die Freigabe nicht existiert. Auch mit "afp://192.168.178.79/timemachine" bekomme ich die selbe Fehlermeldung.

 

[gea]

Ist es denn die richtige afp.conf?

Wenn man netatalk manuell installiert, kann die je nach Verfahren woanders landen z.B.
/usr/local/etc/afp.conf oder /opt/netatalk/etc/afp.conf

Ansonsten braucht netatalk
- nbmand muss off sein
- es muss Ändern-Rechte auf dem Share geben
- aclmode und aclinherit=pass-through

Dann sollte es gehen (Habs schon lange nicht mehr gemacht da Netatalk gerne rumzickt)

 

[effemmess]

LSI 9300-16i

Moin,

kann mir jemand bestätigen, dass der LSI 9300-16i auf einem Supermicroboard unter ESXi6U2-Passthrough-OmniOS funktioniert?
Gibt es bestimmte Dinge zu konfigurieren, damit er problemlos läuft?

In meiner Konfiguration bricht die Leistung nach kurzer Zeit schon bei geringer Last (100MB/s) auf dem HBA ein und ich bekomme dann permanent folgende Meldungen im Log:

Aug 28 19:24:35 vsan-01 scsi: [ID 243001 kern.info] 	w4433221100000000 FastPath Capable but Disabled
Aug 28 19:24:35 vsan-01 scsi: [ID 243001 kern.info] 	w4433221101000000 FastPath Capable but Disabled
Aug 28 19:24:35 vsan-01 scsi: [ID 243001 kern.info] 	w4433221102000000 FastPath Capable but Disabled
Aug 28 19:24:36 vsan-01 scsi: [ID 243001 kern.info] 	w4433221103000000 FastPath Capable but Disabled
Aug 28 19:24:36 vsan-01 scsi: [ID 243001 kern.info] 	w4433221106000000 FastPath Capable but Disabled
Aug 28 19:24:36 vsan-01 scsi: [ID 243001 kern.info] 	w4433221107000000 FastPath Capable but Disabled
Aug 28 19:24:37 vsan-01 scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci15ad,7a0@18/pci1000,3130@0 (mpt_sas19):
Aug 28 19:24:37 vsan-01 	MPT Firmware Fault, code: 5854
Aug 28 19:24:39 vsan-01 scsi: [ID 365881 kern.info] /pci@0,0/pci15ad,7a0@18/pci1000,3130@0 (mpt_sas19):
Aug 28 19:24:39 vsan-01 	MPT Firmware version v12.0.0.0 (SAS3008)
Aug 28 19:24:39 vsan-01 scsi: [ID 365881 kern.info] /pci@0,0/pci15ad,7a0@18/pci1000,3130@0 (mpt_sas19):
Aug 28 19:24:39 vsan-01 	mpt_sas19 SAS 3 Supported
Aug 28 19:24:39 vsan-01 scsi: [ID 365881 kern.info] /pci@0,0/pci15ad,7a0@18/pci1000,3130@0 (mpt_sas19):
Aug 28 19:24:39 vsan-01 	mpt19: IOC Operational.
Aug 28 19:24:46 vsan-01 scsi: [ID 243001 kern.info] 	w4433221100000000 FastPath Capable but Disabled

Beim Betrieb mit einem SSD-Pool passiert dies nach 30s, mit einem HDD-Pool nach 1-2min.
Das Teil wird ziemlich heiß, aber auch ein separater Lüfter hat nicht geholfen.
ich habe testweise den LSI-9300 mal durch einen LSI-9211 ersetzt - da ist alles bestens.

Meine Konfig:
Supermicro X10DRi-T4+
LSI SAS 9300-16i - neueste IT-Firmware 12.00.00.00
6x Toshiba OCZ VT180
4x HGST Ultrastar 7K6000 ISE 512e 6TB

Ist ausgerechnet mein niegelnagelneuer LSI-9300 defekt oder sind da Probleme bekannt?