[Sammelthread] ZFS Stammtisch

[CommanderBond]

Woran kann es liegen dass die Verbindung zu einem SMB Share unterbrochen werden kann?

Ich habe das manchmal oft wenn ich etwas gleichzeitig lese und schreibe dass die Verbindung einfach abbricht und sekunden später wieder da ist. Dennoch brechen dann alle Filetransfers ab.

Benutze Win8.1 mit Explorer kein Teracopy oder sowas und OmniOS mit Nappit.

Hatte das Problem vorher nicht, erst seit so ein paar Wochen immer mal. Meist bei viel Last und ganz besonders oft wenn ich viele kleine Dateien lade, zB ein Ordner mit vielen Fotos öffne. Ist alles über Gbit Lan angebunden.

Dachte erst es liegt daran dass ich die Platte über USB angebunden habe. Aber bei einem internen Mirror (2x SATA) passiert genau das gleiche.

 

[millenniumpilot]

Ich verwende einen AIO nach gea und habe das leider auch immer, aber noch keine Ursache entdeckt. Egal ob jdownloader intensiv parallel auf ein smb-Share schreibt, ich viele gleichzeitige Kopieraktionen starte oder meine VM mit Backup Exec auf ein SMB-Share sichert, anstatt seinen Plattenspeicher als vdmk einzubinden. Grundsätzlich tauchen die Probleme bei mir immer nur beim Schreiben per CIFS auf. Binde ich meine Medien anders ein, gibt es keine Probleme.
Muss also meiner Vermutung nach etwas mit dem CIFS-Server von OmniOS zu tun haben.

 

[CommanderBond]

okay wenigstens net allein. Kannst du das Problem denn einkreisen also dass es definitv der Server ist? Ich habe im Moment nur einen PC und mein Server. Ob der Server die Verbindung verliert oder mein PC kann ich net nachprüfen. Sollte es nur mein PC sein müssten andere Filetransfers von anderen Rechnern ja weiterlaufen.
Verwende auch Jdownloader, der auf den Server direkt schreibt, JD auf meinem Desktop PC.

WOllte grade etwa 35GB kopieren und erst beim 5. mal ist der Transfer durchgelaufen ohne Unterbrechung.

 

[millenniumpilot]

ist ein AIO mit einigen VMs. Passiert unabhängig davon, ob ich von einem physischen Client oder von einer VM per CIFS auf den Server schreibe.
Benutze ich für die VMs vmdks als Ziel, die der Host per NFS vom Storage zieht, gibt es keine Probleme. Schreiben die VMs ihre Daten auf ein SMB-Share, habe ich bei hoher IO-Last Verbindungsabbrüche.

 

[gea]

Ich gehe nicht davon aus, dass das jetzige Illumos/Solaris CIFS einen nachaltigen Bug hat.
Ich selber setze es mit hunderten Benutzern ein. Auch lese ich konstant die entsprechenden Mailinglisten mit. Da würde ein generelles Problem schnell aufkommen. Das heisst natürlich nicht, dass es keine Probleme geben kann.

Was bekannt ist, ist dass manche Programme die auf Windows optimiert sind, teils unter Umgehung der üblichen Zugriffs-Verfahren, Probleme bereiten können. TeraCopy ist da ein Beispiel, auch manche Versionen von Realtek Netzwerktreibern unter Windows scheinen Probleme zu machen mit Solaris CIFS. CopyOnWrite mit einem manchmal anderen Verhalten als ntfs ist manchmal nicht ganz unkritisch. Daran scheint auch das Windows Tool RoboCopy zu scheitern, sofern man nicht die Option /b benutzt.

 

[oc_parts]

Das Verhalten kann ich auch von Zol mit Linux und Windows 7/8 Clients bestätigen. Kopiert wurde mit dem jeweiligen Dateimanager auf eine smb Freigabe.

Gesendet von meinem SM-N9005 mit der Hardwareluxx App

 

[millenniumpilot]

Hallo Gea,

ich kopiere beispielsweise aus einer VM (Win7, Server2003 und Server2012R2) mit dem Windows Dateimanager auf ein cifs-share des OmniOS. Bei hoher Last Verbindungsunterbrechungen, die aber sofort wieder ohne zutun aufgebaut werden. Die Kopierjobs sind aber trotzdem unterbrochen. Egal ob in den VMs eine vmxnet3 oder e1000 oder e1000e verwendet wird.
Als Filer wird Dein fertiges ESXi-Template verwendet.
Stelle ich dagegen den VMs Quelle/Ziel anstatt als smb-share als Platte zur Verfügung - sprich vmdk auf einem per NFS vom Filer bereitgestellten Datastore - gibt es keine Probleme. Dabei wird der gleiche Pool verwendet.
Von daher habe ich für mich das CIFS als "Ursache" ausgemacht.
Beim "Plattenbasierenden Speicher" für BackupExec2014 dachte ich auch, es ist flexibler, diesen als SMB-Share einzubinden. Auch hier Verbindungsunterbrechungen. Jetzt binde ich den Speicher als VMDK in die Backup-VM ein und auch bei hoher Last keine einzige Unterbrechung.
Also Pool->NFS->ESXi-Datastore->VMDK->lokale Platte in VM funktioniert IMMER und Pool->CIFS->VM ergibt Verbindungsunterbrechungen.

Ich hoffe ich habe kein wirres Zeug geschrieben.

 

[layerbreak]

Jetzt frag ich nochmals nach, da ich der Meinung bin, dass es ein Omnios bzw. ZFS Problem ist und nicht des DVBViewers.

Ich will/brauche einen Gastzugang für ein Filesystem, also für anonymous.

FS: /pool_aio/srv/dvbviewer
Bei SMB steht jetzt dvbviewer, guestok
Folder-ACL: user_root = full_set und everyone@ = modify_set (ändern von everyone@ auf full_set bringt auch nichts)
share-ACL: everyone@ = full_set

Wenn jetzt anonymous auf das FS zugreifen will, erzeugt es im Log folgenden Eintrag:
Mar 4 13:21:48 aio smbsrv: [ID 138215 kern.notice] NOTICE: smbd[NT Authority\Anonymous]: dvbviewer access denied: IPC only
Wenn ich mit einem User, welcher bei napp-it angelegt ist, darauf zugreife ist alles ok.

Wo mach ich hier einen Fehler und wie bekomm ich den Zugang doch noch hin?

ZFS guestaccess ist Zugriff ohne Benutzeranmeldung.
Klappt es denn von Windows aus? (Zugriff ohne Login)

Eventuell versucht dvbviewer eine Anmeldung als user Anonymous (was nicht klappt)
Als Option könnte man eventuell guestok ausschalten und einen User Anonymous ohne Passwort anlegen.
Vielleicht wäre dvbviewer damit zufrieden.

Wie soll ich denn von Windows ohne Nutzeranmeldung auf das FS zugreifen?
Ich bin als Benutzer angemeldet und dieser Benutzer ist in napp-it auch als Benutzer angelegt.

Deine Option habe ich getestet, doch leider ohne Erfolg. Einmal Anonymous und auch anonymous.

DVBviewer installiert einen Dienst und mit dieser Dienstanmeldung versucht er zu dem FS zu verbinden.
Dieses Anmelden als: Lokales System hab ich jetzt abgeändert in meinen Benutzernamen mit Passwort und jetzt gehts.
Ein richtiger würgaround.



Übrigens bei der Anlage kommt:
UX: /usr/sbin/useradd: anonymous name too long.
User wird aber trotzdem angelegt.

 

[gea]

Wie soll ich denn von Windows ohne Nutzeranmeldung auf das FS zugreifen?
Ich bin als Benutzer angemeldet und dieser Benutzer ist in napp-it auch als Benutzer angelegt.

Deine Option habe ich getestet, doch leider ohne Erfolg. Einmal Anonymous und auch anonymous.

DVBviewer installiert einen Dienst und mit dieser Dienstanmeldung versucht er zu dem FS zu verbinden.
Dieses Anmelden als: Lokales System hab ich jetzt abgeändert in meinen Benutzernamen mit Passwort und jetzt gehts.
Ein richtiger würgaround.

Übrigens bei der Anlage kommt:
UX: /usr/sbin/useradd: anonymous name too long.
User wird aber trotzdem angelegt.

Tja, ist alles auf Windows ausgelegt und "optimiert" und Solaris CIFS oder SAMBA reagieren manchmal halt anders. Der Weg über Benutzeranmeldung und "Dienst anmelden als" ist auf jeden Fall eindeutig und geht ja auch - muss ich übrigens bei Windows only Diensten auch öfter.

Ansonsten hat auch Unix ein Vorleben.
So wie Windows früher mal nur Dateinamen mit max 8 Zeichen konnte, so konnte auch Unix früher nur Namen und Passworte bis 8 Zeichen. Heute kann ein modernes Unix mehr, manche alten Tools aber nicht. OmniOS selber ist das egal - Die Meldung ist daher eher als Hinweis das eventuell irgendwas auf die Nase fällt - denn als Fehler zu verstehen.

 

[trendco]

Bringt eigentlich LZ4 Komprimierung bei einem Dataset für VM's etwas, oder ist das eher Kontraproduktiv?

 

[zos]

Kontraproduktiv wohl in den seltensten Fällen, wenn man diesem Blog unter Punkt 7 Glauben schenkt:

"Turn it on, and don't worry about it. Even if you discover that your compression ratio is nearly 0% - it still isn't hurting you enough to turn it off, generally speaking."

 

[automatenraum]

ESXi 6 ist jetzt offiziell erhältlich:

Da ich weder USB 3.0 noch den zusätzlichen Netzwerk Treiber Support der Version 6 brauche, wäre das einzige Updatekriterium für mich im Moment NFS v4.1 Support.

Daher die Frage, welche NFS Version unterstützt OmniOS?

Aus performance Gründen wäre evtl. ein Update auf die neue ESXi Version interessant...

 

[millenniumpilot]

Hallo Ihr,

wie kann ich unter ZFS eine Platte intensiv testen/belasten? Ich möchte die Platte nicht extra in einen Win-Rechner hängen und h2test benutzen.
Ich könnte von einem bestehenden Pool Filesysteme kopieren, möchte aber die vorhanden Platten nicht unnötig stressen. Es handelt sich um 2 Stück HGST 6TB NAS (eh die noch teuer werden...)
Würde dd if=random of=.... und anschließend die Smartparameter kontrollieren ausreichen? Wie macht Ihr das unter ZFS?

 

[gea]

Daher die Frage, welche NFS Version unterstützt OmniOS?

NFS 3 und 4
4.1 ist seit Jahren in der Pipeline. Bisher gab es aber kaum Nutzanwendungen.
Vielleicht geht es jetzt schneller voran

https://www.illumos.org/projects/nfs-41

- - - Updated - - -

Hallo Ihr,

wie kann ich unter ZFS eine Platte intensiv testen/belasten? Ich möchte die Platte nicht extra in einen Win-Rechner hängen und h2test benutzen.?

dd in einer Endlosschleife wäre schon ok. Alternative wäre eine Endlosschleife, die eine Datei per >> an sich selbst anhängt bis die Platte volläuft. Es ist aber ein Lasttest, kein Oberflächentest.

 

[zos]

Offene Ports unter OmniOS

Mir ist heute eher zufällig aufgefallen, dass unter OmniOS immer 2 offene TCP IPv4-Ports vorhanden sind, zu denen ich keinen verursachenden Prozess ermitteln kann.

Auszug aus netstat -an:

TCP: IPv4
   Local Address        Remote Address    Swind Send-Q Rwind Recv-Q    State
-------------------- -------------------- ----- ------ ----- ------ -----------
127.0.0.1.4999             *.*                0      0 128000      0 LISTEN
      *.111                *.*                0      0 128000      0 LISTEN
      *.111                *.*                0      0 128000      0 LISTEN
      *.33256              *.*                0      0 128000      0 LISTEN
      *.48320              *.*                0      0 128000      0 LISTEN
      *.22                 *.*                0      0 128000      0 LISTEN
      *.139                *.*                0      0 128000      0 LISTEN
      *.445                *.*                0      0 128000      0 LISTEN
      *.81                 *.*                0      0 128000      0 LISTEN
      *.81                 *.*                0      0 128000      0 LISTEN
      *.3000               *.*                0      0 128000      0 LISTEN

Wobei die folgenden Ports plausibel sind:
22 = ssh
81 = lighthttpd
111 = tcp,udp Sun Remote Procedure Call
139 = NetBios Services
445 = direct TCP/IP MS Networking
3000 = nappit
4999 = dhcpagent

Für die Ports 33256 und 48320 jedoch hab ich nichts Einleuchtendes gefunden. Interessanterweise wechseln diese auch nach jedem Neustart und liegen immer im Bereich > 30000.

Hat hierfür jemand eine plausible Erklärung?

EDIT: Es handelt sich um ein frisch installiertes OmniOS inkl. Napp-it, aber ohne AMP oder andere Extensions.

 

[gea]

Bei mir sieht es ähnlich aus, es könnte am Mojolicious Websocketserver liegen.
Man findet Port -> Programm z.B. mit folgendem Script:

#!/bin/ksh
# open_ports.ksh script
#
    pfexec pfiles /proc/* 2>/dev/null | nawk -v port=$1 '
    /^[0-9]/ { cmd=$0; type="unknown"; continue }
    $1 == "SOCK_STREAM" { type="tcp" }
    $1 == "SOCK_DGRAM" { type="udp" }
    $2 == "AF_INET" { if((port!="")&&($5!=port)) continue;
                      if(cmd!="") { printf("%s\n    %s:%s/%s\n",cmd,$3,$5,type); cmd="" }
                      else { printf("    %s:%s/%s\n",cmd,$3,$5,type); }}'

 

[phlowx]

Ernsthaft, man benötigt so ein Monsterskript um den passenden Prozess zu einem Listening-Socket zu finden?

Vielleicht gibt es ja unter OmniOS irgendetwas äquivalentes zu sockstat -4 (FreeBSD) oder netstat -nlp / lsof -ni (Linux)

 

[gea]

netstat ist bei OmniOS/ Solaris dabei
lsof liefere ich mit napp-it mit (/var/web-gui/data/tools/other/lsof)

Dennoch ist obiges script das die Ausgabe von pfiles aufarbeitet nützlich weil es schön alle Ports anzeigt, die ein Prozess belegt. Ich habe es auch nicht selber geschrieben (Es gibt Copy/Paste) - auch sind die Parameter und Optionen von netstat und lsof nicht überall gleich.

 

[hominidae]

Hallo Ihr,

wie kann ich unter ZFS eine Platte intensiv testen/belasten? Ich möchte die Platte nicht extra in einen Win-Rechner hängen und h2test benutzen.
Ich könnte von einem bestehenden Pool Filesysteme kopieren, möchte aber die vorhanden Platten nicht unnötig stressen. Es handelt sich um 2 Stück HGST 6TB NAS (eh die noch teuer werden...)
Würde dd if=random of=.... und anschließend die Smartparameter kontrollieren ausreichen? Wie macht Ihr das unter ZFS?

...ich mache das nicht "unter" ZFS, sondern mit einem "pre-Clear" Script aus dem unRAID-Forum: preclear_disk.sh - a new utility to burn-in and pre-clear disks for quick add
Neue Platten kriegen einen 3-fachen Durchlauf als "burn-in".

 

[trendco]

Kontraproduktiv wohl in den seltensten Fällen, wenn man diesem Blog unter Punkt 7 Glauben schenkt:

"Turn it on, and don't worry about it. Even if you discover that your compression ratio is nearly 0% - it still isn't hurting you enough to turn it off, generally speaking."

Hats jemand aktiviert von Euch bei Datasets wo VM's rauf liegen?

 

[zos]

Hats jemand aktiviert von Euch bei Datasets wo VM's rauf liegen?

Habe gerade am Wochenende unter VirtualBox eine Windows 8.1-VM (Host-OS ist aktuelles OmniOS-stable) auf einer SSD installiert und dann noch alle Windows-Updates eingespielt. So sehen die relevanten ZFS-properties jetzt aus (Es liegt nur diese eine VM in dem betroffenen ZFS-Filesystem):

compression lz4
used 9.07G
compressratio 1.76x
logicalused 15.3G

Spürbare Performanceunterschiede habe ich dabei nicht festgestellt.

 

[ludwinator]

LZ4 compression ist ein "set-and-Forget" Feature.
Bei den nächsten Releases wird compression=on automatisch compression=lz4 bedeuten.

cu

 

[KurzGedacht]

Vielleicht ist meine Frage hier besser aufgehoben:

Hat jemand von euch Erfahrungen mit oder eine Meinung zu den Seagate Archive SMR HDDs und ZFS?

 

[Crash Override]

Meine Meinung: Die ist wohl für ZFS das für Backups herhält die beste Platte, für Images auch noch zu gebrauchen, solange sich nicht zu viele Daten schnell ändern. Für Datenbanken ungeeignet.

 

[Digi-Quick]

Es gibt bislang noch keine Berichte/Tests zum Thema "Device Managed SMR"-HDD und ZFS.
Meine ersten 10 Platten kommen hoffentlich Ende des Monats, dann werde ich in diesem Thread berichten : http://www.hardwareluxx.de/communit...er-250-nagelneu-wo-ist-der-haken-1049915.html.
Das wird aber dauern, da ich die Platten erstmal grundsätzlich überprüfe - BurnIn mit H2wtest und Oberflächenscan (HDTune), was bei der Grösse der Platten ja auch schonmal mind. 3-5 Tage dauern wird bei Paraleller Ausführung.

 

[trendco]

Macht Ihr eigentlich bei Eueren ZFS-Systemen regelmässige SMART Selbsttests?
Wenn ja, in welchem Rhythmus? Nur Short? Oder ab und zu auch einen Long-Test?

 

[layerbreak]

Auf meinen all-in-one läuft noch ein veraltetes VMware-Tools.
Jetzt möchte ich gerne die Tools auf den aktuellen Stand bringen.

Kann ich einfach die neuste Version über die Alte installieren (perl ./vmware-install.pl)
oder muss ich vorher die alte Version deinstalliert werden (perl /usr/bin/vmware-uninstall-tools.pl)?

 

[phlowx]

Kannst du einfach "drüber" installieren, ggf. kümmert sich das Setup-Skript selber vorher darum.

 

[layerbreak]

@phlowx

danke - hat genauso funktioniert.
OmniOS muss nach dem VMWare-Tools-Update neu gestartet werden, da der vmxnet3 Treiber beim Update in Benutzung ist.

 

[layerbreak]

Hat schon jemand all-in-one mit ESXi 6.0 am Laufen?
Sind die Meldungen auf der Console nach vmware-tools und vmxnet3 installieren in Omnios immer noch da oder ist das jetzt gelöst?
Wie sind die ersten Erfahrungen mit 6.0?