[Sammelthread] ZFS Stammtisch

[antilope114]

Welcher ist den jetzt besser ?!

Supermicro AOC-USAS2-L8i oder Supermicro AOC-USAS2-L8e ?
Der Supermicro AOC-USAS2-L8e kann 122 Geräte verwalten ...

Falls du mehr als 63 Festplatten nutzen willst kauf den *e, ansonsten gibt es für dich keine relevanten Unterschiede, bis auf den, dass du den *e nicht zusätzlich flashen musst, das ist schon ein HBA. Ich habe den *i empfohlen, weil er i.d.R. gute 20% günstiger ist.

 

[XTaZY]

Glaub die 20 € leg ich drauf ...

Einstecken und glücklich sein so wie sich das in der Benutzeranleitung anhört:

IT Mode (Initiator and Target Mode): This is the default mode for the
AOC-USAS2-L8e add-on card. The maximum support for this mode is up to 122
hard disk drives under expander topology. This mode does not support RAID.
This mode requires an IT mode firmware flash to the BIOS and an IT mode driver
installation to the OS.

http://www.supermicro.com/manuals/other/AOC-USAS2-L8i_L8e_L8iMR.pdf

 

[gea]

Info:

OI 151a5 ist verfügbar (bootable ISO)
oi_151a_prestable5 Release Notes - OpenIndiana - OpenIndiana Wiki

ACHTUNG!
Diese Version führte Feature Flags und eine neue ZFS Version (>1000) ein.
Falls man den Pool damit updated/Features nutzt wird er für Systeme < OI 151a5, Solaris 11 (wohl nie)
FreeBSD, Linux oder Apple OSX (vermutlich später mal) nicht mehr lesbar.

Ausser für Tests würde ich den Pool noch nicht updaten.
Damit ist die getrennte ZFS Entwicklung Oracle vs Illumos wohl endgültig vollzogen.

mehr
blog.delphix.com/csiden/files/2012/01/ZFS_Feature_Flags.pdf

 

[antilope114]

Wie ist eigentlich die Roadmap bzgl. der zfs-Entwicklung bei OpenIndiana nach 151 stable?

 

[gea]

OpenIndiana ist nicht für die ZFS Entwicklung zuständig, sondern Illumos (Das zugrundeliegende Kernel-Projekt) Die weitere Entwicklung von ZFS (außerhalb von Oracle) wird meiner Einschätzung so verlaufen

- Jeder Entwickler kann für spezielle Anforderungen Features in ZFS einbauen. (Proprietäre Erweiterungen, nicht kompatibel).
- "Standard-Features" werden von Illumos gepflegt und sind dann in den Distributionen verfügbar,
zuerst auf den direkt darauf aufbauenden wie Illumian (Nexenta), OpenIndiana und SmartOS, dann in den ZFS OS/Projekten wie FreeBSD, Linux oder OSX

 

[xrated]

Schön wäre wenn man in napp-it noch eine bestimmte Kommandozeile zu einer bestimmten Zeit (in meinem Fall einmalig) ausführen könnte. Unter Jobs kann man ja schon ein paar Sachen machen aber das wäre ausbaufähig. Ich möchte rdiff-backup unmittelbar nach dem hochfahren anstarten und das log über email senden.

Wie heisst eigentlich der Command zum smtp email senden unter solaris?

 

[gea]

Schön wäre wenn man in napp-it noch eine bestimmte Kommandozeile zu einer bestimmten Zeit (in meinem Fall einmalig) ausführen könnte. Unter Jobs kann man ja schon ein paar Sachen machen aber das wäre ausbaufähig. Ich möchte rdiff-backup unmittelbar nach dem hochfahren anstarten und das log über email senden.

Wie heisst eigentlich der Command zum smtp email senden unter solaris?

Unter dem aktuellen napp-it 0.8i:
- ein script erstellen
- dieses (oder ein cli command) mit job - other starten

für den Mailversand als Muster das job-alert script anschauen

 

[xrated]

ok, jetzt hab ich 0.8h (vorher 0.5).
Als ich das update per Webgui probiert habe auf, 0.8i gabs einen Fehler im Browser:
Can't locate /var/web-gui/data/napp-it/zfsos.last/_lib/interface.pl
Den Folder zfsos.last gabs gar nicht.

Der "other" job ist jetzt mit dabei. Das basiert wohl auf cron aber das Problem ist das die Kiste nur selten an ist. Deswegen hatte ich einen eigenen Service erstellt. Muss ich wohl dann so lassen. Ich hoffe die legacy services werden noch eine Weile unterstützt weil mit den neuen Zeug (facility) kann ich überhaupt nichts anfangen.

 

[drdope]

Moin,

habe inzwischen mein FreeNAS Server in Betrieb genommen.


Trotz des nicht-optimalen RAIDZ1 aus 6x4TB HDDs ist die Performance für meine Ansprüche ausreichen (= bei großen Files limitiert das GB-LAN, bei kleinen Files fällt die Transferrate auf ca. 75MB/s).
Ich versuche derzeit noch zu verstehen, weshalb mein RAIDZ1 kleiner ist, als es seien sollte.

Bei 6x 4TB sollten das doch 20TB netto sein bzw. 6x 3,72TiB/18,6TiB; zusätzliche Options (Quotas, reservierter Platz, Snapshots, Komprimierung) werden nicht benutzt.





Hat ZFS einfach nur einen sehr großen Overhead, oder wird da per default Speicher reserviert (ext3/4 reservieren iirc z.B. 5% des Platzes für den root; kann man beim formatieren desaktivieren)?
Hat jemand dazu eine Erklärung für mich, oder den Link zu einer Erklärung?

 

[xrated]

Mir ist da eben bei nas4free aufgefallen das man das Volume etwas kleiner machen muss als die Poolsize.

Ich würde gerne Snapshots einsetzen. Wie das funktioniert ist bekannt, mich würde nur interessieren ob man das Volume dazu etwas kleiner machen muss um Platz zu lassen.
Gibts bei Snapshots sonst irgendwas zu beachten?

 

[bluesunset]

Snapshots werden durch das CoW erledigt. Du musst keinen extra Platz lassen. Der Speicherplatz bleibt einfach nur reserviert.

 

[xrated]

ok. Die Frage war nur weil ja ZFS ähnlich wie Ontapp funktioniert und da habe ich irgendwas in Erinnerung man soll für Snapshots Platz lassen. Aber wahrscheinlich war damit eben auch nur gemeint das man weniger Platz nutzen kann (logisch).

 

[KuchenKerze]

Hallo,

ich habe ein Problem, folgendes Situation:
HP N40L (8GB RAM)
Arch Linux (mit aktuellstem zfsonlinux)
2x WD20EARS

Ich erstelle einen Pool: zpool create tank mirror /disk1 /disk2
Und das FS: zfs create tank/share
Und benche das ganze:
# iozone -ec -r 32 -s 100m -l 2 -i 0 -i 1 -i 8
throughput for 2 initial writers = 89257.85 KB/sec

Alles fein. Aber dann ein reboot und der gleiche Bench nochmal:
throughput for 2 initial writers = 15496.32 KB/sec

Und dann:
/etc/rc.d/samba stop (das samba benutzt das zfs)
Erster Bench nach dem Samba stop:
throughput for 2 initial writers = 77914.07 KB/sec
Und der zweite:
throughput for 2 initial writers = 17397.00 KB/sec

Ich verstehe nicht was da vor sich geht. Das Problem mit den 4K-Sektoren habe ich aufgrund der möglichen guten Performance ausgeschlossen.
Anyone? Help?

 

[AG1M]

Ich benötige Hilfe von euch Profis.

Ich versuche einen ZFS Pool zu importieren aber geht nicht. Aktuelles System Solaris 11, altes System FreeBSD 9.

Wenn ich

zpool import backupdisk

probiere kommt:

cannot import 'backupdisk': invalid vdev configuration

Das gibt

cfgadm -al

aus (habs auf die HDDs beschränkt und "c5t3d0" ist die Disk mit dem Pool der nicht zu importieren geht):

Ap_Id                          Type         Receptacle   Occupant     Condition
c4                             scsi-sas     connected    configured   unknown
c4::dsk/c4t0d0                 disk         connected    configured   unknown
c4::dsk/c4t1d0                 disk         connected    configured   unknown
c4::dsk/c4t2d0                 disk         connected    configured   unknown
c4::dsk/c4t3d0                 disk         connected    configured   unknown
sata6/0::dsk/c5t0d0            disk         connected    configured   ok
sata6/1::dsk/c5t1d0            disk         connected    configured   ok
sata6/2::dsk/c5t2d0            disk         connected    configured   ok
sata6/3::dsk/c5t3d0            disk         connected    configured   ok
sata6/4                        sata-port    empty        unconfigured ok

Das gibt

format

aus:

Searching for disks...done

c4t0d0: configured with capacity of 1862.95GB
c4t1d0: configured with capacity of 1862.95GB
c4t2d0: configured with capacity of 1862.95GB
c4t3d0: configured with capacity of 1862.95GB
c5t3d0: configured with capacity of 2794.52GB


AVAILABLE DISK SELECTIONS:
       0. c4t0d0 <ATA-SAMSUNG HD204UI-0001 cyl 60798 alt 2 hd 255 sec 252>
          /pci@0,0/pci8086,1c10@1c/pci1000,3090@0/sd@0,0
       1. c4t1d0 <ATA-SAMSUNG HD204UI-0001 cyl 60798 alt 2 hd 255 sec 252>
          /pci@0,0/pci8086,1c10@1c/pci1000,3090@0/sd@1,0
       2. c4t2d0 <ATA-SAMSUNG HD204UI-0001 cyl 60798 alt 2 hd 255 sec 252>
          /pci@0,0/pci8086,1c10@1c/pci1000,3090@0/sd@2,0
       3. c4t3d0 <ATA-SAMSUNG HD204UI-0001 cyl 60798 alt 2 hd 255 sec 252>
          /pci@0,0/pci8086,1c10@1c/pci1000,3090@0/sd@3,0
       4. c5t0d0 <ATA-MTRON MSD-SATA35-R1H2 cyl 3887 alt 2 hd 255 sec 63>
          /pci@0,0/pci8086,200b@1f,2/disk@0,0
       5. c5t1d0 <ATA-INTEL SSDSC2CT06-300i-55.90GB>
          /pci@0,0/pci8086,200b@1f,2/disk@1,0
       6. c5t2d0 <ATA-INTEL SSDSC2CT06-300i-55.90GB>
          /pci@0,0/pci8086,200b@1f,2/disk@2,0
       7. c5t3d0 <ATA-ST3000DM001-9YN1-CC4B-2.73TB>
          /pci@0,0/pci8086,200b@1f,2/disk@3,0

c5t3d0 als Disk 7 ist mein backupdisk Pool den ich unter FreeBSD 9 erstellt und sauber exportiert habe. Kann mir jemand helfen, das ich den Pool importieren kann? Danke für jeden Tipp. Mein 2. Backup hab ich noch auf einem zweiten System, wo ich auch über NFS zugreifen kann zur Not, würde aber gerne direkt von der HDD die Daten holen.

 

[gea]

Pools aus FreeBSD können in Solaris/OpenIndiana nur importiert werden, wenn die Platten GEOM formatiert sind. Platten mit GPT Partitionen (ist hier wohl der Fall) können nicht importiert werden.

 

[AG1M]

Danke für die Info verdammt hätt ich das vorher gewusst, gibt es da einen Trick wenn ich z.B. einer ZFS Guru Live CD (mit FreeBSD 9 Kernel) starte und dann den Pool importiere und ändere, oder muss ich dazu den Pool auflösen und neu anlegen?

 

[gea]

Ich weiß nicht ob man das in FreeBSD nachträglich ändern kann -
z.B. durch Austauschen aller Platten mit resilver nach jedem Tausch.

 

[AG1M]

Ok danke, nun ich habe auch einen sehr großen Teil der Daten auf einem 3. Pool liegen, sind einige 1 TB HDDs mit MBR auch mit FreeBSD angelegt, die gehen zu importieren unter Solaris, da geht das syncen viel schneller als über NFS. Ich werde dann gleich die 3 TB unter Solaris ordentlich einrichten und den Pool neu anlegen für die zukünftige Nutzung.

 

[AG1M]

Pools aus FreeBSD können in Solaris/OpenIndiana nur importiert werden, wenn die Platten GEOM formatiert sind. Platten mit GPT Partitionen (ist hier wohl der Fall) können nicht importiert werden.

Ich muss mich doch noch einmal melden, Solaris 11 erstellt leider den ZFS Pool nicht mit 4K, sonder nur mit 512B. Wenn ich mit

zdb | grep ashift

überprüfe kommt immer ashift=9 also 512B, bei meinem anderen Pool wird ordentlich ashift=12 gemeldet, wie kann ich den Pool mit 4 K erzwingen? Wie funktioniert das mit dem GEOM formartieren genau? Geht nur um die eine 3 TB HDD. Mit den 2 TB konnte ich mit unter FreeBSD mit

gnop create -S 4096 DEVXXX

das ordentlich einstellen und den Pool in Solaris importieren+Upgraden, aber das geht ja leider wegen GPT bei der 3 TB HDD nicht.

 

[xrated]

Ich steh gerade auf dem Schlauch.

Gegeben ist Linux mit dem ich was von einem Solaris host über NFS mounten möchte.

Das geht:
mount -t nfs hostip:/data1
Das geht nicht wegen access denied:
mount -t nfs hostip:/data1/public

Wenn ich data1 (das ist der zfs pool) mounte dann habe ich auch keinen Zugriff auf public.
Ich habe mit chmod und chown bei public die selben Rechte vergeben wie auf data1 und das bringt auch nichts!
Wird alles mit root ausgeführt.

 

[AG1M]

zeig mal bitte mit

cat /etc/dfs/sharetab

auf deinem Solaris Host was angezeigt wird.

 

[gea]

4K Festplatten - optimierte Pools/vdevs in Solaris/OpenIndiana:

Es gibt folgende Möglichkeiten:
- Platte meldet 4k physikalische Sektoren -> automatisch vdev mit ashift=12 (einige neuere Platten)
- /kernel/drv/sd.conf: hier kann man Platten als 4k definieren (Illumos, künftiger Hauptweg)
- Pool mit Free-BSD erstellen und importieren
- modifiziertes zpool um pools mit ashift=12 zu erwingen

letzte Option ist in napp-it 0.8j (menu pool create/ add vdev) als Option dabei (experimentell)

Experimentell bedeutet, dass es diese Option seit einem Jahr gibt und noch niemand Probleme gemeldet hat. Vielleicht hat aber auch noch niemand die eine besondere Option ausprobiert, die zu Datenverlust führt...

 

[AG1M]

Dickes danke gea, dein napp-it ist echt so genial, hab von 0.8h auf 0.8j geupdated, pool im WegGUI angelegt mit ashift=12 Option und geht wunderbar.

 

[xrated]

https://blogs.oracle.com/lubos/entry/how_to_share_zfs_over

zfs set sharenfs=rw=@192.168.2.2,root=192.168.2.2 data1/public

share:
public@data1/p /data1/public sec=sys,rw=@192.168.2.2,root=192.168.2.2 ""

Wenn ich das jetzt auf Linux mounte:
mount -t nfs 192.168.2.3:/data1/public/ /mnt/nfssolaris
Dann kann ich schon nicht mehr auf den Mountfolder von Linux selbst (nfssolaris) zugreifen oO
Da steht dann ne unbekannte user:group id drin:

3 drwxrwx--- 15 4294967294 4294967294 17 26. Apr 22:46 nfssolaris

 

[gea]

wg NFS, vielleicht hilfts
http://www.hardwareluxx.de/community/f101/zfs-stammtisch-570052-72.html

 

[xrated]

Also wenn ich das richtig verstanden habe, setzt man erstmal alles auf 777 und beschränkt dann die Rechte per ACL. Nach chmod -R 777 gings dann.

Wenn ich im Explorer mir die Sicherheit anzeigen lasse dann erscheint:
Jeder
Current Owner (SOLARIS\Current Owner)
Current Group (SOLARIS\Current Group)

Kann ich das "Jeder" löschen? Und das Current Owner bzw. Group entspricht dann den Gruppen die mit chown eingestellt sind?

Und was ich nicht verstehe, wieso wird bei ACL nochmal zwischen Folder und SMB unterschieden? Ist das so wie bei Windows das man im Share erstmal alles erlaubt?

 

[gea]

Also wenn ich das richtig verstanden habe, setzt man erstmal alles auf 777 und beschränkt dann die Rechte per ACL. Nach chmod -R 777 gings dann.

Wenn ich im Explorer mir die Sicherheit anzeigen lasse dann erscheint:
Jeder
Current Owner (SOLARIS\Current Owner)
Current Group (SOLARIS\Current Group)

Kann ich das "Jeder" löschen? Und das Current Owner bzw. Group entspricht dann den Gruppen die mit chown eingestellt sind?

Und was ich nicht verstehe, wieso wird bei ACL nochmal zwischen Folder und SMB unterschieden? Ist das so wie bei Windows das man im Share erstmal alles erlaubt?

Viele Wege führen nach Rom...
Man sollte nur beachten, dass Solaris den NFS Zugang auf user nobody abbildet.

Zu ACL's
Solaris SMB ist wie Windows und arbeitet damit ACL only. Bei NFS kann man via ACL und/oder Unix permissions den Zugriff beschränken. Da ACL viel umfassender und leistungsfähiger sind (und auf jeden Fall wenn SMB auch benutzt wird) sollte man ACL benutzen oder beachten.

Achtung ACL und Unix permissions bedingen einander. Eine Einschränkung des einen hat andere Einstellungen des anderen als Folge, so dass Beschränkungen prinzipiell erhalten bleiben. Solaris ACL sind ansonsten wie Windows ACL und erlauben eine sehr detailreiche Beschränkung des Zugriffs (z.B. User/Gruppe a darf lesen, b ändern und c nur hinzufügen). Ausserdem ist bei SMB zu beachten, dass SMB user=Solaris user sind wohingegen SMB groups eigenständig und unabhängig (mit anderen tools) verwaltet werden als Unix groups. (haben auch unterschiedliche Eigenschaften)

Was mit der Unterscheidung zwischen SMB und Folder gemeint ist, verstehe ich aber nicht?

 

[xrated]

Das hier:
ACL on ZFS folders
ACL's on files and folders is a huge improvement over traditional unix permissions because you can set permissions for multiple users or groups. Solaris ACL are mostly compatible to Windows ACL.
ACL on SMB shares
ACL's on a SMB share is an additional method to restrict access independant from files and folder ACL

Deswegen hatte ich vermutet das ACL on ZFS folder das selbe ist wie unter Windows das Security Tab und ACL on SMB das selbe was in Windows unter Freigabe, Berechtigungen "Jeder Vollzugriff" definiert wird.

Wenn SMB User=Unix User aber SMB group!=Unix group, dass machts aber auch nicht unbedingt leichter wenn man das später wieder vergisst.

 

[gea]

Das hier:
ACL on ZFS folders
ACL's on files and folders is a huge improvement over traditional unix permissions because you can set permissions for multiple users or groups. Solaris ACL are mostly compatible to Windows ACL.
ACL on SMB shares
ACL's on a SMB share is an additional method to restrict access independant from files and folder ACL

Deswegen hatte ich vermutet das ACL on ZFS folder das selbe ist wie unter Windows das Security Tab und ACL on SMB das selbe was in Windows unter Freigabe, Berechtigungen "Jeder Vollzugriff" definiert wird.

Wenn SMB User=Unix User aber SMB group!=Unix group, dass machts aber auch nicht unbedingt leichter wenn man das später wieder vergisst.

Das ist korrekt.
Solaris unterstützt wie Windows sowohl ACL auf
- Dateien und Ordnern wie
- auf Freigaben

ansonsten ist es ganz einfach.
Im Gegensatz zu SAMBA das einem Windows Benutzer Zugriff auf Linux/Unix Ordner und User/Gruppen gibt, versucht Solaris CIFS einen Windows Server zu ersetzen/ so ähnlich zu sein wie möglich. Aus Sicht dieses Windows-Benutzers gibt es diese "inkompatiblen" Unix-Gruppen daher nicht.

Umgekehrt sieht ein Linux/Unix User z.B. aus seiner NFS Sicht die inkompatiblen Windows Gruppen nicht. Man muss nur wissen, das es diese doppelte Gruppenverwaltung gibt.

Also kein Problem.

 

[AG1M]

Eine kleine Frage zu Solaris und NTFS.

Ich habe erfolgreich mount_ntfs bei meinem Solaris System nachgerüstet und kann auch ohne Probleme meine USB 2.0 HDD mit einer 500 GB NTFS Disk mounten und per MC zugreifen. Aber es wird mir im Share nur max. eine 4 GB große Datei angzeigt, obwohl die Datei 13,1 GB ist. Wenn ich dann diese falsch angezeigte Datei kopiere möchte vom NTFS mount zu meinem normalen Storage, dann bricht das ganze bei etwa 4 GB ab mit der Meldung das die Datei nicht gelesen werden kann.

Habe es mit der Anleitung gemacht: Mount NTFS / Ext2 / Ext3 / FAT 16 / FAT 32 in Solaris « UNIX/Linux Gab auch nie Fehlermeldungen und das mounten ansich geht wunderbar. Das mit den 4 GB kenn ich eigentlich nur von FAT32, aber doch nicht bei NTFS.

Ist das nun ein Bug, oder muss man noch etwas beachten?