[Sammelthread] ZFS Stammtisch

[Bzzz]

Seh ich auch so. Das ist schon sehr sehr schmal für ZFS. RAID-artiges auf so nem Teil würd ich eher noch über nen echten RAID-Controller machen statt über die CPU. Aber dann is ja nix mit ZFS...

Moment, 110 MB/s in welcher Konfiguration? NTFS/extX als einfache Freigabe?

 

[Play]

5 x 5k4000 (RAIDZ1) am M1015 mit i3-330m CPU und Freigabe per SAMBA.

 

[bluesunset]

R1 = Filer:
* ZFS basierend, NFS, Cifs/Smb, AFP
* Funktion1 als Fileserver in einem heterogenen Netzwerk per NFS, Cifs/Smb, AFP
* Funktion2 als NFS Shared Storage für ESXi 5.1 free license Server
* brutto Kapazität ca. 10-20TB
* Userverwaltung per LDAP Client an OD

R2 = Backup des R1 per Snapshots:
* ZFS basierend

Rx:
* Esxi 5.1 free license Server auf USB Stick ohne HDD
* Nutzung von NFS Shared Storage für die VM´s vom R1

R1 = NFS + SMB = OmniOS oder auch FreeBSD 9.1, je nachdem worin du mehr Erfahrungen hast.
R2 = ZFS = FreeBSD 9.1, kannst auch auf einen kleinen USB-Stick installieren.

 

[antilope114]

Wieso sollte es mit dem Board un dem M1015 ein Problem geben?

Die Konfig macht einfach keinen Sinn. Du baust auch
Und ein i3 ist um Welten schneller als ein AMD Bobcat.

 

[Play]

Wusste halt nicht, dass da die CPU so bremst. Mit dem G2020 sollte dies aber kein Problem darstellen?

 

[antilope114]

Ich denke ja, allerdings wird auch der langsamer sein als der i3. Inwiefern sich das in den Transferraten bemerkbar macht kann ich dir nicht sagen.

 

[Play]

Wieso muss das blöde Mainboard auch plötzlich nicht mehr gehen.. Nunja, ich danke dir / euch für die Hilfe und werde dann wohl den G2020 nehmen.

 

[antilope114]

Auch wenns vllt etwas Offtopic ist, hat jmd Erfahrung mit der Performance von NFS basierenden Shared Storage für ESXi VM´s basierend auf ZFS?

Der limitierende Faktor ist nicht nfs sondern die Festplatten und insbes. die vdev Konfiguration innerhalb von ZFS.

 

[AG1M]

Wieso muss das blöde Mainboard auch plötzlich nicht mehr gehen.. Nunja, ich danke dir / euch für die Hilfe und werde dann wohl den G2020 nehmen.

Der CPU reicht locker aus, hab den Intel Pentium G630T der ist eigentlich fast genau so wie der Celeron, nur hat er weniger Grundtakt und mit 2x2,3 Ghz ist es trotzdem kein Problem 120 MB/s per SMB und Intern beim Rsync sichern die 140-160 MB/s zu schaffen auf eine einzelne eSATA HDD.

 

[Play]

Dann bin ich ja beruhigt, danke für deine Erfahrungen.

 

[LeGoLaZz]

Ausgangssituation:

Server: openIndiana(napp-it,ZFS-RaidZ2, freigegeben per nfs)
Client: Ubuntu 12.04

Nachdem ich das Kommando mount 192.xxx:/xxx/ /media/xxx ausführe, kann ich auch auf die Inhalte zugreifen, aber die Dateiberechtigungen sind falsch. Dateiinhaber und Gruppe sind definiert als: nobody, nogroup
Was mache ich falsch? Wie kann ich es korrigieren?

 

[Bzzz]

Dateiberechtigungen = chmod / ACL?

nobody, nogroup dürften Inhalte sein, die von auf dem Server nicht bekannten Accounts dorthin geschoben wurden. Die können dann auch nicht mehr nach Unbekannter Nr. 1 und Unbekannter Nr. 2 getrennt werden.

Generelle Einschränkungen der Zugriffsrechte bei NFS-Freigabe würden mich aber auch interessieren. Momentan hab ichs auf allow für everyone, was mich ein bisschen stört.

 

[antilope114]

Domain in der /etc/idmap.conf unter Ubuntu korrekt gesetzt? (Solaris: sharectl set -p nfsmapid_domain=XXXX nfs)
UID/GID unter Ubuntu und Solaris identisch gesetzt?
Falls nicht werden die Files auf nobody/nobody gemappt.

Einschränkung der Zugriffsrechte mit ACLs, am besten über die console. Hier auch im Thread schon mehrfach beschrieben.

 

[LeGoLaZz]

Domain in der /etc/idmap.conf unter Ubuntu korrekt gesetzt? (Solaris: sharectl set -p nfsmapid_domain=XXXX nfs)

Danke. Es hat ein bisschen geholfen - jetzt sind die nobody/nogroup weg.

UID/GID unter Ubuntu und Solaris identisch gesetzt?

Wie macht man das richtig?

User unter Solaris: UID 101, GID 10
User unter Ubuntu: UID 1000, GID 1000 (UID 101 hat der User "syslog", GID 10 hat die Gruppe "uucp")

Meine Vorgehensweise:
1./etc/passwd konfigurieren - UID von Syslog auf 1001 ändern, passwd schließen
2. Dateien/Ordner anpassen find / -xdev -uid 101 -print0 | xargs -0r chown 1001
3. /etc/passwd konfigurieren - UID von myUser auf 101 ändern, passwd schließen
4. Dateien/Ordner anpassen find / -xdev -uid 1000 -print0 | xargs -0r chown 101

Wenn ich danach ls -l aufrufe, dann steht als Dateiinhaber jetzt myUser (und nicht Syslog, wie vorher), aber wenn ich mich abmelde und wieder anmelde (als myUser), dann steht oben rechts, dass ich als "Gast" angemeldet bin. Deswegen gehe ich davon aus, dass ich etwas falsch gemacht habe. Wie macht man es richtig?

 

[antilope114]

Deswegen gehe ich davon aus, dass ich etwas falsch gemacht habe.

Die 100er UID/GIDs sind unter Ubuntu meist reserviert und daher ist es einfacher diese unter Solaris einfach zu ändern, die Befehle dazu heißen usermod/groupmod.

 

[LeGoLaZz]

Mit NFS hats geklappt. Danke!
Mit SMB unter Windows klappts nur eingeschränkt:
Ich habe das Laufwerk per SMB eingebunden, Benutzername und Kennwort eingegeben. Nun sehe ich alle Ordner und kann auch auf alles zugreifen, aber ich habe nicht überall die Schreibrechte obwohl die Rechte auf 777 (was eigentlich nicht nötig ist) gesetzt sind.

Beispiel:
Ordner Downloads
Dort befinden sich die heruntergeladenen Dateien (z.B Anime)
Wenn ich versuche diese Dateien zu verschieben, dann klappt es nicht und es kommt eine Fehlermeldung - "Sie benötigen Berechtigungen zur Durchführung des Vorgangs"
Erstellen von Dateien klappt wunderbar, verschieben der von mir erstellten Dateien auch. Nur die Dateien, die mein Ubuntu-Betriebssystem herunterruntergeladen hat (der Benutzer ist der gleiche) und per NFS abgespeichert hat, kann ich nicht verschieben (nur abspielen).
Was mache ich falsch?

SMB ACL sieht so aus:
0 user:user rwxpdDaARWcCos full_set rd(acl,att,xatt) wr(acl,att,xatt,own) del(yes,child) x, s folder only allow

 

[gea]

Mit NFS hats geklappt. Danke!
Mit SMB unter Windows klappts nur eingeschränkt:
Ich habe das Laufwerk per SMB eingebunden, Benutzername und Kennwort eingegeben. Nun sehe ich alle Ordner und kann auch auf alles zugreifen, aber ich habe nicht überall die Schreibrechte obwohl die Rechte auf 777 (was eigentlich nicht nötig ist) gesetzt sind.

Beispiel:
Ordner Downloads
Dort befinden sich die heruntergeladenen Dateien (z.B Anime)
Wenn ich versuche diese Dateien zu verschieben, dann klappt es nicht und es kommt eine Fehlermeldung - "Sie benötigen Berechtigungen zur Durchführung des Vorgangs"
Erstellen von Dateien klappt wunderbar, verschieben der von mir erstellten Dateien auch. Nur die Dateien, die mein Ubuntu-Betriebssystem herunterruntergeladen hat (der Benutzer ist der gleiche) und per NFS abgespeichert hat, kann ich nicht verschieben (nur abspielen).
Was mache ich falsch?

SMB ACL sieht so aus:
0 user:user rwxpdDaARWcCos full_set rd(acl,att,xatt) wr(acl,att,xatt,own) del(yes,child) x, s folder only allow

Die ACL ist "folder only", also die Vorgabe für SMB wenn neue Dateien in dem Ordner angelegt werden (sofern aclinherit=passthrough).
Wichtiger wären die Datei-ACL

Ansonsten:
Die einzige Chance, NFS + Solaris SMB gut hinzubekommen sind
- NFS und SMB voll aufmachen (guestok)
- oder dem Solaris SMB User die UID geben, die für NFS benutzt wird

- Bei SMB, Finger weg von Unix permissions (Ein Setzen von Unixpermissions per chmod löscht ACL Vererbungen. SMB ist ACL only und benutzt für SMB Windows SID statt Unix UIDs)

ansonsten:
Wenn NFS + Benutzer benötigt werden: SMB und NFS4 kann das, NFS3 bildet alles nur auf hosts ab und man kann dann manuell versuchen, die UID konsistent zu halten.

 

[eehm]

Hallo,

ich habe mal eine kurze Frage zu ZFS und Raidz2!
Ich habe jetzt 6x2TB Festplatten hier, die ich eigentlich als Raidz2 erstellen wollte!
Da mein Board nur 6 Anschlüsse hat und ich noch gerne eine extra Platte für sehr wichtige Daten haben würde (Sind auch am Desktop gesichert) nun meine Frage!
Ist die Performance eines Raidz2 mit 5 Festplatten mit 4K-Sektoren wirklich so extrem schlecht oder bei einem Gbit Lan-Netzwerk nicht wirklich relevant?
Habe schon viele Benchmarks und Foreneinträge gelesen, aber bin mir nicht sicher ob das für mich relevant ist!
Betriebssystem wird NAs4Free!

 

[bluesunset]

6 Disks ist nur für die default Stripesize von einem Raid6 von Vorteil. Bei seq. Transfers würden dir auch 3-4 HDDs reichen für Gbit. Sinnvoller wäre aber ggf. eine eSATA HDD für wichtigere Daten oder ein extra NAS/Rechner.

 

[eehm]

Danke für die schnelle Antwort!

 

[St3fan]

Welche 3tb HDD würdet ihr für ein Raidz empfehlen?

Gespeichert werden Files aller Art, der Server dient als Fileserver, sowie als BackUp Ziel für andere Systeme.

MfG

 

[SchaubFD]

@St3fan, die Frage ist, was brauchst du MB/s oder eher IOPS und willst du die Platten 24/7 betreiben. Ich selbst würde heute eher zu Mirrored Raid greifen. Raidz schön und gut, aber du kannst bei ZFS halt nur dann den Pool vergrößern, wenn du alle Platten durch größere ersetzt hast. Ich selbst nutze einfach das, was es an 3/4TB Platten gibt. Wenn es dir rein um Platz geht, dann Raidz.

 

[mlampe]

@St3fan, Ich habe (unabhängig ob mirrored oder raidz*) gute Erfahrungen mit den 3TB Modellen von Toshiba (kommen von der übernommenen Hitachi Fertigungsanlage) gemacht.
Ich habe mir die 7200rpm Modelle zugelegt Link, ein Freund von mir ebenfalls und ist sehr zufrieden damit. Ein Kollege von mir hat sich das Toshiba 3TB Modell mit 5900rpm geholt Link und ist ebenfalls sehr zufrieden damit.

Gruß
mlampe

 

[SchaubFD]

Ich habe die letzten Wochen intensiv mit Linux, USB3 und ZFS experimentiert und habe dabei verschiedenes festgestellt.

USB3 scheint bei intensiven Einsatz wohl nur direkt und ohne Hubs richtig zu funktionieren. Auch Tests mit Windows 8 brachten abstürtze. Kurz, die Platten waren nicht mehr erreichbar. Noch schlechter wurde dies, wenn man Laptop Platten nutzte. Ich empfehle jedem der USB3 als großen Datenspeicher nutzen möchte, große Transfers vorher über die eingebauten USB3 Ports durchzuführen.

Problematisch ist auch derzeit der Einsatz von Sabayon Linux 11. Trotz Hinweis an das Sabayon Team, gibt es keine Verbesserung der dortigen ZFS Implementierung. Nach einem Neustart des Systems kommt man nicht/nie mehr an den ZFS Pool, zudem sind die "zpool iostat" Statistiken falsch bzw. zeigen nur die Statistik zum Pool, nicht aber die enthaltenen Datasets.

Derzeit suche ich nach einem Linux was sich über ZFS auch booten lässt. Solaris und dessen Ableger unterstützen bei mir USB3 garnicht. Auch Audio/Video ist hier schlecht/garnicht unterstützt. PCBSD, als "die Möglichkeit ZFS zu nutzen" bereitet mir bei USB3 Probleme. Gut zurecht komme ich derzeit mit Manjaro Linux und ZFS. Hier habe ich aber noch keine Anleitung für ein ZFS bootbares System. Derzeit denkt man noch nicht an ein ZFS bootbares System, so die Aussage von jemandem der den ZFS Port auf Manjaro unterstützt.

Würde PCBSD keine Probleme mit WLAN, Audio und USB3 haben, so wäre das wohl meine Wahl. PCBSD läuft mit ZFS und VirtualBox wirklich sehr schnell. Leider dümpelt alles was aus der Solaris Szene so geworden ist so vor sich hin.

 

[St3fan]

Der Festplattenverbund soll 120 MB liefern, da nur Gigabit verhanden ist.
Hohe IOPS Zahlen sind nicht erforderlich da max. 3 Personen daran arbeiten.

Auch ein Mirror ist okay.

Wegen der Betriebsdauer:

schätzungsweise 500 im Jahr einschalten, Betreibsdauer pro Jahr ca. 3000 h.

Bräuchte dann entweder 2 x 3tb oder 2 x 4tb.

MfG

 

[sun-man]

Muss hier mal fragen da ich keinen Einsprungpunkt zum suchen finde. Gibt es nen Guide o.ä. der Best Pratice zur Anzahl der Pools anzeigt? Sprich - egal warum - das es z.B. nur möglich ist 15 oder 32 Pools (nicht Poolvolumes) zu erzeugen oder welchen Einfluss 15 verscheidenen Pools auf die Hostperformance haben?

Thx

 

[SchaubFD]

Lesend habe ich bei 3TB Platten bis zu ca. 150-170MB/s wobei ich nicht genau weis wie diese sich ergeben. Schreibend sind es zwischen ca. 80-120MB/s. Diese Zahlen erreiche ich auch unter USB3.

Kurz Info:
Die Schreibperformance ist von der Anzahl der verbunden Platten abhängig:
Ein Raidz aus 5 Platten 1mal5 Platten -> 1 SchreibIOs 4 LeseIOs
Ein Mirrored Raid 4 Platten -> 2 SchreibIOs und 4 LeseIOs

Lang Info:
Die Seite von Constantin Gonzalez über RaidZ und Mirrored ZFS"

---------- Post added at 21:40 ---------- Previous post was at 21:29 ----------

@sun-man: ZFS ist da generell variabel. Lese dir ggf. auch das von Constantin Gonzalez durch. Geschwindigkeit im Schreiben kann man auch erreichen, in dem man eine ZIL (Logspeicher) über SSD realisiert. Doch Vorsicht, gerade hier kann man ZFS auch ganz schön ausbremsen. Der ZIL ist zwar bei SSD's im IOPS Bereich sehr gut, leider sind aber die MB/s durch die SSD's gegebenenfalls gebremst. Ja ihr lesst richtig. Dieser ZIL Speicher sollte zudem grundsätzlich gespiegelt werden. Beispiel: ein Pool aus 19x2 Platten (Mirrored) sollte im Schreiben ca. 19*100MB/s ergeben, also 1,9 GB/s. Schafft die SSD aber lesend oder schreibend nur 200 MB/s bzw. 100MB/s, so limitiert man den Durchsatz auf den nierigeren Wert also 100MB/s! Besser wäre da auf so etwas wie ZeusRAM oder RAMsan zu setzen, was aber sehr teuer ist.

---------- Post added at 21:42 ---------- Previous post was at 21:40 ----------

Bräuchte mal Kontakt zu Jemanden hier aus dem ZFS Stammtisch, der ZFS unter BSD oder Linux native Root nutzt. Wäre nett, wenn man etwas Erfahrungen tauschen könnte.

 

[gea]

Das Problem ist vielschichtig:

Die Performance eines Raid-Z mit 4 Datenplatten ist sequentiell (Daten streamen) bis zu 4 mal so gut wie bei der Einzelplatte (schreiben auf leere Platte, lesen von Daten am Stück). In der Regel muss jedoch bei jeder einzelnen Platte der Kopf positioniert werden um einen Datenblock zu lesen oder zu schreiben. Dann zählt die I/O Leistung und die ist deshalb nur sogut wie bei einer Platte.

Ähnlich ist es mit dem ZIL. Das ist nicht dazu da, um schreiben zu beschleunigen. Ganz im Gegenteil. Selbst mit einem 2000 Euro teuren ZeusRam ist syncrones schreiben langsamer als normales Schreiben ohne ZIL. Man setzt es dann ein, wenn man aus Sicherheitsgründen jede Schreibaktion sofort auf der Platte haben möchte bevor die nächste Schreibaktion erfolgt. Das Limit ist dann auch weniger in den MB/s sondern in der Latenz des ZIL zu suchen. Bei einem normalen Dateiserver ist aber sync eh deaktiviert. Da wird ein noch so teures ZIL gar nicht genutzt.

Ein ZIL kann man spiegeln. Dann ist der extrem seltene Fall eines Absturzes mit gleichzeitigem Defekt des ZIL möglich ohne Daten zu verlieren. Ansonst bringt Spiegeln keine weiteren Vorteile.

 

[sun-man]

FYI: Ich frage aus beruflichem (Privat)Interesse auch wenn mich das Problem beruflich nicht sooooooo interessiert. Ich bin SAN/Storageadmin und hab so "zwei drei" Enterprisesysteme inkl SSDs als Hardware. Kollegen anderer Abteilungen wollen nun aber zu Solaris 11 gehen (haben sicherlich auch prof Support). MICH interessiert das aber mal ob viele Pools selbst auf potenten Systemen Probleme bereiten könnten. Dazu finde ich nichts verwertbares um nachzuforschen.

MFG

 

[gea]

FYI: Ich frage aus beruflichem (Privat)Interesse auch wenn mich das Problem beruflich nicht sooooooo interessiert. Ich bin SAN/Storageadmin und hab so "zwei drei" Enterprisesysteme inkl SSDs als Hardware. Kollegen anderer Abteilungen wollen nun aber zu Solaris 11 gehen (haben sicherlich auch prof Support). MICH interessiert das aber mal ob viele Pools selbst auf potenten Systemen Probleme bereiten könnten. Dazu finde ich nichts verwertbares um nachzuforschen.

MFG

Solaris 11 + ZFS hat ohne Abstriche Enterprise Storage Qualitäten. Nicht umsonst hat netApp vor Jahren versucht, ZFS auf dem Klageweg aus der Welt zu schaffen. Viele Pools sind also sicher kein Problem.

Viele Pools sind aber extrem untypisch. Der Normalfall ist ein oder zwei Pools (z.B. ein zweiter hochperformanter Pool als ESXi Datastore) die praktisch endlos wachsen können (128bit Dateisystem). Auf diesem Pool werden dann auch gerne Tausende von Dateisystemen für die Nutzer angelegt. Jedes dieser Dateisysteme kann dynamisch bis zur Poolgröße wachsen und hat seine eigenen Snaps (auch gerne jeweils Tausende) und Dateisystemeigenschaften. Verwaltet wird das dann über Reservierungen (garantierter Platz) und Quotas (max. Platz). Dateisysteme lassen sich komfortabel komplett oder imkrementell/snapbasiert auf andere Pools/ Server übertragen. Das alles ist kostenfrei enthalten inklusive SSD Cache oder SSD/DRAM Logdevices. Lediglich Feautures wie HA, Service oder Managementfunktionen kosten teilweise extra.