[Sammelthread] ZFS Stammtisch

[gexxo]

Hallo zusammen,

ich möchte mir einen Linux Home NAS Server mit ZFSoL aufsetzen. Die Daten sollen auf Linux und Windows PCs geshared werden. Dabei möchte ich 3 x 3TB Platten mit RAID-Z1 verwenden. Backups werden gemacht, somit reicht mir Z1. Die Daten werden oft gelesen und seltener geschrieben. Was würdet ihr mir an Einstellungen empfehlen? Kann ich unter Linux Compression verwenden? Falls ja, wäre das hier sinnvoll?

 

[AG1M]

omnios r151008 ist raus!
ich mach gerade das update..

Danke lade es mir auch gleich


Habe btw. nun OmniOS in der AD und Owncloud läuft jetzt auch wunderbar, saubere Arbeit @gea mit napp-it ist da wirklich sehr komfortabel! Zu schade das ich in Owncloud nicht die Benutzerverwaltung von der Domäne nutzen kann

Nur eine letzte Frage, kann ich wenn ich Snapshots erstelle und die ja via SMB Share mit der Windows "Wiederherstellen einer vorherigen Version" nur über gemountete CIFS Freigaben benutzen, oder auch über WebDAV dank dem Owncloud Plugin?

Bei meinem Versuch heute klappt es via CIFS direkt wunderbar, da kann ich als Windows Client auf alle älteren Versionen also Snapshots der Dateien zugreifen etc.

Aber wenn ich das selbe Share mit WebDAV unter Windows einbinde sehe ich zwar die gleichen Dateien, aber wenn ich da auf "Wiederherstellen einer vorherigen Version" klicke steht immer "keine vorhanden". Ist das eine Beschränkung vom Protokoll, das es nur via CIFS und nicht WebDAV geht? Wäre schade wenn das nicht klappt.

 

[gea]

Danke lade es mir auch gleich


Habe btw. nun OmniOS in der AD und Owncloud läuft jetzt auch wunderbar, saubere Arbeit @gea mit napp-it ist da wirklich sehr komfortabel! Zu schade das ich in Owncloud nicht die Benutzerverwaltung von der Domäne nutzen kann

Nur eine letzte Frage, kann ich wenn ich Snapshots erstelle und die ja via SMB Share mit der Windows "Wiederherstellen einer vorherigen Version" nur über gemountete CIFS Freigaben benutzen, oder auch über WebDAV dank dem Owncloud Plugin?

Bei meinem Versuch heute klappt es via CIFS direkt wunderbar, da kann ich als Windows Client auf alle älteren Versionen also Snapshots der Dateien zugreifen etc.

Aber wenn ich das selbe Share mit WebDAV unter Windows einbinde sehe ich zwar die gleichen Dateien, aber wenn ich da auf "Wiederherstellen einer vorherigen Version" klicke steht immer "keine vorhanden". Ist das eine Beschränkung vom Protokoll, das es nur via CIFS und nicht WebDAV geht? Wäre schade wenn das nicht klappt.

Der Solaris CIFS Server stellt die Snaps als "vorherige Version" zur Verfügung.
Mit dem Apache Server kann man sich so behelfen, dass die Snaps im Order /pool/dateisystem/.zfs/snapshot/ als virtuelles Verzeichnis zur Verfügung gestellt werden.

 

[bogomil22]

Kann man auf das neuste OmniOS updaten ohne Kompatibilitäts-Probleme mit Napp-It zu erwarten? Oder kommt ein Napp-It update fürs neue OmniOS?

 

[vanquish]

Eine kurze Zwischenfrage. Ich habe hier einen Server in einer etwas exotischen Konfiguration am laufen:

Ubuntu 12.04 LTS Server (x64, Kernel 3.11) incl. dreier LUKS-Platten, über die ein RaidZ1-Pool (ZFSonLinux) gebildet wurde.

Welche (negativen?) Auswirkungen hat ein Spin Down der Platten auf meine Daten. Hat evtl. jemand eine ähnliche Konfiguration am laufen?

 

[brigadeleiter]

seit dem neuen omnios fährt das system nicht mehr sauber runter und rebootet nicht richtig

jemand ne idee?



Ciao,
david

 

[gea]

seit dem neuen omnios fährt das system nicht mehr sauber runter und rebootet nicht richtig

jemand ne idee?



Ciao,
david

Ich würde mal ein volles reboot (kein fast reboot) probieren
reboot -p

 

[ttom]

Gibts eigentlich eine Empfehlung wieviel Platz man bei einem ZFS Volume freilassen sollte oder wird der benötigte Platz sowieso bei der Erstellung reserviert?

edit
OS ist FreeBSD (FreeNAS).

 

[GrafikTreiber]

Das kommt auf den Nutzungsfall an, eine genereller Richtwert wären 90%. Wenn es nur ein reines Archiv ist wo selten bis gar nicht drauf zugegriffen wird kannst du es gerne auch zu 100% voll machen. Die Performance wird halt zum Ende hin einfach mit jedem Prozent mehr Füllstand schlechter. Musst du selber wissen ob du lieber mehr abspeicherst und es dafür auch gerne langsam werden darf, teils auch wirklich sehr sehr langsam, dann warum nicht fast Rand voll machen?

Ob eine Reservierung ohne eigenes Zutun stattfindet hängt von den Defaults deines Betriebssystems ab, kommt also wieder darauf an.
Einfach mal mit zfs get quota bzw. zfs get reservation überprüfen.
Die Stichwörter hier zu lauten Quota und Reservations, schau dir mal den passenden Oracle Artikel dazu an.
Oracle Solaris ZFS Administration Guide - Setting ZFS Quotas and Reservations
Selber Artikel in deutsch
Obwohl deutsch meine Muttersprache ist finde ich den englischen Artikel viel einfacher zu verstehen, ist leider oft so bei solch "direkten Übersetzungen". Habt ihr schon mal ein BIOS/EFI auf deutsch gestellt?

Ein Quota ist bei ZFS eine Begrenzung von Platz das ein Dataset nutzen kann, eine Reservation eine Zuweisung von Platz auf einem Pool der für ein bestimmtes Dataset garantiert wird.
Man könnte also auch sagen ein Quota ist eine reine Begrenzung, eine Reservation eine Garantie.

Reservations beziehen sich auf den tatsächlich verbrauchten Platz, also Speicherplatz nach Compression und Deduplication.

Ich hoffe ich habe mich verständlich ausgedrückt.

 

[ttom]

OS ist FreeBSD (FreeNAS).

 

[lukesky85]

Hey,

leider ist meine 2 Wochen Testlizenz der Napp IT Pro Variante abgelaufen. Ich wollte gerne die neue Apache Oberfläche haben und hatte diese deswegen installiert. Ich dachte das würde eh keinen Unterschied machen weil ich die meisten Pro Funktionen nicht benötige aber denkste...

Hat jemand eine gute Befehlsübersicht für ACL? Ich kann nun nicht mehr die Ordner vernünftig verwalten. Da ich aber nur sehr selten hier Änderungen habe würde mir eine gute Konsolenvariante reichen. Ansonsten werde ich vielleicht mal nach xMas die 100€in eine Jahres Mitgliedschaft investieren.

 

[teqqy]

Würde ein kleiner Pentium für ein Fileserver reichen, wenn dieser auch virtuelle Maschinen hostet? Oder benötige ich hierfür wirklich eine XEON CPU? Es geht hierbei rein als Fileserver nicht als VHOST oder ähnliches.

 

[ludwinator]

Das hat jetzt zwar nix mit ZFS zu tun, aber prinzipiell tuts jede CPU, die Virtualisierung (VT-x oder ADM-V) unterstützt.
Mit nem Single Core Pentium endet der Spaß natürlich bald...

cu

 

[teqqy]

Wofür brauch ich bei einem Fileserver VT-x? Es wird ja nix virtuallisiert.

 

[AG1M]

Wenn du eine 64bit Gast VM auf einem x-beliebigen Host OS laufen willst, muss deine CPU VT-x / AMD-V können, sonst kannst du nur 32bit Gäste starten oder nicht? Oder willst du deinen Fileserver als VHD, VHDX, oder VMDK als iSCSI/NFS Speicherort benutzen?

 

[teqqy]

Letzteres. Der Fileserver soll zwei oder vier eigene Platten bekommen extra für die Ablage der virtuellen Maschinen. Die Kiste ist dann wirklich reiner Fileserver. Das ich für die Virtualisierung VT-x benötige, ist mir bewusst.

 

[MrDeluxe]

Hallo zusammen,

ich möchte mir einen Linux Home NAS Server mit ZFSoL aufsetzen. Die Daten sollen auf Linux und Windows PCs geshared werden. Dabei möchte ich 3 x 3TB Platten mit RAID-Z1 verwenden. Backups werden gemacht, somit reicht mir Z1. Die Daten werden oft gelesen und seltener geschrieben. Was würdet ihr mir an Einstellungen empfehlen? Kann ich unter Linux Compression verwenden? Falls ja, wäre das hier sinnvoll?

Die ZFS-Compression anzuschalten ist eigentlich generell zu empfehlen, da sie kaum CPU-Ressourcen verbraucht.

Gruß
MrDeluxe

 

[gea]

Hey,

leider ist meine 2 Wochen Testlizenz der Napp IT Pro Variante abgelaufen. Ich wollte gerne die neue Apache Oberfläche haben und hatte diese deswegen installiert. Ich dachte das würde eh keinen Unterschied machen weil ich die meisten Pro Funktionen nicht benötige aber denkste...

Hat jemand eine gute Befehlsübersicht für ACL? Ich kann nun nicht mehr die Ordner vernünftig verwalten. Da ich aber nur sehr selten hier Änderungen habe würde mir eine gute Konsolenvariante reichen. Ansonsten werde ich vielleicht mal nach xMas die 100€in eine Jahres Mitgliedschaft investieren.

Apache und das Ampo add-on ist ja frei. Lediglich bei virtuellen Servern bin ich mir noch nicht schlüssig. Der Support macht viel Arbeit.

Bei ACL support sieht es ähnlich aus. ACL kann man per CLI und chmod kostenlos einstellen sowie bei SMB shares (meist) auch per Windows - bis auf deny rules da die Solaris anders handhabt. Auch die ACL extension deckt das kostenlos ab, was zu Hause benötigt wird. Für den Komfort-Rest (der macht Arbeit) muss man halt etwas Geld oder Zeit investieren.

Solaris ACL Model - Oracle Solaris 11.1 Administration: ZFS File Systems

 

[brigadeleiter]

Ich würde mal ein volles reboot (kein fast reboot) probieren
reboot -p

das system hängt mit der neuen omnios version. habe sogar das bios reseten müssen um die alte version zu installieren. die rebootet und schaltet ohne probleme ab.
gibt es ähnliche erfahrungen?
leider brauche ich die neue version für die netzwerk (intel i210at) unterstützung. zur not könnte man auch bei der alten version bleiben und ein paar e100 draufpacken...

ciao,
david

 

[lukesky85]

Apache und das Ampo add-on ist ja frei. Lediglich bei virtuellen Servern bin ich mir noch nicht schlüssig. Der Support macht viel Arbeit.

Bei ACL support sieht es ähnlich aus. ACL kann man per CLI und chmod kostenlos einstellen sowie bei SMB shares (meist) auch per Windows - bis auf deny rules da die Solaris anders handhabt. Auch die ACL extension deckt das kostenlos ab, was zu Hause benötigt wird. Für den Komfort-Rest (der macht Arbeit) muss man halt etwas Geld oder Zeit investieren.

Solaris ACL Model - Oracle Solaris 11.1 Administration: ZFS File Systems

Ich wollte die VirtualBox-Erweiterung nutzen. Dadurch hatte ich endlich die Möglichkeit auf OmniOS zu setzen wenn es ums speichern von Dateien geht und für alles andere VM´s einzurichten.

Danke für den Link, Vielleicht finde ich dadrin ja den benötigten Befehl. Der Dialog / Webservice zeigt mir ja super die Einstellmöglichkeiten dafür

 

[GrafikTreiber]

Die ZFS-Compression anzuschalten ist eigentlich generell zu empfehlen, da sie kaum CPU-Ressourcen verbraucht.

Und bevor du fragst welches Verfahren: Nimm LZ4, leistet in den meisten Nutzungsfällen das beste Verhältnis von Performance/Platzersparnis.
zfs set compression=lz4 poolname

Und falls es hier noch nicht erwähnt wurde möchte ich kurz auf das sich in Entwicklung befindene ZFS-Plugin für Proxmox hinweisen:
http://pve.proxmox.com/wiki/Storage:_ZFS
Und nein, es installiert nicht einfach ZFSonLinux, dafür bedarf es keines Plugins, das ist schon so simpel genug. Es geht hier um externe Storage Systeme, z.B. Solaris Comstar, BSD Istgt, Linux scst/lio/... .

In an upcoming release of proxmox a storage plugin for ZFS will be available providing the ability to use an external storage based on ZFS via iSCSI. The plugin will seamlessly integrate the ZFS storage as a viable storage backend for creating VM's using the the normal VM creation wizard in Proxmox.

Man könnte den iSCSI-Storage natürlich auch auf dem selben System ala All-in-One-Konzept laufen lassen.

 

[brigadeleiter]

seit dem neuen omnios fährt das system nicht mehr sauber runter und rebootet nicht richtig

jemand ne idee?



Ciao,
david

habe heute die beiden wd red 1tb angeschlossen und einen 1g iozone bench gemacht. nachdem der nix angezeigt hat nach 1 stunde, habe ich den rechner neu starten wollen und das alte problem taucht auch mit dem r6-omnios auf.


der rechner lässt sich nicht nicht am schalter abschalten, keine reaktion auf tastatur. nur der Netzteil schalter hilft. das board hat danach ein grauenhaftes einschaltverhalten. bei betätigen des powerknopfes reagiert es erst nach einer gefühlten minute.
kann es sein das es defekt ist? memtest ist mehrfach gelaufen..
ist gewerblich gekauft, kann man dann auch umtauschen oder zurückgeben?

hat möglicherweise noch jemand ne idee? ich wollte das system nach weihnachten fertig haben und langsam nervt es nur noch.
ciao,
david

 

[Hypopheralcus]

Hallo an die ZFS-Gurus hier!

Ich habe eine kurze Frage. Ich bin gerade beim Zusammenbau meines neuen Storage-Servers. Dabei spiele ich mit dem Gedanken, meine JBOD-Platten (4x3TB, 6x2TB) in ein oder mehrere ZFS-Pools zu stecken.

Nun meine Frage dazu: Ich habe soweit verstanden, dass ein RaidZ mit unterschiedlichen Platten auf jeder Platte nur die Kapazität der kleinsten Verbundplatte verwendet. Irgendwo habe ich aber noch nicht ganz durchschaut, wie sich das bei mehreren vdevs in einem Pool verhält.

Beispielsweise: Kann ich 2 vdevs mit Raid-Z1 erstellen - eines mit den 4 3TB-Platten und eines mit den 6 2TB-Platten und dies anschließend zu einem Pool zusammenfügen? Oder kann ich einfach 2 Pools erstellen - jeweils mit den Plattenkategorien?

Ich möchte natürlich nicht, dass ein Teil "ungenutzt" bleibt. Ich wäre hier für ein paar Ratschläge sehr verbunden!

Beste Grüße

 

[mlampe]

Hallo,

Wenn Du einen Pool mit zwei vdevs (4 x 3TB als raidz1, 6 x 2TB als raidz1) erstellen möchtest, dann kannst du das tun. Es funktioniert. Optimal ist natürlich etwas anderes.
Dabei wird ein stripe über die beiden raidz1 vdevs erstellt. Die Performance steigt damit (gegenüber einem Pool mit einem vdev),
allerdings ist der pool "unausgewogen", da die beiden vdevs unterschiedlich schnell sein werden und unterschiedliche Kapazität haben.
4 x 3TB als raidz1 = ~ 8,1TB netto, 6 x 2TB als raidz1 = ~ 9TB netto.
Ich an deiner Stelle würde zwei Pools erstellen, einen mit den 4 x 3TB HDD's und den anderen mit 6 x 2TB HDD's, beispielsweise als raidz1.
Dann kann je Pool eine Platte ausfallen ohne direkten Datenverlust.
Bedenke aber, dass wenn eine Platte ausfällt keine andere dieses Pools mehr ausfallen darf.
Je höher die Kapazität einer Platte, desto länger dauert der Resilver-Vorgang beim Defekt von einer HDD.

Aus diesem Grund (ich habe auch einen Pool mit 2TB HDD's und einen Pool mit 3TB HDD's) habe ich mich für raidz2 entschieden.
Am Anfang hatte ich auch einen raidz1 Pool. Mit der höheren Ausfallsicherheit kann ich ruhiger schlafen und bin entspannter, wenn eine Platte wegen defekt ausgetauscht werden muss.

Ich hoffe Dir hilft das weiter.

Gruß
mlampe

 

[AndreasNSA]

Hallo,

nachdem mein esxi mit Solaris 11.1 und napp-it sowie 5 weiteren VM's ordentlich läuft benötige ich leider mal etwas Hilfe bei der Rechtevergabe eines SMB Shares.
Ich habe auf meinem Server 2012 R2 Owncloud installiert und würde aber gern das data Verzeichnis auf das SMB Share legen. Ich scheitere aber an den Rechten, die ich dafür anlegen muss.
Hat das schonmal jemand gemacht? Welche user oder gruppen müsste ich denn auf Solaris anlegen?
Auf dem Server 2012 benötigt das data Verzeichnis wenn es lokal liegt Schreib- und Leserecht für die Gruppe "Benutzer" und für die Gruppe "IIS_IUSRS" zumindest Leserechte.

Im moment behelfe ich mir mit einenem Robocopy Script, was mir die Daten von Owncloud zumindest auf das Share spiegelt.
Aber ich hätte eben gern direkt Zugriff auf das Share, damit ich auch weitere Shares über die external Storage Funktion von Owncloud für die User mit einbinden kann.

Ich hatte das Ganze auch schon über Ubuntu versucht, hier hatte ich dann aber auch das Problem das der www-data User keinen richtigen Schreibzugriff auf das Share bekommen hat.
Es wurden zwar Dateien angelegt, diese konnten aber nicht verändert werden.
Gea hatte dazu hier ubuntu server + owncloud + napp-it mal was geschrieben, aber da kam leider auch nie eine Rückmeldung.

Vielleicht kann mir ja hier jemand unterstützend unter die Arme greifen

LG
Andy

 

[brigadeleiter]

wie kann man mit bonnie und iozone in der console benchen? habe gelesen, das die nicht länger als stunden laufen dürften, ich bekomm aber im nappit keine rückmeldung ausser "running"


ich hab noch ein weiteres problem. und zwar habe ich keinerlei netzwerk-zugriff mehr auf den rechner, wenn ich die weiteren netzwerkkarten mit statischen ip-adressen versehe.

root@omnios:~# dladm show-phys
LINK         MEDIA                STATE      SPEED  DUPLEX    DEVICE
igb3         Ethernet             unknown    0      half      igb3
igb2         Ethernet             unknown    0      half      igb2
igb0         Ethernet             up         1000   full      igb0
e1000g0      Ethernet             up         1000   full      e1000g0
igb1         Ethernet             down       0      half      igb1
root@omnios:~# ipadm show-addr
ADDROBJ           TYPE     STATE        ADDR
lo0/v4            static   ok           127.0.0.1/8
e1000g0/v4        static   ok           192.168.1.120/24
igb0/v4           static   ok           192.168.1.130/24
igb1/v4           static   inaccessible 192.168.1.140/24
lo0/v6            static   ok           ::1/128
root@omnios:~# ipadm show-if
IFNAME     STATE    CURRENT      PERSISTENT
lo0        ok       -m-v------46 ---
e1000g0    ok       bm--------46 -46
igb0       ok       bm--------46 -46
igb1       failed   bm--------46 -46

wenn ich jetzt der igb2 eine adresse zuweise per ssh oder nappit oder am rechner selber dann funktioniert garnix mehr, reboot hilft auch nicht, nur das löschen der igb2
selbst wenn ich dhcp setze und dann das netzwerkkaebl reinstecke bricht die netzwerkverbindung ab.


edit: openindiana hipster unterstützt nun auch die i210at. und auch hier tritt das probelm auf. mach ich denn was bei der konfig der netzwerkkarten falsch? kann man keine 4 nics im gleichen subnetz betreiben???

hab das ganze mal in einer vm ausprobiert mit e1000g nics und es funktiorniert zumindest hier problemlos, schein also ein problem der i210at zu sein...

exe: dladm show-phys
LINK MEDIA STATE SPEED DUPLEX DEVICE
e1000g0 Ethernet up 1000 full e1000g0
e1000g1 Ethernet up 1000 full e1000g1
e1000g3 Ethernet up 1000 full e1000g3
e1000g5 Ethernet unknown 1000 full e1000g5
e1000g4 Ethernet unknown 1000 full e1000g4
e1000g2 Ethernet up 1000 full e1000g2
Monitor-Extension: Command Log interface.pl 894# ipadm show-addr
exe: ipadm show-addr
ADDROBJ TYPE STATE ADDR
lo0/v4 static ok 127.0.0.1/8
e1000g0/v4 static ok 192.168.1.200/24
e1000g1/v4 static ok 192.168.1.201/24
e1000g2/v4 static ok 192.168.1.202/24
e1000g3/v4 static ok 192.168.1.203/24
lo0/v6 static ok ::1/128
e1000g4/v4 static disabled 192.168.1.204/24
e1000g5/v4 static disabled 192.168.1.205/24

ciao,
david

 

[Hypopheralcus]

(...)

Ich hoffe Dir hilft das weiter.

Gruß
mlampe

Hallo mlampe!

Danke für die Auskunft - das hilft tatsächlich sehr weiter!

Eine Frage habe ich aber noch: Ich werde mich auch für raidz2 entscheiden, da ich noch etwas "unsicher" im Gebrauch von ZFS bin.

Aber: dazu möchte ich die aktuell 4x3TB-Platten auf 6x3TB aufstocken. Daher die Frage: Kann ich Platten von verschiedenen Herstellern ohne weiteres kombinieren? (Aktuell sind es 4x Seagate ST3000DM001 und ich möchte die beiden zusätzlichen gerne schon die WD RED verwenden).

Danke und Beste Grüße

 

[mlampe]

Hallo,

Das verwenden verschiedener Hersteller ist kein Thema. Wenn die verwendeten Platten aus 7200rpm HDDs und 5x00 rpm HDDs bestehen ist das zwar nicht 100% optimal, aber rein Datentechnisch unproblematisch. Ein Freund von mir hat ein Linux raid6 array aus 10 x 3TB HDDs, die Hersteller der HDDs sind WD, Seagate, Hitachi, Toshiba. Dort ist auch 5x00 und 7200 rpm gemischt.

Es wird auch oft empfohlen, um Ausfälle von HDDs eines Herstellers / einer Fertigungs-Charge zu minimieren, HDDs von mehr als einem Hersteller zu verwenden.
Ich selbst habe bei meinem Pool aus 2TB HDDs ebenfalls zwei Hersteller in Verwendung (Hitachi 2TB 5k3000 und WD 2TB WD20EARS / WD20EADS).
Dabei sind "alte" 512byte/Sektor HDDs mit 4kb Advancedformat HDDs gemischt. Mein Pool ist 4k alligned (ashift=12).

Achte nur drauf, dass Du den Pool so anlegst, dass dieser einen ashift Wert von 12 hat. Damit ist der pool dann 4k alligned (4kb Advancedformat HDDs).

Bei 6 x 3TB als raidz2 kommst Du dann auf ungefähr 7.1TB netto (gerechnet mit ~2,7TB netto x 4HDDs, 2 HDDs gehen ja für die Ausfallsicherheit drauf.)

Gruß
mlampe

 

[Hypopheralcus]

Danke für die rasche Antwort!

Dann sollte dem ZFS-Server nichts mehr im Wege stehen *G*. Wenn also zu den 4 "alten" (ca. 1 Jahr) Platten noch 2 andere neue hinzukommen wird das wohl passen. Die RPM stimmen dann zwar nicht überein aber wie Du geschrieben hast ist das nur sub-optimal aber nicht problematisch. (Es ist auch kein High-Performance-Pool, es geht um einen privaten Medienserver mit 5 oder 6 Clients)

Die Kapazität ist super, weil ich aktuell mit Raid 1 arbeite, somit habe ich sogar einen "Gewinn" bei der Kapazität!

Vielen Dank für die Hilfe

Beste Grüße

 

[mlampe]

Gerne!

Viel Spass / Erfolg beim Umbau.

Gruß
mlampe