[Sammelthread] ZFS Stammtisch

Ich hab mal ne Frage zum Caching von ZFS mit SSDs. Ist es möglich (und sinnvoll) ZIL und L2ARC auf verschiedenen Partitionen der System-Boot-SSD unterzubringen? Da mein Server (HP ProLiant ML10v2) nur sechs SATA-Ports hat und ich gern ein Wechselrahmen für Backups auf HDs einbauen will, könnte ich statt eine kleinen Boot-SSD eine etwas größere nehmen und sie mit Partitionen in ZIL und L2ARC aufteilen. Anwendung ist als Heimserver mit Clients, die per NFS angebunden sind.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Hey zusammen, habe da mal eine Performance-technische Frage:

Habe einen DL785G6 als Hypervisor Maschine (Proxmox 3.1) am laufen und einen DL180G5 (Xeon E5, welcher genau weiß ich aktuell nicht, Quadcore@2,4 Ghz und 16GB Ram) als Storage (FreeNAS 8.3.0).

In der Storage stecken 8x 2TB Seagate ES.3 und eine 40GB Intel SSD (war übrig). iSCSI Connect über 10GB Verbindung (komplett eigenes Netz)
Jeweils 4 der ES.3 bilden ein RAIDZ1, ZFS Version 28. Nutzbar sind je 5TB.

Auf dem einen Dataset liegt eine LUN mit den VDisks der Virtuellen Maschinen vom Proxmox (der 785 hat 4x Opteron 8439SE und 64GB Ram), sind insgesamt 6 Stück(Win 2008R2).
Auf dem andere Dataset liegt eine SMB Freigabe, tut hier aber nicht direkt was zur Sache.

Wenn ich per SMB was auf eine Virtuelle Maschine kopiere erreiche ich die Geschwindigkeit vom Client zur VM (1Gb), also so roundabout (2MB/s mehr oder weniger sind ja uninteressant). hdparm auf die LUN ergibt mal sportliche 300MB/s Read.
Die Performance der VM's ist aber trotzdem irgendwie "zäh"...

Ist das vom Konzept her so falsch oder hab ich nur in den Konfigs übersehen?
 
luckyspiff schrieb:
Ich hab mal ne Frage zum Caching von ZFS mit SSDs. Ist es möglich (und sinnvoll) ZIL und L2ARC auf verschiedenen Partitionen der System-Boot-SSD unterzubringen? Da mein Server (HP ProLiant ML10v2) nur sechs SATA-Ports hat und ich gern ein Wechselrahmen für Backups auf HDs einbauen will, könnte ich statt eine kleinen Boot-SSD eine etwas größere nehmen und sie mit Partitionen in ZIL und L2ARC aufteilen. Anwendung ist als Heimserver mit Clients, die per NFS angebunden sind.
Zum Vergrößern anklicken....

Ja geht. ZIL sollte idealerweise ein Mirror sein, also im Idealfall 2 SSDs. L2ARC kann man dafür als Stripe auslegen.

Bezüglich ZIL Mirror: Da kann man auch durchaus drauf verzichten
http://www.racktopsystems.com/zfs-to-mirror-or-not-to-mirror-the-zil/
https://forums.freenas.org/index.ph...ror-your-slog-zil-drive-recommendation.23445/

Ich machs trotzdem :)

Aber keine Wunder erwarten, das Beste was man ZFS tun kann ist RAM
 
Replikation mit Napp-It

Ich versuche gerade, einen Replikationsjob über 2 PCs mit Napp-it einzurichten.

Dazu muss man doch zunächst eine Appliance-Group einrichten, um quasi auf den zweiten PC zugreifen zu können. Wenn ich nun aber versuche, unter "home --> Extensions --> appliance-Group --> ++add appliance" den zweiten PC hinzuzufügen, bekomme ich immer die Fehlermeldung:


Code: 
"oops...
wrong admin password for HOSTNAME"
main, /_lib/illumos/grouplib.pl, line 2121 
main, /_lib/illumos/grouplib.pl, line 1752 
main, /20_Extensions/10_appliance-group/action.pl, line 12

//bzw. 
main, /_lib/linux/grouplib.pl, line 2118 
main, /_lib/linux/grouplib.pl, line 1785 
main, /20_Extensions/10_appliance-group/action.pl, line 12

Der in der Fehlermeldung angezeigte Hostname ist der richtige (also des "remote" Systems), das Passwort für den "napp-it" admin stimmt auch (einloggen über Browser geht ja damit).

Woran kann das liegen? Beide Systeme laufen mit Napp-it "Pro". Allerdings 1x Basis Solaris 11.3 und 1x Ubuntu 14.04 mit ZFSonLinux. Habe beide Richtungen versucht, weder lässt sich auf der Linux-Box die Solaris-Kiste einbinden, noch umgekehrt. Die Admin-Passwörter sind allerdings für beide Admins die gleichen - ist das ein Problem?

Ich habe es auch noch einmal zu Testzwecken mit einer 3. Kiste versucht, diese dann auch mit Solaris 11.3, allerdings nur mit der Napp-It Evaluation-Lizenz - sollte ja für 30 Tage trotzdem gehen. Allerdings auch hier das gleiche Problem (wieder gleiches Admin-Passwort auch auf dieser Box). Zumindest Solaris<-->Solaris sollte doch gehen oder braucht's für Replikation zwingend OmniOS/Illumos?
 
Ich würde erst mal die Passworte neu setzen (a-zA-Z0-9) und auf Sonderzeichen verzichten.
Ansonsten geht eine Replikation innerhalb OpenZFS z.B. Linux -> OmniOS,
nicht aber von Oracle Solaris <-> OpenZFS z.B. von/nach OmniOS

Oracle kocht jetzt sein eigenes Süppchen.
Da geht nur Solaris <-> Solaris
 
Außerdem noch die Frage: Kennen sich die Server, stehen sie gegenseitig in den Host Dateien oder im DNS?
 
Hallo zusammen,

für folgendes Vorhaben suche ich Eure Unterstützung:

Ich würde gerne einen Storage Server basierend auf OmniOS+Napp-It (Pro Lizenz vorhanden) auf folgender Hardware realisieren und diesen per iSCSI an meinen Proxmox Server anbinden:

Vorhandene Hardware für Storage:
Board: Asrock H77 Pro4-M
CPU: i3-3220
RAM: 32 GB non-ECC
NIC: 2 x Dual Port Intel Pro 1000 PT Nic PCI-e x4
HDD: 8 x WD RED 2 TB
(Mir ist bekannt das ECC empfohlen wird aber diese Hardware habe ich und neue will ich nicht anschaffen und natürlich habe ich von allen VMs Backups.)

1 x Proxmox Server
Board: Supermicro X9SCM-f
32 GB ECC RAM
ZFS: 1x Mirror für OS, 1 x POOL (2 x RAID-Z) (eventuell ändere ich das am WE in 1x Pool mit 4 x Mirror da ich günstig HGST 2TB Festplatten erstanden habe)
3 x NIC (1 x WAN, 2 x LAN)

Switch: Cisco SG300-20

Anwendungsbereich:
Das ist ein reines Test + Labor Setup mit diversen VM's. Hauptsächlich Windows und Linux als KVM VM's.
Plan ist es die 2 x Dual Port Nic zu nutzen um eine performante iSCSI Anbindung zu erstellen und VM's vom Storage Server zu starten/betreiben. So die Theorie :).

Da ich mit diesem Thema noch keine Erfahrung habe komme ich auch mit den Begriffen bzw. beschriebenen Szenarien im Internet noch nicht so ganz klar.
Was ist hier der richtige Ansatz? Kann ich die Nic's so einsetzen das ich beide Ports addieren (2 Gb)? Sprich: Bonding, Teaming für die Nic's oder VLAN???
Hat jemand schon eine ähnliche Konfiguration im Einsatz und könnte mir hier vielleicht Tipps oder Links geben wo ich mich informieren kann? oder Erfahrungswerte?
Ich plane für den Storage Server die HDD's in einem mirrored Pool zu betreiben. OmniOS soll auf eine 60GB SSD installiert werden.
Wie performant ist eine iSCSI Lösung mit OmniOS und lässt es sich in Verbindung mit Proxmox realisieren? Im Netz habe ich auch gelesen das oft NFS eingesetzt wird, welchen Vor- bzw Nachteil hat diese Lösung?


Vielen Dank schon mal im Voraus

Gruß
PS. @Gea lässt sich die Napp-it To Go variante hier einsetzen? Dann könnte ich mir die SSD sparen und das ganze von USB Stick betreiben.
 
Zuletzt bearbeitet:
gea schrieb:
Ich würde erst mal die Passworte neu setzen (a-zA-Z0-9) und auf Sonderzeichen verzichten.
Ansonsten geht eine Replikation innerhalb OpenZFS z.B. Linux -> OmniOS,
nicht aber von Oracle Solaris <-> OpenZFS z.B. von/nach OmniOS

Oracle kocht jetzt sein eigenes Süppchen.
Da geht nur Solaris <-> Solaris
Zum Vergrößern anklicken....

Danke für den Tipp Gea! Hatte ein "!" im Passwort. Habe diese jeweils gelöscht und konnte jetzt immerhin die Systeme in der Gruppe hinzufügen. Dann probiere ich mal weiter... =)

EDIT: hmm... also ich konnte gerade mit Napp-it von einem Solaris 11.3 Host aus eine "Replikation" von einem ZFSonLinux-Dataset auf den Solaris-Host machen. Das jetzt unter Solaris 11.3 vorhandene ZFS-Filesystem kann ich readonly=off setzen und dann als SMB-Share freigeben. Funzt, also replizierte Dateien sind lesbar.

Bin (mal wieder) schwer begeistert! Das eröffnet mir jetzt wieder ganz neue Möglichkeiten...
 
Zuletzt bearbeitet:
besterino schrieb:
Danke für den Tipp Gea! Hatte ein "!" im Passwort. Habe diese jeweils gelöscht und konnte jetzt immerhin die Systeme in der Gruppe hinzufügen. Dann probiere ich mal weiter... =)

EDIT: hmm... also ich konnte gerade mit Napp-it von einem Solaris 11.3 Host aus eine "Replikation" von einem ZFSonLinux-Dataset auf den Solaris-Host machen. Das jetzt unter Solaris 11.3 vorhandene ZFS-Filesystem kann ich readonly=off setzen und dann als SMB-Share freigeben. Funzt, also replizierte Dateien sind lesbar.

Bin (mal wieder) schwer begeistert! Das eröffnet mir jetzt wieder ganz neue Möglichkeiten...
Zum Vergrößern anklicken....

Das wären mal gute Neuigkeiten.
War das mit Pool v5000 oder 28/5?

Ich hatte das jetzt längere Zeit nicht versucht nachdem das sogar mit Pool v28/5 nicht funktioniert hat - wobei natürlich die Replikation eines teuren Solaris Produktivsystems auf ein OpenZFS System als Backup am interessantesten ist.

vgl https://github.com/openzfsonosx/zfs/issues/48
 
War von einem ZFSoL v5000 Pool --> default Solaris 11.3 Pool.

Kann gerne morgen mal testweise auch noch die andere Richtung mal ausprobieren.
 
@gea: die andere Richtung Solaris --> ZFSoL funktioniert leider nicht so ohne weiteres mit Napp-it. Der Job hängt jetzt seit ca. 4 Stunden für 20GB Daten. Ein manuelles send/receive über ssh scheitert noch daran, dass die ZFS utilities unter ZFSoL mit root ausgeführt werden müssen, ich aber (natürlich) kein root-login erlaube.

Wenn ich das testweise mal zulasse, klappt es aber trotzdem nicht:

Code: 
cannot receive: stream has unsupported feature, feature flags = 24

Das ist wohl in der Tat das immer noch vorhandene Problem der Inkompatibilität in Richtung OpenZFS. Will als nächstes mal schauen, ob man denn mit einer Solaris-VM, die den Pool importiert hat, den send/recv Stream empfangen kann und das Resultat dann nach Export/Import in OpenZFS (ohne Pool-Upgrade) noch lesbar ist...
 
Zuletzt bearbeitet:
Öfter mal was neues...

Ich habe jetzt erfolgreich meinen ZFSoL v5000-Pool zunächst auf eine andere Festplatte gesichert/repliziert (dort v28/5) und dann ebenso erfolgreich unter Solaris 11.3 in einen v37-Pool zurück repliziert.

Der Pool hatte mehrere "Sub-Datasets" also quasi in der Ordnung

Pool/FS1
Pool/FS1/SubFS1
Pool/FS1/SubFS2
Pool/FS1/SubFS3
Pool/FS2/
Pool/FS2/SubFS4
Pool/FS2/SubFS5

Unter dem ZFSoL-Pool hatte ich ursprünglich eine "Haupt-SMB-Freigabe" Namens "FS1", in der alle SubFS als Unterordner auftauchten. Wenn ich jetzt aber unter Solaris/Napp-it das FS1 freigebe, taucht darin nur der spezielle Inhalt auf - nicht aber die SubFS. Wenn ich ein SubFS freigebe, dann taucht das als einzelne separate Freigabe auf (quasi im SMB-Root) und nicht als Unterordner von FS1.

Ich würde jetzt gerne wieder eine SMB-Freigabe mit dem SMB-Namen "FS1" anlegen, in dem die SubFS als eigene Ordner erscheinen. Habe mich schon durch die Dokumentation gewühlt, aber finde irgendwie nicht den richtigen Ansatz. Hat hier jemand eine Idee?
 
Zuletzt bearbeitet:
Ich erinnere mich noch dass Gea immer gesagt hat sowas geht nicht mit dem Solaris eigenen SMB Server. Vorher haste Linux benutzt und somit Samba, da ging es.

Ich MEINE aber ich hätte es auch mal hinbekommen mit OmniOS. Bin aber am Ende auch dazu Übergegangen kein ZFS Dataset in einem anderen ZFS Dataset zu machen.
Bei mir ist alles Pool/Dataset1 Pool/Dataset2 usw.
 
Zuletzt bearbeitet:
Vorher haste Linux benutzt und somit Samba, da ging es.
Zum Vergrößern anklicken....

Jo, da könntest Du recht haben. Die "manuelle" Samba-Freigabe setzt ja in der Tat auf der "ZFS-Ordnerstruktur" auf, wie sie sich dem System präsentiert. Wahrscheinlich liegt's dann daran. Schade eigentlich.
 
Lässt sich komischerweise wie folgt hintricksen:

Alle Datasets unter Solaris einzeln mit NFS freigegeben, dann das oberste Verzeichnis z.B. in einer Linux-Fileserver-VM über NFS mounten und gleichzeitig über Samba freigegeben.

Nicht schön, aber brute-force-workaround...
 
besterino schrieb:
Lässt sich komischerweise wie folgt hintricksen:

Alle Datasets unter Solaris einzeln mit NFS freigegeben, dann das oberste Verzeichnis z.B. in einer Linux-Fileserver-VM über NFS mounten und gleichzeitig über Samba freigegeben.

Nicht schön, aber brute-force-workaround...
Zum Vergrößern anklicken....

Zumächst verhält sich SAMBA anders als der Solaris CIFS Server.
SAMBA weiss ja nichts von ZFS und seinen Besonderheiten. Geschachtelte ZFS Dateisysteme sind da einfach zugänglich. Unter Solaris mit dem in ZFS eingebauten SMB Server ist ein share eindeutig einem Dateisystem zugeordnet.

Auch unter OmniOS und CIFS kann man direkt in tieferliegende Dateisysteme wechseln.
Beides sollte man aber nach Möglichkeit vermeiden, da es sich um unabhängige Dateisysteme handelt, die komplett eigene Eigenschaften haben können (casesensitivity, normalization, aclmode, aclinherit etc).

Besser:
- normale Ordner anlegen und Dateien umkopieren
- oder als separate Shares nutzen
 
@gea BUG in ESXi Snaps / request ESXI-VM-list?

Hallo gea,

ich hab gerade mal etwas mit der esxi shapshot funktion gespielt. ssh ist eingerichtet und gibt mir die vm-list aus. wenn ich über napp-it aber request esxi vm- list ausführe, taucht die liste in napp-it kurz auf und verschwindet wieder. in /var/web-gui/_log/esxivms.log steht nur der header der ausgabe, die vm's tauchen nicht auf. die erzeugte esxivms.log steht auf 0644.
wenn ich die ausgabe des vim-cmd selbst in die esxivms.log pipe funktioniet es.
version von napp-it ist die 0.9f6 16.Okt.15

best regards
 
hans43 schrieb:
Hallo gea,

ich hab gerade mal etwas mit der esxi shapshot funktion gespielt. ssh ist eingerichtet und gibt mir die vm-list aus. wenn ich über napp-it aber request esxi vm- list ausführe, taucht die liste in napp-it kurz auf und verschwindet wieder. in /var/web-gui/_log/esxivms.log steht nur der header der ausgabe, die vm's tauchen nicht auf. die erzeugte esxivms.log steht auf 0644.
wenn ich die ausgabe des vim-cmd selbst in die esxivms.log pipe funktioniet es.
version von napp-it ist die 0.9f6 16.Okt.15

best regards
Zum Vergrößern anklicken....

Eine mögliche Ursache wäre die Benennung der NFS shares.
Die dürfen nicht datastore.. heissen - so wie die lokalen VMFS datastores.

Ansonsten blendet das Script die VMs aus.
 
Danke

Hallo gea,

Aaahhrg :wall:, das was's natürlich der mount heißt bei mir datastore2 ;-)

Danke.
 
Ein Openmediavault-Newbie braucht Hilfe bei einem ZFS-Problem :stupid:

Habe ein RaidZ1-ZFS-System mit 3 Platten (/dev/sdb - sdd). Nun meldet SMART auf einer Platte "pending sectors". Ich möchte diese fehlerhafte Platte nun aus dem ZFS-Pool austauschen und gegen eine neue Platte ersetzen.

Unter NAS4free gab es dafür im Web-Gui "ZFS-Bereich" entsprechende Tools. Leider fehlt diese Möglichkeit bei OMV :sick: Welche Befehle und in welcher Reihenfolge muss ich nutzen, um dieses Problem zu lösen?!

Ich habe diverse Anleitungen im Netz gefunden, die sich aber leider teilweise widersprechen. Insofern bin ich etwas ratlos.

DANKE!!

defcon999
 
Das liest sich einfach und machbar ... ABER .... meine SATA-Ports sind alle belegt :sick: Ich muss also erst mal die alte Platte aus dem Pool lösen.
 
Dann halt Power off, Platte tauschen und z.B. nur
zpool replace poolname sdb

(Ersetzt Platte im gleichen Slot)
 
Hab schon im Proxmox-Forum gefragt, aber vielleicht ist das hier ja der geeignetere Thread...

Geht um Proxmox, also Debian Jessie mit ZFSonLinux 0.6.5. ZFS ist nicht das root-Filesystem sonder ein händisch angelegter Pool, der auch gut funktioniert

Ich kriege das SMB-Sharing mit Samba über ZFS-Attribut "sharesmb=on" nicht zum laufen. Von Hand in die smb.conf eingetragen funktioniert's aber eben nicht per "zfs set sharesmb=on pool1/misc", wie in der FAQ zu ZFSonLinux beschrieben. Das Attribut wird ohne Fehler übernommen aber kein Share aufgemacht...

Ich weiß gerade gar nicht mehr, was ich noch ausprobieren kann, hat es vielleicht etwas mit den Zugriffsrechten zu tun (alles als root gemacht)?
 
Anmelden, um zu antworten.

Ähnliche Themen

G
Wieviel ZFS steckt in Qnap ZFS ??
Antworten
5
Aufrufe
880
gea
G
Shihatsu
ZFS Pool "verschicken"
Antworten
9
Aufrufe
592
sandreas
S
thor17
Ceph Node auf bestehenden ZFS Pools
Antworten
3
Aufrufe
533
gea
G
G
[Übersicht] napp-it cs, Web-GUI für fast jeden ZFS Server oder Servergruppen
4 5 6
Antworten
158
Aufrufe
9K
gea
G
AliManali
*erledigt* Perc H310 flashen
Antworten
2
Aufrufe
309
AliManali
AliManali
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh