[Sammelthread] ZFS Stammtisch

[fdiskc2000]

Und beim N40L klappt es leider nicht :-(

 

[gea]

Kann mir jemand mal den Unterschied zwischen keep und hold erklären?

Das sind zwei Mindestanforderungen die beide erfüllt sein müssen, damit Snaps gelöscht werden
Keep=4 und hold=30 ist so zu verstehen

Lösche alte Snapshots wenn es mehr als 4 sind UND diese älter als 30 Tage

 

[zos]

Hatte endlich wieder etwas Zeit am Backup weiterzumachen. Hab OmniOS r151016 auf meinen HP Microserver gemacht. WoL scheint zu funktionieren. Wollte nun meine 151014 LTS VM auf 151016 hochziehen aber das Upgrade bricht immer ab. Jemand schon das Problem gehabt? Irgendwas mit OpenSSL scheint wohl das Problem zu verursachen.

Wie bist Du vorgegangen? Hast Du zunächst mit "pkg update" r151014LTS (Edit: nicht wie erst geschrieben r151016) auf den aktuellen Stand gebracht und danach upgegraded wie hier beschrieben?

 

[fdiskc2000]

Das sind zwei Mindestanforderungen die beide erfüllt sein müssen, damit Snaps gelöscht werden
Keep=4 und hold=30 ist so zu verstehen

Lösche alte Snapshots wenn es mehr als 4 sind UND diese älter als 30 Tage

TOP, danke. So verstehe auch ich das

 

[besterino]

Vorweg geschickt: ich habe mich mit dem Thema ehrlich gesagt noch nicht näher befasst, möchte gern zunächst mal Ideen sammeln und einen Überblick gewinnen, bevor ich in völlig aussichtslose Themen vorstoße...

Frage: wie kann ich idealerweise ZFS Filesystems mit/als iSCSI-"Freigaben" auf einem Zweitsystem/-pool/was-auch-immer sichern?

Hintergrund: ich habe also z.B. einen ZFS-Pool mit x-HDDs, darauf nur ein ZFS Filesystem über die gesamte Poolgröße und dieses Filesystem fast komplett als iSCSI-Freigabe (LUN?) definiert. Das iSCSI-Target ist in z.B. in einem Windows-PC eingehängt und mit NTFS formatiert.

Ziel: Ich würde gerne die Daten auf der iSCSI-Freigabe irgendwo anders automatisiert so ablegen, dass ich sie zur Not irgendwie wiederherstellen kann. Das Ganze sollte idealerweise irgendwie vom Fileserver selbst durchgeführt werden (oder eben von der Backup-Kiste, die allerdings auch ein Solaris-System ist), zweitbeste Lösung wäre zur Not von der Windows-Kiste, der die iSCSI-Freigabe "gehört".

Problem/was habe ich probiert: ZFS-Replikation über das jeweilige ZFS-Filesystem funktioniert (bei mir) nicht - der Job startet zwar, läuft auch ohne Fehlermeldung "durch" aber es werden keine Daten übertragen. Ein paar KB gehen zwar rüber, die Datenmenge entspricht aber definitiv nicht der vorhandenen. Erschwerend kommt hinzu, dass der Filer selbst die Daten ja offenbar nicht ohne Weiteres lesen kann (1. kann Solaris kein NTFS und 2. frage ich mich, ob der Filer selbst an die iSCSI-Targets überhaupt herankommt?).

Die Krücke, die ich mir bisher überlegt habe, wäre halt, (z.B. auf einem anderen Pool) zusätzlich eine SMB-Freigabe einrichten, diese SMB-Freigabe auch in der Windows-Box einbinden und dann über Windows dahin kopieren. Hätte natürlich den Nachteil, dass Snaps dann nur auf der SMB-Freigabe gehen und ich nicht sicher bin, ob ZFS dann bei einem "überschreiben" z.B. einer großen VHD-Datei auf der SMB-Freigabe im Rahmen des Kopiervorgangs auch (nur) die Änderungen erkennt. Ansonsten, könnte man noch über Deduplication speziell für diesen Zweck nachdenken? Meine Box hat allerdings nicht RAM im Überfluss, so dass ich das eher nicht machen würde...

Bin für alle Gedanken / weiteren Hinweise offen.

 

[gea]

Frage: wie kann ich idealerweise ZFS Filesystems mit/als iSCSI-"Freigaben" auf einem Zweitsystem/-pool/was-auch-immer sichern?

Ein Solaris iSCSI Target basiert auf einem Logical Unit (LU),
das ist neben einer Festplatte entweder eine Datei auf einem Filesystem oder ein Zvol

Optionen zum Sichern einer LU
Ein Datei (Thin Provisioned LU) lässt sich normal kopieren oder per zfs send mit dem Dateisystem replizieren
Ein Zvol ist ein ZFS Dateisystem das als Blockdevice angesprochen wird. Das lässt sich per zfs send replizieren
(Das Zvol selber anwählen, nicht das Parent-Dateisystem)

Das LU lässt sich dann auf dem Backupsystem importieren (Comstar import, oder Menü Dateisystem > iSCSI).

 

[CommanderBond]

Hat schon jemand irgendwelche Erfahrungen mit NVMe gemacht unter OmniOS? Zumindest einen Treiber dafür scheint OmniOS ja schon zu besitzen.

 

[besterino]

@gea: Vielen Dank für die Info und Erläuterung (einmal mehr)!

Ich hab jetzt in der Tat mal für den Replikation-Job nicht das ZFS-Filesystem als Quelle, sondern das Ding "da drin" ausgewählt - entspricht dem Namen nach der Anzeige unter Comstar-->Logical Units bei "Datafile", also "/POOL/FILESYSTEM/iscsi_1455407899"... rödelt, mal schauen, was heraus kommt!

 

[gea]

@gea: Vielen Dank für die Info und Erläuterung (einmal mehr)!

Ich hab jetzt in der Tat mal für den Replikation-Job nicht das ZFS-Filesystem als Quelle, sondern das Ding "da drin" ausgewählt - entspricht dem Namen nach der Anzeige unter Comstar-->Logical Units bei "Datafile", also "/POOL/FILESYSTEM/iscsi_1455407899"... rödelt, mal schauen, was heraus kommt!

Das Ding da drin ist ein Zvol, also ein ZFS Dateisystem.
Das könnte zwar prinzipiell für Comstar einen beliebigen Namen haben - dieser Name wird von napp-it vergeben, damit es nach der Replikation auf dem Backupsystem wieder einfach im Menü ZFS Dateisysteme erkannt und importiert werden kann.

- - - Updated - - -

Hat schon jemand irgendwelche Erfahrungen mit NVMe gemacht unter OmniOS? Zumindest einen Treiber dafür scheint OmniOS ja schon zu besitzen.

Gnadenlos schnell. Ich habe es bereits mit Intel P750 und P3600 im Einsatz - momentan als L2Arc und Slog. Auch als High Performance Pool denkbar (Single NVMe bis 1000 MB/s unter SMB2).

Einschränkungen.
- Momentan nur mit Intel NVMe getestet/ empfohlen
- Bei mir läuft Pass-through unter ESXi nicht (hängt beim Zugriff)

 

[CommanderBond]

Würde es eigentlich gern als Storage für die VMs einsetzen und/oder als OS Platte damit ich alle SATA Ports für HDDs nutzen kann und mir keinen zusätzlichen SATA Controller kaufen muss.
Eine SM951 mit Adapter ist ja für etwa 120euro zu bekommen. Geht mir primär um den Anschluss, der Speed ist mir net ganz so wichtig.

Sprich ESXI auf den USB Stick, VMs auf den NVMe, und SATA Controller dann durchreichen an die NAS-VM

 

[besterino]

Das Ding da drin ist ein Zvol, also ein ZFS Dateisystem.
Das könnte zwar prinzipiell für Comstar einen beliebigen Namen haben - dieser Name wird von napp-it vergeben, damit es nach der Replikation auf dem Backupsystem wieder einfach im Menü ZFS Dateisysteme erkannt und importiert werden kann.

Also immerhin sind mal 400000MB angekommen und ich könnte die LU importieren - der Name passt, so dass ich davon ausgehe, dass die Replikation geklappt hat! Schon ziemlich geil, was mit ZFS so geht (und mit gea-Praxis/Forum-Support)... in einer ruhigen Minute importiere ich das mal testweise. Theoretisch müsste ich dann doch grundsätzlich das iSCSI-Target irgendwie wieder in einer Windows-Box einhängen und dann auf das dort befindliche NTFS-Dateisystem zugreifen können, oder?

 

[gea]

Das replizierte Zvol müsste nach der Übertragung im Menü ZFS Dateisysteme > iSCSI als "off (zvol)" erscheinen. Um es zu nutzen muss es als Logical Unit aktiviert werden:

- Comstar Target Service einschalten (Menü Services)
- optional Dateisystem auf R/W stellen (readonly ausschalten)
- Menü Dateisysteme unter iSCSI auf "off (zvol)" klicken und LU einschalten
- In Windows das neue iSCSI Target von diesem Server holen.

 

[CommanderBond]

Mal ne Frage zur Virtualisierung noch: So wie ich das verstehe ist alles was in der VM auf die Festplatte zugreift eher nicht so schnell. Ich möchte mir jetzt aber eine Ubuntu VM aufsetzen zum Arbeiten, genauer gesagt geht es dabei um Videos zu remuxen, also viel schreib und lesearbeit. Möchte da gern von der Hohen Schreib und Lesegeschwindigkeit des Pool profitieren. Da ich nur Gbit Ethernet habe und die Daten auf dem Server liegen und anschließend auch wieder dort hinsollen wäre es ja klever sie gleich da zu lassen und nicht einmal zu meinem Windows PC hin und wieder zum Server zurück zu transportieren.
Ist es hier klever über Netzwerkfreigaben zu arbeiten NFS oder SMB? Also ein NFS Share in der Ubuntu VM dann mounten, das müsste doch eine recht hohe Performance dann liefern oder sehe ich das falsch?

 

[gea]

Im Prinzip kommt es darauf an was man möchte. Eine VM kann ja auf zwei Arten auf das Storage zugreifen

1. als DAS
Man gibt der VM eine virtuelle Festplatte auf einem ESXi Speicher (lokal datastore oder NFS Storage)
Bei NFS Storage kann man ein eigenes Dateisystem mit sync=disabled nutzen (schneller aber kein powerloss Schutz)
Der Traffic geht über den virtuellen Diskcontroller von ESXi

2. über ein NFS oder SMB NAS-Share
Der Traffic geht über eine vnic z.B. SMB/NFS client -> vmxnet3 -> SMB/NFS Server
Auch hier könnte man bei NFS aus Performancegründen sync ausschalten

Variante 1 ist üblicherweise schneller da direkter, es ist aber kein shared Zugriff möglich.
In beiden Fällen geht aber der Traffic ESXi intern mit > 1Gb/s in Software

 

[supemole]

Hallo gea,

da ich weiß, dass Du auch Mac Clients mit OmnIOS bzw. Solaris über SMB betreibst, habe ich ein Frage. Ich teste seit einigen Tagen mit einem iMac unter 10.11.3 den Zugriff auf SMB 2.1 unter Solaris 11.3. Die Performance ist wie erwartet gut. Allerdings habe ich zunehmend Probleme mit dem Kopieren per Finder. Ich habe einige Verzeichnisbäume und kopiere einige hundert Dateien, die bis zu 20 GB groß sind. Dabei kommt es immer wieder zu Abbrüchen und Fehlermeldungen des Finders. Ich beobachte auch immer wieder einen Refresh der Darstellung im Finderfenster, ein verschwinden von Verzeichnissen und nach einigen Sekunden werden die Verzeichnisse wieder angezeigt. Sehr merkwürdig.
Wenn ich die gleichen Kopieraktionen über das Terminal mache, also cp -prv /Quellenverzeichnis/* /Volumes/Zielverzeichnis, läuft alles problemlos. Es traten dabei bisher noch nie Fehler auf.

Hast Du auch schon solche Probleme bemerkt?

Bei AFP und CIFS, also SMB 1.x, hatte ich in der Vergangenheit nie Schwierigkeiten mit großen Kopieraktionen per Finder.

Die von mir eingesetzte Solarisversion ist aktuell mit Supportvertrag und aktuellem Patchstand.

 

[gea]

Ich habe mal meinen lokalen Systemordner mit OSX 10/ 11.3 vom MacBook mit 1G aufs Netz kopiert - kein Probleme mit Solaris 11.3
(gehe zu, mit server verbinden smb://server damit auch SMB2 benutzt wird; cifs://server macht smb1)

 

[supemole]

Ich habe mal meinen lokalen Systemordner mit OSX 10/ 11.3 vom MacBook mit 1G aufs Netz kopiert - kein Probleme mit Solaris 11.3
(gehe zu, mit server verbinden smb://server damit auch SMB2 benutzt wird; cifs://server macht smb1)

Ok danke, genauso mache ich das auch. Keine Ahnung was da los ist. Ich werde dann mal weiter forschen...

 

[CommanderBond]

Gibt übrigens ne neue version von Serviio. vielleicht hat Zos ja Zeit und Lust das Script umzudaten

 

[zos]

Gibt übrigens ne neue version von Serviio. vielleicht hat Zos ja Zeit und Lust das Script umzudaten

Gedankenübertragung... Genau heute Abend habe ich mal über die Installationsscripte drübergeschaut und dabei u.a. die neue Serviio-Version bemerkt. Es sind noch nicht alle Scripte auf die aktuellsten Versionen gehoben geschweige denn getestet, aber Serviio schon

(1) Java 8, neueste Version 1.8.0_74-b02 (Installation mit "wget -O - http://www.wp10455695.server-he.de/java | perl")
(2) Serviio 1.6, noch mit WebUI 1.5 die bei mir dennoch mit Serviio 1.6 funktioniert (Installation mit "wget -O - http://www.wp10455695.server-he.de/serviio16 | perl")

Zum Thema Apache, MySQL und PHP:
Vor einigen Monaten ist PHP7 erschienen und auch schon in Joyent's aktuellem SmartOS-Repo verfügbar. PHP7 soll ordentliche Performanceverbesserungen aufweisen, so dass ich das amp-Script zunächst darauf angepasst habe. Leider sind bisher nicht alle php-Extensions im SmartOS-Repo vorhanden, die unter php56 verfügbar sind (insbesondere php7-redis fehlt, benötigt u.a. für ownCloud). Also gibt es zur Zeit 2 Versionen des amp-Scriptes, "amp" und "amphp7" (in beiden wird Redis selbst mitinstalliert, aber nur in "amp" auch die dazu passende php-Extension):

(3) Apache, MySQL, Redis, PHP56 (mit php56-redis extension) (Installation mit "wget -O - http://www.wp10455695.server-he.de/amp | perl")
(4) Apache, MySQL, Redis, PHP7 (ohne php7-redis extension) (Installation mit "wget -O - http://www.wp10455695.server-he.de/amphp7 | perl")

Falls also jetzt jemanden die Experimentierlust packt, kann dieser gerne versuchen die php7-Redis-Extension unter OmniOS zu kompilieren: https://github.com/phpredis/phpredis/archive/php7.zip

 

[teqqy]

Gibts ne Empfehlung für ein HBA der unter ESXi6 läuft und SSDs korrekt als SSDs an die VM weiter leiten kann? Letzters ist mir wichtig, da ich Windows Storage Spaces in der VM nutzen möchte und ich keine Lust habe auf umbiegen des Media Typs.

Tendenziell hätte ich an einen 1015er gedacht. Aber die sind ja auch nicht mehr günstig (Bucht).

 

[morph027]

Erledigt...

 

[CommanderBond]

Gedankenübertragung... Genau heute Abend habe ich mal über die Installationsscripte drübergeschaut und dabei u.a. die neue Serviio-Version bemerkt. Es sind noch nicht alle Scripte auf die aktuellsten Versionen gehoben geschweige denn getestet, aber Serviio schon

(1) Java 8, neueste Version 1.8.0_74-b02 (Installation mit "wget -O - http://www.wp10455695.server-he.de/java | perl")
(2) Serviio 1.6, noch mit WebUI 1.5 die bei mir dennoch mit Serviio 1.6 funktioniert (Installation mit "wget -O - http://www.wp10455695.server-he.de/serviio16 | perl")

Zum Thema Apache, MySQL und PHP:
Vor einigen Monaten ist PHP7 erschienen und auch schon in Joyent's aktuellem SmartOS-Repo verfügbar. PHP7 soll ordentliche Performanceverbesserungen aufweisen, so dass ich das amp-Script zunächst darauf angepasst habe. Leider sind bisher nicht alle php-Extensions im SmartOS-Repo vorhanden, die unter php56 verfügbar sind (insbesondere php7-redis fehlt, benötigt u.a. für ownCloud). Also gibt es zur Zeit 2 Versionen des amp-Scriptes, "amp" und "amphp7" (in beiden wird Redis selbst mitinstalliert, aber nur in "amp" auch die dazu passende php-Extension):

(3) Apache, MySQL, Redis, PHP56 (mit php56-redis extension) (Installation mit "wget -O - http://www.wp10455695.server-he.de/amp | perl")
(4) Apache, MySQL, Redis, PHP7 (ohne php7-redis extension) (Installation mit "wget -O - http://www.wp10455695.server-he.de/amphp7 | perl")

Falls also jetzt jemanden die Experimentierlust packt, kann dieser gerne versuchen die php7-Redis-Extension unter OmniOS zu kompilieren: https://github.com/phpredis/phpredis/archive/php7.zip

Also ich glaube die WebGUI1.5 ist überflüssig, weil Serviio 1.6 nun mit ner eigenen WebGUI Console daher kommt. Zumindest hab ich das so verstanden.

 

[zos]

Also ich glaube die WebGUI1.5 ist überflüssig, weil Serviio 1.6 nun mit ner eigenen WebGUI Console daher kommt. Zumindest hab ich das so verstanden.

Jo stimmt, da hast Du Recht... unter http://<hostip>:23423/console gibt es eine WebUI...

Ich lass die php-WebUI aber trotzdem erstmal noch im Installationsscript (solange es noch aktualisiert wird), kann ja sein, dass der ein oder andere es lieber nutzt. Hier kannst du im Gegensatz zur neuen WebUI z.B. auch language=Deutsch einstellen sowie das Logfile (Pfad "/opt/local/share/serviio/log/serviio.log") einsehen ohne auf die Console zu müssen.

 

[CommanderBond]

von virtualbox kam gestern auch ne neue Version noch raus. 5.0.16

 

[Macer89]

Hallo, ich bräuchte etwas Rat von euch.
Konkret geht es darum welche VDEV-Konfiguration man im Heimbereich (!!!) anstrebt, wenn man das Augenmerk darauf legt, dass ein 10 GB/s NIC ausgelastet werden soll (Clients vermutlich 1-5), es sich um einen 24 Slot Server handelt (ev. in Zukunft 1-2 Expander-Cases) und man ein vernünftiges Ratio zwischen Kosten/Nutzen bei einer möglichen Disk-Expansion finden sollte.
Um so mehr Artikel/Foreneinträge ich darüber lese um so weniger Klarheit erschließt sich mir darüber ...
Aus meiner Sicht würde es 2 Möglichkeiten geben:

• Mirror (12 x 2 Disks)
• Raidz2 (4 x 6 Disks)

Was sagt ihr? Zeigt eure Erfahrung? Danke schon mal!

 

[ludwinator]

Ohne vom verfügbaren Platz zu reden:
Der Mirror wird lesend max 24 mal soviel wie eine Platte liefern, schreibend noch 12 mal.
RAIDZ2 max. vier mal soviel wie eine einzelne Platte.
Erweiterung ist in beiden Fällen möglich.

cu

 

[effemmess]

• Mirror (12 x 2 Disks)
• Raidz2 (4 x 6 Disks)

Was sagt ihr? Zeigt eure Erfahrung? Danke schon mal!

Da wirst du wohl ein wenig testen müssen - das hängt von einigen Faktoren ab, ob deine 10er Leitung ausgelastet wird...
Z.B. setzt du 24 von den guten alten 80GB-Platten ein oder die neuesten SSDs...?
Ist das ein Storage für VMs oder für Backups oder oder oder?
Genügend/schneller ARC/L2ARC vorhanden?

Zu vergleichende Kriterien pro spezieller (deiner) Anforderung sind:
- Sicherheit
- Kapazität
- Geschwindigkeit (Lesen/Schreiben;Zugriff random/sequentiell)

Ansonsten hätte ich noch diese Variante im Angebot:

[*]Raidz1 (8 x 3 Disks)

- - - Updated - - -

Ich hätt auch mal ne Frage...
Hat jemand mit diesem HBA Fujitsu PRAID CP400i, PCIe 3.0 x8, LSI3008 Erfahrung? Ist dieser auf nem Supermicro-Board für ZFS/OmniOS/ESX geeignet? Kann/muss er auf LSI umgeflashed werden?
Gibts andere (preiswerere) Alternativen zum LSI SAS 9300-8i?

 

[MaxRink]

@gea Napp-It @ SmartOS ist immer noch nicht funktionsfähig, oder?

 

[gea]

Nein, ist auch derzeit nicht beabsichtigt da dazu einiges angepasst werden müsste. SmartOS is eben von der Konzeption eine USB Stick/readonly KVM Plattform und keine Storageplattform.

 

[Hypercube83]

Hallo,

Ich weis das gehört nicht so recht hierher aber gibt es schon einen Thread wo man sich über BTRFS unterhalten kann?


Grüße