[Sammelthread] ZFS Stammtisch

[CommanderBond]

Kann man VirtualBox, Pydio und Co. einfach "drüber" installieren, also einfach ganz normal aufrufen, wenn man schon ne ältere Version drauf hat? Also zB das Scipt eine Version davor benutzt hatte damals.

Virtual Box zeigt mir im Webinterface als IP 127.0.0.1 an. Und Serviio ist im Netzwerk unter "Serviio(localhost)" erreichbar. Hostname hab ich als "NAS" gesetzt per Napp-it.
Bei meiner alten Installation tauchte das ganze noch als "Serviio(NAS)" auf im Netzwerk. Muss ich hier noch irgendwas einstellen?

 

[zos]

Kann man VirtualBox, Pydio und Co. einfach "drüber" installieren, also einfach ganz normal aufrufen, wenn man schon ne ältere Version drauf hat? Also zB das Scipt eine Version davor benutzt hatte damals.

Nein, das kann man nicht. Hier sollten immer die jeweiligen Upgrade-Howto's als Leitfaden dienen, z.B. für Pydio hier zu finden.

Bei VirtualBox muss zunächst die alte Version deinstalliert werden:

[Sicherheitshalber zunächst BE erstellen, z.B. beadm create pre-vbox-upgrade]
pkgrm SUMWvbox
pkgrm SUNWvboxguest

Danach sollte das aktuelle Installationsscript teilweise laufen gelassen werden:

(1) Download mit "wget www.wp10455695.server-he.de/phpvbox"
(2) Entfernen des Steps (7, 7a + b), da Apache phpvirtualbox bereits kennt
(3) Modifiziertes Script speichern und mit "perl phpvbox" starten

Bereits vorhandene VMs sollten erhalten bleiben und nach dem Upgrade auch automatisch wieder erkannt werden.

Aber wie gesagt: Vorher ein Backup machen...

Virtual Box zeigt mir im Webinterface als IP 127.0.0.1 an. Und Serviio ist im Netzwerk unter "Serviio(localhost)" erreichbar. Hostname hab ich als "NAS" gesetzt per Napp-it.
Bei meiner alten Installation tauchte das ganze noch als "Serviio(NAS)" auf im Netzwerk. Muss ich hier noch irgendwas einstellen?

Keine Ahnung, ich schau heute Abend mal nach, welche Einstellungen ich bei mir vorfinde.


Und noch ein Nachtrag, was Upgrades von pkgsrc-Releases betrifft. Diese sollten laut Joyent nicht "upgegraded" werden, Zitat:

"You cannot upgrade from an earlier pkgsrc release to a later one. If you need to use a package from a later pkgsrc release, we recommend that you provision a new SmartOS instance built on the pkgsrc version you need, and migrate from the older instance."

 

[gea]

Kürzlich hat Joyent ein neues pkgsrc-Release (2015Q1) bereitgestellt, so dass ich das amp-Script mit folgenden Versionsständen aktualisiert habe:
...

Klasse, ich habs übernommen.

 

[Pascha]

Guten Tag zusammen,

ich habe noch einmal eine Frage zu ZFS und Deduplication:
wenn ich es richtig verstanden habe ist es möglich deduplication auf nur einem Dataset zu aktivieren, der zpool auf dem das Dataset liegt bleibt dann unberührt?
Ich habe ein Backup Dataset auf welchem jeden Tag ein komplettes Backup eines Mail/SOGO Servers landet, ca. 5GB/Tag, diese werden 30Tage Aufbewahrt, dazu kommen dann noch 52 Wochensicherungen zu je 5GB was somit knappe 400GBDaten ausmacht, welche zu großen teilen gleich sind. Meinem Verständnis nach wäre Deduplication hier zweckmäßig, da es viele doppelte Daten gibt und der RAM bedarf mit ca. 2,5GB auch im Rahmen liegt.

zum System:
AMD FX4300
16GB RAM
4x4TB im RAID10 (sprich 8TB Nutzkapazität abzügl. Snapshots)

Grüße!

 

[gea]

Deduplication kann man für einzelne Dateisysteme aktivieren, es arbeitet aber Poolweit.
Mann kann es also nicht mehr deaktivieren - auch nicht wenn man das Dateisystem löscht.

Ich würde erstmal LZ4 aktivieren uns sehen ob das reicht.
Ansonsten wäre Dedup eventuell eine Option wenn man einen weiteren kleineren Pool hätte.
Den Hauptpools würde ich damit nicht "infizieren" - eben weil man es nicht mehr los wird ohne den Pool neu zu erstellen.

Insgesamt ist es aber so.
Selbst wenn es 50% Platzgewinn bringt (dedupratio 1:2), dann reden wir von 200 GB.
Um es mit der Deutschen Bank auszudrücken - das sind Peanuts.

Ich würde dedup daher aus lassen und LZ4 an machen.

 

[Pascha]

ok, unter der Voraussetzung das es poolweit arbeitet stimme ich dir auf jeden Fall zu. Ich hatte die Hoffnung des ich einen Ratio von 1:10 oder höher erreiche, da wäre es mir den Einsatz wert gewesen. Mit lz4 liege ich bei einem Compression Ratio von 2.03.

 

[zos]

Virtual Box zeigt mir im Webinterface als IP 127.0.0.1 an.

Das ist Standard. Hier siehst Du die Informationen über das Hostsystem.

Und Serviio ist im Netzwerk unter "Serviio(localhost)" erreichbar. Hostname hab ich als "NAS" gesetzt per Napp-it.
Bei meiner alten Installation tauchte das ganze noch als "Serviio(NAS)" auf im Netzwerk. Muss ich hier noch irgendwas einstellen?

Ist bei mir auch so. Wenn Deine alte Installation noch verfügbar ist, schau mal unter /etc/inet/hosts nach, ob dort noch weitere Einträge außer "127.0.0.1 localhost loghost" und "::1 localhost" stehen. Im Webfrontend von Seriviio kann im Reiter "Status" unter "Netzwerk Einstellungen" der Eintrag "Automatisch" auf eine konkrete IP geändert werden.

Grundsätzlich aber scheint doch alles bei Dir zu funktionieren, der Server ist im Netzwerk sichtbar und somit zu verwenden.

 

[CommanderBond]

Ja ist eher nen optisches "Problem". Funktionell bin ich noch auf keinerlei Probleme gestoßen.

Im Webfrontend von Seriviio kann im Reiter "Status" unter "Netzwerk Einstellungen" der Eintrag "Automatisch" auf eine konkrete IP geändert werden.

Ja aber das hat darauf keinerlei Auswirkung. Muss mal gucken ob ich die alte Installation noch habe. Hatte den Stick mal geclont (wie es auf Nappit stand). Gibt es einen einfachen Weg wie man sich den Inhalt unter Windows anzeigen lassen kann?

 

[zos]

Gibt es einen einfachen Weg wie man sich den Inhalt unter Windows anzeigen lassen kann?

Stick an Dein aktuelles OmniOS anstöpseln und dann mal

zpool import -f rpool rpoolalt

probieren. Danach sollte der alte pool unter /rpoolalt gemounted sein.

 

[zos]

AMP-Installation: MySQL-Installation optimieren

Noch eine Anmerkung zur AMP-Installation:

Nach Abschluss des Installationsscriptes befindet sich das Datenverzeichnis von MySQL auf dem rpool unter /var/mysql. ZFS-Filesystems (wie hier auch rpool) haben per Default eine Blocksize von 128K, was für MySQL hinsichtlich der Performance nicht optimal ist. Dieser Blogeintrag und diese Präsentation beschreiben Best Practices im Zusammenspiel von ZFS und MySQL. Diese gelten teilweise unter der Annahme, dass der betroffene Server ein reiner Datenbankserver ist (z.B. disable prefetch), bzw. für den Enterprise-Bereich.

Mich hat trotzdem der Gedanke gereizt, meine (SOHO) MySQL-Installation gemäß des o.a. Blogeintrages anzupassen.

Rausgekommen ist dabei folgendes Vorgehen:

(1) mysql-daemon stoppen
(2) Default-Installation sichern
(3) Anlegen der ZFS-Filesystems für MySQL InnoDB und Logs (.iblogs als verstecktes Verzeichnis, damit es später unter phpmyadmin nicht mit angezeigt wird)
(4) Rechte setzen
(5) MySQL-Konfigurationsfile nach /opt/local/etc kopieren (aus diesem Verzeichnis liest mysql_install_db später (s.u.) die Datei my.cnf standardmäßig)

svcadm disable mysql
mv /var/mysql /var/mysql.org
zfs create -o recordsize=16k -o primarycache=metadata -o mountpoint=/var/mysql rpool/export/home/mysql
zfs create -o recordsize=128k rpool/export/home/mysql/.iblogs
chown -R mysql:mysql /var/mysql
cp /opt/local/my.cnf /opt/local/etc

Danach die Datei /opt/local/etc/my.cnf editieren und folgende Zeilen unkommentieren bzw. zusätzlich erfassen:

basedir = /opt/local
datadir = /var/mysql
innodb_data_home_dir = /var/mysql
innodb_log_group_home_dir = /var/mysql/.iblogs
skip-innodb_doublewrite

Zum Schluss dann MySQL-Basisinstallation durchführen, mysql-daemon starten, und secure-installation-Script starten.

mysql_install_db --user=mysql
svcadm enable mysql
/opt/local/bin/mysql_secure_installation

Dieses Vorgehen hat den Vorzug, dass eine Anpassung des SVC-Manifestes bzw. des Startscriptes unter /opt/local/lib/svc/method/mysqld nicht erforderlich ist.

 

[skelleton]

SO ich habe jetzt meinen neuen Media Pool bestellt (ist 11x 8TB Seagate Archive geworden).

Jetzt bin ich am ueberlegen ob es sich eventuell lohnt von Openindiana umzusteigen.

Die beiden Alternativkandidaten sind:
- OmniOS
- Debian Jessie + Samba 4

Gibt es Gruende eventuell bei OpenIndiana zu bleiben?

Sind bei dem Transfer von Zpools zu einer ZFS on Linux installation Probleme zu erwarten?
Gibt es noch irgendwelche riesigen Nachteile die ich von ZFS on Linux Erwarten muss?
Dazu muss ich sagen dass ich keinen meiner Datenpools mit ZFS snapshots Nutze.

Da es ja immer noch keine Featureflag zur Verschlusselung des Dateisystemes gibt (soweit ich weiss): ist es immer noch am besten die einzelnen Platten mit LUKS oder etwas aehnlichem zu verschluesseln?
Oder gibt es da inzwischen andere Methoden die zu bevorzugen sind.

Folgende Pools soll es nach dem Umbau auf dem Storage Server geben:
RaidZ3: 11x8TB Medienarchiv
RaidZ: 4x3TB Backups von Virtuellen Maschienen. Eventuell auch Windows Backups wenn ich einmal meinen Homeserver ausmustere
Vdev: 1x2TB "Warmstorage" fuer den Medienserver. Da laufen dann TV aufnahmen drauf und Sachen werden darauf bearbeitet. Wenn das Zeugs sich dann laenger nicht mehr geaendert hat will ich es per Skript ins Archiv schieben. Somit kann mir die Schreibleistung der Archive HDDs relativ egal sein.

 

[phlowx]

Die Pools aus OpenIndiana sollten sich eigentlich problemlos unter ZOL einbinden lassen.

Ansonsten schau dir mal FreeNAS an, das bietet dir eigentlich alles was man für ein Datengrab benötigt:
Samba4, Netatalk (falls Macs vorhanden sind), NFS, iSCSI, rsyncd, Verschlüsselung, periodische Snapshots, SMART-Überwachung, VMware-Snapshots, Jails, diverse Plugins; und falls doch noch etwas fehlen sollte, im Ports Archiv ( siehe FreshPorts -- The Place For Ports ) lässt sich eigentlich alles finden.

 

[Digi-Quick]

SO ich habe jetzt meinen neuen Media Pool bestellt (ist 11x 8TB Seagate Archive geworden).

Willkommen im Club
Hast du meine Tests verfolgt?
http://www.hardwareluxx.de/communit...250-nagelneu-wo-ist-der-haken-1049915-20.html ab #494 ff

Kurzer Abriß:
Test war mit einem Raidz3 aus 7 Platten erfolgt.
Schreibrate über GBit Lan mit ca. 80 MB/s war für mich OK (liegt jetzt bei 19 Platten mit konstanten 100 MB/s schon fast am Limit - mit OmniOS/Oi würde vielleicht noch a bisserl mehr gehen)
Scrubbing Speed war eigentlich als normal einzuschätzen
Ekelhaft wird ein Resilver, wenn's denn mal soweit ist. Ein Resilver einer Platte im Testsetup mit ca. 24,5 TB Daten hat fast 5 Tage gedauert, und werde ich jetzt im Life Betrieb nicht mehr vorsätzlich durchführen.

 

[skelleton]

Ja ich habe deine und noch ein paar Sachen auf reddit Verfolgt und bin zu dem Schluss gekommen, dass es fuer meine Anforderungen an die Schreibleistung reichen wird. Besonders wenn ich eine Bestehende platte als temp volume fuer Sachen nehme wo das ein Einbruch der Schreibleistung eventuell ein Problem sein kann.

 

[CommanderBond]

Das ist Standard. Hier siehst Du die Informationen über das Hostsystem.



Ist bei mir auch so. Wenn Deine alte Installation noch verfügbar ist, schau mal unter /etc/inet/hosts nach, ob dort noch weitere Einträge außer "127.0.0.1 localhost loghost" und "::1 localhost" stehen. Im Webfrontend von Seriviio kann im Reiter "Status" unter "Netzwerk Einstellungen" der Eintrag "Automatisch" auf eine konkrete IP geändert werden.

Grundsätzlich aber scheint doch alles bei Dir zu funktionieren, der Server ist im Netzwerk sichtbar und somit zu verwenden.

Nochmal geguckt bei meiner alten Installation, da sieht es aber genauso aus, weiß nicht wieso er diesmal einen anderen Namen gewählt hat.

Allerdings kann man das ganze manuell auch ändern, siehe

Serviio • View topic - How do you change the DLNA server name?

 

[Neo666]

Da mich das Thema ZFS schon lange reizt habe ich meinen bisher unter Windows laufenden Homeserver etwas aufgerüstet, auf ESXi 6 umgestellt und die Napp-In-One VM importiert. 8 3TB WD Reds hängen an einem durchgereichten LSI HBA (Dell H310 mit LSI IT Firmware v19) und laufen wunderbar und schnell als RaidZ2.

Folgendes Problem bekomme ich aber nicht gelöst: Ich kann keine Dateien mit deutschen Sonderzeichen im per Napp-It Gui angelegten ZFS Pool erstellen. Zuerst dachte ich es wäre ein Windows Problem (habe es beim zurückspielen des Backups zuerst bemerkt) aber selbst ein simples "touch ü" auf der Kommandozeile macht er nicht. Die per Webgui angelegten Pools verlangen ja UTF8 Namen, aber die deutschen Sonderzeichen sind doch in UTF8 enthalten, oder nicht?

Das Omnios und die Napp-It Gui habe ich auf die neusten Versionen aktualisiert. Die LANG Variable habe ich geschafft auf de_DE.UTF8 zusetzen, hat aber nichts gebracht.

Jemand eine Erklärung oder einen Lösungsvorschlag?

 

[gea]

Wenn man den SMB Server nutzt, machen Umlaute kein Problem, genau wie mit netatalk und Macs.
Auf der Konsole und auf Systemebene oder wenn man übergreifend mit Mac, Unix, Solaris oder www arbeitet, gibts nur einen Rat:

Ascii 7- Bit und alles tut, alles andere ist K(r)ampf

 

[Neo666]

Vielen Dank!!! Bin gar nicht auf die Idee gekommen es mal über SMB zu probieren. Schade das es per NFS nicht geht, läuft ein gutes Stück performanter.

Edit: Wäre es denn so "böse" das utf8only nicht auf on zu setzen? Ohne scheint es auch zu gehen.

 

[gea]

Edit: Wäre es denn so "böse" das utf8only nicht auf on zu setzen? Ohne scheint es auch zu gehen.

nicht böse, sondern K(r)ampf gegen die Widrigkeiten.
Etwas geht, anderes nicht.

Ich verzichte (würde empfehlen) da ganz pragmatisch bei Unix System Sachen auf Umlaute zu verzichten.

 

[Neo666]

Okay alles klar. Bin auch grad am testen aber teilweise will sogar ls auf der Kommandozeile nicht mehr wenn man sowas macht.

 

[Neo666]

Hat noch jemand das Problem, dass nach einem Reboot der NFS Server nicht hochkommt? Hab extra die Napp-It VM neu aufgesetzt aber das Verhalten bleibt. nfs/nlockmgr geht immer in den maintenance mode. Sharing beenden und clearen hilft, bis zum nächsten reboot.

 

[ces]

Ist meist ein DNS-Problem.
Wenn auf meinem napp-in-one napp-it verständlicherweise vor dem DC (auf dem der primäre DNS läuft) startet, habe ich ähnliche Probleme. Daher entweder mit der hosts arbeiten oder nen zweiten (eigenständigen) DNS vorhalten.

 

[Neo666]

Was sollte in die hosts rein, alle Rechner im Netz?

 

[ces]

Relevant hierfür sind nur sein eigener Hostname + zugehörige IPs.

 

[TCM]

Genaugenommen muss jeder Host rein, der benötigt wird, bevor DNS verfügbar ist. Welche das ggf. sind, sollte der Admin wissen.

 

[Neo666]

Jetzt läufts wieder, danke.

 

[mbauhardt]

Hi,
Weiss jemand von euch wie ich einem non root user erlauben kann ein zfs pool zu importieren?

 

[phlowx]

Welches Betriebssystem?

 

[Fischje]

ich warte mit meinem napp-it projekt immer noch bis esxi 6.x unterstützt wird. jetzt läufts rund, aber ich möchte über kurz oder lang von meiner xpenology weg, den M1015 an die napp-in-one durchreichen und als storage am virtuellen switch nutzen.

Frage mich derzeit nur, wie ich es schaffen kann, dass vms auf dem esxi laufen, trotzdem aber möglichst wenig strom verbraucht wird und die storage vm (napp-in-one) festplatten schalfen legt... geht das überhaupt?... ich bin überfordert...

 

[Asa]

Wenn du die HDDs per VT-D / Passthrough durch mappst, kannst du die auch von der VM schlafen legen lassen.
Vorausgesetzt der Controller supported das natürlich