[Sammelthread] ZFS Stammtisch

[Turboschnecke]

Das habe ich auch gesehen, aber ich glaube, dass bringt mir nix mit Emby. Ich will dann mit Kodi auf den Emby-Server zu greifen und der Server gibt die Dateien dann weiter. Nur wird das nicht funktionieren, wenn ich in Emby "lokale" Pfade habe und keine über SMB Freigaben, an die ich in Kodi ran komme oder?
Momentan läuft der Emby Server auf dem gleiche PC wie Kodi. Nur ist die Kiste schnarchlangsam (Celeron 880 oder so ähnlich) und das bremst dann aus, wenn Kodi die Datenbank mit Emby abgleicht. Der Storage macht sonst nix, deswegen war meine Idee den Emby Server auch dahin zu verfrachten. Und wenn ich das richtig verstehe, muss ich quasi in Emby und Kodi dann identische Pfade haben, auf die ich zugreifen kann. Und da dachte ich an SMB Freigaben.

 

[McStarfighter]

Emby Server braucht für einen Remote-Zugriff auf die Inhalte UNC-Pfade, sonst kann Kodi nichts abspielen!

 

[Turboschnecke]

UNC Pfade sind quasi SMB Pfade oder?

Du hast es ja dann doch nicht realisiert über eine LX Zone. Wollte dich schon anschreiben, bis ich den Post gefunden habe, wo du es hast sein lassen

 

[layerbreak]

Wenn ich dich richtig verstehe, soll Emby-Server praktisch der Master sein und deine Clients greifen mit "Emby for Kodi" dann so auf Emby-Server zu. Sorry bei dieser Konstellation kann ich dir nicht weiterhelfen - weil ich schlicht nicht weis wie das funktioniert.
Bei mir ist Emby-Server nur ein weiterer Client, der nur lesend auf mein Film-FS zugreifen darf. Die Datenverwaltung mache ich händisch selbst und will es nicht Emby überlassen. Emby ist nur dazu da, dass die Familie über WAN (Zug, Auto, Urlaub) darauf zugreifen kann.
Aber ansonsten passt die Idee mit der Linux Zones schon, wenn der Storage sich eh langweilt.

- - - Updated - - -

UNC Pfade sind quasi SMB Pfade oder?

Du hast es ja dann doch nicht realisiert über eine LX Zone. Wollte dich schon anschreiben, bis ich den Post gefunden habe, wo du es hast sein lassen

Ja,
//Storage-IP/filme/a
wobei filme deine SMB Freigabe ist.

Das nicht realisieren hat aber glaube ich andere Gründe. Fighter macht das Ganze jetzt mit Ubuntu und ZoL.

 

[layerbreak]

Ich hab den Fehler gefunden, es liegt definitiv nicht an OmniOS, sondern - er sitzt vor der Tastatur = fehlendes Wissen.

In die fstab hatte ich folgendes eingetragen:

//AIO-IP/srv	/home/div-files	cifs	username=layerbreak,password=layerbreakPW,user,uid=999,gid=999	0	0

es muss aber, wenn das mount.cifs Paket nicht installiert ist, noch die Datei und Verzeichnisrechte mit übergeben werden. Jetzt kann der Debian-User websoft mit der uid=999 darauf rw zugreifen.

//AIO-IP/srv	/home/div-files	cifs	username=layerbreak,password=layerbreakPW,vers=2.0,uid=999,gid=999,file_mode=0644,dir_mode=0755	0	0

Gefunden bei ubuntu. Samba Client cifs › Wiki › ubuntuusers.de

Die Option in der fstab "guest" oder "password=" für die ZFS-SMB-Freigabe "guestok" geht auch nicht, vermutlich auch wegen fehlendem mount.cifs Paket, also muss ein OmniOS-SMB-User angegeben werden.

 

[McStarfighter]

In Bezug auf Kodi ist das keine Hexerei, es braucht halt einfach nur gültige Netzwerkpfade zum Abspielen (eingetragen in den Emby-Bibliotheken). Mehr ist da nicht!

Ein Gedanke: Laut gea kann man ZFS in einer LX Zones lokal mounten. Das gibt dir dann die lokalen Pfade. Und damit Kodi auch darauf zugreifen kann, trägt man im Emby Server die UNC-Pfade ein, wie sie auf dem OmniOS selbst gegeben sind für den Mountpoint (also eben nicht innerhalb der LX Zone sondern auf dem Host selbst!).
Sollte eigentlich klappen, denn Emby Server selbst braucht die UNC-Pfade nicht bei lokalem Zugriff!

 

[MisterY]

Wie groß ist der Performance Sprung wenn man zwei 250gb 850evo als Cache hinzufügt? Oder bringt das nichts?

das würde ich gerne wissen.

Aktuell habe ich ein Raidz1 aus drei 1TB 2.5"HDDs, davon sind, wie sich herausgestellt hat, zwei SMR Diese würde ich gerne gegen welche mit PMR austauschen. Aktuell sind Proxmox-CTs auf dem Raidz1 Pool einfach nur unerträglich langsam und IO-Wait ist sehr hoch (so um die 30%). Deshalb sind meine CTs aktuell alle auf SSDs, nur der Datenspeicherort meiner Nextcloud liegt auf dem Raidz1. Der Einfachheit halber würde ich aber gerne alles auf einem Pool haben (es ist sehr umständlich ein Backup eines CTs auf zwei unterschiedlichen Datenträgern wiederherzustellen).

Deshalb die Frage: Wäre ein Raidz1 aus drei HDDs mit PMR pluss zwei Samsung 850 Evos (250GB) schnell genug um da CTs/VMs drauf laufen zu lassen, oder ist die Performance im Vergleich zu den SSDs immernoch grottig? Aktuell sind die beiden Evos in einem ZFS Mirror für das OS+CT/VM, was ich aber auch gerne trennen würde (OS auf eine eigene SSD), und da ZOL noch kein TRIM unterstützt, ist das natürlich auch nicht soo pralle.

 

[Turboschnecke]

In Bezug auf Kodi ist das keine Hexerei, es braucht halt einfach nur gültige Netzwerkpfade zum Abspielen (eingetragen in den Emby-Bibliotheken). Mehr ist da nicht!

Ein Gedanke: Laut gea kann man ZFS in einer LX Zones lokal mounten. Das gibt dir dann die lokalen Pfade. Und damit Kodi auch darauf zugreifen kann, trägt man im Emby Server die UNC-Pfade ein, wie sie auf dem OmniOS selbst gegeben sind für den Mountpoint (also eben nicht innerhalb der LX Zone sondern auf dem Host selbst!).
Sollte eigentlich klappen, denn Emby Server selbst braucht die UNC-Pfade nicht bei lokalem Zugriff!

In Emby lokal und in Kodi über UNC würde mir auch vollkommen reichen. Muss ich nur noch die Stelle finden, wo man das in Emby machen kann.
Danke für den Tipp! Auch @Layerbreak

Edit: Das ist dann wohl dieser Optionale Netzwerkpfad. Hmm, muss ich der Bibliothek nochmal rumspielen. Bisher gibt es bei mir eine Freigabe //IP/Movies und eine //IP/Serien wobei die Serien noch in unter Ordner A-Z liegen. D.h. ich hab in Emby bei Serien immer //IP/Serien/A, //IP/Serien/B usw. hinzugefügt. Aber den Netzwerkpfad kann ich nur einmal angeben oder sehe ich das falsch?

Edit2: Bekomme ich auch mehrere FS in die LX Zone? Habe den Abschnitt zweimal eingefügt, aber nur das erste FS seh ich auch in der LX Zone, das zweite leider nicht.

 

[layerbreak]

@Turboschnecke
Ich hab dich so verstanden, dass du einen Storage Server am Laufen hast und darauf dir eine Lx-Zone mit CentOS eingerichtet hast.
Jetzt geh ich mal davon aus, dass auf dem Storage OmniOS bzw. ein Solarish läuft.
Dort hast du einen Pool, darin ein Filesystem namens movies und ein Zweites namens serien. Die SMB Freigaben heißen gleich. Der SMB-User heißt turboschnecke.

Jetzt geh her und öffne als root in CentOS die /etc/fstab Datei und füge folgendes ein:

//storage-IP/movies	/home/storage-movies	cifs	username=turboschnecke,password=turboschneckePW,vers=2.0,file_mode=0644,dir_mode=0755	0	0
//storage-IP/serien	/home/storage-serien	cifs	username=turboschnecke,password=turboschneckePW,vers=2.0,file_mode=0644,dir_mode=0755	0	0

Setze das was du bei dir haben willst:
volle Lese und Schreibrechte: file_mode=0644,dir_mode=0755
nur Leserechte: file_mode=0444,dir_mode=0555

Auf der Console in CentOS musst du jetzt noch mit "mkdir /home/storage-movies" und mkdir "/home/storage-serien" die beiden Verzeichnisse anlegen.
Zu guter Letzt noch ein "mount -a" oder CentOS neu starten und das müsste es gewesen sein.
In Emby gehst du jetzt in die Bibliothek und klickst auf Verzeichnisse hinzufügen und fügst nur die /home/storage-movies" und mkdir "/home/storage-serien" hinzu.

 

[CommanderBond]

Mal ne Frage zu LX Zones und das mounten von ZFS-Dateisystemen:

In der PDF auf napp-it steht dass die Container für die GastOS auf "700" gestellt sein müssen.
Aber wie verhält es sich mit weiteren Dateisystemen die man innerhalb des GastOS mounten möchte, welche Berechtigungen müssen es hier sein und wie ist der Zusammenhang wenn das Dateisystem gleichzeitig auch unter OmniOS über SMB freigegeben ist. Auf was muss man achten?

 

[MisterY]

Hat hier keiner ne Ahnung über ZFS?

 

[ludwinator]

Schon, aber keiner hat ne Glaskugel hier.
Keine Ahnung, was dein System so tut, wieviel Ram du hast etc...
Grundsätzlich ist ein RAIDZ1 immer nur so schnell wie eine einzelne Platte. Insofern sind SSD Pools natürlich immer schneller. TRIM wird übrigens überschätzt, lieber 10% der SSDs mit ner leeren Partition "abzweigen", das bringt mehr.
Wenn langsame Platten, dann einen 2-Wege Spiegel. Und soviel RAM wies geht.


cu

 

[layerbreak]

Wie groß ist der Performance Sprung wenn man zwei 250gb 850evo als Cache hinzufügt? Oder bringt das nichts?

Wie dir @ludwinator auch schon geschrieben hat, weis hier niemand was dein System denn alles so macht / machen soll.

Der Cache macht nur dann Sinn, wenn auf die immer wieder gleichen Daten zurück gegriffen wird. Viel besser ist, wenn du mehr RAM reinpackst, denn Solarish benutzt immer den gesamten Speicher der frei ist aus.

Aktuell habe ich ein Raidz1 aus drei 1TB 2.5"HDDs, davon sind, wie sich herausgestellt hat, zwei SMR Diese würde ich gerne gegen welche mit PMR austauschen. Aktuell sind Proxmox-CTs auf dem Raidz1 Pool einfach nur unerträglich langsam und IO-Wait ist sehr hoch (so um die 30%). Deshalb sind meine CTs aktuell alle auf SSDs, nur der Datenspeicherort meiner Nextcloud liegt auf dem Raidz1. Der Einfachheit halber würde ich aber gerne alles auf einem Pool haben (es ist sehr umständlich ein Backup eines CTs auf zwei unterschiedlichen Datenträgern wiederherzustellen).

Deshalb die Frage: Wäre ein Raidz1 aus drei HDDs mit PMR pluss zwei Samsung 850 Evos (250GB) schnell genug um da CTs/VMs drauf laufen zu lassen, oder ist die Performance im Vergleich zu den SSDs immernoch grottig? Aktuell sind die beiden Evos in einem ZFS Mirror für das OS+CT/VM, was ich aber auch gerne trennen würde (OS auf eine eigene SSD), und da ZOL noch kein TRIM unterstützt, ist das natürlich auch nicht soo pralle.

SMR ist aber inzwischen bekannt, dass dies nicht für ZFS genutzt werden soll.
Keine Ahnung was Proxmox-CT ist oder sind.

Wenn du keine große Datenbanken betreibst, reicht imho ein Pool aus HDDs. Klar ein SSD-Pool ist viel schneller - macht aber nur Sinn, wenn du diese Geschwindigkeit auch wirklich brauchst.
In meinem AIO läuft ein 3er-HDD-Mirror und der ist schnell genug für all meine VMs. Die 4TB-HDDs drehen mit 7k Umdrehungen.
Beim Hochfahren des gesamten Systems hab ich eine Start-Zeitverzögerung bei jeder VM eingestellt, dann reichen die Festplatten locker aus.

 

[MisterY]

Was ich mache:
Proxmox-Server mit vielen kleinen CTs (LXC-Container) und ein paar VMs. Server hat 16GB Ram und wären die RAM-Preise nicht so unverschämt, hätte ich da noch weitere 16GB reingepackt.

Hauptsächlich läuft da eine Nextcloud drauf, also viele kleine Dateien.

Dass das SMR sind, hat sich erst später herausgestellt. Wurden beim Händler fälschlicherweise als PMR beworben
die Platten drehen mit 5400rpm.
Der Unterschied bei der Erstellung eines LXC-Containers ist zwischen 30 Sekunden (SSD-Mirror) und 5 Minuten (HDD-RAIDZ1) was natürlich schon derbe nervt.

 

[crazyk]

Hallo zusammen,
kann mir biite jemand bzgl. ZFS und belegter Speicherplatz auf die Sprünge helfen?

Ich Testsystem ist eine Festplatte mit 80GB verbaut, hier habe ich kurz eine VM mit 2 Festplatten erstellt.
Nappit:


VMDKs


Nun wird mir angezeigt, dass die beiden VMDK-Dateien 85 GB an Größe haben (mir ist bewusst, das es sich hier um einen Container handelt, der an Speicherplatz zunehmen kann). Nur aktuell müssen sie ja kleiner sein.
Nun... Ich bin es halt gewöhnt, wenn ich eine Datei anklicke, rechte Maustaste - Eigenschaften, die tatsächliche Größe zusehen

Wie macht Ihr das? Muss ich also immer mit Nappit schauen, was die Pools so machen?


EDIT:
https://blogs.oracle.com/cmt/speicherplatz-bei-zfs-und-wie-nfs-dann-mit-snapshots-und-clones-umgeht
Hier wird es ganz gut erklärt...

 

[Turboschnecke]

@Layerbreak: Ja du hast mich richtig verstanden
Aber ich habs jetzt erstmal aufgegeben... Es läuft grundsätzlich, wenn ich mich per SSH einlogge und dann von Hand den Emby-Server starte. Problem ist nur, dass er sich automatisch beendet, wenn ich die Verbindung wieder kappe. Ich schaffe es auch nicht, dass der Service automatisch gestartet wird, wenn die LX Zone gebootet wird. Hab auch versucht, systemd zu installieren und dann Emby neu zu installieren. Geht auch grundsätzlich, aber das mit dem Service klappt nicht mit dem Fehler: Failed to connect to D-Bus: Operation not permitted
Googlen bringt mich auch nicht weiter. Bei den Ergebnissen geht es meist um Docker, wo der Fehler auch auftauchen kann. Wahrscheinlich ähnliche Grundproblematik... Glaub auch nicht, dass ich das in einem anderen Forum fragen brauche, weil LX Zone schon speziell ist und mein Vorhaben wohl noch spezieller :P

 

[MisterY]

Starte den Dienst doch einfach per cronjob?

 

[tekken321]

Ich poste meine Frage von nem anderen Thread auch nochmal hier ^^

Hi,

habe noch eine Frage zu NappIT. Solaris 11 Express ist,meines Wissens, ja als nicht kommerzielle Nutzung umsonst und bietet im glaub ich auch mehr Funktionen als OpenZfS. Wäre es sinnvoller NappIT auf Solarisbasis zu nutzen oder doch OmniOS/OpenZfS.

Edit: Geplant ist beides auf ESXi zu virtualisieren.

Gesendet von meinem SM-G935F mit Tapatalk

 

[Turboschnecke]

Passiert nix. Kann mit crontab -e etwas anlegen, aber es wird nicht ausgeführt bzw. es passiert halt nix. etc/init.d/cron status bringt nur not found. Ein ps ax|grep cron liefert mir aber etwas zurück.

 

[gea]

Ich poste meine Frage von nem anderen Thread auch nochmal hier ^^

Hi,

habe noch eine Frage zu NappIT. Solaris 11 Express ist,meines Wissens, ja als nicht kommerzielle Nutzung umsonst und bietet im glaub ich auch mehr Funktionen als OpenZfS. Wäre es sinnvoller NappIT auf Solarisbasis zu nutzen oder doch OmniOS/OpenZfS.

Edit: Geplant ist beides auf ESXi zu virtualisieren.

Gesendet von meinem SM-G935F mit Tapatalk

Solaris Express ist quasi die Betaversion von Solaris 11 (in 2010). Auch Illumos und damit OI/OmniOS wurden aus einer frühen Version von Solaris Express geforkt.

Oracle erlaubt die Nutzung von Solaris 11 für nichtkommerzielle Softwareentwicklung und Demo. Dafür kann man es kostenlos von Oracle herunterladen.

Solaris ist in meinen Tests der schnellste ZFS Server und hat mit ZFS Verschlüssellung (Je Dateisystem ein eigener Schlüssel) und sequentiellem Resilvering (besonders schnell) Vorteile. Es ist allerdings nicht kompatibel zu OpenZFS. Auch siehr Oracle seine Zukunft in der Cloud. Die Solaris Entwicklung wird wohl künftig langsamer verlaufen. Oracle garantiert aber bis 2034 Support. Ich erwarte aber durchaus dass Open-ZFS das native ZFS v37 in den nächsten Jahren feature und performancemäßig überholt.

Im Moment ist Solaris in manchen Dingen Open-ZFS eher überlegen. Ich unterstütze Solaris als Hauptplattform für napp-it neben OI/OmniOS. Die meisten Nutzer sind aber auf OmniOS.

 

[besterino]

Cool, habe im anderen Thread wenigstens keinen Unsinn gepostet.

 

[layerbreak]

@Layerbreak: Ja du hast mich richtig verstanden
Aber ich habs jetzt erstmal aufgegeben... Es läuft grundsätzlich, wenn ich mich per SSH einlogge und dann von Hand den Emby-Server starte. Problem ist nur, dass er sich automatisch beendet, wenn ich die Verbindung wieder kappe. Ich schaffe es auch nicht, dass der Service automatisch gestartet wird, wenn die LX Zone gebootet wird. Hab auch versucht, systemd zu installieren und dann Emby neu zu installieren. Geht auch grundsätzlich, aber das mit dem Service klappt nicht mit dem Fehler: Failed to connect to D-Bus: Operation not permitted
Googlen bringt mich auch nicht weiter. Bei den Ergebnissen geht es meist um Docker, wo der Fehler auch auftauchen kann. Wahrscheinlich ähnliche Grundproblematik... Glaub auch nicht, dass ich das in einem anderen Forum fragen brauche, weil LX Zone schon speziell ist und mein Vorhaben wohl noch spezieller :P

Nachdem @gea, mir auch schon mal die LX Zones versucht hat schmackhaft zu machen, bin ich gerade dabei mich ein wenig einzulesen.
Was mir auffällt ist, dass bei joyent die Images alt bis sehr alt sind und nichts Neues in letzter Zeit dazu gekommen ist. Für mich liest es sich so, wie wenn joyent mit Triton am umstellen ist auch auf Docker Images.
In wieweit sich die Linux Distris incl. Kernel updaten und somit auf den neusten Stand bringen lassen, hab ich bis jetzt nichts dazu gefunden.
Lassen sich eigentlich eigene Images für die LX Zones erstellen oder geht das nur über die joyent-images?

@Turboschnecke noch nicht aufgeben, versuche das Ganze nochmals mit einem Debian Image. Ich hab in der Vergangenheit mit CentOS auch mein Glück als ESXi-VM versucht und bin jedes Mal auch gescheitert, meistens lag es an den ganzen Sicherheits-Features, die bei CentOS out of the box dabei sind und natürlich an meinen mangelnden Linux Kenntnissen. Für Emby hab ich dann dieses Mal Debian genommen und da hab ich es hinbekommen.
Läuft dein OmniOS als AIO?

"Failed to connect to D-Bus: Operation not permitted" ist das eine CentOS oder OmniOS Meldung?

 

[Turboschnecke]

OmniOS ist Baremetall installiert. Ich will das NAS bei Bedarf an und aus machen und da war ich mir bei ESXI nicht sicher, ob das so sinnig ist
Ja, sonderlich aktuell sind die LX Zones nicht. Aber mit yum update oder apt-get upgrade geht es schon. Hatte es vorher mit einer Ubuntu Zone versucht, aber da scheiterte schon das Installieren vom Emby.
Ne, das ist ne Linux Message gewesen. Systemd ist zwar installiert, aber es läuft in der Zone wohl nicht komplett alles. Wenn man nach dem Fehler sucht, findet man hauptsächlich Docker Posts.

Vielleicht muss ich doch in den sauren Apfel beißen und ESXi nutzen und eine zusätzliche Linux VM aufsetzen, in der Emby läuft...

Gibt es dieses Triton schon? Hab es öfter gelesen, aber war alles schon älter. Emby gibt es auch als Docker Container.

 

[gea]

Gibt es dieses Triton schon? Hab es öfter gelesen, aber war alles schon älter.

Nur für SmartOS;
Triton Compute | Joyent

OmniOS hat nur die LX Zonen von SmartOS übernommen.

 

[layerbreak]

OmniOS hat nur die LX Zonen von SmartOS übernommen.

@gea wie hält man die LinuxDistri incl. Kernel überhaupt aktuell in den LX Zones? Denn wie ich geschrieben hatte, sind die Images bei Joyent irgendwie schon veraltet.

- - - Updated - - -

OmniOS ist Baremetall installiert. Ich will das NAS bei Bedarf an und aus machen und da war ich mir bei ESXI nicht sicher, ob das so sinnig ist

Wo siehst du hier ein Problem?
Passthrough-Voraussetzungen müssen natürlich gegeben sein.Wenn ESXi auf einer SSD installiert ist, dürfte das tägliche hoch und wieder runterfahren nicht das Problem sein. Nur ESXi auf einem USB-Stick würde ich nicht machen - da denke ich, dass Der innerhalb kürzester Zeit die Hufe hoch reißt.
Die OmniOS-VM stellst du auf autostart, dann klappt das schon.

 

[gea]

@gea wie hält man die LinuxDistri incl. Kernel überhaupt aktuell in den LX Zones? Denn wie ich geschrieben hatte, sind die Images bei Joyent irgendwie schon veraltet.

Ich selber nutze die LX Zonen nicht. Für wenige Linux VMs sind Container nicht interessant. Das lohnt erst bei deutlich mehr Linux VMs. Wenn ich mal eine Linux VM brauche installiere ich die einfach unter ESXi als eigenständige Voll-Virtualisierung.

Ansonsten sind die SmartOS Images ca ein Dreiviertel Jahr alt, also nicht so unaktuell (aktuelle laden in napp-it per reload LX zone definitions). Wann und wann nicht ein Update eines Images Probleme macht kann ich aber mangels Erfahrung nicht sagen.

 

[pfaelzer]

Hallo Zusammen,
hoffe ich bin hier richtig. Habe heute meine Napp-It neu gestartet. Nun kommt eine unschöne fehlermeldung, mit der ich leider nichts anfangen kann.
Kann mir hierzu jemand einen Tip geben?
Vielen Dank!
Dennis

 

[gea]

Prüfsummenfehler + Inconsistentes Filesystem, das Ding ist kaputt (zumindest Boot-Dateisystem, eventuell die ganze Bootplatte.)

Wenn das System noch bis zur Auswahl einer Bootumgebung bootet, kann man eine ältere Bootumgebung z.B. vor letztem Update versuchen, ansonsten Bootplatte ausbauen, eventuell noch mit einem Plattentesttool prüfen. Ansonst neue Bootplatte besorgen, System neu aufspielen, napp-it installieren und Datenpool importieren.

http://www.napp-it.org/doc/downloads/setup_napp-it_os.pdf

 

[CommanderBond]

@gea wie hält man die LinuxDistri incl. Kernel überhaupt aktuell in den LX Zones? Denn wie ich geschrieben hatte, sind die Images bei Joyent irgendwie schon veraltet.

apt-get update
apt-get dist-upgrade

Habe Debian benutzt und damit bislang Jdownloader2, pyload und unifi ans Laufen bekommen ohne Probleme.

 

[gea]

Oracle Solaris 11.4 Public Beta released
Oracle Solaris 11.4 Open Beta Released! | Oracle Solaris Blog

What's new
What's New in Oracle Solaris 11.4

Datasheet
http://www.oracle.com/technetwork/server-storage/solaris11/114beta/114betadatasheet-4260629.pdf

Download
Oracle Solaris 11.4 Beta