[Sammelthread] ZFS Stammtisch

[gea]

Hallo ZFS-Fans,

für alle die, die bei ihrem ZFS-Homeserver auch wie ich auf OmniOS gesetzt haben, hätte ich da was...
In mühevoller Kleinarbeit hab ichs hinbekommen Owncloud auf OmniOS lauffähig zu machen.
Ich hab mir auch einige Notizen gemacht und würde euch gern am Erfolg teilhaben lassen. Aber nur wenn es euch interessiert!
Allerdings nicht mehr heute nacht, da ich nun erstmal total müde bin.
Ich hoffe, es finden sich dann ein paar Spezialisten, die
a) Fehler finden,
b) den manuellen Installationsweg optimieren,
c) insbesondere die Apache-,PHP- und MySQL-Konfigurationen optimieren
und
d) evtl. helfen ein napp-it-AddOn draus zu basteln

Guts Nächtle

Zunächst eine Riesen-Gratulation.
Das ist wirklich das nächste Top-Add-on für OmniOS nach dem Mediaserver Mediatomb (von Chris, auch aus DE). Ich hatte bereits mehrere Anfragen aus USA aber keiner hat es hingekriegt.

Ich selber habe mich noch nicht mit Owncloud beschäftigt, sehe es aber als Top Add-On an und bin gerne behilflich, die Basis-Menüs für ein napp-it Add-On beizusteuern - und zwar nicht nur als "Private Add-On das jeder in napp-it integrieren kann" sondern idealerweise als Add-On das in der Default Distribution integriert ist.

Der erste Schritt ist sicher eine kleines PDF (idealerweise in englisch damit es genug User gibt, in DE können eh alle soweit Englisch, ZFS hat weltweit einfach viel mehr User als hier in DE - da bin ich aber gern behilflich, auch wenn mein Englisch nicht ganz perfekt ist) das die nötigen Schritte zur Installation und Betrieb beschreibt.

Idealerweise wäre der nächste Schritt ein Installations-Script (Shell oder Perl), das Online aufgerufen wird und Owncloud installiert und konfiguriert (per wget, wie napp-it oder der Mediatomb Installer).

Ich würde dann in Absprache ein Menü (vgl Mediatomb) beisteuern, das die Grundkonfiguration und den Nomalbetrieb steuert.

Ganz ideal wäre es, wenn die Programme (Apache, SQL, PHP etc) nicht aus dem OmniOS-Repo stammen, sondern aus SmartOS (pkgsrc binary packages for illumos) denn dann wäre das prinzipiell unter OmniOS, OpenIndiana und Oracle Solaris lauffähig - OmniOS allein wäre aber auch schon ok.

Ich hoffe ja dass hier auch jemand an Owncloud Interesse hat, dennoch würde ich dazu raten, das Projekt auch im Solaris, Nexenta, OpenIndiana, and napp-it sowie im SSDs & Data Storage - [H]ard|Forum vorzustellen. Da gibt es einfach sehr viele kompetente ZFS User. Eine Info in der Mailliste OmniOS-discuss Info Page hilft sicher auch, Mitstreiter zu finden.

 

[effemmess]

Owncloud auf OmniOS

Nur mal schnell als Zwischenmeldung...
Hmmm, der erste Befehl lautet:

curl [url]http://pkgsrc.smartos.org/packages/illumos/bootstrap/bootstrap-2013Q1-illumos.tar.gz[/url] | gtar -zxpf - -C /

Das heißt ja dann, daß sich pkgin die Sachen von dort zieht. Also halbideal wohl...
Auf pkgsrc binary packages for illumos steht was von 2013Q2. Da müssen wir wohl noch was aktualisieren.
Nagut, ich schreib das heute abend dann erstmal so wie es läuft in ein PDF...

Bis denne

 

[effemmess]

Owncloud auf OmniOS

So, habe nun das PDF fertig und hübsch gemacht.
Schaut es euch mal an und sagt mal was dazu, als erstes vielleicht zu meinen Fragen darin...
Im nächsten Schritt schau ich mir an, ob ich es auf dieses Repo pkgsrc binary packages for illumos umgesetzt kriege.

Bis denne und viel Spaß

PS:Alles auf eigene Verantwortung! Also erstmal nicht auf dem Produktivsystem umsetzen!!!

-------------
Hmpfff , Dateianhang zu groß..., okay dann gibts das PDF in der Version 1.0 eben hier!

 

[bogomil22]

@gea:
1)Kann man eigentlich in Nappit das Netatalk immer updaten ohne Probleme oder Inkompatibilität mit der APF/Timemachine-Freigabe zu befürchten?
Wäre fatal wenn Timemachine danach nicht mehr auf die ZFS/nappit-Freigabe mehr zugreifen kann
2) Sollte man netatalk eigentlich immer möglichst updaten wenn man das in Nappit nur für Apple Timemachine benutzt oder reicht da z.B. 3.0.3
3) Aktuell ist doch bei Nappit 3.0.4 oder? (Hier steht unten v3.1 ?!, falsche angabe?)
4) Funktioniert nappit's netatalk 3.0.4 auf dem aktuellen ominos?

 

[GrafikTreiber]

Wozu umständlich kompliziert als PDF und nicht einfach in irgendeiner Wiki oder auf irgendeinem Forum posten?
Es hat doch nicht etwa jemand vor hier das Internet auszudrucken?

 

[bogomil22]

So, habe nun das PDF fertig und hübsch gemacht.
Schaut es euch mal an und sagt mal was dazu, als erstes vielleicht zu meinen Fragen darin...
Im nächsten Schritt schau ich mir an, ob ich es auf dieses Repo pkgsrc binary packages for illumos umgesetzt kriege.

Bis denne und viel Spaß

PS:Alles auf eigene Verantwortung! Also erstmal nicht auf dem Produktivsystem umsetzen!!!

-------------
Hmpfff , Dateianhang zu groß..., okay dann gibts das PDF in der Version 1.0 eben hier!

Mein Englisch ist zwar nicht gut aber ich glaube die Überschrift in der PDF sowie das "Please help to opzimize!" ist falsch!
1) Es heisst doch: "Please help to optimize!"
2) Und die Überschrift würde ich z.B. so nennen: "HowTo - Install OwnCloud and PhpMyAdmin on OmniOS"
oder "The Owncloud and PhpMyAdmin Installation Guide/HowTo for (oder "on"?) OmniOS"

 

[effemmess]

Es hat doch nicht etwa jemand vor hier das Internet auszudrucken?

Klar, hab mir extra nen neuen Nadel-Drucker angeschafft!

 

[effemmess]

1) Es heisst doch: "Please help to optimize!"
2) Und die Überschrift würde ich z.B. so nennen: "HowTo - Install OwnCloud and PhpMyAdmin on OmniOS"
oder "The Owncloud and PhpMyAdmin Installation Guide/HowTo for (oder "on"?) OmniOS"

zu 1) hast du natürlich völlig recht!
zu 2) das hab ich auch überlegt ob "in", "on" oder "for"... Was sagen Sprachkundigere dazu?
Der Vorschlag ""HowTo - Install OwnCloud and PhpMyAdmin on OmniOS" gefällt mir schon mal gut.

 

[hotzen]

schönes ding,
könntest du lighttpd statt apache verwenden? der ist einfach zu FETT für so wenig last...

*thumbs up*

 

[gea]

@gea:
1)Kann man eigentlich in Nappit das Netatalk immer updaten ohne Probleme oder Inkompatibilität mit der APF/Timemachine-Freigabe zu befürchten?
Wäre fatal wenn Timemachine danach nicht mehr auf die ZFS/nappit-Freigabe mehr zugreifen kann
2) Sollte man netatalk eigentlich immer möglichst updaten wenn man das in Nappit nur für Apple Timemachine benutzt oder reicht da z.B. 3.0.3
3) Aktuell ist doch bei Nappit 3.0.4 oder? (Hier steht unten v3.1 ?!, falsche angabe?)
4) Funktioniert nappit's netatalk 3.0.4 auf dem aktuellen ominos?

1. Im Prinzip ja
2. never change a running system without having problems..
Netatalk - Networking Apple Macintosh through Open Source
3. typo error
4. netatalk für OmniOS wird bereitgestellt von OmniOS Package Repository: uulm.mawi
aktuelle Version: Package Search

 

[effemmess]

Owncloud auf OmniOS

schönes ding,

Danke

könntest du lighttpd statt apache verwenden? der ist einfach zu FETT für so wenig last...

*thumbs up*

Das können wir sicher versuchen. Aber ich möchte erstmal den Standard fertig bekommen.

Ansonsten kann ich vermelden, es läuft auch vom neuen Repo mit gewissen Anpassungen...

 

[effemmess]

Owncloud auf OmniOS

N´Abend,

Version 2.0 ist fertig. Aber vorerst nicht in PDF-Form, sondern als Script mit Bemerkungen. Scriptversion ist momentan V0.3a.
Download hier.

Da es noch nicht komplett fertig gescriptet ist, das Script nicht direkt ausführen!
Immer schön einen Teil angucken, für gut befinden und dann evtl. ausführen.

Falls jemand ne Ahnung hat, wie man am besten das Setup mitlogged, der darf ruhig helfen. Ebenso falls jemand von "sed" Ahnung hat.
Natürlich bin ich auch an allen anderen Tipps zu gestellten und nicht gestellten Fragen interessiert!


Bei mir läuft Owncloud inzwischen auf meinem Produktivserver.

Ich habe bei mir das Data-Verzeichnis auf Original gelassen.
Meine vorhandenen Daten habe ich über die "external Storage"-App als lokalen Speicher eingebunden.
Später sollte man das evtl. anders machen.

 

[startplus]

N´Abend,

Version 2.0 ist fertig. Aber vorerst nicht in PDF-Form, sondern als Script mit Bemerkungen. Scriptversion ist momentan V0.3a.
Download hier.

Da es noch nicht komplett fertig gescriptet ist, das Script nicht direkt ausführen!
Immer schön einen Teil angucken, für gut befinden und dann evtl. ausführen.

Falls jemand ne Ahnung hat, wie man am besten das Setup mitlogged, der darf ruhig helfen. Ebenso falls jemand von "sed" Ahnung hat.
Natürlich bin ich auch an allen anderen Tipps zu gestellten und nicht gestellten Fragen interessiert!


Bei mir läuft Owncloud inzwischen auf meinem Produktivserver.

Ich habe bei mir das Data-Verzeichnis auf Original gelassen.
Meine vorhandenen Daten habe ich über die "external Storage"-App als lokalen Speicher eingebunden.
Später sollte man das evtl. anders machen.

# add something to php.ini (php.ini.sed)
# to do
# sed

cat php.ini.sed >> php.ini

Beispiel sed:

STRING="Das ist eine Zeichenkette"

echo $STRING
echo $STRING | sed \
-e "s/ist/sind/g" \
-e "s/eine/keine/g" \
-e "s/Zeichenkette/Zeichenketten/g"

 

[AG1M]

Mal an eine Frage zu Solaris 11.1

New USB 3.0 Support
To support USB 3.0 high-speed data transfer in new systems, the USB host controller driver,
xhci(7D), ensures hub and mass-storage devices now can work in the USB 3.0 mode when
they are inserted into xHCI ports. Legacy USB devices continue to work when they are
connected to xHCI ports with the exception of USB audio/video devices. Please refer to the
xhci(7D) and usba (7D) man pages for details.

Stammt ja auch den Neuerungen von Solaris 11.1

Plane derzeit ein kleines ZFS Storage auf Basis von dem Mobo (mITX, ECC RAM, 2 NICs etc.) ASRock > E3C226D2I (das hoffentlich bald irgendwie zu kaufen ist)

Und möchte gerne ein (noch nicht vorhanden) USB 3.0 Tandberg RDX QuickStation (Tandberg RDX QuikStor Drive, USB 3.0) als externes Backup vom eigentlichen Intern verbauten ZFS Pool nutzen - meine Frage: bleibt mir nichts übrig als den Selbsttest zu machen, ob das RDX Laufwerk über Solaris ansprechbar ist, oder ist das Prinzipell garnicht möglich via USB 3.0?

 

[emerald]

Plane derzeit ein kleines ZFS Storage auf Basis von dem Mobo (mITX, ECC RAM, 2 NICs etc.) ASRock > E3C226D2I (das hoffentlich bald irgendwie zu kaufen ist)

Das MoBo ist wirklich sehr gut für einen kleinen Server geeignet. Die Intel NICs haben sogar ECC. Dazu ein Xeon und 16GB ECC RAM und das Setup is perfekt.
Genau was ich gesucht habe. Danke.

 

[effemmess]

Owncloud auf OmniOS

Danke erstmal startplus für den kleinen Einstieg, aber das reicht natürlich noch nicht wirklich...
Nach langem Lesen und Üben komm ich aber schon ganz gut mit sed klar.

Nun hab ich das Problem, wie ich im shell-script den folgenden Befehl einer Variablen zugewiesen bekomme. Bzw. er löst die vorab definierte Variable nicht auf.
Falls jemand sed-Optimierungen hat, darf er sie auch äußern...

paket=`pkgin search php54 |sed -e '/extension/!d;/=/d;s/ .*//g;' |sed -e 1q`
echo "Paketname: "
echo $paket
...
paket=`pkgin search php54 |sed -e '/extension/!d;/=/d;s/ .*//g;' | sed -e '/$paket/,//!d' |sed -e '/$paket/d' |sed -e 1q`
echo "Paketname: "
echo $paket
...

Zweck:
Ich möchte nacheinander alle PHP-Extensions-Pakete in der Variablen haben.

 

[TCM]

Man page:

   Quoting
     Quoting is used to prevent the shell from treating characters or words
     specially.  There are three methods of quoting.  First, `\' quotes the
     following character, unless it is at the end of a line, in which case
     both the `\' and the newline are stripped.  Second, a single quote (`'')
     quotes everything up to the next single quote (this may span lines).
     Third, a double quote (`"') quotes all characters, except `$', ``' and
     `\', up to the next unquoted double quote.  `$' and ``' inside double
     quotes have their usual meaning (i.e. parameter, command, or arithmetic
     substitution) except no field splitting is carried out on the results of
     double-quoted substitutions.  If a `\' inside a double-quoted string is
     followed by `\', `$', ``', or `"', it is replaced by the second
     character; if it is followed by a newline, both the `\' and the newline
     are stripped; otherwise, both the `\' and the character following are
     unchanged.

Kurz: shell quoting mit ' verhindert "globbing" und "parameter expansion". Nur " lässt Variablen intakt. Am Rande: Wenn du quoting kombinieren musst, um z.B. einen Teil 1:1 zu übernehmen, weil * oder ? drin vorkommt und \* zu hässlich aussieht, kannst du z.B. zwei gequotete Strings direkt aneinanderhängen:

echo '*foo?'"${bar}"

Das ist dann ein String mit zwei unterschiedlichen quoting styles.

 

[AG1M]

Das MoBo ist wirklich sehr gut für einen kleinen Server geeignet. Die Intel NICs haben sogar ECC. Dazu ein Xeon und 16GB ECC RAM und das Setup is perfekt.
Genau was ich gesucht habe. Danke.

Frag nicht wie lange ich gestern nach sowas gesucht habe.

Aber eine Idee mit dem USB 3.0 mit Solaris 11.1, hast du nicht zufällig?

 

[emerald]

Frag nicht wie lange ich gestern nach sowas gesucht habe.

Aber eine Idee mit dem USB 3.0 mit Solaris 11.1, hast du nicht zufällig?

Nein, leider Fehlanzeige. Ich habe mal überlegt Solaris zu nutzen aber aktuell bin und bleibe ich bei Ubuntu Server mit ZFSonLinux. Das läuft tipptopp. USB3.0 läuft darauf, denke ich, ebenfalls problemlos.

 

[Wirrkopf]

Einleitung:

Ich habe lange ein Napp-It "All-In-One" mit ESXi und OI betrieben. (Siehe nicht mehr aktuelle Signatur) Nachdem SSDs aber bezahlbar wurden habe ich diese als lokalen Space in meinem ESXi eingebunden und alle meine VMs und die wichtigen Daten dorthin geschoben. Unter OI blieben nur 6 x 2 TB HDDs zurück als Datengrab für Medien (Filme usw.). Irgendwann habe ich dann OI rausgeworfen und dafür Windows 2012 Server installiert da ich mit Windows DFS Syncronisation die Medien auf einen Backupserver spiegeln wollte. Das läuft nun auch auch Problemlos (so das es mich juckt wieder alles umzubasteln...) aber nun stört mich der hohe Stromverbrauch der 6 HDDs und da dort nur noch selten benötigte Daten liegen wäre es sinnvoll wenn die runterfahren könnten. Das klappt mit einem Software Raid-5 unter WinServer 2012 aber nicht. Bei 6 HDDs sind das immerhin ca. 30 Watt. (0,030 kWatt * 24h * 365d *0,2612 €/kWh = 69 € im Jahr.)

Fragen:

1. Wenn ich zu Solaris / OI? mit ZFS zurückwechsel klappt dann das runterfahren der HDDs bei nichtnutzung? Ich nutze einen Dell SAS 6/IR als durchgereichten Controller in der VM.
2. Welches OS ist im Moment das empfehlenswertes für eine VM unter ESXi 5.1? (z. B. guter support für die virtuelle VM Nic...)
3. Gibt es ein OS mit ZFS das DFS Syncronisation unterstützt?
4. Wenn nein: Was ist als Syncronisationstool zwischen einen OS mit ZFS und einem WIndows 2012 Server empfehlenswert?

 

[gea]

Einleitung:

Ich habe lange ein Napp-It "All-In-One" mit ESXi und OI betrieben. (Siehe nicht mehr aktuelle Signatur) Nachdem SSDs aber bezahlbar wurden habe ich diese als lokalen Space in meinem ESXi eingebunden und alle meine VMs und die wichtigen Daten dorthin geschoben. Unter OI blieben nur 6 x 2 TB HDDs zurück als Datengrab für Medien (Filme usw.). Irgendwann habe ich dann OI rausgeworfen und dafür Windows 2012 Server installiert da ich mit Windows DFS Syncronisation die Medien auf einen Backupserver spiegeln wollte. Das läuft nun auch auch Problemlos (so das es mich juckt wieder alles umzubasteln...) aber nun stört mich der hohe Stromverbrauch der 6 HDDs und da dort nur noch selten benötigte Daten liegen wäre es sinnvoll wenn die runterfahren könnten. Das klappt mit einem Software Raid-5 unter WinServer 2012 aber nicht. Bei 6 HDDs sind das immerhin ca. 30 Watt. (0,030 kWatt * 24h * 365d *0,2612 €/kWh = 69 € im Jahr.)

Fragen:

1. Wenn ich zu Solaris / OI? mit ZFS zurückwechsel klappt dann das runterfahren der HDDs bei nichtnutzung? Ich nutze einen Dell SAS 6/IR als durchgereichten Controller in der VM.
2. Welches OS ist im Moment das empfehlenswertes für eine VM unter ESXi 5.1? (z. B. guter support für die virtuelle VM Nic...)
3. Gibt es ein OS mit ZFS das DFS Syncronisation unterstützt?
4. Wenn nein: Was ist als Syncronisationstool zwischen einen OS mit ZFS und einem WIndows 2012 Server empfehlenswert?

1. ja, per power.conf
2. das aktuellste für ZFS ost OmniOS, dazu frei, stable und mit laufenden Updates
3. das ist keine Frage des OS sondern des SMB Servers. Solaris CIFS macht das nicht, geht eventuell mit Samba4
4. Ich syncronisiere meinen Windows Mailserver (> 1 Mio Dateien) mehrmals täglich auf ein ZFS Backupsystem mit robocopy (bei Windows dabei)

 

[Wirrkopf]

Ich sehe auf der OmniOS Seite auch eine fertige appliance für VMWare. Ist die empfehlenswert oder veraltet..?
Vom Napp-it gibt es keine fertige VMWare appliance inkl. Napp-it?

 

[effemmess]

Danke TCM für den Gedankenschubser.
Die Zeile würde so funktionieren:

paket=`pkgin search php54 |sed -e "/extension/!d;/=/d;s/ .*//g;" | sed -e "/$paket/,//!d" |sed -e "/$paket/d" |sed -e 1q`

Hab nun aber die Schleife einfacher gestaltet und erfüllt den selben Zweck:

for paket in `pkgin search php54 |sed -e '/extension/!d;/=/d;s/ .*//g;'`
do
  echo "Paketname: "$paket
done

 

[emerald]

Es gibt gerade einen Core i3 Haswell für günstige ~105€.
Laut Intel unterstützt er ECC..

Für einen kleine ZFS Server ist der bestens geeignet.

 

[St3fan]

Die kleinen Celerons unterstützen ECC auch jedoch benötigt man dafür ein Board mit Serverchipsatz

 

[Bzzz]

Aber denen hat man natürlich wieder das AES-NI wegkastriert. Von den Pentiums mit ECC können das auch nur drei (1403/1405/1407), das sind aber 32nm-Geschosse aus dem Serversegment, also kaum zu bekommen und preislich nicht interessant.

Oder halt bei der anderen Firma Ausschau halten 80€ für nen Zweimoduler, 95€ für nen Dreimoduler (mein FX-6300 langweilt sich furchtbar bei acht Platten im Z2), 130€ für nen Viermoduler. Und dazu n Asus-Board ab 70€, bzw. mit inoffiziellem ECC-Support auch von Gigabyte. Muss man halt mal von angepeilter Laufzeit und Verbrauch her n bisschen rechnen...

 

[hominidae]

Oder halt bei der anderen Firma Ausschau halten 80€ für nen Zweimoduler, 95€ für nen Dreimoduler (mein FX-6300 langweilt sich furchtbar bei acht Platten im Z2), 130€ für nen Viermoduler. Und dazu n Asus-Board ab 70€, bzw. mit inoffiziellem ECC-Support auch von Gigabyte. Muss man halt mal von angepeilter Laufzeit und Verbrauch her n bisschen rechnen...

Ja, so habe ich es hier mit nem S-AM3+ von ASUS und nem Opteron 3350HE...leider 39W im idle....ist der Backup Server und wird nur per WOL geweckt.
Beim o.a. S1150er-i3 mit ECC *und* mit AES-NI für 110EUR relativiert sich das Ganze wieder...wird sicher mein nächster Produktiv-Server.

 

[St3fan]

Ja das ist schon klar das aktuell Haswell Celerons nicht wirklich gibt. Jedoch kann man sich die Ivy oder Sandy Version schnappen zwar mit etwas höheren Verbrauch im Idle aber dafür um einiges günstiger.

 

[GuNa]

Hallo,

Eine Frage:
Mein rPool auf meinem "Napp-it to Go" liegt z.Zt bei 91%. Wie kann ich auf dem rPool wieder etwas Platz schaffen ? Am besten über die Shell da ich den Server (siehe Sig.) headless betreibe.
Napp-it To Go ist auf einem Mirror aus 2 USB 16 GB Stick installiert.

Vielen Dank im voraus.

Gruß

 

[TCM]

rm(1)? :P