[Sammelthread] ZFS Stammtisch

[fdiskc2000]

Nabend, ich habe da mal wieder 1-2 Fragen

- Sind 4GB RAM für einen Replikations-Server (bare metal) der nur 1-2 Stunden am Tag läuft ausreichend?
- An meinem LSI hängen 8 HDD 1x3 und 1x5. Der 5er Pool hat nur Daten die selten geändert werden. Trotzdem gehen diese Platten wie es scheint nicht reproduzierbar in den Standby. Manchmal klappt es aber. Starten am HBA alle Platten mit? Es sind keine Snapshots auf dem 5er-Pool aktiv. Keine Zugriffe etc.

 

[besterino]

Zum RAM: Reicht m.E. Im Zweifel limitiert das Netz.

Zur zweiten Frage kann ich nichts beisteuern.

 

[teqqy]

Hallo,

ich hatte den Gedanken mein Share für Bewegdaten wieder umzuziehen und habe mir mal die VM Appliance von napp-it herunter geladen und in ESXi installiert. System gebootet und alles soweit okay. Habe dann zum testen drei HDDs angelegt und diese eingebunden. Pool und Filesystem ohne Veränderung von Parametern angelegt.
Leider kann ich via SMB vom Mac aus nicht zugreifen. Selbst von Windows aus ist eine Verbindung nicht möglich.
Lt. der Anleitung soll ja ohne etwas zu tun ein direkter Guest Access mit schreibendem Zugriff möglich sein.

Könnte mir da jemand helfen? Danke.

 

[fdiskc2000]

Unter Dienste den SMB Dienst aktiviert?
Sonst für den Mac AFP aktivieren, dann werden die Shares direkt angezeigt, ohne dass man über "Server verbinden" geht.

 

[teqqy]

Dienst ist aktiviert.

Über AFP könnte ich auch gehen, da AFP vor einigen Monaten aber total instabil war wollte ich direkt auf SMB setzen. Zumal AFP bei Apple auf dem Abstellgleis steht.

 

[fdiskc2000]

Also ich nutze AFP, funktioniert bisher ganz ordentlich finde ich. Mag aber sein, das Gea gleich sagt, SMB bringt ne bessere Leistung.
Für das Filesystem ist aber SBM auch selbst, aktiv, oder? Gibt es beim einbinden eine Fehlermeldung?

 

[teqqy]

ZFS (all properties) 	 SMB 	 NFS 	 WWW   	 FTP 	 RSYNC 	 AFP 	 FC,IB,iSCSI 	 NBMAND 	 AVAILABLE 	 USED 	 RES 	 RFRES 	 QUO 	 RFQU 	 SYNC 	 COMPR 	 DEDUP 	 CRYPT 	 FOLDER-ACL 	 SHARE-ACL 	 PERM 	 RDONLY 
   	   	   	   	   	   	   	   	   	   	   	   	   	   	   	   	   	   	   	   	   	   	   
 pool0 (pool) 	 - 	 - 	 - 	 - 	 - 	 - 	 - 	 off 	 25.0G [91%] 	 2.50G 	 none 	 2.50G 	 none 	 none 	 standard 	 off 	 off 	 n.a. 	 special 	 - 	 ACL 	 off 
 pool0/testpool 	 testpool, guuestok 	 off 	 off 	 off 	 off 	 n.a. 	 zfs unset 	 on 	 22.5G 	 25.3K 	 none 	 none 	 none 	 none 	 standard 	 off 	 off 	 n.a. 	 every@=mod 	 full_set 	 ACL 	 off

Sieht für mich zumindest so aus.

Da es eh erst mal nur via 1 GBit geht wäre die Performance derzeit noch nicht so wichtig.

 

[gea]

Es kommt auf die OmniOS Version an.
Unter OmniOS 151018 muss man für Gastzugriffe unter SMB

- einen Benutzer mit Namen "guest" anlegen, PW egal
- in der Konsole oder im napp-it cmd Feld folgendes eingeben: smbadm enable-user guest
- als guest verbinden

AFP und SMB2 sind bei 1G ähnlich schnell. AFP ist aber EndOfLife und SMB hat mehr Reserven bei 10G
Ausserdem macht netatalk gerne mal Probleme, SMB2 ist da schon besser, auch wegen der besseren Einbindung von Dateirechten.

ps
In der aktuellen napp-it dev 16.04 kann man Bonjour aktivieren und damit SMB Shares vom Mac direkt anwählen. Der Napp-it Server erscheint dann mit einem hübschen "Xserve" Icon statt einem Medion Röhrenmonitor

 

[teqqy]

Danke dir gea, genau diese Schritte durchgeführt und es funktioniert.

Habe die 16.02 genommen welche erst mal offensichtlich von dir angeboten wird. Zum experimentieren reicht es erst mal. Das Update wird ja sicherlich bald kommen und dann hätte ich es auch zur Verfügung.

Mal ne andere Frage die weiter hinten unter gegangen ist:
Wie sieht es mit der Unterstützung von SNMP zum Monitoring aus? Gerade in der fertigen VM mit OmniOS. Ist das da auch möglich die Grundkonfig mit ins Napp-It einzubauen?

 

[gea]

Danke dir gea, genau diese Schritte durchgeführt und es funktioniert.

Habe die 16.02 genommen welche erst mal offensichtlich von dir angeboten wird. Zum experimentieren reicht es erst mal. Das Update wird ja sicherlich bald kommen und dann hätte ich es auch zur Verfügung.

Mal ne andere Frage die weiter hinten unter gegangen ist:
Wie sieht es mit der Unterstützung von SNMP zum Monitoring aus? Gerade in der fertigen VM mit OmniOS. Ist das da auch möglich die Grundkonfig mit ins Napp-It einzubauen?

Also von meiner Seite wird erst mal nichts Richtung SNMP kommen.
Da wird man das nehmen müssen, was es für Solaris gibt.

ps
In die Basisversion werden primär Sicherheitsupdates einfließen.
Neue Features werden meist in der Pro Version landen und in der Free Version etwas "händische" Anpassung erfordern.

 

[fdiskc2000]

Mein OmniOS mit Napp-IT auf ESXI zeigt heute ein komisches Verhalten:
lt. VMWare verbraucht die VM um die 6GHz, also die 2 Ihr zugewiesenen Kerne. Auf einem Pool (nicht der NFS-Pool für den ESXI) ist Last, die ich mir nicht erklären kann.
Ich habe daraufhin alles durchgebootet, aber OmniOS kommt danach gleich wieder auf die Last. "prstat" zeigt aber nur 1 Prozess mit wirklicher Last an: lediglich 22% CPU auf zpool-big/227 (das ist auch der Pool, wo der Zugriff läuft.
Aber was löst das aus?

Gibt es da noch eine andere Möglichkeit das zu erkennen?

 

[gea]

Pool Aktivitäten können z.B. ein Scrubbing sein.

Auch napp-it erzeugt etwas Last wenn Monitoring und Background Dienste aktiv sind.
Die kann man aber im Topmenü neben Logout (mon und acc) ausschalten.

 

[fdiskc2000]

Goldrichtiger Hinweis, danke. Heute war um 10:00 tatsächlich der monatliche Scrub auf dem Pool dran. Wurde aber nicht in der Weboberfläche oder in den Prozessen angezeigt. Daher habe ich da nicht dran gedacht. Dann wird es das wohl aber sein

 

[DocSilly]

Moinsens Leute,

ich hab jetzt seit etwas über 2 Jahren mein "kleines" NAS v2.0 mit OmniOS + napp-it am Start. Ein X-Case RM 424-Pro mit 24x 4TB Seagate NAS (vier RaidZ2 in 4+2 Konfiguration) auf Supermicro X10SL7-F + zwei IBM ServeRAID M1015. Von den knapp 58TB Kapazität sind noch 18TB frei.

Nach mehreren finanziellen Rückschlägen (unter anderem verdammter TÜV du) hatte ich jetzt wieder genug auf dem Konto um ein Backupsystem zu bauen. In mein altes NAS v1.0 Gehäuse (Fractal Design Define XL) kamen 8x Saegate Archive 8TB in einem RaidZ, ausreichend als Backup Server der 1-2 mal im Monat bzw. wöchentlich einmal angeworfen wird.

Jetzt fehlt mir nur noch ein Ansatz um die Daten erstmal rüber zu wuppen (dürfte wohl um die 5 Tage dauern) und später dann nur noch Änderungen. Früher hat man dazu wohl rsync verwendet aber heute ist hier wohl ZFS Replacation besser?

Grundlage:
Daten Host: NAS2 mit Datenpool: tank und ZFS Filesystems: tank/daten
Backup Host: backup mit Datenpool: backup

Theorie:
Manuell wöchentlich Snapshot erstellen auf NAS2, z.B. KW20-2016 und den auf backup übertragen via zfs send? Oder zieh ich den von backup aus vom NAS2 via zfs receive?
Oder wäre es einfacher mit der Replication Pro Extension ... bräuchte ich die dann nur auf einem Server (z.B. dem backup) oder auf beiden? Vielleicht würde ich sogar die Pro complete für beide nehmen.

Momentan hab ich gut 90% der Daten auf alten Festplatten als Not-Backup aber es wird Zeit das mein richtiges Backup endlich eingerichtet wird.

 

[fdiskc2000]

Theorie:
Manuell wöchentlich Snapshot erstellen auf NAS2, z.B. KW20-2016 und den auf backup übertragen via zfs send? Oder zieh ich den von backup aus vom NAS2 via zfs receive?
Oder wäre es einfacher mit der Replication Pro Extension ... bräuchte ich die dann nur auf einem Server (z.B. dem backup) oder auf beiden? Vielleicht würde ich sogar die Pro complete für beide nehmen.

Momentan hab ich gut 90% der Daten auf alten Festplatten als Not-Backup aber es wird Zeit das mein richtiges Backup endlich eingerichtet wird.

Mir persönlich war die einfache Nutzung mit der Replikations-Extension den Preis Wert. Wird nur auf dem Backupserver benötigt. Solange, bis Du das Backup mal zurück replizieren willst. Dann vergibt gea aber eigentlich einen befristeten Key dafür kostenlos.
Geht sicher auch selbst mit Befehlen und Scripten, aber da war ich dann zu bequem für

Complete finde ich immer reizvoller, weil da doch noch das eine oder andere dabei ist und man so nicht mehr mit ablaufenden keys leben muss.

 

[porto007]

Hallo Freunde,

ich hab eine geniale Seite auf englisch zu ZFS gefunden, wo dort alles sehr verständlich steht (gut geschrieben, also Schulenglisch reicht aus) mit Vergleichstabellen der verschiedene Raid ZFS Systeme, Performance, wie man platten zusammen fügen soll, usw.

Den Text hat man in ca. 30 min durch und als Anfänger ist man nach ca. 30 min um ein vielfaches schlauer über ZFS.

Also kurz zusammen gefaßt:

What are the advantages and disadvantages of each raid type ?
Specification of the testing raid chassis and environment !
Bonnie++ benchmarks !
Quick Summery: ZFS Speeds and Capacity!
Spinning platter hard drive raids!
Solid State (Pure SSD) raids!
Some thoughts on the RAID results...!
To compress, or not to compress, that is the question, LZ4 !
All SATA controllers are NOT created equal!
How do I align sectors to 4K for a ZFS pool ?

Questions?
Do you have a ZFS Health Script we can use ?
Why is ZFS import not using GPT labels ?

Wer spass hat hier der Link, für jeden Anfänger empfehlenswert.

Lieben Gruss
Porto

 

[zos]

Es gibt hier vermutlich den ein oder anderen, der wie ich gern rumexperimentiert (sonst meldet man sich hier ja nicht erst an, oder ). Ich bin seit einiger Zeit auf der Suche nach Anwendungen zum Thema "Internet of Things" bzw. "Event Driven Engines", wie z.B. IFTTT, die im Gegensatz dazu aber selbst gehostet sind - idealerweise unter OmniOS.

Nachdem ich etwas mit Huginn (eine in Ruby geschriebene Anwendung) rumgespielt habe und diese (mit Hängen und Würgen) auch unter OmniOS zum Laufen bekommen habe, stieß ich kürzlich auf die Anwendung Node-RED (O-Ton "Programming the IoT"), die ursprünglich aus dem Hause IBM stammt. Die ist aber im Gegensatz zu Huginn erschreckend einfach unter OmniOS einzurichten. Einzige Voraussetzung ist Zugriff auf die SmartOS-Repo's via pkgin, was bei einer AMP-Installation via napp-it bereits gegeben ist. Danach folgende Befehle eingeben:

pkgin -y in nodejs
npm install -g --unsafe-perm node-red

und schon ist es installiert. Mit dem Befehl

nohup node-red &

startet man die Applikation dann im Hintergrund und kann diese dann unter

http://<serverip>:1880

aufrufen. Das war's auch schon - ist viel zu einfach, um dafür extra einen Installer zu schreiben.

 

[teqqy]

Ich habe gestern mein virtuelles XPenology gegen die Napp-IT ESXi Vorlage ausgetauscht. Dort laufen jetzt zwei 250 GB SSD im Mirror für VMs und 6 2 TB HDDs im RaidZ2 für Daten.

Da der SSD Storage etwas begrenzt ist, würde ich da gerne Dedub einschalten. Gerade bei vielen gleichen Systemen macht es meiner Meinung ja Sinn. Derzeit hat die VM 8 GB RAM und 2 CPU Kerne zugewiesen bekommen. Reicht das um dedub anständig betreiben zu können? Oder sollte ich es lassen und den Pool lieber mittelfristig erweitern?

Zudem wäre noch ein Tipp ganz interessant wie ihr das mit VM Backups macht? Ich hatte bis gestern einen zusätzlichen Server im Einsatz der mittels Veeam die Daten gesichert hat. Da ich jetzt alles nur noch auf einem System habe ist es natürlich jetzt etwas komplizierter.

 

[gea]

Je nach dedup-ratio braucht man 1-5GB RAM pro TB Daten nur für dedup (damit die Dedup Tabelle im RAM bleibt)
Mit 256 GB SSD und 8 GB RAM wäre dedup also duchaus möglich.

Aber
dedup kostet etwas Performance. Auch möchte man den RAM eventuell lieber als Lesecache nutzen.

Ich würde sagen, ausprobieren und wenn die Dedup Ratio nicht so toll sein sollte, die Daten auf den Hauptpool verschieben und den SSD Pool neu anlegen (ohne dedup).

ESXi Backup macht man am Einfachsten, indem man einen ZFS Snap auf dem NFS datastore macht auf dem ja die VMs liegen und den wegsichert, idealerweise per ZFS send. Rsync oder manuelles Kopieren per Windows "vorherige Version" ist auch möglich. Wenn man den ESXi "Hot memory State/ Speicherstand" mit sichern möchte, muss man vor dem ZFS Snap einen ESXi Snap machen den man anschließend wieder löscht (ESXi wird langsamer, wenn man den stehen läßt). Den ESXi Snap kann man manuell anlegen oder per napp-it und Menü Jobs > ESXi Hotsnaps

Die napp-it Storage VM braucht man nicht sichern. Die ist ja in 30s wieder von dem Template importiert (Entweder default Template oder ein eigenes konfiguriertes wegsichern). Man sollte darauf eben deshalb auch keine weiteren Dienste auf die Storage VM setzen sondern dafür eigene VMs auf ZFS nehmen.

 

[xymos]

Ich habe seit ein paar Tagen ein merkwürdiges Problem auf einem ESXi Host, auf dem eine Napp-it Installation unter Openindiana läuft.
Diese VM lief nun seit mehr als 800 Tagen ohne Probleme. Seit dem letzten Napp-it Update habe ich das Problem, dass Uploads mit voller Geschwindigkeit laufen, aber Downloads mit Windows Clients mitunter weniger als 400kb/s schaffen.
Das selbe Share liefert unter OSX / Linux die volle Geschwindigkeit in beide Richtungen.

Hat jemand von euch einen Workaround ?

-xymos.

 

[gea]

War das nur ein napp-it Update?
Das ändert am OS garnichts. Die Performance ist unabhängig davon welche napp-it Version läuft oder ob napp-it überhaupt läuft.

Oder war da ein OS Update mit dabei?
Wobei ich dringend ein OS Update von OpenIndiana uralt machen würde, entweder auf OI Hipster 2016.04 oder OmniOS 151018.
Die sind insbesondere am Mac erheblich schneller gewordern, siehe meine Tests mit SMB http://www.napp-it.org/doc/downloads/performance_smb2.pdf

Wenn unter Windows die Performance plötzlich schlechter wurde, könnte auch ein automatisches Treiberupdate der Nic oder ein Copy Tool die Ursache sein. Letztere sind oft auf Windows optimiert und verschlechtern die Performance z.B. unter ZFS eher.

Ansonsten mal die Tuningoptionen aus dem PDF probieren. Können auch bei 1G helfen.

 

[xymos]

@Gea

ja, witzigerweise trat der Fehler erst auf, nachdem das Napp-it update eingespielt wurde. Ich bin mir natürlich bewusst, dass es daran nicht liegen kann.
Die Geschwindigkeit ist an allen Rechnern mit Windows langsam.
Das OI habe ich dann gleich mal auf den neusten Stand gebracht, um das als Fehler auszuschließen.
Ich kann nur nicht herleiten, warum nur die Windows Kisten so "versagen".
Und es wirklich so, dass wenn ich Daten auf den Server kopiere, bis zu 112mb/s gehen, und wenn ich was herunter lade dann bricht die Geschwindigkeit auf ca 400kb/s ein.
1:1 am Server ohne Switch die gleiche Performance.

 

[millenniumpilot]

Hallo,

aktuell bei OmniOS ist die 151018.

Meine Installation meldet sich als
SunOS fileserver 5.11 omnios-master-5409e8f i86pc i386 i86pc

Als Publisher verwende ich die Bloody.
Oder muss ich den Publisher erst wieder auf die Releaseversion ändern?

 

[gea]

Build 5409e8f ist OmniOS 151019 beta

Ein Update bedeutet
- Alten Publisher abmelden
- neuen Publisher anmelen
- per pkg update auf die neue Version gehen

Upgrade_to_r151014

Ein Downgrade wird so eher nicht funktionieren.
Also auf der beta bleiben (ist ja momentan eine 151018) oder auf einen früheren BE gehen und auf die stable updaten.

 

[millenniumpilot]

Hallo Gea,

zu welchen Zeitpunkt ist ein Wechsel auf die Stable möglich? Also ohne Wechsel des BE. Gleich wenn die nächste Stable 151019 erscheint und ich die Beta vorher nicht abgedatet habe?

 

[gea]

Ungerade Nummern sind immer Beta.
Die nächste Stable (ca Oktober/November) wird 151020.

Updaten kann man sobald ein Release verfügbar ist und man den Publisher auf die neue Version gesetzt hat.

 

[millenniumpilot]

Danke Gea, dann warte ich bis Herbst ;-)

noch eine Frage. Die neue 8TB von WD (WD80EFZX) hat eine Fehlerrate von 1x10^14 und bald gibt es dann auch 10 und 12TB-Platten mit dieser Fehlerrate.
Das würde doch heißen, das man ab diesen Zeitpunkt keinen 2fach-Mirror mehr aus diesen Platten bauen sollte. Oder?

 

[gea]

Zwischen ganz sicher und ganz unsicher gibt es Zwischenstufen.

Egal ob 2 fach Mirror oder Raid-5 gibt es bei diesen Datenmengen zwei Probleme
- der nächste Ausfall bedeutet Totalverlust des Array, da kann man gerne mal 2 Tage schwitzen
- Beim Ausfall einer Platte und beim anschliessenden Rebuild ist es zumindest nicht extrem unwahrscheinlich, dass ein Lesefehler auftritt.

ZFS reagiert da zumindest nicht ganz so kritisch wir ein Hardware-Raid.
Dadurch dass alle Daten und Metadaten Prüfsummen haben, kann ZFS ersehen, welche Datei betroffen ist. Da Metadaten doppelt vorhanden sind, ist die häufigste Folge ein Hinweis, dass eine einzelne Datei korrupt ist/ einen Prüfsummenfehler hat.

Bei wichtigen Daten, würde ich aber schon einen 3fach Mirror oder ein Raid-Z2 bevorzugen.

 

[teqqy]

Es kommt auf die OmniOS Version an.
Unter OmniOS 151018 muss man für Gastzugriffe unter SMB

- einen Benutzer mit Namen "guest" anlegen, PW egal
- in der Konsole oder im napp-it cmd Feld folgendes eingeben: smbadm enable-user guest
- als guest verbinden

AFP und SMB2 sind bei 1G ähnlich schnell. AFP ist aber EndOfLife und SMB hat mehr Reserven bei 10G
Ausserdem macht netatalk gerne mal Probleme, SMB2 ist da schon besser, auch wegen der besseren Einbindung von Dateirechten.

ps
In der aktuellen napp-it dev 16.04 kann man Bonjour aktivieren und damit SMB Shares vom Mac direkt anwählen. Der Napp-it Server erscheint dann mit einem hübschen "Xserve" Icon statt einem Medion Röhrenmonitor

Habe bei mir daheim umgebaut und nun die NappIT VM als produktiven Einsatz daheim am laufen. Entsprechend möchte ich meine Bewegdaten darauf ablegen. Die Anpassung vom letzten Mal vorgenommen und dennoch kann ich mich auf dem Share nicht als Gast einloggen. Habe sicherheitshalber die Schritte nochmal wiederholt (vorher den User gelöscht), aber dennoch keine Möglichkeit. Ich sehe, dass meine beiden Shares freigeben sind, nur der Login funktioniert halt nicht.

 

[gea]

Ist beim Freigeben "guests allowed" aktiviert?
Wird beim Zugriff als Benutzername "guest" eingegeben?