[Sammelthread] ZFS Stammtisch

[gea]

Bei einem Crash (Stromausfall, Kernel panic) kann das OS nichts mehr merken. Tot ist tot.

Natürlich ist ein abgesicherter Ram-Writecache sehr wünschenswert. Im Gegensatz zu älteren Dateisystemen bleibt ZFS aber wegen CoW wenigstens stabil. Ob eine Datei dennoch korrupt ist hängt davon ab ob sie bereits komplett im Write-Cache ist oder nur ein Teil davon. Im ersteren Fall sorgt ein ZIL/Slog dafür dass sie auch sicher auf der Platte ist (zumindest nach dem nächsten Booten) im anderen Fall ist sie immer defekt.

Sync write ist daher ganz klar auch für einen einfachen Filer wünschenswert. Die Schreibleistung eines Plattenpools sinkt halt damit auf bis zu 10% der Leistung ohne sync. Ein schnelles Slog um das sicher abzusichern (Zeusram etc) war bisher extrem teuer. Erst langsam (Intel DC 4801X) wird sicheres syncrones Schreiben für einen einfachen Filer eine Option.

 

[MisterY]

Ich wollte mir nochmal nappit angucken.
Ist der unterschied von der free Version zur pro mit Extensions so gravierend?
Was kann man sich unter " Monitoring, Disk Detection, Appliance Maps, Appliance Security, Appliance Tuning and Remote ZFS Replication." vorstellen?

Erkennt die free Version keine Disks, kann mir keine Hardwareparameter wie Temperatur usw auslesen und ist die GUI merklich langsamer?

Wer von euch nutzt nappit free? Bare Metal oder virtualisiert?
Kann man von ZOL migrieren? Wie sieht die Unterstützung von am3+ aus? Ist nappit rein für storage oder kann es auch Zusatzpakete wie Plex?

 

[gea]

Ich wollte mir nochmal nappit angucken.
Ist der unterschied von der free Version zur pro mit Extensions so gravierend?
Was kann man sich unter " Monitoring, Disk Detection, Appliance Maps, Appliance Security, Appliance Tuning and Remote ZFS Replication." vorstellen?

Erkennt die free Version keine Disks, kann mir keine Hardwareparameter wie Temperatur usw auslesen und ist die GUI merklich langsamer?

Wer von euch nutzt nappit free? Bare Metal oder virtualisiert?
Kann man von ZOL migrieren? Wie sieht die Unterstützung von am3+ aus? Ist nappit rein für storage oder kann es auch Zusatzpakete wie Plex?

Monitoring = Echtzeit Anzeige vs aktueller Stand in der Free
Disk Detection: kein Unterschied. Die Pro zeigt aber den Slot in einer Backplane.
Appliance Map=Grafische Darstellung vs manuellem Aufschreiben der WWN in einem Bay der Backplane
Appliance securit Menü y vs manuellem Konfigurieren der Firewall
Remote ZFS Replikation via napp-it Menü vs freie Tools

Smartmontools ist identisch.
Im Wesentlichen geht es darum dass die Pro mehr Komfort und Support bietet
(und die Free mitfinanziert).

Plex gibt es nicht als Packet für >Solaris oder OmniOS.
Napp-it kann es daher nicht unterstützen (napp-it ist eh professional storage only)

Open-ZFS Pools sind relativ problemlos zwischen BSD, Illumos und ZoL verschiebbar.
Bisher mit wenigsten Problemen -> Illumos.

AMD oder Intel ist kein Thema. Darauf achten ob die nic unterstützt wird.

Bei der Pro werden System Parameter wie Disks, Snaps, Pools oder Appliance Gruppm im Hintergrund aktualisiert. In der Free werden die pro Webseite neu eingelesen. Mit vielen Snaps, Platten oder Dateisystemen kann so ein Menü bis zu einer Minute brauchen bis das Menü angezeigt wird. Kein Thema @home.

Alternativ: ESXi + AiO

 

[MisterY]

Danke dir für die Ausführung.
Zu den Backplanes: ich habe welche von icy Dock. Das wird damit eh nicht funktionieren, oder?

Meine nic wäre eine connectX-2. Wird die unterstützt?

Wie sieht es mit dem Stromverbrauch aus? Wird spindown unterstützt? Taktet die CPU runter im idle?

 

[Luckysh0t]

Bei mir läuft Solaris mit nappit direkt auf einem Athlon 5350 - habe keine Probleme gehabt.
Zur Geschwindigkeit kann i h nicht viel sagen - habe keinen direkten Vergleich mit einem schnelleren System und es laufen auch vms in virtual Box auf Solaris.

Es ist so, wie ich es bei der cpu erwarte ^^

 

[gea]

Danke dir für die Ausführung.
Zu den Backplanes: ich habe welche von icy Dock. Das wird damit eh nicht funktionieren, oder?

Appliance map läßt sich frei konfigurieren. Ist also egal egal ob Icy Dock 1 x 4 oder Supermicro 15 x 6 = 90 disks

Meine nic wäre eine connectX-2. Wird die unterstützt?

Ja, X3 aber nicht mehr bei Solarish

Wie sieht es mit dem Stromverbrauch aus? Wird spindown unterstützt? Taktet die CPU runter im idle?

Ja, zumindest bei OmniOS. Solaris auch aber idiotisch zum konfigurieren (nutze ich aber auch nicht, 24/7 always on bei mir)

 

[MisterY]

Also sollte ich zu omnios greifen? Ich virtualisiere das erstmal. Wo kann man die free runterladen?

Kann man es auch unter Linux versuchen?

 

[MisterY]

Ich habe mir das mal in einer Debian-LXC installiert. Gui läuft und ich bin eingeloggt. Und nun? Wo sehe ich die disks? Wie kann ich Freigaben erstellen?
Ich habe lediglich den Button "About" mit den Unterpunkten "Einstellungen, Übersetzungen, Funktionen, Sicherheit, Update, Unterstützungen".

 

[gea]

Also sollte ich zu omnios greifen? Ich virtualisiere das erstmal. Wo kann man die free runterladen?

Kann man es auch unter Linux versuchen?

Die Linuxversion von napp-it kann nur einen Bruchteil der Solarish Version und dient eher dem reinen ZFS Management. Ob die unter LXC überhaupt läuft habe ich nie getestet.

Wenn man napp-it testen möchte, dann unter OmniOS, Openindiana oder Solaris 11.4
https://napp-it.org/doc/downloads/onepagers.pdf

 

[MisterY]

Ich versuche es mit einer Omnios VM auf proxmox, scheitere aber schon an der Installation. Wie kann ich das omnios installieren und nicht nur live ausführen? wie kann ich programme installieren? pkg funktioniert nicht. wie kann ich die tastatur auf deutsch umstellen?

 

[gea]

Wenn man den OmniOS Installer bootet (USB-Stick oder .iso) wird man gefragt auf welche Platte, unter welchem Namen (rpool) und mit welchen Tastatureinstellungen man OmniOS installieren möchte. Nach Abschluß der Installation kann man dann noch das OS (Netzwerk) konfigurieren bevor man rebootet.

siehe http://www.napp-it.org/doc/downloads/setup_napp-it_os.pdf
Screenshots in Kapitel 2.1


Ich habe aber nicht gehört, dass ein Solaris Unix sich besonders gut unter Proxmox/Debian Linux virtualisieren läßt. Die übliche Umgebung ist ESXi. Da gibts auch ein fertiges ova. Template.

 

[MisterY]

Ich installiere gerade Openindia. Das scheint besser zu laufen. Bislang aber keine Probleme unter Proxmox.

Wenn ich versuche "wget -O - www. napp-it.org/nappit | perl" einzutippen, erhalte ich immer "wget: URL fehlt". Ohne -O klappt es, aber es passiert nichts..

 

[gea]

Kann es sein, dass zwischen www. und napp-it.org ein Lerrzeichen ist?

Ansonsten sind OmniOS und OI Illumos Distributionen.
Der Bootloader ist anders, das OS ist fast identisch.

 

[MisterY]

nein, denn wie gesagt funktioniert es ja ohne "-O". Jedoch wird da nichts installiert

 

[gea]

Ist es ein "O" wie Otto
Klappt denn (Installer herunterladen und dann starten)

wget http://www.napp-it.org/nappit
perl ./nappit

 

[MisterY]

Ja ein O wie Otto.
Herunterladen geht, aber perl ./nappit gibt keine Ausgabe.

 

[gea]

Nun ja, da scheint etwas fundamentales zu fehlen.

Die Installation von OI lief problemlos durch?
War das die Text oder die GUI Version von OI ?

Was gibt denn perl -v
Wird die Installation als root (aus Verzeichnis /root) gestartet?

 

[sch4kal]

Was hält die eingefleischte, High-Performance ZFS Gemeinde davon ?:
[ebay BO] RMS-200/8G PCI-e NVRAM Accelerator 360$ | ServeTheHome and ServeThe.Biz Forums
Laut Usern dort als SLOG schneller als eine Optane.
@gea ?

 

[gea]

Natürlich kann ein Dram basiertes Slog schneller sein als eine Optane.
8GB RAM wären auch gerade so ausreichend.

Aber (habe keine Erfarung mit dem Teil)
End of Life
Treiber nur für Linux (künftige Updates?)

 

[layerbreak]

So mein Pärchen SSD SM883 960GB von Samsung sind gekommen.

Was ist Eurer Rat?
1. einfach einbauen, Pool bilden und laufen lassen
2. vorher die SSDs einem Stresstest unterziehen.

Wenn 2. Stresstest unter Windows bzw. unter OmniOS, mit welchem Softwaretool?

 

[gea]

1.
Dennoch Backups machen
Das beste Tool zum Entdecken von Problemen ist eh ZFS im laufenden Betrieb.

 

[Luckysh0t]

Guten Abend,

mir stellt sich die Frage welche SSD besser für einen vm Pool eignet.
Samsung PM983
Samsung DCT 983

Mal vom Preis, Garantie etc abgesehen, scheint die PM keinen Cache zu haben - zumindest habe ich in keiner Doku zu dieser SSD einen gefunden.

Fals relevant, keine USV, Optane als slog geplant.

------

Ok in dem Handbuch https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=4&ved=2ahUKEwiVloqo9eDiAhWSK1AKHVthCIEQFjADegQIBhAC&url=https%3A%2F%2Fwww.compuram.biz%2Fdocuments%2Fdatasheet%2FSamsung_PM983-u2.pdf&usg=AOvVaw0sKpbPbtBx1rvyB7rQ-A7i wird von Cache geredet - wenn auch nur als Cache und nicht von seiner Größe etc.


------
Steht und fällt allerdings mit Unterstützung des AOC-SLG3-4E4T | Add-on Cards | Accessories | Products - Super Micro Computer, Inc. in Solaris.Erwähnt wird es ja nicht.Geht RDM eigentlich auch bei PCIe SSDs ?

------

Ok, Gea scheint das ja wohl mal erfolgreich getestet zu haben ^^ Solaris 11.3/11.4 and M.2 NVME | ServeTheHome and ServeThe.Biz Forums

 

[TheTAZ]

Hallo zusammen,

der auf meiner Arbeit gekauft ZFS-Server soll jetzt mit Platten vollausgestattet werden (Board ist ein Supermicro X11SSH-CTF mit E3-1230V6 und aktuell 16GB RAM).

Derzeit sind zwei WD Ultrastar DC HC510 mit 8TB 4Kn verbaut. Jetzt sollen weitere 14 rein, damit er voll ist.
Ich habe mit dem ZFS Capacity Calculator rumgespielt, und war sehr überrascht als ich zwischen 512B und 4KiB Sektorgröße gewechselt habe: Der Unterschied beträgt 8% bzw. ~11TiB Nutzkapazität (bei einem 16-disk Z3).

Was bedeutet das für mich? Bei meinem letzten Post, schrieb mir Gea das die Platten von ZFS alle als 4Kn behandelt werden. Daher habe ich die 4Kn Variante der Platten gekauft, und mir hier keine weiteren Gedanken gemacht.

Ist das ein wichtiger Punkt in der Planung, oder ist es egal da nur einer der beiden Werte stimmt?
Ich gehe jetzt erstmal von ersterem aus, und lese mich nochmal mehr zu ZFS ein. Über Hinweise wäre ich sehr dankbar.


Ansonsten ist der der Anwendungszweck für diesen Server hauptsächlich eine Datenbank in der Messungen als Datei abgespeichert werden. Einzelne Messungen sind zwischen 5 und 50MB groß. Messungen werden abgespeichert, und irgendwann später ausgewertet. Da dies nicht unbedingt direkt hintereinander passiert, und einzelne Messungen nur selten angefragt werden sehe ich keine Vorteile für besonders viel RAM. Würde es einen Unterschied machen, wenn die Lese anfrage kurz nach dem Schreiben kommt, oder wird die Datei erst bei der ersten Leseanfrage in den RAM geladen?
Einen SLOG kann ich mir schon eher vorstellen, aber dafür werde ich erst einmal abwarten wie das System mit den neuen Platten läuft. Da es an einer USV hängt mache ich mir wenig Sorgen um Datenverlust und hauptsächlich Gedanken um mehr Performance beim Abarbeiten von Schreibvorgängen.

 

[gea]

ZFS stellt ashift entsprechend den physikalischen Sektoren der Platte ein.
Eine 512e und 4kn Platte wird von ZFS also gleich behandelt.

ZFS Datenblöcke sind 2 hoch n groß (32k, 64k, 128k,..1M) So ein Block muss gleichmäßig auf alle Platten eines Raid-Z verteilt werden. Besteht das Raid aus 2 hoch n Datenblatten geht das ohne Verschnitt auf. Früher gab es daher die goldene Regel, ein Raid-Z aus 4,8,16 Datenplatten (+ Redundanz) aufzubauen, um möglichst wenig Verschnitt zu haben.

Da man heutzutage aber meist LZ4 komprimiert und damit eine variable beliebige Größe von ZFS Datenblöcken hat, ist diese Regel obsolet. Ein Raid-Z(2/3) aus 16 Datenplatten ist aber langsam was iops angeht (und langsam beim Resilvern). Ich würde da den Pool wenigstens aus 2 vdevs je x 8 Platten machen.

RAM ist für Performance entscheident, als Lesecache (arbeitet nicht filebasiert sondern ZFS Blockbasiert nach einer read last/tead most Optimierung) und als Schreibcache um aus kleinen langsamen randow write große schneller sequentielle Writes zu machen.

Bei einem Crash beim Schreiben ist der Inhalt des Ramcaches verloren. Ein Slog sichert das ab.

 

[asche77]

Ge, die "automatische" Installation von napp-it (per "wget -O - napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris ownloadsnapp-it | perl" ) auf einem neuen OmniOS r30 wirft (auch bei mir) haufenweise Fehlermeldungen aus:

root@omniosbackup:~# wget -O - [url="http://www.napp-it.org/napp-it"]napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris  :Downloads[/url] | perl
--2019-06-12 09:28:38--  [url="http://www.napp-it.org/napp-it"]napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris  :Downloads[/url]
Resolving [url="http://www.napp-it.org"]napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris  :Downloads[/url]... 188.93.13.227, 2a00:1158:1000:300::368
Connecting to [url]www.napp-it.org|188.93.13.227|:80[/url]... connected.
HTTP request sent, awaiting response... 301 Moved Permanently
Location: [url="http://www.napp-it.org/napp-it/"]napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris  :Downloads[/url] [following]
--2019-06-12 09:28:38--  [url="http://www.napp-it.org/napp-it/"]napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris  :Downloads[/url]
Reusing existing connection to [url="http://www.napp-it.org:80"]napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris  :Downloads[/url].
HTTP request sent, awaiting response... 301 Moved Permanently
Location: [url="https://napp-it.org/napp-it/"]napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris  :Downloads[/url] [following]
--2019-06-12 09:28:38--  [url="https://napp-it.org/napp-it/"]napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris  :Downloads[/url]
Resolving napp-it.org... 188.93.13.227, 2a00:1158:1000:300::368
Connecting to napp-it.org|188.93.13.227|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 8662 (8.5K) [text/html]
Saving to: 'STDOUT'

-                   100%[===================>]   8.46K  --.-KB/s    in 0.001s

2019-06-12 09:28:38 (12.8 MB/s) - written to stdout [8662/8662]

Bareword found where operator expected at - line 11, near "<title>napp"
        (Missing operator before napp?)
String found where operator expected at - line 11, near "ico" type=""
Bareword found where operator expected at - line 11, near "" type="image"
        (Missing operator before image?)
String found where operator expected at - line 11, near "<meta http-equiv=""
        (Missing semicolon on previous line?)
Bareword found where operator expected at - line 12, near "<meta http-equiv="Con                                     tent"
  (Might be a runaway multi-line "" string starting on line 11)
        (Missing operator before Content?)
String found where operator expected at - line 12, near "Type" content=""
Bareword found where operator expected at - line 12, near "" content="text"
        (Missing operator before text?)
String found where operator expected at - line 12, near "<meta name=""
        (Missing semicolon on previous line?)
Bareword found where operator expected at - line 13, near "<meta name="descripti                                     on"
        (Missing operator before description?)
String found where operator expected at - line 13, near "description" content=""
Bareword found where operator expected at - line 13, near "" content="napp"
        (Missing operator before napp?)
syntax error at - line 2, near "html>"
Unknown regexp modifier "/f" at - line 11, at end of line
Unknown regexp modifier "/v" at - line 11, at end of line
syntax error at - line 13, near "<meta name=""
  (Might be a runaway multi-line "" string starting on line 12)
Unrecognized character \xE4; marked by <-- HERE after  Weboberfl<-- HERE near co                                     lumn 125 at - line 13.
root@omniosbackup:~#

Was zum Glück dann funktioniert, ist

wget [url="http://www.napp-it.org/nappit"]http://www.napp-it.org/nappit[/url]
perl ./nappit

 

[gea]

Das Problem kann ich nicht nachvollziehen.

Von der Fehlermeldung her sieht es so aus, dass eine html Seite an Perl übergeben wird.
ein wget -O - www. napp-it.org/ | perl würde exakt diese Fehlermeldungen bringen (Würde die Startseite index.html liefern)

 

[asche77]

Der Fehler könnte ein Bindestrich sein: "https://napp-it.org/napp-it/" (falsch) vs "https://napp-it.org/nappit" (richtig)

Du hast in http://openzfs.hfg-gmuend.de/napp-it_manuals/setup_napp-it_os.pdf an einer Stelle den falschen Befehl mit Bindestrich drin (Ziffer 2.1, Seite 5 unten rechts):

then setup napp-it via online-installer:
#wget -O - [url="http://www.napp-it.org/"]napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris  :Downloads[/url][B]napp-it[/B] | perl

Von dort hatte ich es kopiert.

 

[martingo]

asche77 hat es sogar mit Leerzeichen zwischen www. und napp-it.org reinkopiert:

Ge, die "automatische" Installation von napp-it (per "wget -O - www. napp-it.org/nappit | perl" ) auf einem neuen OmniOS r30 wirft (auch bei mir) haufenweise Fehlermeldungen aus:

Wo habt Ihr denn alle diesen Aufruf her? Einer tippt es falsch ab und alle kopieren es? Oder steht das auf geas Seite irgendwo falsch?

- - - Updated - - -

Stimmt, dort ist tatsächlich an einer einzigen Stelle ein Fehler mit einem Bindestrich, wo keiner hingehört. Gleich am Beginn der nächsten Seite steht es dann wieder korrekt.
Und woher kommt der Aufruf mit Leerzeichen?

 

[gea]

Danke, den Typo Fehler mit dem Bindestrich im Setup-Manual habe ich korrigiert
wget -O - www .napp-it.org/napp-it lädt auch tatsächlich eine html Webseite statt dem Installer.

ps
Ich habe auch ein Leerzeichen nach www gesetzt. Die Forumssoftware ersetzt das sonst automatisch mit dem html-title.

 

[TCM]

"Links automatisch umwandeln" noch nie gesehen?

Wenn du schon dabei bist, ändere die Links doch gleich auf HTTPS.