[Sammelthread] ZFS Stammtisch

TCM · 04.04.2014

Digi-Quick schrieb:
somit habe ich zur Zeit auch keinen ECC Speicher drin.

Dann kannst du es auch gleich lassen. DISCUSSION - ECC vs non-ECC RAM and ZFS | FreeNAS Community

b99 · 04.04.2014

ja, auch wenn es nur ein Datengrab ist.... aber die Daten sollen nicht beerdigt werden.
Bin grundlegends erstmal von der Performance was ZFS betrifft begeistert.
ich füttere gerade mein NAS mit meinen 4 Seagate ST4000DM000 über Gigabit Lan...
unter CIFS habe ich momentan ca 800 MBit/s

GrafikTreiber · 04.04.2014

TCM schrieb:
Dann kannst du es auch gleich lassen. DISCUSSION - ECC vs non-ECC RAM and ZFS | FreeNAS Community

Das halte ich für Unfug, hatten wir zuvor schon mal in diesem Jahr irgendwo im Forum besprochen.
Das Beispiel mag zwar so richtig sein, ist aber völlig unrealistisch. In der Praxis ist man immer noch weitaus besser mit ZFS ohne ECC als mit EXT4 ohne ECC dran sollte es mal zu einer "Panne" kommen.

Klar holt man sich zwar durch das Fehlen von ECC bei ZFS ein paar Risiken rein, schließt aber gleichzeitig viele Risiken aus als das man am Ende immer noch viel viel besser da steht als bei einem primitiven Dateisystem.

SchaubFD schrieb:
Hat jemand von Euch schon mal mit den EONNAS Systemen auf ZFS Basis Erfahrung gesammelt? Es gibt diese Systeme ja sogar mit 10GBit Interface, nur frage ich mich, ob da die Hardware überhaupt mitspielt? Meine folgendes Model: Infortrend EonNAS Pro Series 850-2

Nur weil eine 10Gbit-Karte eingebaut ist sagt der Hersteller ja noch lange nicht dass man damit auch diese Geschwindigkeiten erreichen würde. Ist sowieso bei nur 8 Festplatten recht schwierig, da müssten es schon recht schnelle Platten oder SSDs sein.

Preis/Leistung halte ich bei den EONNAS-Systemen für dürftig, vielleicht interessant für nicht wirklich technisch versierte Kunden die sich keinen ordentlichen IT-Dienstleister haben. Ich denke man ist mit einem "Eigenbau" vom IT-Systemhaus besser bedient. Alles immer eine Sache der Anforderungen, eigenen Möglichkeiten und Fertigkeiten. "Kommt drauf an".

layerbreak · 04.04.2014

Offensichtlich bin ich doch zu doof unter Omnios meine mysql Datenbank auf den Datenpool zu verlegen. :heul:

Was ich bis jetzt gemacht habe:

Code:

root@ripley:~# svcadm disable mysql
Der Datei /opt/local/my.cnf 'datadir = /pool_ripley/db' hinzugefügt, sonst nichts geändert.
root@ripley:~# mkdir /pool_ripley/db
root@ripley:~# chown mysql:mysql /pool_ripley/db -Rv
root@ripley:~# cp -rp /var/mysql/* /pool_ripley/db/
root@ripley:~# svcadm enable mysql

Wenn ich jetzt eine neue Datenbank anlege, speichert die mysql weiterhin in /var/mysql/ und nicht unter /pool_ripley/db/.

Verdammich nochmal - was fehlt denn noch bzw. was mach ich wieder falsch?

b99 · 05.04.2014

mal so eine Frage nebenbei:
Ich habe jetzt mein ZFS-Dateisystem so langsam erstellt und bin dabei, es zu "füttern"
verwerteilt habe ich es als Raidz1 auf 4 gleichgroße Festplatten mit relativ wenig Durchsatz.
Meine Überlegung reicht soweit, eine kleine bis mittlergroße SSD (ca 128 GB Sata600) zusätzlich als Cache reinzuhängen. Theoretisch sollte das doch möglich sein, oder?

GrafikTreiber · 05.04.2014

Klar geht das. Nur was versprichst du dir davon? Ich gehe mal davon aus dass es sich um einen Homeserver mit 1Gbit-Netzwerkkarte handelt. Was soll ein Lese- und/oder Schreib-Cache hier nun bringen? Dein Pool wird so schon sicherlich mehr als 1Gbit bringen, selbst mit langsamen Stromspar-Platten.
Du hast auch nur einen Pool so dass du keine Vorteile beim Übertragungen von Pool A auf Pool B haben könntest.
Du könntest mit einer SSD sowieso nur einen Lese-Cache, also für den L2ARC einrichten.

gea · 05.04.2014

b99 schrieb:
Meine Überlegung reicht soweit, eine kleine bis mittlergroße SSD (ca 128 GB Sata600) zusätzlich als Cache reinzuhängen.

Zuhause mit einem User bringt das garnichts.
Wenn viele User lesen und schreiben sieht das anders aus. Da verbessert ein großer Lesecache auch die Schreibleistung da weniger Lesezugriffe auf die Platte erfolgen. Der Cache sollte dann aber idealerweise RAM-ReadCache heißen und nur wenn das nicht geht SSD ReadCache. Also mehr RAM wäre eine bessere Massnahme.

Einen Schreibcache gbt es als RAM-Puffer für die letzten Sekunden zu schreibende Daten. Eine ZIL SSD ist kein Schreibcache sondern ein zusätzliches Logdevice das nur benutzt wird, wenn man sicheres syncrones Schreiben aktiviert (und nur dann). Es wird ausgelesen, falls der Rechner beim Schreiben abstürzt. Man kann es spiegeln wenn man einen Systemabsturz mit gleichzeitigen Ausfall des ZIL ohne Datenverlust der letzten Sekunden absichern möchte. Bei einen normalen Filer ist sync nicht aktiviert und eine ZIL SSD daher unnötig.

Ansonsten handelt es sich vermutlich um schwache SMB oder NFS Leistung. Da bringt Tuning von FreeNAS etwas. Deutlich schneller ist meist ein Server auf Basis von Solaris/OmniOS mit dem Kernel-SMB Server anstatt BSD+SAMBA.

zos · 05.04.2014

layerbreak schrieb:
Wenn ich jetzt eine neue Datenbank anlege, speichert die mysql weiterhin in /var/mysql/ und nicht unter /pool_ripley/db/.

Verdammich nochmal - was fehlt denn noch bzw. was mach ich wieder falsch?

Verschiebe doch einfach das komplette mySQL-Verzeichnis und setzte dann in /var einen Symlink auf dieses. Dann kannst Du die my.cnf unangetastet lassen.

layerbreak · 05.04.2014

Die Hilfsbereitschaft hält sich echt in Grenzen - so ist das halt im Zeitalter des Internets.

zos schrieb:
Verschiebe doch einfach das komplette mySQL-Verzeichnis und setzte dann in /var einen Symlink auf dieses. Dann kannst Du die my.cnf unangetastet lassen.

@zos, vielen Dank, dass du bereit bist mir etwas Hilfestellung zu leisten.

Hat funktioniert, Datenbank jetzt auf dem Datenpool, nur nützt es nichts, da mein Client (XBMC) nicht drauf zu greifen kann, vermutlich mangels [client]-Einträge aus der my.cnf.
Aber es muss ja einen Grund geben, warum mysql nicht auf /opt/local/my.cnf zugreift oder zugreifen kann.
Leider werde ich mit meinen Möglichkeiten nicht dahinter kommen.

GrafikTreiber · 05.04.2014

No offense, aber dein MySQL-Problem ist hier ziemlich OT.

MySQL :: MySQL Forums

Der Tipp mit dem Symlink ist eine super Idee und sollte deine Probleme beheben, auch wenn es nur ein Workaround ist und keine richtige Lösung.

Ich habe kurz versucht zu antworten, aber es dann wieder gelassen weil das wohl eher so eine Sache ist die mit in 5-10 Minuten rüberschauen via SSH wohl gelöst ist aber via Forum langes raten und viel Tipperei erfordert und ich so gut wie keine Erfahrung mit MySQL unter Solaris habe, das wollte ich mir einfach nicht antun.

Warum XBMC nicht zugreifen kann ist dann wieder ein grundsätzliches, plattformunabhängiges MySQL-Problem. Datenbank und User angelegt, Passwort gesetzt, Berechtigungen eingestellt? Ist Zugriff von anderen IPs überhaupt möglich oder nur von Localhost? Eventuell Firewall aktiv? Hast du mal versucht mit einer MySQL-Konsole von dem Rechner mit XBMC dich mit deinem MySQL-Server zu verbinden? Was kommen da für Fehlermeldungen? Kann alles mögliche sein...

Hast du mal diese Anleitung befolgt? HOW-TO:Share libraries using MySQL - XBMC

b99 · 06.04.2014

sagt mal, geht das von der Performance so?
Hab bisher keine großartigen Optimierungen gemacht.. nur mein ZFS-Volume per CIFS mit Freenas freigegeben... meine LAN-Verbindung ist auch "nur" Gigabit

GrafikTreiber · 06.04.2014

Sieht okay aus für Freenas, gibt nichts wirklich zu optimieren. Etwas mehr Performance wäre mit dem Solaris-SMB-Server möglich, vielleicht 5-15%, aber du hast dich ja für FreeBSD entschieden.

b99 · 06.04.2014

klar hab ich mich für Freenas entschieden.. wollte eine einfache Klick-Lösung haben ohne viel Aufwand... Ich hoffe nur, das dieses Teil auch die nächsten 2 Jahre durchhält. Hab deswegen mich auch für den Haswell entschieden, damit ich in zwei Jahren vielleicht noch neuere CPUs bekomme.. Ram werd ich definitiv so schnell es mir möglich ist, aufrüsten auf 32 GB.... dann ist erstmal Ruhe im privaten Serverrau... ähh Küche

layerbreak · 06.04.2014

GrafikTreiber schrieb:
No offense, aber dein MySQL-Problem ist hier ziemlich OT.
MySQL :: MySQL Forums

Im Grunde gebe ich dir ja Recht, dass MySQL hier OT ist, da aber ganz offensichtlich MySQL in Verbindung mit Solarish was ganz Spezielles ist, dachte ich, wenn jemand helfen kann - dann hier und nicht in einem anderen MySQL-Thread oder Forum.

Der Tipp mit dem Symlink ist eine super Idee und sollte deine Probleme beheben, auch wenn es nur ein Workaround ist und keine richtige Lösung.

Ich habe kurz versucht zu antworten, aber es dann wieder gelassen weil das wohl eher so eine Sache ist die mit in 5-10 Minuten rüberschauen via SSH wohl gelöst ist aber via Forum langes raten und viel Tipperei erfordert und ich so gut wie keine Erfahrung mit MySQL unter Solaris habe, das wollte ich mir einfach nicht antun.

Meinen ganzen Respekt hast du, für eine solche ehrliche und offene Antwort.

Warum XBMC nicht zugreifen kann ist dann wieder ein grundsätzliches, plattformunabhängiges MySQL-Problem. Datenbank und User angelegt, Passwort gesetzt, Berechtigungen eingestellt? Ist Zugriff von anderen IPs überhaupt möglich oder nur von Localhost? Eventuell Firewall aktiv? Hast du mal versucht mit einer MySQL-Konsole von dem Rechner mit XBMC dich mit deinem MySQL-Server zu verbinden? Was kommen da für Fehlermeldungen? Kann alles mögliche sein...

Hast du mal diese Anleitung befolgt? HOW-TO:Share libraries using MySQL - XBMC

XBMC hatte ja früher schon Zugriff auf eine MySQL Datenbank. Da hatte es ausgezeichnet funktioniert. An diesem PC hatte ich gar nichts geändert.
Geändert hat sich bei mir der Server, der war OpenIndiana und xampp und jetzt Omnios und ampo04. xampp mehr für den privaten Bereich (offen) - ampo ausgelegt für den Produktivbereich (Sicherheit).

Eventl. liegt es auch an der MySQL-Version, Hinweis in deinem Link zur wiki.xmbc.org

NOTICE:
Users are reporting issues with MySQL 5.6. Use MySQL 5.5 instead.

sun-man · 06.04.2014

layerbreak schrieb:
Ich hab jetzt die e1000 entfernt und danach eine neue vmxnet3 der VM zugewiesen - also jetzt wieder 2 vnics.
Nics konfiguriert alles scheint ok zu sein.

Danach hab ich vom Backup-Server ein Replicate gestartet um den aio-pool zu sichern. Backup läuft bis 73% ohne murren durch.
Dann ein Kernel Crash:
Anhang anzeigen 276126

Hier Anhang anzeigen 276127 der komplette Log vom Crash.
Der Kernel-Crash ist vom Typ Defect - ich finde aber keinen Hinweis dazu was defekt sein soll.

Spaßeshalber kopiere ich von meiner Windows Dose auf den aio_pool jetzt schon mehrere 100Gb am Stück und hier crasht er nicht, auch der Kopier-Durchsatz ist ok.
Liegt es eventl. gar nicht an ESXi oder Omnios?

Kann mir bitte jemand weiterhelfen??

Sehe ich gerade erst. Kann dazu an sich NULL finden. Ich hab Zugang zu Solution Database von Solaris (10/11 Zertifiziert usw). Hab mich mal durch die Meldungen gewühlt und gesucht und wenig bis nichts gefunden.
Leider steht ja nix von "due to". KÖNNTE was mit L2arc zu tun haben.
16804978 - > https://getupdates.oracle.com/readme/150401-10

Sowas gilt ja nicht merh so ganz -> Solaris Crash Dump Analyse für Anfänger - c0t0d0s0.org
Keine Ahnung ob sowas funzt? -> https://blogs.oracle.com/solariscat/entry/oracle_solaris_crash_analysis_tool

An sich bin ich aber auch nicht in Solaris zu Hause. Bin 99% Storageadmin/SAN.

layerbreak · 06.04.2014

sun-man schrieb:
Sehe ich gerade erst. Kann dazu an sich NULL finden. Ich hab Zugang zu Solution Database von Solaris (10/11 Zertifiziert usw). Hab mich mal durch die Meldungen gewühlt und gesucht und wenig bis nichts gefunden.
Leider steht ja nix von "due to". KÖNNTE was mit L2arc zu tun haben.
16804978 - > https://getupdates.oracle.com/readme/150401-10

Sowas gilt ja nicht merh so ganz -> Solaris Crash Dump Analyse für Anfänger - c0t0d0s0.org
Keine Ahnung ob sowas funzt? -> https://blogs.oracle.com/solariscat/entry/oracle_solaris_crash_analysis_tool

Ich hatte ja auch noch fmdump hier online gestellt, aber auch nichts weiterführendes gefunden.
Aus diesem Grunde habe ich mich entschlossen eine Neuinstallation zu machen, aber diesmal nur eine vnic der VM zu zuweisen. Hier berichtet.

An sich bin ich aber auch nicht in Solaris zu Hause. Bin 99% Storageadmin/SAN.

Aber als Storageadmin sollte gerade Solarish dein zu Hause sein - IMHO gibts nichts besseres als Solarish für Storage. :love:

--------------------------------------------------------------

Aber ein Unglück kommt selten alleine. :kotz:

Mein Datengrab besteht ja bekanntlich nur aus Mirrors plus einer Spare.
Gestern reagierte mein Datengrab nicht mehr, kein Zugriff per SMB mehr möglich. Auch putty funzte nicht mehr.
Na, kein Problem, kenn ich noch aus alten Zeiten bei Windoof, also beherzter Druck auf den Einschalter und Neustart.
Ooohh, verdammich nochmal was klickt denn da so. Also Ohr an die HDD Caddies und tatsächlich eine HDD gab Geräusche von sich.

Code:

# zpool status -x
  pool: pool_ripley
 state: DEGRADED
status: One or more devices could not be opened.  Sufficient replicas exist for
        the pool to continue functioning in a degraded state.
action: Attach the missing device and online it using 'zpool online'.
   see: http://illumos.org/msg/ZFS-8000-2Q
  scan: resilvered 84K in 0h0m with 0 errors on Sun Mar 23 15:09:08 2014
config:

        NAME                       STATE     READ WRITE CKSUM
        pool_ripley                DEGRADED     0     0     0
          mirror-0                 DEGRADED     0     0     0
            c1t5000CCA22BC16BC5d0  ONLINE       0     0     0
            c1t5000CCA22BEEF6A3d0  UNAVAIL      0     0     0  cannot open
          mirror-1                 ONLINE       0     0     0
            c1t5000CCA22BC8D31Ad0  ONLINE       0     0     0
            c1t5000CCA22BF612C4d0  ONLINE       0     0     0
          .
          .
          .

        spares
          c1t5000CCA22BF5B9DEd0    AVAIL

Kein Problem hab ja eine Spare im pool. Omnios wird jetzt ein resilver anstoßen und die Spare aktivieren und die Defekte rauswerfen.
Aber Pustekuchen - gar nichts passierte.

Ok, dann halt händisch.
# zpool replace -f pool_ripley c1t5000CCA22BEEF6A3d0 c1t5000CCA22BF5B9DEd0
Sofort beginnt das Resilvering.

Code:

# zpool status -x
  pool: pool_ripley
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Sun Apr  6 14:36:09 2014
    117G scanned out of 15.4T at 1.17G/s, 3h42m to go
    11.7G resilvered, 0.74% done
config:

        NAME                         STATE     READ WRITE CKSUM
        pool_ripley                  DEGRADED     0     0     0
          mirror-0                   DEGRADED     0     0     0
            c1t5000CCA22BC16BC5d0    ONLINE       0     0     0
            spare-1                  DEGRADED     0     0     0
              c1t5000CCA22BEEF6A3d0  UNAVAIL      0     0     0  cannot open
              c1t5000CCA22BF5B9DEd0  ONLINE       0     0     0  (resilvering)
          mirror-1                   ONLINE       0     0     0
            c1t5000CCA22BC8D31Ad0    ONLINE       0     0     0
            c1t5000CCA22BF612C4d0    ONLINE       0     0     0
         .
         .
         .
        spares
          c1t5000CCA22BF5B9DEd0      INUSE     currently in use

Code:

# zpool status -x
  pool: pool_ripley
 state: DEGRADED
status: One or more devices could not be opened.  Sufficient replicas exist for
        the pool to continue functioning in a degraded state.
action: Attach the missing device and online it using 'zpool online'.
   see: http://illumos.org/msg/ZFS-8000-2Q
  scan: resilvered 1.53T in 3h12m with 0 errors on Sun Apr  6 17:48:51 2014
config:

        NAME                         STATE     READ WRITE CKSUM
        pool_ripley                  DEGRADED     0     0     0
          mirror-0                   DEGRADED     0     0     0
            c1t5000CCA22BC16BC5d0    ONLINE       0     0     0
            spare-1                  DEGRADED     0     0     0
              c1t5000CCA22BEEF6A3d0  UNAVAIL      0     0     0  cannot open
              c1t5000CCA22BF5B9DEd0  ONLINE       0     0     0
          mirror-1                   ONLINE       0     0     0
            c1t5000CCA22BC8D31Ad0    ONLINE       0     0     0
            c1t5000CCA22BF612C4d0    ONLINE       0     0     0
         .
         .
         .
        spares
          c1t5000CCA22BF5B9DEd0      INUSE     currently in use

Server runter gefahren, die defekte HDD aus dem Slot genommen und in diesen Slot die Spare gesteckt.
Das Problem ist, dass ich die defekte HDD nicht per remove aus dem pool bringe, da die Defekte überhaupt nicht mehr auftaucht in napp-it/delete - aber in napp-it/replace schon.
Solange bleibt der pool degraded.

Große Experimente kann ich mir momentan nicht leisten, da ich z.Zt. ohne Backup ziemlich blank da stehe.
Grund: Neuaufbau mit RaidZ2 siehe Diskussionen vor ein paar Tage. Momentan läuft schon das Backup - wird aber ein paar Taqe dauern (performance: 105.5 MB/s).
Vorschläge?

sun-man · 06.04.2014

Aber als Storageadmin sollte gerade Solarish dein zu Hause sein - IMHO gibts nichts besseres als Solarish für Storage.

Klar gibt es das. Sorry, Solaris wird IMHO mit 11 enden. Keine Ahnung, mir aber auch egal. Viele mir bekannte Kunden bzw Firmen suchen einen Ausweg aus Oracle und das ganz massiv. Auf Enterprisetorages fummelt niemand an den Grundsystemen. Das sind irgendwelche proprietären Linux oder Sontwassachen. Bei ner Hitachi VSP bekommst Du einen oder mehr Schränke mit Platten. Da fummelt keine Sau mehr mit Betriebssystemen, dazu haben wir gar keine Zeit. Ebenso im SAN. Wir haben etwa 20 davon -> HDS: Hitachi Virtual Storage Platform (VSP) | Data Center Transformation with 3D Scaling

Ebenso ist ZFS nicht gerade das bevorzugte Ziel unserer Admins. Aber was will man machen? Oracle erzwingt es ja fast. Hier sollte alles mit der Standard Solaris SVM weitergehen. Platten als Metasets/Spiegel und alles wäre gut.
Anderss Beispiel: Zonen. Solaris 11 Zerti? Oracle will nur irgendwelchen Unsinn über Zonen und Rechte. Bei uns geht RICHTIG viel über die Server und Zonen jucken hier niemanden. LDOM sind hier gesetzt. Ich rede nicht von ein oder zwei duzend.

Ich hatte ja auch noch fmdump hier online gestellt, aber auch nichts weiterführendes gefunden.

Hab ich gesehen aber genau und auch auf dessen Basis findet man wenig.

Zum Rest kann ich nix sagen. ZFS gehört nicht zu den Sachen mit denen ich viel machen muss. Hatte in den ersten Jahren mal etwas rumgespielt und bin in viele Bugs gelaufen und habe dann das Team gewechselt (weg von Betriebssystemen).

gea · 06.04.2014

sun-man schrieb:
Ebenso ist ZFS nicht gerade das bevorzugte Ziel unserer Admins. .

Das Besondere an ZFS ist, dass es zwei Priinzipien in ein allgemein verfügbares Dateisystem eingeführt hat nämlich Prüfsummen auf Daten und Metadaten und CopyOnWrite und damit ein immer konsistentes Dateisystem mit Online Scrubbing (kein offline fsck mehr das eh nicht wirklich etwas reparieren kann) -neben all den anderen Goodies wie Software Raid ohne Write-Hole Problem, Snaps, Raid und Volumemanagement die meist darauf aufbauen.

Natürlich gibt es ähnliches auch von netApp als reines Storagesystem und irgendwann vielleicht auch mit btrfs oder ReFS als Konkurrenz. An den Prinzipien von ZFS kommt im Storagebereci jedenfalls niemand vorbei. Solaris selber als Storage OS ist dabei gar nicht mal so wichtig. Oracle braucht Storage eh nur damit die eigene DB darauf läuft.

Die Zukunft von ZFS als wohl modernstes Dateisystem ist "Storage ganz allgemein" egal ob BSD, OSX, Linux oder Solaris damit arbeitet. Es wird sicher ext ablösen (falls btrfs nicht noch gewaltig aufholt). Man wird es oder eben was vergleichbares überall haben.

Für mich ist Solarish immer noch die beste ZFS Platform aber eher mit den freien Derivaten wie OmniOS oder mit Nexenta als reine Storage Firma. Der Masseneinsatz wird aber sicher künftig auf Linux sein. ZoL ist da schon sehr weit.

Dazu kommt dass DE ein sehr spezieller Markt ist. Kunden meiner eigenen ZFS Storage Appliance kommen z.B. zum überwiegenden Teil aus USA und zum geringsten Teil aus DE. Bei Hardforum z.B. hat mein ZFS Thread bald 1 Mio hits - hier ist der Top-Thread der LowCost HP Microserver.

GrafikTreiber · 06.04.2014

Mit dem richtigen Know-How kann man auch in großen Rechenzentren gegenüber Blackboxen von Netapp eine Menge Geld mit Open-ZFS sparen ohne irgendwelche Risiken oder Leistungsnachteile. Immer nur eine Frage der Einstellung der Entscheidungsträger, Größe und Kompetenz der Firma. Gib mal "nobody got fired for buying" bei Google ein und schau dir die Vorschläge an. FUD-Opfer!

https://en.wikipedia.org/wiki/Fear schrieb:
By spreading questionable information about the drawbacks of less well known products, an established company can discourage decision-makers from choosing those products over its own, regardless of the relative technical merits. This is a recognized phenomenon, epitomized by the traditional axiom of purchasing agents that "nobody ever got fired for buying IBM equipment". The result is that many companies' IT departments buy software that they know to be technically inferior because upper management is more likely to recognize the brand.

https://en.wikipedia.org/wiki/Fear schrieb:
Statements that "If an open source software solution breaks, who's gonna fix it?"[24]

Microsoft Propaganda die hier ähnlich auch immer von einigen Leuten gebracht wird wenn es um Open-Source-Lösungen geht. Hehe. :fresse:

Mit ZFS kann man auch mal so eben den Hersteller oder Dienstleister wechseln. Schon mal Probleme mit einer EMC Storagelösung gehabt? Viel Spaß dabei wenn die einzige Firma die euch dabei helfen kann es nicht schnell genug auf die Reihe bekommt weil es eine reine Blackbox-Lösung ist die quasi nur hersteller-eigene Techniker warten. Selbes gilt für Netapp und Co.
Mich erstaunt es immer wieder wie Leute denken nur weil die Lösung schweineteuer ist dass sie dann auch immer einwandfrei ohne Probleme läuft.

-------------------------------------------------------------

Für alle Debian-User mit Kernel neuer als 3.11 und alle Leute die gerne Bleeding-Edge laufen lassen wollen hat Turbo nun eine wheezy-daily repository eingerichtet, siehe
https://groups.google.com/a/zfsonlinux.org/forum/#!topic/zfs-discuss/zoyClVrfvro

Add the following to the /etc/apt/sources.list.d/zfsonlinux.list file:

deb http://archive.zfsonlinux.org/debian wheezy-daily main

then run 'apt-get update && apt-get dist-upgrade'.

Wichtig hierbei ist das dist-upgrade!

Ich werde jetzt erst mal auch auf Produktivsystemen auf die Dailies umsteigen bis zum Release von ZoL 0.6.3, die Verbesserungen zu 0.6.2 sind einfach enorm. An Support für 3.14 wird gerade gearbeitet, siehe https://github.com/zfsonlinux/zfs/pull/2226.

gea · 07.04.2014

GrafikTreiber schrieb:
Mit dem richtigen Know-How kann man auch in großen Rechenzentren gegenüber Blackboxen von Netapp eine Menge Geld mit Open-ZFS sparen ohne irgendwelche Risiken oder Leistungsnachteile. Immer nur eine Frage der Einstellung der Entscheidungsträger, Größe und Kompetenz der Firma. Gib mal "nobody got fired for buying" bei Google ein und schau dir die Vorschläge an. FUD-Opfer!

.

Ist auch meine Erfahrung.
Ich selber habe mich ja nicht zuletzt dadurch mit ZFS beschäftigt, dass ich kein Geld für NetApp hatte und dass Apple vor Jahren ZFS als Feature angekündigt hat und ich darauf entdeckt habe dass es genau die Features sind die ich brauche. NetApp hätte ich gerne genommen, war mir aber definitiv zu teuer.

0-8-15 Storage für SMB, NFS oder iSCSI mit NetApp oder EMC oder sonstwas spezielles > 100000 Euro ist naja ziemlich seltsam - hat keine wirkliche Vorteile außer dass man deshalb nicht sofort entlassen wird. HA oder besondere Anforderungen mögen das ändern.

Eigene Kompetenz vs (when needed zweifelhafte) SLA - das ist das Problem.

GrafikTreiber · 07.04.2014

GrafikTreiber schrieb:
Ich verschlüssele aber immer grundsätzlich alle Systeme vollständig und mache keine Unterschiede zwischen unwichtigen und schützenswerten Daten, ist so wesentlich einfacher zu handeln.

layerbreak schrieb:
Das interessiert mich sehr, könntest du darauf näher eingehen.

Besser spät als nie! :fresse:

Was meinst du damit? Unter Windows verwende ich Diskcryptor und bei ganz neuen Systemen mit kompatiblen Mainboards (UEFI 2.3.1 aufwärts) und SSDs (eDrive, TCG Opal 2.0 & IEEE-1667 , M500, M550, 840 Evo...) die Bitlocker-eDrive-Funktionalität die die Crypto-Engine der SSD verwendet und somit keinerlei CPU-Last oder Performanceverluste erzeugt.
https://diskcryptor.net
http://www.hardwareluxx.de/communit...crypt-vs-bitlocker-vs-diskcryptor-689181.html
AnandTech | Hardware Accelerated BitLocker Encryption: Microsoft Windows 8 eDrive Investigated with Crucial M500
AnandTech | Crucial M550 Review: 128GB, 256GB, 512GB and 1TB Models Tested
AnandTech | Samsung SSD News: 1TB 840 EVO mSATA, RAPID for 840 Pro & eDrive for 840 EVO

Unter Linux kommt dmcrypt/LUKS zum Einsatz, vollständig verschlüsselt inklusive Root-Partition. Passwort bei Servern kann man via SSH in der init.rd eingeben oder via IPMI.
Ich nutze ZFS verschlüsselt seit Winter 2009 unter Linux, anfangs noch mit zfs-fuse, später mit ZFSonLinux. Zuvor unverschlüsselt seit Frühling/Sommer 2008 unter Opensolaris.

sun-man · 07.04.2014

Hi,

Mit dem richtigen Know-How kann man auch in großen Rechenzentren gegenüber Blackboxen von Netapp eine Menge Geld mit Open-ZFS sparen ohne irgendwelche Risiken oder Leistungsnachteile. Immer nur eine Frage der Einstellung der Entscheidungsträger, Größe und Kompetenz der Firma. Gib mal "nobody got fired for buying" bei Google ein und schau dir die Vorschläge an. FUD-Opfer!

Naja, es kommt halt immer drauf an. Für ein Datengrab? Von mir aus. Irgendein NAS? Von mir aus.

Beim Rest - und das ist ganz sicher nicht von oben herab gemeint - hab ich hier Petabyte an SSD, SAS, NL-SAS in den einzelnen Boxen. Mit ZFS kenne ich mich nicht gut genug aus. Wir müssen es leider in Zukunft einsetzen, bzw die Betriebssystemer.
Meine Systeme laufen schon etwas anders als ein 08/15 Datengrab. Raid: 6+2 SSD, SAS/NL-SAS 14+2. Diese werden in Pools gesteckt. Jedes reinkommende Byte wandert in mind 256GB gespiegelten Cache um von dort über die Boxlogik in 42mb häppchen (ein Full-Stripe AFAIK) auf die Spindeln verteilt zu werden. Die Spindeln liegen in sogennanten Pools. Also z.B. 20 Raidgruppen SAS, 10 NL-SAS und 5xSSD ergeben einen reinen Pool an Daten. In diesem Pool wandern die Daten in 42mb Häppchen je nach Anforderung herum. Auf dem Pool selber laufen halt die dicken Oracledatenbanken live. Wenn es also z.B. einen HotSpot in irgendeiner aktiven Partition gibt wandert diese autom. in gewissen Zeiträumen auf die SSDs. Passiert da tagelang nichts mehr wandert das ganze halt auf die NL-SAS Disks.

ZFS kann sowas AFAIK nicht. ZFS sind Datenpools. Und bis zu einem gewissen Patchlevel konnte man nichtmal die darunter liegenden Disks online erweitern. Man musste stumpf von klein auf groß umziehen. Im Privatbetrieb vermutlich völlig egal - hier lebenswichtig.

Und wenn hier eine der Boxen oder Filesysteme ausfällt? Dann gibt es z.B. Deutschlandweit keinerlei Einfuhr von Produkten mehr da dies alles hier läuft.

Darauf bilde ich mir nichts ein, ich bin nichts besseres oder so. Da war nur ne Beschreibung.

0-8-15 Storage für SMB, NFS oder iSCSI mit NetApp oder EMC oder sonstwas spezielles > 100000 Euro ist naja ziemlich seltsam - hat keine wirkliche Vorteile außer dass man deshalb nicht sofort entlassen wird. HA oder besondere Anforderungen mögen das ändern.

Wie ziehst Du Daten von Box 1 auf Box 2 um? Welchen Support hast Du? Wir haben hier als Beispiel Datenmengen wo z.B. eine Maschine 4 Tage im Backup hängt. Wer supportet Dir jetzt Fehlersuche, Analyse der Firmwares, des Netzwerkes usw..? Die Community unter www.xyz ??? IMHO sollte man Support nie unterschätzen.

gea · 07.04.2014

sun-man schrieb:
Hi,
Beim Rest - und das ist ganz sicher nicht von oben herab gemeint - hab ich hier Petabyte an SSD, SAS, NL-SAS in den einzelnen Boxen. Mit ZFS kenne ich mich nicht gut genug aus. Wir müssen es leider in Zukunft einsetzen, bzw die Betriebssystemer.

Wenn da nicht bereits ein mit ZFS vergleichbares Dateisystem mit Prüfsummen und Copy On Write wie eine NetApp läuft sondern z.B. ext4 oder ein anderes "älteres" Dateisystem, würde ich nicht von leider sprechen. Insbesondere bei sehr großen Dateimengen sind Prüfsummen auf allen Daten und ein immer konsistentes Dateisystem mit Online scrubbing statt Offline fschk (kann ja gern mal Tage dauern) ein großer Vorteil. Auch PetaBytes schrecken nicht. Sun hatte ZFS gerade für extreme Datenmengen konzipiert und es gibt etliche Petabyte Storages mit ZFS.

Natürlich gibt es immer Anforderungen, die rein mit dem Dateisystem nicht abgedeckt werden wie das angesprochene Datentiering. Das muss dann die Storagesoftware erledigen - unabhängig vom Dateisystem. Das sehr gute ZFS Caching von Daten im RAM oder SSD macht das Tiering aber meist überflüssig. Bei besonders zeitkritischen Sachen kommen dazu vermehrt SSD only Systeme.

ZFS kann sowas AFAIK nicht. ZFS sind Datenpools. Und bis zu einem gewissen Patchlevel konnte man nichtmal die darunter liegenden Disks online erweitern. Man musste stumpf von klein auf groß umziehen. Im Privatbetrieb vermutlich völlig egal - hier lebenswichtig.

Bei ZFS werden keine Disks erweitert. Der ZFS Datenpool besteht aus einzelnen vdevs (unabhängige Raid Arrays). Das Vergrößern eines Pools geht durch Hinzufügen weiterer Vdevs. Der Pool striped die Daten dann über die vdevs mit der Konsequenz dass nicht nur mehr Platz da ist sondern die Performance steigt. Ein irgendwie erreichbares Limit der Anzahl der vdevs oder der Poolgröße gibt es dabei nicht. Auf diesem Datenpool werden dann Dateisysteme angelegt, deren Größe dynamisch bis zur Poolgröße wachsen kann. Die Verwaltung geschieht mit Reservierungen und Quotas (Speichervirtualisierung eingebaut).

Es ist richtig, dass man einen Pool oder genauer ein Vdev nicht mit einzelnen Disks erweitern kann wenn Redundanz gefragt ist. Es sollten immer wenigstens zwei als Mirror-vdev sein. Das ist aber ein Limit das nur im Privatbereich zählt wo man vielleicht gerne mal eine einzige Platte hinzufügen möchte. Typischerweise besteht ein Pool dann aus mehreren Mirrors oder Raid-Z[1 bis 3] vdevs. Deren Konzeption ist eine Frage der gewünschten Optimierung hinsichtlich Kapazität, Performance oder Kosten.

Wie ziehst Du Daten von Box 1 auf Box 2 um? Welchen Support hast Du? Wir haben hier als Beispiel Datenmengen wo z.B. eine Maschine 4 Tage im Backup hängt. Wer supportet Dir jetzt Fehlersuche, Analyse der Firmwares, des Netzwerkes usw..? Die Community unter www.xyz ??? IMHO sollte man Support nie unterschätzen.

Bei ZFS macht man eine Datenmigration lokal oder übers Netz mit zfs send -> zfs receive auf Basis eines Datensnaps auch im laufenden Betrieb. Das überträgt ein komplettes Dateisystem als Datenstrom mit maximaler Performance. Anschließend noch eine inkrementelle Aktualisierung und so ein Umzug geht unabhängig von der Größe fast ohne Unterbrechung der Erreichbarkeit.

Hardware/ Software/ System-Support ist dazu ein ganz anderes Thema. Das hat auch mit ZFS wenig zu tun sondern mit dem Systemlieferanten, den Extrafeatures/der Komplexität und den tolerierbaren Ausfallzeiten wie auch mit der personellen Situation. Werden nur "Storagerelevante Standard Betriebssystem Funktionen" auf einer empfohlenen Standardhardware benutzt so ist Softwaresupport etwas was man relativ selten braucht - im Gegensatz zu Hardware-Support. Es reicht meist kompetentes Personal und im Zweifel ein Reservesystem.

Eine wie auch immer geartete Hochverfügbarkeitslösung ist aber klar was anderes als ein reines Standard- NAS oder SAN Storagesystem bei dem man schon abwägen kann ob man dafür etwa eine NetApp oder einen Standardserver von Dell, HP oder SuperMicro einsetzt für den Bruchteil des Preises, vor allem dann wenn wie bei Solaris im Wesentlichen eh nur das Betriebssystem darauf läuft weil es bereits alles abdeckt ohne dass man "fremde" Servermodule etwa für SMB, NFS oder iSCSI/FC installieren und warten muss. Deren Pflege macht bereits Oracle oder Illumos bei den freien Varianten.

Dazu gibt es ja auch Firmen, die mit ZFS Support Geld verdienen (z.B. Oracle/ OmniTI beim OS, Nexenta bei Komplettsystemen)

sun-man · 07.04.2014

Hi,

ich sehe das schon beruflich etwas anders, aber mein Wissen ist auf bekannte Hardware beschränkt. Man wird nunmal Betriebsblind. Bitet das zu verzeihen. Dazu lernen tue ich ja gerne.

Bei ZFS werden keine Disks erweitert. Der ZFS Datenpool besteht aus einzelnen vdevs (unabhängige Raid Arrays). Das vergrößern eines Pools geht durch Hinzufügen weiterer Vdevs. Der Pool striped die Daten dann über die vdevs mit der Konsequenz dass nicht nur mehr Platz da ist sondern die Performance steigt. Ein irgendwie erreichbares Limit der Anzahl der vdevs oder der Poolgröße gibt es dabei nicht. Auf diesem Datenpool werden dann Dateisysteme angelegt, deren Größe dynamisch bis zur Poolgröße wachsen kann. Die Verwaltung geschieht mit Reservierungen und Quotas (Speichervirtualisierung eingebaut).

Der Pool striped über de Vdevs? Und wer teilt die Vdevs ein? Wenn ein Vdev, aus welchen Gründen auch immer, vorne und hinten auf einer Raidgruppe landen fahre ich mir meine Performance mal eben in den Keller. Vorne schreiben? Hinten lesen? Das ganze geht auch bei den dicken Kisten in Richtung Fire&Forget. Wie lege ich denn z.B. SSD Speicherplatz in einen ZFS Pool und nutze nur dieses Bereich für schnelle Mountpunkte? Es geht ganz sicher - aber hier will sich niemand damit beschäftigen. Und, auch hier sind Namen Schall und Rauch, bei 3 mir bekannten Großbanken und einem Autohersteller tut das auch niemand. ZFS? Ja, aber möglichst nicht fpr die hochperfomanten Sytembereiche.

Das sehr gute ZFS Caching von Daten im RAM oder SSD macht das Tiering aber meist überflüssig. Bei besonders zeitkritischen Sachen kommen dazu vermehrt SSD only Systeme.

Genau - im RAM. Wieviel Ram solls denn sein? Unserer 250GB Datenbanken liegen, sofern möglich auf den M9000, komplett im RAM. Jetzt braucht ZFS nochmal wieviel genau? Ich sehe Tiering nicht als überflüssig an. Ich will ja nichts fest auf SSD nageln (in aller Regel nicht) sondern, je nach Anforderung, alle 5Minuten oder alle 8 Stunden mal auswerten und umsortieren.

Bei ZFS macht man eine Datenmigration lokal oder übers Netz mit zfs send -> zfs receive auf Basis eines Datensnaps auch im laufenden Betrieb. Das überträgt ein komplettes Dateisystem als Datenstrom mit maximaler Performance. Anschließend noch eine inkrementelle Aktualisierung und so ein Umzug geht unabhängig von der Größe fast ohne Unterbrechung der Erreichbarkeit.

Ja - übers Netzwerk. Da freut sich die DWDM Strecke

.
Ohne ZFS auf Solaris? Ein gutes Metaset ist als Spiegel aufgebaut. Neues Device einhängen und syncen lassen. Dauert alles natürlich extrem lange. Die ganzen Multipathingtreiber oder die SVM beschränkt das doch erheblich.

Eine wie auch immer geartete Hochverfügbarkeitslösung ist aber klar was anderes als ein reines Standard- NAS oder SAN Storagesystem bei dem man schon abwägen kann ob man dafür etwa eine NetApp oder einen Standardserver von Dell, HP oder SuperMicro einsetzt für den Bruchteil des Preises, vor allem dann wenn wie bei Solaris im Wesentlichen eh nur das Betriebssystem darauf läuft weil es bereits alles abdeckt ohne dass man "fremde" Servermodule etwa für SMB, NFS oder iSCSI/FC installieren und warten muss. Deren Pflege macht bereits Oracle oder Illumos bei den freien Varianten.

Schon wahr. Ich will auch ganz ZFS nicht schlecht reden, wirklich nicht. Es ist alles gut mit ZFS.
Aber im Betrieb mit Servern die im Schnitt 10-30000IOPS auf den aktiven Partition macht kann selbst Oracle nicht sagen was passiert....das ganze wird eher deutlich langsamer, oder man schaltet Features ab.
Die Frage ist: Wer soll es pflegen? Das freie System? Setze ich komplett drauf? Welche Admins machen sich hier die Arbeit und arbeiten sich ein - was wenn einer davon kündigt? Was wenn der einzige geht? Ich kann Firmen durchaus verstehen wenn sie Systeme von der Stange nehmen.

Was ist mit Verschlüsselung? Hier sind alle Systeme verschlüsselt. 1-1,5% Leistung geht dabei verloren. Wer macht das bei ZFS? Der Server? Ich vermute das Sparcs Encryption-Asics/FPGAs oder so eingebaut haben. Hier, und bei den oben angesprochenen Kunden, ist Verschlüsselung Pflicht. Performant. Irgendwelche Aktienhändler reagieren äußerst empfindlich auf Verzögerungen. Trucker, Zöllner und Co auch.

SSDs sind hier auch schon wieder Geschichte. Hier geht es zu Flashsystemen. :rolleyes:

- immer was neues

TCM · 07.04.2014

Ich sag mal so, wenn deine tollen Storage-Systeme in jedem halbwegs Mainstream-OS integriert sind, und ich die in 10 Minuten am laufen haben kann, dann wäre es ja vielleicht interessant.

So bleiben das leider Geschichten von Opa ausm Krieg.

gea · 07.04.2014

Ich reduziere mal auf die Punke, die etwas mit ZFS als Dateisystem oder mit den damit verbundenen Prinzipien wie CopyOn Write oder Prüfsummen zusammenhängen.

Performance:
Wenn man ein laufendes Storagesystem z.B. von ext4 auf ZFS umstellt, so erwarte ich bei wenig Platten einen Vorteil für ext4 und bei vielen Platten einen Vorteil für ZFS.

Grund:
ZFS hat einen etwas höheren Aufwand für die Echtzeit-Prüfsummen (Rechenaufwand + größere Datenmenge). Dafür skaliert ZFS sehr gut über die Anzahl der vdevs. Zu beachten ist allenfalls dass mit Copy on Write alle Datenbläcke neu erstellt werden (Kein Inline-Update). Es ist damit etwas anfälliger für Fragmentierung bei gut gefüllten Pools.

Performance ist aber weniger der Grund für ZFS sondern eher Eigenschaften wie Verifizierung der Daten und die garantierte Konsistenz des Dateisystems auch bei Abstürzen bei aktiven Schreiboperationen und damit das Fehlen der Write-Hole Probleme eines Raid-5/6.

Zur Frage der vdevs Stripens:
Alle Daten werden beim Schreiben gleichmäßig über alle vdevs gestriped. Man muss und kann da nichts einstellen. Wird ein neues vdev hinzugefügt, so wird dieses vdev bei neuen Schreibaktionen mit benutzt. Ein Rebalancing vorhandenen Daten müsste manuell erfolgen.

Unterschiedlich schnelle vdevs (ssd und disks) machen daher derzeit wenig Sinn. Die Performance würde sich an den langsameren vdevs orientieren. Es ist aber angedacht, Dateisysteme auf ein bestimmtes vdev zu limitieren. Das ist zwar kein Tiering erspart aber einen zweiten Pool wie er derzeit meist benutzt wird wenn man einen besonders schnellen Bereich braucht. Tiering ist ok wenn man es braucht. Das ist aber nicht nur eine Frage des Dateisystems sondern auch des Storagemanagements wobei mir kein ZFS System bekannt ist, das diese Option aktuell bietet.

Zum RAM für ZFS
ZFS hat zunächst keinen besonderen Anspruch an RAM. Wenn wenig RAM da ist, werden halt alle Leseoperationen von der Platte ausgeführt. Viel RAM bedeutet einen großen Lesecache. Wenn die Daten aber eh im RAM sind, ist das unerheblich.

zur Verschlüsselung
ZFS-Verschlüsselung gibt es derzeit nur bei Oracle Solaris 11. Das ist aber nicht gerade bekannt für extreme Performance. Die anderen Optionen sind verschlüsselte Devices. Ich nehme mal an, dass die jetzige Verschlüsselung auch so funktioniert. Das bleibt also mit ZFS gleich schnell oder langsam wie mit anderen Dateisystemen.

Ansonsten wage ich mal die Prognose, dass bis in 5 Jahren fast jedes kommerzielle Storage ZFS einsetzt oder etwas anderes das vergleichbare Features aufweist wie z.B. ReFS oder btrfs (Prüfsummen auf Daten und Matadaten und CopyOnWrite). Es wird sicher große Firmen geben die Ähnliches oder Besseres selber pflegen wie z.B. NetApp. Der Vorteil von ZFS ist halt, dass es seit Jahren kommerziell eingesetzt wird und dementsprechend stabil, frei und auf allen Plattformen außer Windows verfügbar ist.

sun-man · 07.04.2014

Ansonsten wage ich mal die Prognose, dass bis in 5 Jahren fast jedes kommerzielle Storage ZFS einsetzt oder etwas anderes das vergleichbare Features aufweist wie z.B. ReFS oder btrfs (Prüfsummen auf Daten und Matadaten und CopyOnWrite). Es wird sicher große Firmen geben die Ähnliches oder Besseres selber pflegen wie z.B. NetApp. Der Vorteil von ZFS ist halt, dass es seit Jahren kommerziell eingesetzt wird und dementsprechend stabil, frei und auf allen Plattformen außer Windows verfügbar ist.

Das Problem ist die Historie. Beispiel von HDS oder anderen. Deviceemulationen wie Open-E oder Open-sonstwas. Die Grundlagen kommen afaik aus dem Mainframebereich und sind weiterhin mehr oder weniger aktiv im Backend bzw der Hintergrundverwaltung zu finden. Ebenso die 42MB Pages mit denen die HDS arbeitet -> Dynamic Provisioning: The 42MB page unravelled | Technical Deep Dive

So lange ZFS bei Oracle liegt wird da kaum einer ernsthaft ran gehen. Letztendlich - wozu?

Performance ist aber weniger der Grund für ZFS sondern eher Eigenschaften wie Verifizierung der Daten und die garantierte Konsistenz des Dateisystems auch bei Abstürzen bei aktiven Schreiboperationen und damit das Fehlen der Write-Hole Probleme eines Raid-5/6.

Bin jetzt seit 2001 bei SUN bzw auch im Storageumfeld - ich habe noch keinen Datenverlust erlebt den ZFS hätte verhindern können. Das heisst natürlich nicht das es die nicht gibt.
Was macht ein ZFS Pool wenn ein VDEV, welches auf einer Raidgruppe liegt, untergeht? Raid defekt? Andersrum gefragt: Welchen Ausfall kann ein ZFS besser handeln als eine Storagebox? Du scheinst sehr viel Wissen zu haben und hast da sicher Beispiel. Würde mich interessieren.

Wir, oder besser die OSTruppe, wird ZFS nutzen müssen. Wir stellen nur den Storage zur Verfügung. Ein Pool besteht aus einem Storagedevice und ergibt einen Mount.

Letztendlich ist es uns sowieso egal ob das Storage intern ZFS verwendet. Ich sehe aber nicht das HDS das eigene System ändert nur um irgendwas zu bringen was eh funktioniert. TrueCopy syncron, Provisioning, Dynamic Tiering, Enrcyption, Clustern von Storages inkl Multipathing und das betreiben externer Storage als virt. Devices hinter der VSP ist hier angesagt. Die einzige Grenze die noch fallen muss sind 4TB für gewissen Funktionen - aber das sind auch 4TB an 42MB Pages und nicht, wie bei Mitbewerbern, concatete kleine Devices.

GrafikTreiber · 07.04.2014

sun-man schrieb:
Darauf bilde ich mir nichts ein, ich bin nichts besseres oder so. Da war nur ne Beschreibung.

No offense taken, wir sind doch hier unter Profis.

Vorweg: Wir diskutieren hier gerade über Systeme die hohe sechsstellige Beträge bis zu ein paar Millionen Euro kosten. Genau dort werden Netapp und Co erst interessant. Da drunter sind sie meiner Meinung nach einer Open-Storage-Lösungen einfach nicht gewachsen. Einfach viel zu wenig Leistung für zu viel Geld.
Ich denke wir brauchen uns nicht darüber unterhalten dass man mit einem Budget von z.B. 100.000€ für eine Firma die ein neues Storage-System für ihre virtuellen Maschinen benötigt bei den Großen nichts, und wenn nur ganz wenig bekommt.

Viele Features die du beschreibst haben nicht direkt etwas mit dem Filesystem/Volumemanager/Softwareraid/... zu tun was ZFS überhaupt ist sondern liegen eine oder sogar zwei Ebenen darüber. Natürlich kann ZFS von Haus aus nicht Daten so wie du beschrieben hast nach bestimmten Anforderungen von einer HDDs auf SSDs kopieren und wieder umgekehrt.
Das ist also ein Vergleich zwischen Äpfel und Birnen.

Ich wage einfach mal die kühne Behauptung dass du mit einem ZFS-System SSD-only gehen könntest und auf HDDs verzichten könntest da die Anschaffungskosten für das reine System ohne Speicher viel günstiger ist. Natürlich nur eine Aussage aus meinem Bauchgefühl ohne überhaupt die konkreten Zahlen zu kennen.

Außerdem hören sich diese Funktionalitäten recht kompliziert an so dass viel Spielraum für Fehler da ist. Genau dass ist das Problem bei den ganzen Blackboxen. Wenn es mal knallt ist man richtig am Arsch und auf die Gnade einer einzelnen Firma angewiesen.
Wie ich bereits sagte, trotz der enorm hohen Kosten läuft dort auch nicht immer alles glatt.

Aktuell bin ich konkret für einen solchen Fall beratend für eine Firma tätig die in einen laufenden Rechtsstreit mit einem der ganz großen Storagehersteller ist.
Es geht da um Datenverluste trotz einwandfreien Backupkonzept, das System hat Daten "beschädigt" und wochenlang schön weiter gesichert und archiviert, keiner hat es direkt bemerkt. Und nein, dies hätte aus Kundensicht nicht verhindert werden können. Alle automatisierten Backuptests liefen einwandfrei und meldeten keine Fehler, selbst so vom tollen Hersteller eingerichtet und verkauft. Die Inhouse-IT hat nur auf die Logs und Lämpchen geschaut. "Alles grün, läuft Chef!" hieß es. Bis dann mal jemand bei den doch recht seltenen Archiv-Zugriffen Ungereimtheiten aufgefallen sind...
Ich werde oft dazu angeheuert die Arbeit von anderen zu verifizieren und zu bewerten. Bei Blackboxen gibt es aber leider so gut wie nie unabhängige Dienstleister die so einen Job wirklich übernehmen könnten. Hätte man uns also dazu gefragt hätte ich gleich gesagt "Keine Ahnung, das kann nur der Hersteller, viel Glück!".

Es geht um gebrochene Versprechungen, Schadensersatzforderungen im Millionenhöhe, verlorene Kunden und viel Ärger.
All das mal abgesehen von der schlechten Performance die das System im Vergleich zu 4 Jahre älteren System des Konkurenzhersteller brachte. Das war auch alles ganz anders verkauft und versprochen worden.
Mehr Details darf ich nicht nennen - und auf gar keinen Fall Namen -, erst in 10 Jahren nach Ablauf des Verfahrens. Tolle Firmen mit tollen Verträge, was? Um selbst an kleinste Informationen zu kommen muss man gleich eine komplexe NDA unterzeichnen. Da hat aber einer mächtig was zu verbergen...
Wahrscheinlich ist dass auch einer der Gründe warum man kaum negatives über diese Firmen hört.

gea schrieb:
zur Verschlüsselung
ZFS-Verschlüsselung gibt es derzeit nur bei Oracle Solaris 11. Das ist aber nicht gerade bekannt für extreme Performance. Die anderen Optionen sind verschlüsselte Devices. Ich nehme mal an, dass die jetzige Verschlüsselung auch so funktioniert. Das bleibt also mit ZFS gleich schnell oder langsam wie mit anderen Dateisystemen.

Das stimmt so nur noch für x86, unter Sparc verliert man quasi keine Performance mehr, genau so wie es sein soll, siehe https://blogs.oracle.com/BestPerf/entry/20130326_sparc_t5_2_zfscrypto und http://www.hardwareluxx.de/community/f101/zfs-stammtisch-570052-115.html#post22041525 .

ABER: Ich denke eher dass deine Blackboxen Self-Encrypting-HDDs/SSDs verwenden und die Crypto nicht selbst machen, und das ist so vertrauenswürdig wie ein Gebrauchtwagenverkäufer.
Und wenn sie es selber machen würde ich mir besonders bei solchen Blackboxen immer die Frage stellen wie sicher das Ganze überhaupt ist. Mit Blackbox-Verschlüsselung abseits von Microsoft habe ich bisher die Erfahrung gemacht dass dort extrem schlampig gearbeitet wird, BESONDERS bei den exorbitant teueren Lösungen.

In klein kann man aktuell mit FreeBSD oder Linux ohne wirkliche Peformanceverlust verschlüsselte Blockdevices an ZFS weitergeben. Da es für eine solche Lösung aber keinen Hersteller mit großen Stückzahlen gibt kann ich so etwas natürlich nicht für größere Firmen und auf keinen Fall für euch empfehlen. Bei mir Zuhause läuft ZoL mit dmcrypt/LUKS und 60HDDs wunderbar, auch bei ein paar kleinen Kunden. Kunden die sich kein Geld dafür überhaben den fünf bis zehnfachen Preis für die selbe Leistung zu bezahlen. Darüber hinaus würde ich mir das aktuell aber nicht trauen. Vielleicht in 5 Jahren.

sun-man schrieb:
So lange ZFS bei Oracle liegt wird da kaum einer ernsthaft ran gehen. Letztendlich - wozu?

IT-Nachrichten liest du nicht?

ZFS spielt sich mittlerweile nicht mehr bei Oracle ab, das was Oracle macht interessiert das breite Publikum seit Open-ZFS schon lange nicht mehr.
Die Zukunft von ZFS liegt in wohl in ZFSonLinux, FreeBSD hat zu wenig Nutzer, Solaris hält sich nur noch bei Oracle-Kunden und alten Anwendern. Wie es mit den offenen Solaris-Varianten weiter geht vermag ich nicht zu sagen. Das ist wohl stark davon abhängig wie viele Systeme der Vertrieb in den nächsten Jahren absetzen kann.

sun-man schrieb:
Wir, oder besser die OSTruppe, wird ZFS nutzen müssen. Wir stellen nur den Storage zur Verfügung. Ein Pool besteht aus einem Storagedevice und ergibt einen Mount.

Ich denke da du seit Jahren dich um Inhouse-IT kümmerst kennst du hauptsächlich die eigenen Verfahren und Lösungen, auch wenn das schon die komplexeste und teuerste Technik ist, ist es schon ein Unterschied viele verschiedene Kunden mit unterschiedlichen Produkten, Anforderungen, Fehlerquellen... erlebt zu haben. Als externe Dienstleister ist das halt etwas anderes, da kommt man rum und sieht viele Lösungen.

Natürlich sieht man äuserst selten solche riesigen Lösungen wie bei deiner Firma, das meiste sind Unternehmen zwischen 20 und 1000 Mitarbeitern.
Ich bin mir sicher dass du mit dem was ZFS grundsätzlich ist und was es kann mehr als zu frieden sein wirst und du dich ärgern wirst es nicht schon vor ein paar Jahren angeschaut zu haben. Wie schon oben gesagt, vergleiche bitte keine Äpfel mit Birnen.
In dem Bereich den ZFS abdeckt (Filesystem/Volumemanager/Softwareraid/...) ist ZFS aktuell einfach unschlagbar. Microsoft arbeitet aber kräftig an ReFS und könnte bereits in ein paar Jahren eine ernsthafte Alternative sein und in etwas fernerer Zukunft sogar ZFS überholen.

Was aus btrfs wird ist schwer zu sagen, ich denke aber das ZFS kurz- und mittelfristig die Überhand unter Linux nehmen wird. Vielleicht wird btrfs in ferne Zukunft ZFS mal unter Linux ablösen, einfach wegen der Lizenz, nicht wegen der Features. Aber wie relevant das alles sein wird werden wir in 10 Jahren sehen.

gea · 07.04.2014

Spezielle Lösungen können lange halten. Die Frage ist jedoch, ob die Prinzipien die ZFS eingeführt hat eine grundsätzliche Verbesserung zu vorher vorhandenen Dateisystemen ermöglichen oder nicht.

Zunächst aber zur Frage Oracle und ZFS
Nachdem Oracle SUN gekauft hatte wurde die weitere Solaris und ZFS Entwicklung bei Oracle closed source. Da OpenSolaris und ZFS davor OpenSource war haben sich dann mehrere Firmen deren Geschäftsmodell auf ZFS baut (z.B. Delphix, Joyent, Nexenta, OmniTi u.a.) zusammengefunden um einen freien fork von Solaris und ZFS zu entwickeln (siehe illumos.org, openzfs.org). Dieser Entwicklungszweig ist opensource, unabhängig und inzwischen inkompatibel mit Oracle und Qelle der ZFS Implementierung von BSD, OSX, Linux oder der freien Solaris-Derivate.

Zu der Frage "Was macht ein ZFS Pool wenn ein VDEV, welches auf einer Raidgruppe liegt, untergeht? Raid defekt? "
Ein vdev ist ein eigenständiges Raid z.B. ein Raid-Z2 (vergleichbar einem Raid-6). Wenn das ausfällt, dann ist es ein Fall für ein Backup da der Pool dann verloren ist. Es erlaubt aber den Ausfall von Platten entsprechend dem gewählten Raid-Level (max 3 Platten bei Raid-Z3)

Jetzt zu der Frage, was kann ZFS besser als andere Dateisysteme.
Der erste Punkt sind die Prüfsummen auf Daten und Metadaten. Da dies im OS passiert, deckt es den Datenpfad Treiber, Controller, Kabel, Backplane und Disks mitsamt des integrierten Software-Raid ab. Es ist damit erheblich leistungsfähiger als die in den Platten oder Raid-Controllern integrierte Prüfsummen.

Cern hat vor Jahren mal eine Untersuchung gemacht, wie viele unentdeckte Datenfehler sich auf einem Storage befinden, die nur mittels Prüfsummen entdeckt wurden. Cern kam dabei auf 3 x 10-7 Fehler also 3 unentdeckte Fehler pro TB. Heute ist die Datendichte bei Platten so angewachsen dass ich von mehr Fehler ausgehe zumal bei ZFS Reparaturen aufgrund entdeckter Prüfsummenfehlern gar nicht so selten sind.

http://indico.cern.ch/event/13797/session/0/material/paper/1?contribId=3
Dateisysteme ohne Prüfsummen entdecken diese Fehler nicht. Man weiss also nicht mal ob alles in Ordnung ist oder nicht. Man könnte jetzt manuell Prüfsummenchecks machen. Das dauert aber ewig und man weiss immer noch nicht ob die Quelldatei ok war oder nicht.

Immerwährende Prüfsummenchecks auf Datenebene (End-To-End aus Sicht des Betriebssystems) sind also ein erheblicher Fortschritt weil man damit erstmal sicher sein kann, dass die Daten in Ordnung sind. Dies vor allem bei Daten, die länger nicht verändert wurden und bei denen diese "silent errors" zu einem größeren Problem werden können (Langzeit-Storage). Zusammen mit einer Redundanz werden entdeckte Fehler beim Lesen automatisch repariert. Ein Scrubbing genannter Check liest alle Daten und repariert Fehler ohne dass das Dateisystem offline sein muss (auch bei offenen Dateien).

Das nächste Grundprinzip ist CopyOnWrite. Das bedeuted dass Datenblöcke nie geändert sondern immer neu erstellt werden. Wenn dieser Vorgang erfolgreich war, werden die entsprechenden Dateizeiger geändert. Ein Write ist also entweder erfolgreich oder hat keine Änderung zur Folge. Dies hat zwei Konsequenzen. Erstens gibt es kein inkonsistentes Dateisystem mehr wie man es bei einem Absturz anderer Systeme unweigerlich hat - besonders in Zusammenhang mit Raid 5/6 (Write-Hole Problematik). Zweitens braucht man nur die alten Datenblöcke vor dem Überschreiben schützen und man hat Snapshots ohne Extraaufwand - beliebig viele ohne Performanceverlust.

CopyOnWrite Dateisysteme sind damit erheblich robuster als andere Dateisysteme. Beim Schreiben Strom ausschalten oder mehrere Raid Platten in Betrieb ab und anstecken überlebt ein ZFS Raid normalerweise problemlos (aktuell geschriebene Dateien sind natürlich auch hier Schrott, das Dateisystem wird aber nicht beschädigt), bei einem Hardware-Raid oder bei Dateisystemen ohne CopyOnWrite meist etwas tödliches.

Ganz nett ist dann noch das in ZFS und das OS integrierte Share, Volume und Software-Raidmanagement mitsamt ISCSI/FC Unterstützung. Das wesentliche ist aber dass es sich jetzt um eine offene herstellerunabhängige Entwicklung handelt, die die wichtigsten Storagefunktionen standardmäßig abdeckt. Es kann und muss ja nicht gegen jegliches HighEnd Storage Feature konkurrieren. Ich sehe einen ZFS-Server eher wie einen Standard AMP Webserver oder einen Windows AD Server die auch vieles abdecken ohne dass man zusätzlich ganz spezielle Hardware oder Software braucht. Auch da gibt es dann noch genügend Raum für spezielle Lösungen.

Ob man damit einen Datenverlust vermeidet, denn man andernfalls nicht auch gehabt hätte?
Ich auf jeden Fall habe meinen Windows Mailserver mit ntfs mal verloren, bei dem erst nur einzelne Lesefehler auftraten. Ein chkdsk hat mir dann das gesamte Dateisystem zerstört - nachdem chkdsk 8 Stunden "repariert" hat. In dem Fall hätte mich ZFS früher gewarnt und ich hätte das Dateisystem nicht verloren. Gottseidank hatte ich ein aktuelles Backup. Daten-Prüfsummen und CopyOnWrite ist denoch die Zukunft der Dateisysteme egal unter welchem OS und in welcher Preisregion oder was sonst noch als Anwendung darauf aufbaut.

sun-man · 08.04.2014

Hi,

Ich wage einfach mal die kühne Behauptung dass du mit einem ZFS-System SSD-only gehen könntest und auf HDDs verzichten könntest da die Anschaffungskosten für das reine System ohne Speicher viel günstiger ist. Natürlich nur eine Aussage aus meinem Bauchgefühl ohne überhaupt die konkreten Zahlen zu kennen.

Zu 100%. Die Preise für eine RG 200GB SSDs darf man wirklich nicht nennen

Wahrscheinlich ist dass auch einer der Gründe warum man kaum negatives über diese Firmen hört.

Ja, das wollen die nämlich nicht.

Wir hatten ähnliches. Alles grün, alles gut und alles fein. Bis jemand mal die Dateien "zählte". Da fehlte doch was. Lag aber nicht an der Hardware sondern ander Backupsoftware. Bis das dann endlich herausgefunen und geregelt war? Monate.....

IT-Nachrichten liest du nicht?
ZFS spielt sich mittlerweile nicht mehr bei Oracle ab, das was Oracle macht interessiert das breite Publikum seit Open-ZFS schon lange nicht mehr.

Nee, war mir nicht so bewusst. ZFS ist hier Oracle. Man wird auch über die Sol11 Zerti dahingehend geführt das alles mit Sol11 ZFS ist und so

. Gehst Du hier hier und sagst "Ja. Ich bin von Firma XY und wir haben Storage mit ZFS". Was passiert? Nichts. Seit der Übernahme von SUN hat sich Oracle nicht wirklich mit Ruhm bekleckert. Sachen eingestellt, Preise angehoben usw usw.. Die T5-4 schlagen allerdinsg gerade ein wie eine Bombe

Ich bin mir sicher dass du mit dem was ZFS grundsätzlich ist und was es kann mehr als zu frieden sein wirst und du dich ärgern wirst es nicht schon vor ein paar Jahren angeschaut zu haben.

Kann sein. Dennoch ist das Poolverhalten auf unseren Storages eben nicht vorhersehbar irgendwie. Deswegen wird das alles sehr strikt gemacht. An sich soll es uns nicht stören, mich noch weniger denn ich mache nur LUNS und SAN

@Gea
Danke für die Ausführungen. Sehr interessant, auch wenn es mich nicht überzeugt. Entry Level und Midrange kann da vielleicht eine Grundlage sein. Beim Enterprisesystemen wie VSP, VMax und Co sehe ich da kaum Grundlagen. Allerdings ist es mir als Endanwender im Grunde auch egal WIE man das intern regelt. Kaufen wir neu muss ich zwangsläufig problemlos von A nach B ziehen. Techniker wie TrueCopy sind essentiell wichtig. Wenn hier jemand eine LUN will ist es Ihm egal ob im Backend ZFS arbeitet. Firma, newfs, whatever und es muss laufen.
Es ist halt so, und das ist das was auch Betriebsblind macht, mehr oder weniger Fire&Forget für die Admins. Wir haben allerdinsg damit so schlechte Erfahrungen bei einem anderen Kunden gemacht das wir das hier verhindern. Konkurrierende Zugriffe auf schlecht eingeteilte LUNs. Wie oben schonmal angesprochen - Raid5, vorne lesen, hinten schreiben und dann am besten mit ner dicken OracleDB. Schon steht das System und der User wundert sich. Simpel wie es ist: Ich brauche ein Storage mit 64 8GB FC Ports, ausreichend Cache/Leistung um zu jeder Zeit alles zwischen 5000 und 100.000IOPS in jeglicher Form abarbeiten zu können. ZFS kann das vermutlich wie jedes andere Sytem auch - ohne passende Hardware FPGAs, Asics, Backend und Co wird das aber nichts IMHO.

VG und Danke für die tollen technischen Ausführungen :wink:

[Sammelthread] ZFS Stammtisch

Experte

Enthusiast

Enthusiast

Enthusiast

Enthusiast

Enthusiast

Urgestein

Enthusiast

Enthusiast

Enthusiast

Enthusiast

Enthusiast

Enthusiast

Enthusiast

Enthusiast

Enthusiast

Enthusiast

Urgestein

Enthusiast

Urgestein

Enthusiast

Enthusiast

Urgestein

Enthusiast

Experte

Urgestein

Enthusiast

Enthusiast

Urgestein

Enthusiast

Ähnliche Themen