[Sammelthread] ZFS Stammtisch

Nein, ist auch derzeit nicht beabsichtigt da dazu einiges angepasst werden müsste. SmartOS is eben von der Konzeption eine USB Stick/readonly KVM Plattform und keine Storageplattform.

Na ja, ne Kombi hätte fürs Homelab schon besonderen Reiz.

Mal schaun, ob der Support für die X550 es noch in die 151018 schafft
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Hat hier schonmal wer erfolgreich ein Debian auf ein ZFS Pool installiert?
Ich hab es nach dieser Anleitung gemacht, also auf nen USB-Stick ne kleine MBR Partition auf die ich dann Grub installiert hab und den Rest auf nen SSD-Mirror.
Wenn ich allerdings Versuche von dem Stick zu booten, kommt nur ein blinkender Cursor.
Hat jemand ne Idee wie ich da am besten auf Fehlersuche gehe?
 
Na ja, ne Kombi hätte fürs Homelab schon besonderen Reiz.
Mal schaun, ob der Support für die X550 es noch in die 151018 schafft

Ich würde nicht davon ausgehen.
Es wird zwar (bei Illumos) daran gearbeitet, aber ohne Datum, vorher wird noch der igbe Treiber mit Support für Intel i219 kommen.

Wenn man also Barmetal fahren möchte, dann Intel X520/540 nehmen.
Der X550 wäre nur eine Alternative für All-In-One bei dem die X550 über ESXi angesprochen wird.
 
Ich habe hier ein sehr merkwürdiges Verhalten mit ESXi, Passthrough und Solaris 11.3:

Ich betreibe seit ein paar Woche zu Testzwecken eine Maschine mit einem ASRock Board EPC612D4U-2T8R. Den OnBoard Controller LSI 3008: 8 x SAS3 12Gb/s reiche ich mit Passthrough bei ESXi durch. Die ESXi Version ist 6.0.0 Build 3380124. Zunächst hatte ich das aktuelle OmniOS Bloody installiert und einige erfolgreiche Tests gemacht. Danach habe ich ein aktuelles Solaris 11.3 installiert und ca. 2 Wochen getestet. Nun musste ich das Solaris System das erste Mal nach der Installation booten und das Solaris hängt im Bootvorgang. Nach einigem hin und her habe ich festgestellt, dass es an dem durchgereichten LSI Controller liegt. Reiche ich den Controller nicht mehr durch, bootet Solaris und gibt einen I/O Fehler auf den fehlenden ZFS Pool, was ja klar ist, da der Controller nicht mehr existiert. Ich habe keine Chance das fertige Solaris System mit Controller neu zu booten. Installiere ich ein neues Solaris ist alles ok, alle Pools sind da. Boote ich dieses neue System, dann hängt es wieder.

Bei OmniOS Bloody ist alles ok und ich habe keine Bootprobleme.

Habt ihr eine Idee was da los ist? Muss ich für Solaris 11.3 evtl. auf ESXi 5.x gehen?
 
Bei mir bootet Solaris 11.3 (bare Metal) auf einem Board (Intel S1200BTLR mit 2x LSI 9201) nur nach einem Kaltstart durch, ist aber auch so bei einer ESXi 6-Installation. Irgendwas legt sich wohl schlafen (Platten? Controller? Ich weiß es nicht.) und wacht bei einem Reboot nicht auf, bei einem Aus/Ein dann aber schon.

Mal probiert, ob ein "Virtueller Kaltstart" bei Dir hilft also nicht "sudo reboot" sondern "sudo poweroff" und dann wieder anwerfen?
 
Bei mir bootet Solaris 11.3 (bare Metal) auf einem Board (Intel S1200BTLR mit 2x LSI 9201) nur nach einem Kaltstart durch, ist aber auch so bei einer ESXi 6-Installation. Irgendwas legt sich wohl schlafen (Platten? Controller? Ich weiß es nicht.) und wacht bei einem Reboot nicht auf, bei einem Aus/Ein dann aber schon.

Mal probiert, ob ein "Virtueller Kaltstart" bei Dir hilft also nicht "sudo reboot" sondern "sudo poweroff" und dann wieder anwerfen?

Danke für den Tip. Ein virtueller Kaltstart hat nichts gebracht. Komme erst Montag wieder an die Maschine, dann mache ich mal einen vollständigen Kaltstart. Bin gespannt ob es dann klappt.
 
Ich habe ein ZFS-Filesystem per smb freigegen und in Windows eingebunden. Wenn ich also

(1) unter Windows eine Datei auf diesem share anlege
(2) einen Snapshot des ZFS-Filesystems mache
(3) die unter (1) angelegte Datei ändere und speichere
(4) die unter (3) geänderte Datei rechtsklicke und dann Eigenschaften / Vorgängerversionen auswähle

wäre meine Erwartung, hier die Version der Datei zum Zeitpunkt (2) angeboten zu bekommen. Leider ist dort überhaupt keine Datei zu sehen (Beteiligte Systeme: Ein Notebook mit Windows 8.1 und ein Server mit OmniOS r151014 LTS).

Auf dem Server im Ordner "/$PATH/.zfs" findet sich aber die Vorgängerversion. Irgendwelche Ideen, warum unter Windows hier keine Vorgängerversion angeboten wird?
 
Was ist denn dein OS? Solarish oder Linux? Wenn Linux, musst Du in der smb.conf ein paar Einträge machen. Was, kannst Du in meinem Posting hier nachlesen.
 
Steht doch in meinem Post :)

Server mit OmniOS ergo Solaris-Fork...
 
Ups, mea culpa.

Hast Du evtl. ZFS-Dateisysteme in ZFS-Dateisystemen, also /FS1/FS2? Das hat bei mir mal zu allerlei lustigen Problemen geführt. Ansonsten, einmal Windows-Rechner neu starten bzw. share neu einbinden (manchmal schnallt der das nicht). Hilft das auch nicht, mal 2. Snapshot machen und wieder gucken.
 
(...)Hast Du evtl. ZFS-Dateisysteme in ZFS-Dateisystemen, also /FS1/FS2? Das hat bei mir mal zu allerlei lustigen Problemen geführt.(,,,)

Das ist ein guter Hinweis, denn es handelt sich im vorliegenden Fall tatsächlich um geschachtelte ZFS-Filesysteme. Werde ich gleich morgen mal testen. Danke für den Tipp!
 
Hast Du evtl. ZFS-Dateisysteme in ZFS-Dateisystemen, also /FS1/FS2? Das hat bei mir mal zu allerlei lustigen Problemen geführt...

So, ich hab's nun getestet. Ausgangssituation:

ZFS-Datasets:
pool
pool/public
pool/user

=> smb-Freigaben:
pool
pool_public
pool_user

Mounted man unter Windows '\\serverip\pool' erhält man (Zugriffsrechte vorausgesetzt) ebenfalls die Unterordner 'public' und 'user'. Und unter 'user' (sowie 'public') funktioniert das Wiederherstellen von Vorgängerversionen dann nicht mehr. Mounted man hingegen unter Windows '\\serverip\pool_user' bzw. '\\serverip\pool_public' separat, klappt das Wiederherstellen von Vorgängerversionen. Es liegt also nicht direkt an verschachtelten ZFS-Filesystemen, sondern an den verschachtelten smb-Freigaben.
 
Jau, und wenn ich mich richtig erinnere tauchen halt dann bisweilen auch Freigaben doppelt auf. Also als Pool_FS und "nur" FS.

Das und die Themen im Zusammenhang mit ZFS-Replikation haben mich dann dazu gebracht, meine Daten neu zu organisieren und deutlich mehr Filesysteme direkt auf dem Pool anzulegen. Das hat allerdings dann auch den Nachteil, dass man eben deutlich mehr verschiedene Einzel-Freigaben hat.
 
So, ich hab's nun getestet. Ausgangssituation:

ZFS-Datasets:
pool
pool/public
pool/user

=> smb-Freigaben:
pool
pool_public
pool_user

Mounted man unter Windows '\\serverip\pool' erhält man (Zugriffsrechte vorausgesetzt) ebenfalls die Unterordner 'public' und 'user'. Und unter 'user' (sowie 'public') funktioniert das Wiederherstellen von Vorgängerversionen dann nicht mehr. Mounted man hingegen unter Windows '\\serverip\pool_user' bzw. '\\serverip\pool_public' separat, klappt das Wiederherstellen von Vorgängerversionen. Es liegt also nicht direkt an verschachtelten ZFS-Filesystemen, sondern an den verschachtelten smb-Freigaben.

Im Prinzip ist es ja so:
Mit SAMBA sind SMB Freigaben auf beliebige Ordner bezogen. Da gibt es keine Zuordnung zu einem ZFS Dateisystem. Das macht manches flexibler, dafür muss man alles inkl "Vorherige Version" über eine Konfigurationsdatei einstellen.

Bei Solaris CIFS sind SMB Shares eine Eigenschaft eines ZFS Dateisystems. Das hat den Vorteil des Zero-Config. Es gibt nichts einzustellen. Einschalten und tut, inkl. der "vorherigen Version". Man muss allerdings beachten, dass Snapshots und damit "vorherige Version" genau wie andere ZFS Eigenschaften je Dateisystem/ Share unterschiedlich sein können. Bis vor einiger Zeit war damit ein Filebrowsen über geschachtelte Dateisysteme gar nicht möglich. Unter den aktuellen Versionen ist das eingeschränkt möglich. Weiss ter Teufel, wie die das dann abfangen dass z.B. bei einem Dateisystem Groß und Kleinschreibung Unixmäßig eingeschaltet ist dagegen es bei einem darunterliegenden Dateisystem ausgeschaltet ist.

Auf jeden Fall sind geschachtelte Dateisystem-Freigaben bei Solaris eher "bad use".



@zos
Danke für die Updates. Ich war eine Woche im Ausland, werde das aber übernehmen
 
@zos
Danke für die Updates. Ich war eine Woche im Ausland, werde das aber übernehmen

Inzwischen ebenfalls aktualisiert sind:

(1) ownCloud 9.0.0 (Installation mit "wget -O - http://www.wp10455695.server-he.de/owncloud | perl")
(2) VirtualBox 5.0.16 / phpVirtualBox 5.0-5 (Installation mit "wget -O - http://www.wp10455695.server-he.de/phpvbox | perl")
(3) Pydio 6.2.2 (Installation mit "wget -O - http://www.wp10455695.server-he.de/pydio | perl")
(4) Tine 2.0 Version 2015.07.7 (Installation mit "wget -O - http://www.wp10455695.server-he.de/tine20 | perl")

Die Scripte amp und amplts sind derzeit identisch, da die LTS-Version von Joyent immer die des letzten Quartals ist, derzeit 2015Q4.
 
Zuletzt bearbeitet:
Bei mir bootet Solaris 11.3 (bare Metal) auf einem Board (Intel S1200BTLR mit 2x LSI 9201) nur nach einem Kaltstart durch, ist aber auch so bei einer ESXi 6-Installation. Irgendwas legt sich wohl schlafen (Platten? Controller? Ich weiß es nicht.) und wacht bei einem Reboot nicht auf, bei einem Aus/Ein dann aber schon.

Mal probiert, ob ein "Virtueller Kaltstart" bei Dir hilft also nicht "sudo reboot" sondern "sudo poweroff" und dann wieder anwerfen?

Konnte jetzt doch heute auf die Maschine zugreifen. Habe alles runter gefahren und die Maschine komplett ausgeschaltet. Trotzdem kann ich Solaris nicht mehr booten, es hängt im Bootvorgang weiterhin. Nehme ich den Controller raus, bootet Solaris. Bei einer Neuinstallation sind die Platten und Pool da. Fahre ich diese Installation herunter und boote dann die Neuinstallation, hängt es wieder. Ratlos ...
 
Zuletzt bearbeitet:
@Supermole: dann hab ich leider auch keine Idee für Dich. :( Ich fahre das HP-ESXi-Image, noch mit Update 1 (3073146).

Aber mal ganz was anderes: Nachdem bei mir alles momentan halbwegs gut läuft, stelle ich mir gerade die Frage, ob ich mich nicht mal "Storage Clustern" beschäftige. Allerdings hab ich gerade kein komplettes, sauber vom Rest getrenntes FC-Netzwerk hier, um eine komplette SAN-Umgebung aufzubauen. ;)

Vielmehr frage ich mich, ob man nicht quasi zwei "ZFS-NAS-Kisten" in einem Aktiv/Aktiv Verbund laufen lassen könnte. Was will ich: ich würde gerne meine Hyper-V VMs "redundant" bzw. auf einem "aktiv/aktiv"-Storage irgendwo speichern. Dabei geht's schon darum, dass es zwei "Storage-Server" sein sollen.

Jetzt hab ich mir mal Folgendes überlegt: Wenn ich von den beiden ZFS-Maschinen z.B. jeweils ein 800GB iSCSI-Lun freigebe (also insgesamt 2), diese in einem Windows Server einhänge und quasi darüber mit Storage Spaces einen Raid1-Mirror anlege... dann hätt' ich das doch, oder? Klar, nicht elegant, aber immerhin könnte mir eine "Seite" wegkippen, und ein Drive wäre noch da...
 
Zuletzt bearbeitet:
Das wäre ein einfacher Mirror, den Windows über zwei iSCSI Targets anlegt.
Das wird problemlos funktionieren.

Für eine kommerzielle active/active Storagekonfiguration würde man das auf Ebene eines iSCSI Targets oder des NFS/SMB Services machen, z.B. mit dem kostenpflichtigen RSF-1 siehe HA Plugin for ZFS Open Storage Appliance

Dabei überwachen sich zwei oder mehr Server gegenseitig. Bei Ausfall des aktiven Systems übernimmt das andere entweder indem es den Pool bei MPIO Dual Path SAS Platten oder per iSCSI Targets übernimmt und mehr oder weniger unterbrechungsfrei den Service oder Storage im Netz zur Verfügung stellt. Die Systeme teilen sich dabei einen virtuellen Netzwerk-Link mit gleicher Macadresse und IP den jeweils das aktive System im Netz bereitstellt.
 
Danke Gea!

Für eine kommerzielle active/active Storagekonfiguration würde man das auf Ebene eines iSCSI Targets oder des NFS/SMB Services machen, z.B. mit dem kostenpflichtigen RSF-1 siehe HA Plugin for ZFS Open Storage Appliance

Leider habe ich dafür nicht die richtige Infrastruktur bzw. Geldbeutel ;). Soll heißen: als Link zwischen den "HDD-Arrays" habe ich nur klassisches Netzwerk, immerhin 10Gbit, aber eben Ethernet. Hinzu kommt, dass ich eben keine "echten" SAN-Storages hab, sondern eben normale PCs/Server, die weder so richtig Multipath können noch doppelte FC-Anbindungen o.ä. haben. Die Lösungen, die ich so gefunden habe, setzen recht komplexe Software und/oder zusätzliche Hardware voraus und/oder kosten etwas.

Daher kam ich halt auf die Idee mit den iSCSI-"Shares". Idee ist, die Logik, die in Produktivumgebungen die Storage-Heads unter sich aus machen, durch simple "Raid1" Logik z.B. in einer Fileserver-VM zu ersetzen. Wenn man dann diese Fileserver-VM in einem Failover-Cluster betreibt, hätte man schon vieles abgedeckt und könnte eben den Ausfall min. einer Platte, zusätzlich jeweils einer ganzen "SAN/NAS-Kiste" und sogar eines Hypervisors verkraften. Dass man damit z.B. nicht wirklich von der einen Seite zur anderen Seite "schwenken" kann, wie das bei den Freunden von EMC & Co. der Fall ist, ist auch klar.

Wie gesagt, alles Homelab und nur um mal ein bisserl auszuprobieren "was so geht". :d
 
Hallo bin grad am herumtesten mit Gea's Napp-it und ZFS auf Solaris, hab hier 2 Samsung PRO SSDs im Mirror, und diese per NFS an den ESXI Host weitergegeben, und eine Win10 VM aufgesetzt um die Performance zu testen(MTU 9000):

ENCRYPTET.png
Encrypted

NICHT-ENCRYPTET.png
nicht Encrypted

mir kommts für eine SSD im ZFS Mirror etwas langsam vor? - zumindest Write, oder sind diese werte normal? (HW: ML10v2, E3-1231,32GB) VM hat 8GB und 4 Cores
Gibts noch irgendwas zu tunen?
 
Zuletzt bearbeitet:
wahrscheinlich steht dein ZFS auf sync. Das bremst, ist aber sicherer für den Fall eines Stromverlustes. Musst Du entscheiden was Dir wichtiger ist.
 
ESXi macht sicheres sync-write über NFS.
Die Schreibraten brechen dann ohne ein besoders gutes Slogdevice deutlich ein.

Testhalber mal Sync=disabled für das NFS Dateisystem setzen.
Dann sieht man die Schreibperformance beim einfachen Schreiben mit Cache..
 
Moin, mal eine Performance Frage:

ich betreibe ein Raidz2 mit 7x 4TB an einem 9211-8i auf einem ESXI -> durchgereicht an Napp-IT mit 10GB RAM.
Der Pool hat die übliche 90% Grenze, so dass er nicht komplett gefüllt wird.

Als der Pool noch leer war, hatte ich mit ddbench super Werte. ca. 750MB/s schreiben und 530MB/s schreiben.
heute, wo der Pool noch 43% Platz hat sind die Werte bei: 400MB/s SCHREIBEN und 230MB/s lesen.

Also generell ist er ordentlich langsamer geworden und der Lesewert ist sogar merklich geringer als die Schreibleistung.

Ist das normal, oder habe ich etwas übersehen? Das die Leistung sich verringert wenn Daten drauf kommen war klar, aber das ist schon ordentlich finde ich.
 
Unabhängig davon wie aussagekräftig ein dd Benchmark ist, muss klar sein dass Performance eine Funktion der Füllrate ist. Wenn ein Pool fast voll ist geht die Performance massiv zurück, daher die 10% Basisreservierung die ich beim Anlegen des Pools vornehmen

Bereits ab ca 30% Belegung geht die Performance spürbar zurück, nicht zuletzt dadurch dass da eine verstärkte Fragmentierung einsetzt und damit die geringen iops eines Raid-Z (wie eine Platte) zum Tragen kommt. Das ist bei jedem Dateisystem so, die ZFS Sicherheitsmassnahme CopyOnWrite verstärkt das noch mal etwas. Bei tatsächlichen Zugriffen (nicht bei synthetischen wie sequentielles dd mit QD1) ist das aber unkritisch da dann bei 10 GB RAM ein sehr großer Lesecache die meisten Lesezugriffe aus dem RAM bedient und die meisten Zugriffe zudem parallel ablaufen.

Zum Vergleich könnte man eine Windows VM auf NFS/ESXi anlegen und damit einen Performancetest auf C: machen, bei dem man die Auswirkung durch unterschiedliche Dateigrößen und Queue-Depths sehen kann (mit sync= disabled um die reine Poolperformance zu testen)
 
Zuletzt bearbeitet:
Danke für den Hinweis mit der Windows VM. Da sieht das ganze schon eine Ecke besser aus als mit ddbench. Da liegen knapp 500MB/s an.
 
Ich habe heute ein SuperMicro X11SSH-CTF erhalten
Supermicro | Products | Motherboards | Xeon® Boards | X11SSH-CTF

Ich schätze, dass ich mit einer der ersten in De bin, der das Board hat.
Diese X11SS Serie von SuperMicro könnte sich zum nächsten Standardvorschlag für Einstiegs bis Midrange ZFS Storageserver und All-In-One entwickeln, da es folgendes bietet.

- IPMI
- max 64 GB ECC RAM
- 8 x Sata
- M2 NVMe
- LSI/Avago 3008 HBA mit 8 x SAS/Sata (optional)
- 10 G Intel X550 optional

Dazu als CPU
- Intel G440 (ab 50 Euro) bzw. Xeons, beide mit ECC und vt-d

Ich habe die Top-Version mit 12G LSI HBA und 2 x Intel 10G sowie G4400 CPU.
Der Preis liegt mit 16 GB ECC RAM bei 700 Euro

Erster Eindruck
- X550 wird momentan weder von OmniOS noch von ESXi 6.0u2 unterstützt (war aber bekannt)
- ESXi lässt sich vom USB Stick installieren.

Die Installation von OmniOS per USB schlugt zunächst fehl
Die Installation ging nur per CD von einem Sata CD-Laufwerk (USB CD-ROM ging auch nicht), jedoch musste ich im Bios unter advanced die USB Unterstützung für Windows-7 Installation aktivieren und unter Boot EFI deaktivieren.

Da das Board keinen PS/2 Anschluss mehr hat, geht ohne diese Massnahme keine Installation.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh