[Sammelthread] ZFS Stammtisch

Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Und dafür einmalig nen Controller kaufen? gibt doch für um die 100€ 8 Kanal HBA's...
 
Mal ne kurze Rückmeldung zu meinem Problem: Das Resilvern befindet sich in einer Endlosschleife. Während des Replacens springen auch wahllos die anderen Platten ins Resilvern...

Nun bin ich auf der Suche nach einer Alternative, um nicht alles wieder händisch neu zu machen. D.h. ich MUSS die Daten des aktuellen Pools übernehmen.

Mein Schlachtplan:

- Neue Platte detachen, um die Resilver-Odyssee zu beenden
- Zweiten Controller rein
- Aufgrund von belegten Stromanschlüssen weiteres Netzteil kurzschließen und die 6x10TB damit versorgen
- Neuen Pool anlegen
- Daten per Replikation rüberschieben
- Wenn fertig, alte Platten raus, weiterer Controller raus und die neuen Platten in die Schächte an den Bestandscontroller

Aus Eurer Sicht sinnvoll? Andere Vorschläge?
 
Prinzipiell ist ein neuer Pool + Replikation schneller als n x Resilver.
Die Frage bleibt, warum die anderen Platten während eines Resilver Probleme haben. Ist da eventuell durch die Extra Platte das Netzteil überfordert?

ps
Aktuelles Open-ZFS/OmniOS kann jetzt auch sequentielles/sortiertes Resilver wie es bisher nur bei Solaris und native ZFS der Fall war. Damit sollte ein Resilver eigentlich schneller gehen.
 
Danke gea.

Es ist keine zusätzliche Platte, habe die alte entfernt und die neue rein und dann Replace.

Ich tippe inzwischen fast auf eine Problematik mit WD-SMR-Platten im Pool.

Mein OmniOS ist up-to-date.

Kann ich ohne Probleme die neue Platte detachen?
 
Jap, deswegen tausche ich auch gegen die Exos X10.
Beitrag automatisch zusammengeführt:

Kurzer Zwischenstand: Nach 3x 15 Std. Resilvern für eine! neue Platte ist diese nun im Pool.

Jetzt ist die Frage: Wie weitermachen?

5 Platten á 3x 15 Std. oder lieber die Platte wieder aus dem Pool entfernen und die Strategie mit dem 2ten Controller, Pool etc. verfolgen? Habe für den Zeitraum dann nur 5 Platten in dem Z2-Pool mit den Daten. Die WD Red da wieder reinbringen würde auch wieder so lange dauern.
 
Die Frage bleibt, warum die anderen Platten während eines Resilver Probleme haben. Ist da eventuell durch die Extra Platte das Netzteil überfordert?

Ich glaube, damit lagst Du garnicht mal so falsch. Habe die nächste neue Platte angeschlossen und sofort sprangen andere Disks auf REMOVED. Habe jetzt ein Netzteil kurzgeschlossen und versorge damit zwei Platten aus dem Pool, jetzt schwindet keine mehr.

Bzgl. des sich wiederholenden Resilverns habe ich gestern vor dem 3ten Resilver mal den Auto-Job für die Snapshots deaktviert. Nach dem Lauf war die Platte drin. Mal den ersten Lauf der zweiten neuen Platte abwarten, ob der vielleicht beim ersten Mal klappt.
 
Hab mal was getestet: Den OpenZFS Windows-Treiber in der Version vom 6. August 2020 auf einem einzelnen Sata-Laufwerk.
Nix SMB, nix NFS, sondern der Windows Filesystem-Treiber von hier . Snaps per "zfs snapshot" und "zfs rollback" gehen übrigens auch zu benutzen. Ist halt alles noch Alpha-Status. Aber immerhin, es wird nach wievor daran entwickelt; es kommen regelmässig neue Versionen. :-)
Muss mal schaun, ob Vmware Workstation/Player da vmdks drauflegen lässt. Edit: ja, geht soferns im Basis-Dataset ist. Für Sub-Datasets muss vmtl. die Driveletter-Option gesetzt werden, da diese in Windows sonst als Junction erscheinen und da Vmware gerade sagt "nö, da leg ich nix ab".

Ich weiss, das testet i.W. den ARC bei dem wenigen I/O. Ohne LZ4 ists übrigens noch schneller. sync writes sind hier deaktiviert.
Bild1.png


So schauts mit aktivem LZ4 und Syncwrites aus. Schön sieht man wie speziell die kleinen I/Os in die Knie gehen, weil erst das Write-Commit da sein muss.
Bild4.png
 
Zuletzt bearbeitet:
Hi

Mal eine Frage: wenn man eine NVME M2 auf z.B. das Board hier schnallt, kann man die dann napp-it per PCIe Passtrough durchreichen, um das dann als NFS VM Store zu nutzen? Ich habe bislang nur HBAs durchgereicht...

Dann habe ich gelesen, dass M2 im Server als VM Store schlecht sein soll, weil dauernd auf die (Server-) SSD geschrieben wird und die so auf dem Board gerne mal überhitzt?

Würdet Ihr eher die HBA Lösung bevorzugen? Ich aus dem Bauch heraus schon, einfach weil ich das schon gemacht habe. Weil das wäre nicht für mich, ich helfe da einem Kumpel einen Server aufzubauen.

Würde napp-it selber von einer NVME profitieren? Bei mir liegen die Filer auf einer Consumer SSD, ich konnte keinen Nachteil erkennen bislang.
 
Prinzipiell kann man jedes PCIe Device durchreichen. Mit HBAs ist das meist unproblematisch. NVMes sind da teils etwas zickig. Mal klappt es mal nicht, machmal kann man da "von Hand nachhelfen"

Prinzipiell hat M.2 das Problem, dass die termische Leistung begrenzt ist. Wenn man sich manche Kühlkörper auf den PCI Steckkarten oder U.2 Laufwerken anschaut, wird schnell klar dass man das auf M.2 nicht hinbekommt. Andererseits gibt es mit der Optane 4801x auch hochprofessionelle, langlebige und ultraschnelle NVMe Platten im M.2 Format (bis 375 GB).

Extreme Performance kann man nur mit NVMe erreichen. 12G SAS ist aber relativ nah dran und meist viel flexibler. 24G SAS kommt ja auch gerade.

Napp-it oder das Storage OS selber profitieren überhaupt nicht davon wenn das Systemlaufwerk schneller ist. Das System bootet schneller, das wars. Zuverlässigkeit ist wichtiger.
 
Zuletzt bearbeitet:
12G SAS ist aber relativ nah dran und meist viel flexibler.

Kannst Du da einen HBA und SSDs empfehlen? Bei mir werkelt ein DELL PERC 310, sonst hab ich da null Plan von den Server Storage Sachen. Muss glaube ich auch nicht ultra schnell sein. Vielleicht auch was, das man gebraucht günstig bekommt. Wobei mein Kumpel da, der scheint eher klotzen statt kleckern zu wollen. Wenn er schon auf SP3 mit 128GB RAM setzen will, darf der Storage wohl auch angemessen sein dann.

Bin da um jeden Tipp dankbar.
 
Zuletzt bearbeitet:
Napp-it oder das Storage OS selber profitieren überhaupt nicht davon wenn das Systemlaufwerk schneller ist. Das System bootet schneller, das wars. Zuverlässigkeit ist wichtiger.
Also die Bedienung von Nappit ist bei mir schon deutlich träger wenn ich es auf einem USB Stick installiert habe. Man kann dann regelrecht sehen wie unten die Befehle durchlaufen und die neue Seite manxhmal 10sekunden benötigt um sich aufzubauen.
 
Hallo zusammen, ich hatte auf einem Server 3 Festplatten mit ZFS. Diese waren als Storage via Napp-it im Netzwerk freigeben. Leider ist der Server defekt. Aktuell habe ich auch nicht vor mir einen neuen zu besorgen.

Dennoch würde ich nach Möglichkeit gerne noch auf die Daten daraus zugreifen können. Gibt es eine Möglichkeit die Festplatten noch zu nutzen.Mit einem externen Gehäuseüber USB funktioniert es logischerweise nicht, Windows kennt nunmal kein ZFS.

Würde es auf einem Rechner mit Ubuntu 19.10 funktionieren? Reicht ggf. eine Virtuelle Maschine in der ich Ubuntu installiere?
 
Wenn du in deiner Virtualisierungslösung den ganzen Festplattencontroller durchreichen kannst (nicht nur die Festplatten) dann geht das natürlich auch in einer VM.
Die verwendete Linux Distri spielt keine Rolle, ob es läuft - einfach OpenZFS, in einer Version, welches deine verwendeten Pooleigenschaften unterstützt (idR das aus dem Repository), installieren und gut is.
 
Ich habe noch einen LSI-HBA rumliegen könnte ich den in meinen Desktop-Rechner einbauen und das darüber realisieren?
 
Kommt auf deine Virtualisierungslösung und die IOMMU-Gruppierung deines Mainboards an. Unter Linux+KVM/ESXi/Xen gehts, wie das unter Windows aussieht kA ;-)
 
Man könnte auch eine OpenIndiana Live Distribution nutzen (bootet von USB oder DVD). Auch gibt es für Windows einen (Beta) ZFS Treiber. Ein aktuelles Linux ginge auch. OmniOS und Linux sind etwas gleichauf was ZFS angeht.
 
Hat einer zufällig Zugriff auf das Oracle Solaris 11.4 SRU24 Package ?
Die UdS nimmt natürlich nicht am Academic Program von Oracle teil :grrr:
 
Ich habe unsere HS am Academy Programm bei Oracle registriert - nur um dann festzustellen dass Support und Updates für Solaris nicht enthalten sind. Solaris mit Subscription war uns zu teuer, wir haben ca ein Dutzend Server mit OmniOS.
 
Ich habe unsere HS am Academy Programm bei Oracle registriert - nur um dann festzustellen dass Support und Updates für Solaris nicht enthalten sind. Solaris mit Subscription war uns zu teuer, wir haben ca ein Dutzend Server mit OmniOS.
Sowas hab ich mir bei Oracle eigentlich denken können...wenn Solaris nicht so stabil laufen würde wäre ich auch schon längst davon weg.
 
Ich hab dafür eine USB-Karte durchgereicht. Hab mit den Renesas-Chipsätzen ganz gute Erfahrungen gemacht, sowohl für passthrough an Windows- wie auch Solaris-VMs. Allerdings alles noch ESXi 6.5 und 6.7. Mit 7.0 habe ich noch keine eigenen Erfahrungswerte.

Von VIA rate ich ab (hab eine, nur Mist), und auch von diesen 4in1 (also 4 Host-Chips auf einer Karte) ebenfalls - selbst mit Renesas (hab ich auch eine, lief auch nicht überall problemlos).

Ich hole mal den Beitrag aus dem Juli wieder hoch. Ging darum, eine Festplatte im USB3.0 Gehäuse für‘s Backup unter Napp-It / OmniOS anzubinden. Die lahmende SMR Platte wurde zwischenzeitlich durch eine performante BarraCuda Pro 10TB ersetzt. Im USB 3.0 Gehäuse macht die Platte ca. 90 MB/sec, direkt am SATA Controller sind‘s dann schon 260 MB/sec. Details siehe auch hier und Beiträge direkt darüber:https://www.hardwareluxx.de/community/threads/festplatten-diskussion.831997/post-27654003

Was ich mich frage: gibt es bei Euch Erfahrungswerte bzgl. der Übertragungsgeschwindigkeiten über USB 3.0 unter OmniOS? 90MB/sec. ist ja nicht unbedingt üppig. Ich hab den USB 3.0 Controller an die Napp-It VM durchgereicht, da sollte seitens ESXi also nix bremsen. @besterino, wie sieht das bei Dir aus?

Dann noch eine Frage bzgl. Hotplug, weil das heute mal wieder anstand. Hotplug habe ich in der /etc/system aktiviert und neu gebootet. Wird der Wechselrahmen (Backplane) dann eingeschoben, wird die Platte nicht automatisch eingebunden oder angezeigt. Mit cfgadm -la sehe ich, dass die Platte da, aber disconnected ist. Mittels cfgadm -f -c connect sata2/6 und cfgadm -c configure sata2/6 wird sie dann schlussendlich eingebunden (Heureka!). Geht das nicht automatisch unter OmniOS? Das lässt sich natürlich skripten, aber bissl umständlich finde ich das schon. Hat jemand Tipps/Hinweise?

Merci!
 
Hi

Wie sieht das eigentlich mit Snapshots und wiederherstellen von VMs aus? Ich habe im Moment ein paar "lose" Platten dran, wo es jeweils nur einen einzelnen Pool drauf hat. Falls ich jetzt mal eine einzelne VM aus einem Snapshot wiederherstellen möchte, geht das? Oder müsste ich da für jede VM einen einzelnen Pool haben? Kann man die Snapshots irgendwie durchsuchen, oder nur einfach komplett wiederherstellen?
 
Hi

Wie sieht das eigentlich mit Snapshots und wiederherstellen von VMs aus? Ich habe im Moment ein paar "lose" Platten dran, wo es jeweils nur einen einzelnen Pool drauf hat. Falls ich jetzt mal eine einzelne VM aus einem Snapshot wiederherstellen möchte, geht das? Oder müsste ich da für jede VM einen einzelnen Pool haben? Kann man die Snapshots irgendwie durchsuchen, oder nur einfach komplett wiederherstellen?

Ein eigener Pool ist nun nicht unbedingt erforderlich, ich habe für ein paar VMs eigene ZFS-Datasets angelegt, die Du ja genauso gut snapshotten kannst. Allerdings kann ich Dir nur raten, diese Snaphots immer bei ausgeschalteter VM zu machen, da es beim Snapshot im laufenden Betrieb einer VM zu Inkonsistenzen kommen kann.
 
Hi

Wenn ich die VMs jetzt in einem einzelnen Dataset habe, welches per NFS dem ESXi zugewiesen ist, wie gehe ich da vor, wenn ich das auf einzelne Datasets verteilen will? Kann ich da einfach das grosse Dataset löschen, und dann kleinere anlegen? Muss ich da nacher für jedes Dataset eine einzelne NFS Freigabe im ESXi einhängen? Dünkt mich reichlich kompliziert und unhandlich, gerade auch was den Platzverbrauch angeht. Den muss ich ja wohl dann einzeln für jedes Dataset reservieren, richtig?

Bei mir siehts zur Zeit so aus, aber irgendwie profitiere ich noch gar nicht so richtig von dem Storage und seinen Möglichkeiten:

Datasets Napp-it.PNG
 
Zuletzt bearbeitet:
Ich betreibe eine OmniOS bare-metal Installation mit 2-3 VMs - ob und wie man das unter ESXi betreibt, kann Dir hier sicher ein anderer Nutzer schreiben....
 
Was ich mich frage: gibt es bei Euch Erfahrungswerte bzgl. der Übertragungsgeschwindigkeiten über USB 3.0 unter OmniOS? 90MB/sec. ist ja nicht unbedingt üppig. Ich hab den USB 3.0 Controller an die Napp-It VM durchgereicht, da sollte seitens ESXi also nix bremsen. @besterino, wie sieht das bei Dir aus?

Dann noch eine Frage bzgl. Hotplug, weil das heute mal wieder anstand. Hotplug habe ich in der /etc/system aktiviert und neu gebootet.

Merci!

Eine einzelne Platte kann rein sequentiell theoretisch über 200 MB/s (leere Platte, großes File, innere Spuren, Dateisystem das Platte sequentiell füllt), also eigentlich nur auf dem Prüfstand für das Datenblatt.

Mit Fragmentierung, kleinen Dateien, einem Dateisystem das eine Platte nicht strikt sequentiell befüllt kann das auch auf 50 MB/s zurückgehen. 90 MB/s ist gar nicht schlecht.

Sata Hotplug sollte funktionieren wenn es im OS unterstützt wird (aktuelles OmniOS aktiviert das per default) und wenn der Chipsatz das unterstützt bzw. es im Bios aktiviert ist. Insgesamt funktioniert das aber nicht so glatt wie mit LSI/BroadCom SAS HBA Controllern.
Beitrag automatisch zusammengeführt:

Hi

Wenn ich die VMs jetzt in einem einzelnen Dataset habe, welches per NFS dem ESXi zugewiesen ist, wie gehe ich da vor, wenn ich das auf einzelne Datasets verteilen will? Kann ich da einfach das grosse Dataset löschen, und dann kleinere anlegen? Muss ich da nacher für jedes Dataset eine einzelne NFS Freigabe im ESXi einhängen? Dünkt mich reichlich kompliziert und unhandlich, gerade auch was den Platzverbrauch angeht. Den muss ich ja wohl dann einzeln für jedes Dataset reservieren, richtig?

Bei mir siehts zur Zeit so aus, aber irgendwie profitiere ich noch gar nicht so richtig von dem Storage und seinen Möglichkeiten:

Anhang anzeigen 528381

Prinzipiell legt man ein Dateisystem an, gibt das per NFS frei und legt darauf VMs an. NFS (und SMB) ist bei Solarish eine Eigenschaft eines ZFS Dateisystems. Man hat also pro Dateisystem nur ein Share.

VMs darauf sind einfach Ordner. Wenn man das Dateisystem zusätzlich per SMB freigibt kann man diese Order einfach sichern oder klonen. Hat man Snapshots erstellt, kann man eine einzelne VM aus dem Snapshot wiederherstellen, am Einfachsten über Windows > vorherige Version. Man kann auch das ganze Dateisystem per Rollback auf einen Snap zurücksetzen oder aus dem Snap einen Clone erzeugen der beschreibbar ist.

Ein Dateisystem per VM macht man eigentlich nur wenn man iSCSI einsetzt. Macht aber alles etwas komplizierter. Hat auch was Performance angeht keine echten Vorteile.

Ein ZFS Snap ist wie wenn man den Stecker zieht. Nicht jede VM mag das. Sicher konsistente Snaps erfordern dass die VM Offline ist oder dass vor dem ZFS Snap die VM vorbereitet wird oder dass ein ESXi Snap davor angelegt wird auf den man hot inkl Memory State zurückgehen kann. Napp-it unterstützt das mit Autosnap Jobs.
 
Zuletzt bearbeitet:
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh