the_pi_man
Enthusiast
Und dafür einmalig nen Controller kaufen? gibt doch für um die 100€ 8 Kanal HBA's...
AliManali
cpt sunday flyer
Adapter Reihenfolge wechseln war die Lösung. Jetzt funktioniert das Update vom Webinterface.
Mal ne kurze Rückmeldung zu meinem Problem: Das Resilvern befindet sich in einer Endlosschleife. Während des Replacens springen auch wahllos die anderen Platten ins Resilvern...
Nun bin ich auf der Suche nach einer Alternative, um nicht alles wieder händisch neu zu machen. D.h. ich MUSS die Daten des aktuellen Pools übernehmen.
Mein Schlachtplan:
- Neue Platte detachen, um die Resilver-Odyssee zu beenden
- Zweiten Controller rein
- Aufgrund von belegten Stromanschlüssen weiteres Netzteil kurzschließen und die 6x10TB damit versorgen
- Neuen Pool anlegen
- Daten per Replikation rüberschieben
- Wenn fertig, alte Platten raus, weiterer Controller raus und die neuen Platten in die Schächte an den Bestandscontroller
Aus Eurer Sicht sinnvoll? Andere Vorschläge?
Nun bin ich auf der Suche nach einer Alternative, um nicht alles wieder händisch neu zu machen. D.h. ich MUSS die Daten des aktuellen Pools übernehmen.
Mein Schlachtplan:
- Neue Platte detachen, um die Resilver-Odyssee zu beenden
- Zweiten Controller rein
- Aufgrund von belegten Stromanschlüssen weiteres Netzteil kurzschließen und die 6x10TB damit versorgen
- Neuen Pool anlegen
- Daten per Replikation rüberschieben
- Wenn fertig, alte Platten raus, weiterer Controller raus und die neuen Platten in die Schächte an den Bestandscontroller
Aus Eurer Sicht sinnvoll? Andere Vorschläge?
Prinzipiell ist ein neuer Pool + Replikation schneller als n x Resilver.
Die Frage bleibt, warum die anderen Platten während eines Resilver Probleme haben. Ist da eventuell durch die Extra Platte das Netzteil überfordert?
ps
Aktuelles Open-ZFS/OmniOS kann jetzt auch sequentielles/sortiertes Resilver wie es bisher nur bei Solaris und native ZFS der Fall war. Damit sollte ein Resilver eigentlich schneller gehen.
Die Frage bleibt, warum die anderen Platten während eines Resilver Probleme haben. Ist da eventuell durch die Extra Platte das Netzteil überfordert?
ps
Aktuelles Open-ZFS/OmniOS kann jetzt auch sequentielles/sortiertes Resilver wie es bisher nur bei Solaris und native ZFS der Fall war. Damit sollte ein Resilver eigentlich schneller gehen.
Danke gea.
Es ist keine zusätzliche Platte, habe die alte entfernt und die neue rein und dann Replace.
Ich tippe inzwischen fast auf eine Problematik mit WD-SMR-Platten im Pool.
Mein OmniOS ist up-to-date.
Kann ich ohne Probleme die neue Platte detachen?
Es ist keine zusätzliche Platte, habe die alte entfernt und die neue rein und dann Replace.
Ich tippe inzwischen fast auf eine Problematik mit WD-SMR-Platten im Pool.
Mein OmniOS ist up-to-date.
Kann ich ohne Probleme die neue Platte detachen?
Trambahner
Urgestein
Sind das evtl. 6TB WD Red "EFAX"? Diese würden nämlich auch die ellenlangen Resilver-Zeiten erklären (da SMR).
Jap, deswegen tausche ich auch gegen die Exos X10.
Kurzer Zwischenstand: Nach 3x 15 Std. Resilvern für eine! neue Platte ist diese nun im Pool.
Jetzt ist die Frage: Wie weitermachen?
5 Platten á 3x 15 Std. oder lieber die Platte wieder aus dem Pool entfernen und die Strategie mit dem 2ten Controller, Pool etc. verfolgen? Habe für den Zeitraum dann nur 5 Platten in dem Z2-Pool mit den Daten. Die WD Red da wieder reinbringen würde auch wieder so lange dauern.
Beitrag automatisch zusammengeführt:
Kurzer Zwischenstand: Nach 3x 15 Std. Resilvern für eine! neue Platte ist diese nun im Pool.
Jetzt ist die Frage: Wie weitermachen?
5 Platten á 3x 15 Std. oder lieber die Platte wieder aus dem Pool entfernen und die Strategie mit dem 2ten Controller, Pool etc. verfolgen? Habe für den Zeitraum dann nur 5 Platten in dem Z2-Pool mit den Daten. Die WD Red da wieder reinbringen würde auch wieder so lange dauern.
Ich glaube, damit lagst Du garnicht mal so falsch. Habe die nächste neue Platte angeschlossen und sofort sprangen andere Disks auf REMOVED. Habe jetzt ein Netzteil kurzgeschlossen und versorge damit zwei Platten aus dem Pool, jetzt schwindet keine mehr.
Bzgl. des sich wiederholenden Resilverns habe ich gestern vor dem 3ten Resilver mal den Auto-Job für die Snapshots deaktviert. Nach dem Lauf war die Platte drin. Mal den ersten Lauf der zweiten neuen Platte abwarten, ob der vielleicht beim ersten Mal klappt.
Trambahner
Urgestein
Hab mal was getestet: Den OpenZFS Windows-Treiber in der Version vom 6. August 2020 auf einem einzelnen Sata-Laufwerk.
Nix SMB, nix NFS, sondern der Windows Filesystem-Treiber von hier . Snaps per "zfs snapshot" und "zfs rollback" gehen übrigens auch zu benutzen. Ist halt alles noch Alpha-Status. Aber immerhin, es wird nach wievor daran entwickelt; es kommen regelmässig neue Versionen.
Muss mal schaun, ob Vmware Workstation/Player da vmdks drauflegen lässt. Edit: ja, geht soferns im Basis-Dataset ist. Für Sub-Datasets muss vmtl. die Driveletter-Option gesetzt werden, da diese in Windows sonst als Junction erscheinen und da Vmware gerade sagt "nö, da leg ich nix ab".
Ich weiss, das testet i.W. den ARC bei dem wenigen I/O. Ohne LZ4 ists übrigens noch schneller. sync writes sind hier deaktiviert.
So schauts mit aktivem LZ4 und Syncwrites aus. Schön sieht man wie speziell die kleinen I/Os in die Knie gehen, weil erst das Write-Commit da sein muss.
Nix SMB, nix NFS, sondern der Windows Filesystem-Treiber von hier . Snaps per "zfs snapshot" und "zfs rollback" gehen übrigens auch zu benutzen. Ist halt alles noch Alpha-Status. Aber immerhin, es wird nach wievor daran entwickelt; es kommen regelmässig neue Versionen.
Muss mal schaun, ob Vmware Workstation/Player da vmdks drauflegen lässt. Edit: ja, geht soferns im Basis-Dataset ist. Für Sub-Datasets muss vmtl. die Driveletter-Option gesetzt werden, da diese in Windows sonst als Junction erscheinen und da Vmware gerade sagt "nö, da leg ich nix ab".
Ich weiss, das testet i.W. den ARC bei dem wenigen I/O. Ohne LZ4 ists übrigens noch schneller. sync writes sind hier deaktiviert.
So schauts mit aktivem LZ4 und Syncwrites aus. Schön sieht man wie speziell die kleinen I/Os in die Knie gehen, weil erst das Write-Commit da sein muss.
Zuletzt bearbeitet:
AliManali
cpt sunday flyer
Hi
Mal eine Frage: wenn man eine NVME M2 auf z.B. das Board hier schnallt, kann man die dann napp-it per PCIe Passtrough durchreichen, um das dann als NFS VM Store zu nutzen? Ich habe bislang nur HBAs durchgereicht...
Dann habe ich gelesen, dass M2 im Server als VM Store schlecht sein soll, weil dauernd auf die (Server-) SSD geschrieben wird und die so auf dem Board gerne mal überhitzt?
Würdet Ihr eher die HBA Lösung bevorzugen? Ich aus dem Bauch heraus schon, einfach weil ich das schon gemacht habe. Weil das wäre nicht für mich, ich helfe da einem Kumpel einen Server aufzubauen.
Würde napp-it selber von einer NVME profitieren? Bei mir liegen die Filer auf einer Consumer SSD, ich konnte keinen Nachteil erkennen bislang.
Mal eine Frage: wenn man eine NVME M2 auf z.B. das Board hier schnallt, kann man die dann napp-it per PCIe Passtrough durchreichen, um das dann als NFS VM Store zu nutzen? Ich habe bislang nur HBAs durchgereicht...
Dann habe ich gelesen, dass M2 im Server als VM Store schlecht sein soll, weil dauernd auf die (Server-) SSD geschrieben wird und die so auf dem Board gerne mal überhitzt?
Würdet Ihr eher die HBA Lösung bevorzugen? Ich aus dem Bauch heraus schon, einfach weil ich das schon gemacht habe. Weil das wäre nicht für mich, ich helfe da einem Kumpel einen Server aufzubauen.
Würde napp-it selber von einer NVME profitieren? Bei mir liegen die Filer auf einer Consumer SSD, ich konnte keinen Nachteil erkennen bislang.
Prinzipiell kann man jedes PCIe Device durchreichen. Mit HBAs ist das meist unproblematisch. NVMes sind da teils etwas zickig. Mal klappt es mal nicht, machmal kann man da "von Hand nachhelfen"
Prinzipiell hat M.2 das Problem, dass die termische Leistung begrenzt ist. Wenn man sich manche Kühlkörper auf den PCI Steckkarten oder U.2 Laufwerken anschaut, wird schnell klar dass man das auf M.2 nicht hinbekommt. Andererseits gibt es mit der Optane 4801x auch hochprofessionelle, langlebige und ultraschnelle NVMe Platten im M.2 Format (bis 375 GB).
Extreme Performance kann man nur mit NVMe erreichen. 12G SAS ist aber relativ nah dran und meist viel flexibler. 24G SAS kommt ja auch gerade.
Napp-it oder das Storage OS selber profitieren überhaupt nicht davon wenn das Systemlaufwerk schneller ist. Das System bootet schneller, das wars. Zuverlässigkeit ist wichtiger.
Prinzipiell hat M.2 das Problem, dass die termische Leistung begrenzt ist. Wenn man sich manche Kühlkörper auf den PCI Steckkarten oder U.2 Laufwerken anschaut, wird schnell klar dass man das auf M.2 nicht hinbekommt. Andererseits gibt es mit der Optane 4801x auch hochprofessionelle, langlebige und ultraschnelle NVMe Platten im M.2 Format (bis 375 GB).
Extreme Performance kann man nur mit NVMe erreichen. 12G SAS ist aber relativ nah dran und meist viel flexibler. 24G SAS kommt ja auch gerade.
Napp-it oder das Storage OS selber profitieren überhaupt nicht davon wenn das Systemlaufwerk schneller ist. Das System bootet schneller, das wars. Zuverlässigkeit ist wichtiger.
Zuletzt bearbeitet:
AliManali
cpt sunday flyer
Kannst Du da einen HBA und SSDs empfehlen? Bei mir werkelt ein DELL PERC 310, sonst hab ich da null Plan von den Server Storage Sachen. Muss glaube ich auch nicht ultra schnell sein. Vielleicht auch was, das man gebraucht günstig bekommt. Wobei mein Kumpel da, der scheint eher klotzen statt kleckern zu wollen. Wenn er schon auf SP3 mit 128GB RAM setzen will, darf der Storage wohl auch angemessen sein dann.
Bin da um jeden Tipp dankbar.
BroadCom 12G HBA mit 9305 oder 9300 Chipsatz und IT Firmware (IR Firmware ist auch noch ok) sind quasi Gold-Standard (gibt auch OEM Controller mit gleichem Chipsatz), https://www.broadcom.com/products/storage/host-bus-adapters
Wenns um besonders gute/schnelle 12G SAS SSDs geht, dann z,B. WD SS530/540, https://www.westerndigital.com/products/data-center-drives/ultrastar-sas-series-ssd.
Wenns um besonders gute/schnelle 12G SAS SSDs geht, dann z,B. WD SS530/540, https://www.westerndigital.com/products/data-center-drives/ultrastar-sas-series-ssd.
Zuletzt bearbeitet:
CommanderBond
Enthusiast
- Mitglied seit
- 16.04.2012
- Beiträge
- 702
Also die Bedienung von Nappit ist bei mir schon deutlich träger wenn ich es auf einem USB Stick installiert habe. Man kann dann regelrecht sehen wie unten die Befehle durchlaufen und die neue Seite manxhmal 10sekunden benötigt um sich aufzubauen.
Blackspoded
Experte
- Mitglied seit
- 18.12.2018
- Beiträge
- 65
Hallo zusammen, ich hatte auf einem Server 3 Festplatten mit ZFS. Diese waren als Storage via Napp-it im Netzwerk freigeben. Leider ist der Server defekt. Aktuell habe ich auch nicht vor mir einen neuen zu besorgen.
Dennoch würde ich nach Möglichkeit gerne noch auf die Daten daraus zugreifen können. Gibt es eine Möglichkeit die Festplatten noch zu nutzen.Mit einem externen Gehäuseüber USB funktioniert es logischerweise nicht, Windows kennt nunmal kein ZFS.
Würde es auf einem Rechner mit Ubuntu 19.10 funktionieren? Reicht ggf. eine Virtuelle Maschine in der ich Ubuntu installiere?
Dennoch würde ich nach Möglichkeit gerne noch auf die Daten daraus zugreifen können. Gibt es eine Möglichkeit die Festplatten noch zu nutzen.Mit einem externen Gehäuseüber USB funktioniert es logischerweise nicht, Windows kennt nunmal kein ZFS.
Würde es auf einem Rechner mit Ubuntu 19.10 funktionieren? Reicht ggf. eine Virtuelle Maschine in der ich Ubuntu installiere?
Sir Diablo
Enthusiast
Wenn du in deiner Virtualisierungslösung den ganzen Festplattencontroller durchreichen kannst (nicht nur die Festplatten) dann geht das natürlich auch in einer VM.
Die verwendete Linux Distri spielt keine Rolle, ob es läuft - einfach OpenZFS, in einer Version, welches deine verwendeten Pooleigenschaften unterstützt (idR das aus dem Repository), installieren und gut is.
Die verwendete Linux Distri spielt keine Rolle, ob es läuft - einfach OpenZFS, in einer Version, welches deine verwendeten Pooleigenschaften unterstützt (idR das aus dem Repository), installieren und gut is.
Blackspoded
Experte
- Mitglied seit
- 18.12.2018
- Beiträge
- 65
Ich habe noch einen LSI-HBA rumliegen könnte ich den in meinen Desktop-Rechner einbauen und das darüber realisieren?
Sir Diablo
Enthusiast
Kommt auf deine Virtualisierungslösung und die IOMMU-Gruppierung deines Mainboards an. Unter Linux+KVM/ESXi/Xen gehts, wie das unter Windows aussieht kA ;-)
Sowas hab ich mir bei Oracle eigentlich denken können...wenn Solaris nicht so stabil laufen würde wäre ich auch schon längst davon weg.
Ich hole mal den Beitrag aus dem Juli wieder hoch. Ging darum, eine Festplatte im USB3.0 Gehäuse für‘s Backup unter Napp-It / OmniOS anzubinden. Die lahmende SMR Platte wurde zwischenzeitlich durch eine performante BarraCuda Pro 10TB ersetzt. Im USB 3.0 Gehäuse macht die Platte ca. 90 MB/sec, direkt am SATA Controller sind‘s dann schon 260 MB/sec. Details siehe auch hier und Beiträge direkt darüber:https://www.hardwareluxx.de/community/threads/festplatten-diskussion.831997/post-27654003
Was ich mich frage: gibt es bei Euch Erfahrungswerte bzgl. der Übertragungsgeschwindigkeiten über USB 3.0 unter OmniOS? 90MB/sec. ist ja nicht unbedingt üppig. Ich hab den USB 3.0 Controller an die Napp-It VM durchgereicht, da sollte seitens ESXi also nix bremsen. @besterino, wie sieht das bei Dir aus?
Dann noch eine Frage bzgl. Hotplug, weil das heute mal wieder anstand. Hotplug habe ich in der /etc/system aktiviert und neu gebootet. Wird der Wechselrahmen (Backplane) dann eingeschoben, wird die Platte nicht automatisch eingebunden oder angezeigt. Mit cfgadm -la sehe ich, dass die Platte da, aber disconnected ist. Mittels cfgadm -f -c connect sata2/6 und cfgadm -c configure sata2/6 wird sie dann schlussendlich eingebunden (Heureka!). Geht das nicht automatisch unter OmniOS? Das lässt sich natürlich skripten, aber bissl umständlich finde ich das schon. Hat jemand Tipps/Hinweise?
Merci!
AliManali
cpt sunday flyer
Hi
Wie sieht das eigentlich mit Snapshots und wiederherstellen von VMs aus? Ich habe im Moment ein paar "lose" Platten dran, wo es jeweils nur einen einzelnen Pool drauf hat. Falls ich jetzt mal eine einzelne VM aus einem Snapshot wiederherstellen möchte, geht das? Oder müsste ich da für jede VM einen einzelnen Pool haben? Kann man die Snapshots irgendwie durchsuchen, oder nur einfach komplett wiederherstellen?
Wie sieht das eigentlich mit Snapshots und wiederherstellen von VMs aus? Ich habe im Moment ein paar "lose" Platten dran, wo es jeweils nur einen einzelnen Pool drauf hat. Falls ich jetzt mal eine einzelne VM aus einem Snapshot wiederherstellen möchte, geht das? Oder müsste ich da für jede VM einen einzelnen Pool haben? Kann man die Snapshots irgendwie durchsuchen, oder nur einfach komplett wiederherstellen?
Ein eigener Pool ist nun nicht unbedingt erforderlich, ich habe für ein paar VMs eigene ZFS-Datasets angelegt, die Du ja genauso gut snapshotten kannst. Allerdings kann ich Dir nur raten, diese Snaphots immer bei ausgeschalteter VM zu machen, da es beim Snapshot im laufenden Betrieb einer VM zu Inkonsistenzen kommen kann.
AliManali
cpt sunday flyer
Hi
Wenn ich die VMs jetzt in einem einzelnen Dataset habe, welches per NFS dem ESXi zugewiesen ist, wie gehe ich da vor, wenn ich das auf einzelne Datasets verteilen will? Kann ich da einfach das grosse Dataset löschen, und dann kleinere anlegen? Muss ich da nacher für jedes Dataset eine einzelne NFS Freigabe im ESXi einhängen? Dünkt mich reichlich kompliziert und unhandlich, gerade auch was den Platzverbrauch angeht. Den muss ich ja wohl dann einzeln für jedes Dataset reservieren, richtig?
Bei mir siehts zur Zeit so aus, aber irgendwie profitiere ich noch gar nicht so richtig von dem Storage und seinen Möglichkeiten:
Wenn ich die VMs jetzt in einem einzelnen Dataset habe, welches per NFS dem ESXi zugewiesen ist, wie gehe ich da vor, wenn ich das auf einzelne Datasets verteilen will? Kann ich da einfach das grosse Dataset löschen, und dann kleinere anlegen? Muss ich da nacher für jedes Dataset eine einzelne NFS Freigabe im ESXi einhängen? Dünkt mich reichlich kompliziert und unhandlich, gerade auch was den Platzverbrauch angeht. Den muss ich ja wohl dann einzeln für jedes Dataset reservieren, richtig?
Bei mir siehts zur Zeit so aus, aber irgendwie profitiere ich noch gar nicht so richtig von dem Storage und seinen Möglichkeiten:
Zuletzt bearbeitet:
Eine einzelne Platte kann rein sequentiell theoretisch über 200 MB/s (leere Platte, großes File, innere Spuren, Dateisystem das Platte sequentiell füllt), also eigentlich nur auf dem Prüfstand für das Datenblatt.
Mit Fragmentierung, kleinen Dateien, einem Dateisystem das eine Platte nicht strikt sequentiell befüllt kann das auch auf 50 MB/s zurückgehen. 90 MB/s ist gar nicht schlecht.
Sata Hotplug sollte funktionieren wenn es im OS unterstützt wird (aktuelles OmniOS aktiviert das per default) und wenn der Chipsatz das unterstützt bzw. es im Bios aktiviert ist. Insgesamt funktioniert das aber nicht so glatt wie mit LSI/BroadCom SAS HBA Controllern.
Beitrag automatisch zusammengeführt:
Prinzipiell legt man ein Dateisystem an, gibt das per NFS frei und legt darauf VMs an. NFS (und SMB) ist bei Solarish eine Eigenschaft eines ZFS Dateisystems. Man hat also pro Dateisystem nur ein Share.
VMs darauf sind einfach Ordner. Wenn man das Dateisystem zusätzlich per SMB freigibt kann man diese Order einfach sichern oder klonen. Hat man Snapshots erstellt, kann man eine einzelne VM aus dem Snapshot wiederherstellen, am Einfachsten über Windows > vorherige Version. Man kann auch das ganze Dateisystem per Rollback auf einen Snap zurücksetzen oder aus dem Snap einen Clone erzeugen der beschreibbar ist.
Ein Dateisystem per VM macht man eigentlich nur wenn man iSCSI einsetzt. Macht aber alles etwas komplizierter. Hat auch was Performance angeht keine echten Vorteile.
Ein ZFS Snap ist wie wenn man den Stecker zieht. Nicht jede VM mag das. Sicher konsistente Snaps erfordern dass die VM Offline ist oder dass vor dem ZFS Snap die VM vorbereitet wird oder dass ein ESXi Snap davor angelegt wird auf den man hot inkl Memory State zurückgehen kann. Napp-it unterstützt das mit Autosnap Jobs.
Zuletzt bearbeitet:
