[Sammelthread] ZFS Stammtisch

Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
moin

Nein, ich meinte die ganze VM. Also Shutdown Machine and Power off. Auch nicht per SSH oder so, sondern direkt an der Hardware Konsole. Dort hat man ja auch keine Eingabeaufforderung...
 
Aus der lokalen ESXi Management Console?
Da kann man nur ESXi komplett herunterfahren.

Einzelne VMs unter ESXi gehen nur remote per ssh/Putty und esxcli oder ESXi Weboberfläche.
 
Natürlich kann man VMs auf dem ESXi auch starten/stoppen usw und es gibt da auch mehrere Wege, hier sind 2 davon:
[root@esxi:~] esxcli vm process list
napp-it-san024
World ID: 67823
Process ID: 0
VMX Cartel ID: 67822
UUID: 56 4d d4 5d db f7 2f 38-62 bb 3f cc fc 85 62 b4
Display Name: napp-it-san024
Config File: /vmfs/volumes/5a0ad845-5561afd8-9320-d4ae52c8a69b/napp-it-san024/napp-it-san024.vmx

[root@esxi:~] esxcli vm process kill --type soft --world-id 67823


[root@esxi:~] vim-cmd vmsvc/getallvms
Vmid Name File Guest OS Version Annotation
62 napp-it-san024 [maxtor] napp-it-san024/napp-it-san024.vmx solaris11_64Guest vmx-08 OmniOS CE 151024 with Open-VM-Tools and napp-it preconfigured

[root@esxi:~] vim-cmd vmsvc/power.shutdown 62

Wenn es beim Shutdown zu Problemem kommt, kannst du die VM auch hart abschalten...
[root@esxi:~] esxcli vm process kill --type hard --world-id 67823

[root@esxi:~] vim-cmd vmsvc/power.off 62
 
Ich hab da Mal ne Frage zu SAS-expandern. Wie sieht es mit der Geschwindigkeit aus? Wenn ich da 20 ssds dranpacke in nem ZFS Stripes mirror, habe ich dann nur 50mb/s pro Disk oder so? Also teilen die sich dann alles?
 
Ein 12G SAS Port hat 12 Gbit/s Datenrate, also grob ca 1,2 GByte/s.
Zwischen Controller und Expander werden 4 Kanäle gebündelt, gibt ca 4800 Mbyte/s Datenrate zum Expander.

Wenn man das auf 20 SSD aufteilt, so landet man bei ca 240 Mbyte/s je Platte. Das ist ca die Hälfte dessen was eine SSD kann. Da möchte man also schon 8 Kanäle bündeln um die SSD nicht auszuberemsen.

Nimmt man nur 6G oder gar 3G Verbindungen dann macht Expander mit SSD keinen Sinn.
Wenn es sich zudem um Sata SSD handelt, würde ich eher einen 24 Port HBA oder mehrere 8/16 Port HBAs nehmen. Die bremsen nicht und haben mit Sata auch garantiert keine Probleme. Bei Sata + Expander kann es durchaus passieren dass eine defekte Platte alles blockiert. Das sind SAS Platten/SSD nicht nur schneller sondern auch zuverlässiger.
 
Hier wird öfter davon gesprochen, dass ZFS für ESXi so gut, weil ich da Snapshotzs von VMs machen kann und das dann (nach einem missglückten Update oder ähnlichem) sehr schnell wieder zum vorherigen Stand zurücksetzen kann.

Wie funktioniert das? Wenn ich FreeNAS nutze und das per NFS den Datastore an ESXi bereitstellt? Per SSH auf FreeNAS einloggen? Oder über die GUI? Und kann man dann jede VM einzeln zurücksetzen oder geht das nur für den gesamten Datastore?

Ich hab bei geplant, 2 FreeNAS-Datastores zu erstellen. Einmal den NFS-Share für ESXi und dann noch einen eigenen für Daten, der dann über Samba/NFS an die Clients zugänglich gemacht wird.
 
Wenn man ein Share mit NFS und SMB freigibt, so hat man unter Solarish und dem kernelbasierten SMB Server Zugriff auf ZFS Snaps mit Windows und "vorherige Version". Das klappt da out of the Box ohne wenn und aber.

Mit SAMBA geht es nicht ganz so einfach da SAMBA eigentlich ZFS nicht kennt sondern völlig unabhängig dazu arbeitet. Zur Not geht es aber immer über ssh und Zugriff auf den .zfs/snapshot Ordner.
 
Ich möchte auf meinem ESXi FreeNAS installieren, welches dann 2 Datastores zurück an ESXi gibt. Darauf dann einige Windows-VMs und Linux-VMs.

So, jetzt mache ich ein Linux-Update in einer VM und etwas geht schief.

Dann kann ich den NFS-ESXi-Share in einer der Windows-VMs mounten und dort dann die Datei, in der die Linux-VM gespeichert ist, wieder auf den vorherigen Zustand zurücksetzen? Ist das so korrekt?
 
Zuletzt bearbeitet:
Ein 12G SAS Port hat 12 Gbit/s Datenrate, also grob ca 1,2 GByte/s.
Zwischen Controller und Expander werden 4 Kanäle gebündelt, gibt ca 4800 Mbyte/s Datenrate zum Expander.

Wenn man das auf 20 SSD aufteilt, so landet man bei ca 240 Mbyte/s je Platte. Das ist ca die Hälfte dessen was eine SSD kann. Da möchte man also schon 8 Kanäle bündeln um die SSD nicht auszuberemsen.

Nimmt man nur 6G oder gar 3G Verbindungen dann macht Expander mit SSD keinen Sinn.
Wenn es sich zudem um Sata SSD handelt, würde ich eher einen 24 Port HBA oder mehrere 8/16 Port HBAs nehmen. Die bremsen nicht und haben mit Sata auch garantiert keine Probleme. Bei Sata + Expander kann es durchaus passieren dass eine defekte Platte alles blockiert. Das sind SAS Platten/SSD nicht nur schneller sondern auch zuverlässiger.
Danke dir. Ich habe ein H310 auf IT. Was macht am meisten Sinn?
 
Ich hab aktuell FreeNAS neben den anderen VMs im lokalen ESXi-Datastore installiert, möchte aber jetzt zur Variante mit durchgereichtem ZFS-NFS-Share wechseln. Ich bin eher am überlegen, ob ich nicht zu XigmaNAS wechsle... Brauch ja nur die NAS-Funktionalität. Mit Napp-it hab ich mich noch nicht auseinandergesetzt, aber ich denke, das wird schon etwas "aufwändiger" in der Konfiguration und Verwaltung sein wie FreeNAS/XigmaNAS.
 
Zuletzt bearbeitet:
Mit Napp-it hab ich mich noch nicht auseinandergesetzt, aber ich denke, das wird schon etwas "aufwändiger" in der Konfiguration und Verwaltung sein wie FreeNAS/XigmaNAS.

Was zu beweisen wäre. Die Integration ZFS/OS und Dienste wie iSCSI, NFS und SMB ist bei Solarish am besten gelöst und ich finde auch besonders einfach zu handeln. Auch sind die Unixe BSD und Solaris näher beieinander als z.B. Linux. In Zweifel einfach das .ova Template mit OmniOS unter ESXi bereitstellen (dauert keine 5 Minuten) und testen, napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris : Downloads
 
Consumerplatten sind nie 4Kn Drives, höchstens Advanced Format aka 512e.
Sind HGST 7K6000 4TB SAS Platten.
 
BTW als Hinweis für (künftigte) Dell PERC H310 Besitzer: 4Kn-Drives werden nicht unterstützt, in FreeBSD wirft der mps Treiber Errors, ein zpool create schlägt auch fehl.
Da ändert übrigens auch kein Flash auf IT-Mode etwas.

Siehe RE: AF 4kn sector drives support on Perc, Poweredge, Powervault - Dell Community
Ausgehend von https://www.broadcom.com/support/knowledgebase/1211161500309/advanced-format---4k---512e-disk-drive-support-on-lsi-raid-contr werden 4Kn-Laufwerke auch nicht im BIOS-sondern nur im EFI-Modus unterstützt.
 
Das ist klar, nur selbst in EFI bekomme ich den illegal request.
 
Consumerplatten sind nie 4Kn Drives, höchstens Advanced Format aka 512e.
Sind HGST 7K6000 4TB SAS Platten.

Bevor der erste ZFS-Pool voll sein wird, wird es definitiv 4Kn Consumerlaufwerke geben. Vielleicht auch nur gleichzeitig, aber sicher nicht später. Könnte an der ZFS-Architektur liegen ;)

"Freut" mich auch ein bisschen, ich hab ja letztens noch eine BR10i dazu gesteckt, statt die paar Euro Aufpreis für eine höherwertige Karte ohne das 2TB-Limit zu bezahlen. Dann weiß ich ja, auf was ich achten muss, wenn der Tag des großen Upgrades (jenseits 20x2TB) kommen sollte.
 
Bevor der erste ZFS-Pool voll sein wird, wird es definitiv 4Kn Consumerlaufwerke geben. Vielleicht auch nur gleichzeitig, aber sicher nicht später. Könnte an der ZFS-Architektur liegen ;)

"Freut" mich auch ein bisschen, ich hab ja letztens noch eine BR10i dazu gesteckt, statt die paar Euro Aufpreis für eine höherwertige Karte ohne das 2TB-Limit zu bezahlen. Dann weiß ich ja, auf was ich achten muss, wenn der Tag des großen Upgrades (jenseits 20x2TB) kommen sollte.

Das heisst, der DELL PERC H310 ist eigentlich nicht mehr zu empfehlen, weil er nicht mehr zukunftsfähig ist mit diesem 4Kn Problem?

Welche anderen HBAs haben das Problem nicht und sind ähnlich preisgünstig? Aus China bekommt man die Teile ja schon für unter 30 Euro hinterhergeschmissen.

______________________

Noch eine andere Frage, weiß nicht, ob das jetzt ZFS spezifisch ist und hierher gehört oder eher eine FreeNAS-Frage ist...

Ich habe aktuell 2 Pools für Daten:
1 x Pool als Mirror (RAID 1) mit 2xWD RED 4TB - für wichtige Daten, Fotos usw
1 x Pool aus einer einzlenen HDD - nur für TV Aufnahmen vom SAT-Receiver (WD Green 3 TB)

Die WD Green meldet jetzt viele Fehler (1500 unalocatable sectors oder so ähnlich, Scrub zeigt 49 Fehler an, die ja mangels Mirror nicht korrigiert werden können), funktioniert aber noch. Da sind keine wichtigen Daten drauf, wäre aber trotzdem schön, wenn die nicht weg wären.

Wie kann ich die Platte am einfachsten gegen eine andere tauschen? Mit einer weiteren HDD einen Mirror bilden und dann die defekte Platte entfernen und den Mirror wieder auflösen? Bleiben dabei die Daten erhalten oder werden die gelöscht?

Die Daten auf meinen Mirror-Pool umkopieren, die WD Green komplett formatieren (und schauen, ob sie wieder geht) oder gegen eine neue Platte ersetzen und alles wieder zurück kopieren? Aber dann sind die ganzen Freigaben und Berechtigungen usw weg, oder? Kann ich das irgendwie 1:1 auf die neue Platte übernehmen?
 
Was sagt ihr zu folgendem Benchmark:

ZFS RaidZ1 aus 3 2.5" HDDs:

ZFS RaidZ1.png


Ist der in Ordnung?
 
Ausm Linux Subforum:


Da habe ich bereits nochmal den Link auf das folgende gekriegt: Why isnt my ZFS pool expanding using ZFS on Linux? - Server Fault

Kann ich die Partition des ZFS Pools direkt vergrößern, oder wie bereits im Zitat angesprochen, eine 2. Partition erstellen und entsprechend anhängen? Was wäre die sauberste Vorgehensweise?

--- Hat sich erledigt ---
War bzw. bin noch im Urlaubsmodus. Total übersehen ,dass die eine Partition ja noch vergrößert werden musste. Ich habe jetzt keine 9er Partition mehr (Buffering Partition) - Ist das schlimm? Er hat die größe angenommen und funktioniert. Performance brauche ich nicht auf der Maschine :d
 
Zuletzt bearbeitet:
Hey ich wollte heute meinen HP H310 auf it-mode flashen. Habe diese Anleitung nutzen wollten. Updated: SAS HBA crossflashing or flashing to IT mode, Dell Perc H200 and H310 techmattr
Leider komme ich schon beim zweiten Befehl megarec.exe -writesbr 0 sbrempty.bin nicht weiter. laut der Anleitung soll dieser Befehl fehlschlagen. Bei mir kommt am ende ab ein Success- Was soll ich machen? Dieser Fall ist nämlich nicht beschrieben

- - - Updated - - -

Ich bin jetzt bis zu dem Punkt gekommen an dem ich die SASadresse programmieren soll das hat aber nicht geklappt. Jetzt hat der Controller keine Adresse und das Programm bricht immer mit Programming SAS Address Failed ab.

- - - Updated - - -

Läuft jetzt nach einem Reboot konto ich die FW version angeben und der Anleitung weiter folgen :)
 
Für ZoL Nutzer ggf. interessant.

comments_outline_white

Die Kernel-Entwickler haben in der kommenden Version 5.0 des Linux-Kernels eine Schnittstelle entfernt, die unter anderem vom Dateisystem-Modul ZFS on Linux (ZoL) verwendet wird. Dadurch kann ZFS nicht mehr mit Kernel 5.0 übersetzt werden.

Der leitende Kernel-Entwickler Greg Kroah-Hartman hat einer Anfrage der ZFS-Entwickler, diese Schnittstellen zu öffnen, eine harsche Absage erteilt: Seine "Toleranz für ZFS sei quasi nicht existent. Sun wollte explizit nicht, dass ihr Code mit Linux arbeitet. Warum sollten wir uns dann zusätzliche Arbeit machen, um deren Code vernünftig zum Laufen zu bekommen
 
Hallo Leute!

Hier eine kurze Version für alle Ungeduldigen:
Eine Disk aus meinem z2pool hatte wie es aussieht ein Kabelproblem. Hatte sie offline, Kabel neu gesteckt, wieder online, scheint ordentlich zu laufen. Was sollte ich nun machen? Resilver, Scrub, einfach Nichts, oder Sonstwas?
Das war's schon, mit der Kurzfassung :)

Die lange Version, für Alle die es genauer mögen:
Mein z2pool unter FreeNAS war heute plötzlich degraded, wegen angeblicher write erros auf einer Platte (sonst keine Fehler, smart funktioniert durch den LSI Controller nicht).
Jetzt habe ich ganz zufälligerweise gerade gestern den Server zum ersten Mal seit Jahren (im ausgeschalteten Zustand!) bewegt, also um ca. 2m zur Seite gehoben. Einen Sturz oder Dotzer gab es dabei zwar nicht, aber ich hatte natürlich dennoch die Vermutung, dass es damit zu tun hat; möglicherweise ein Kontaktproblem o.ä.
Also habe ich mir gedacht, ich versuche einfach mal die Prozedur, die beim Austausch einer Platte vorgenommen wird (8. Storage FreeNAS User Guide 9.3 Table of Contents), nur mit dem Unterschied, dass ich einfach die selbe Platte wieder einstecke und alle Stecker mal ab und wieder dran stecke.
Somit habe ich der Anleitung folgend die Platte erst einmal Offline genommen und den Server herunter gefahren.
Danach habe ich alle Stecker der Kabel für die betroffene HDD kurz entfernt, wieder eingesteckt, auf festen Sitz geachtet und wieder hochgefahren.

Nun sollte ich laut Anleitung eigentlich die Platte wieder Online nehmen, aber sie wurde nach dem Reboot im UI schon direkt als Online angezeigt - ziemlich sicher deshalb weil das ZFS auf dem Server die Platte ja schon kennt. Aber dennoch kommt mir das etwas seltsam und unvollständig vor, weil ich somit ja auch nicht mehr der gegebenen Anleitung ganz folgen kann, wo ich die Platte als Nächstes eben manuell wieder Online stellen würde und anschließen "Replace" ausführen müsste.

Wie mache ich also nun am Besten weiter?

1. Einfach gar nix machen, weil funktioniert ja Alles..aber ich denke die HDD sollte ja nun schon mal auf Integtität geprüft werden.
2. Sollte ich dennoch Replace klicken, wie es der Anleitung von FreeNAS entspräche (macht das vielleicht einfach nur ein Resilver?)?
3. Wird der automatische Scrub von FreeNAS das schon richten?
4. Oder besser ein manuelles Scrub command (Resilver)?


Danke euch! :)
 
Zuletzt bearbeitet:
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh