[Sammelthread] ZFS Stammtisch

Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Stangensellerie:
Ohhh...dann ist die Anleitung dort falsch??
Könnt ihr mir sagen, wie ich dann genau vorgehen muss?

Ich sollte heute morgen dringend die Ersatz-SSD bestellen, sonst wird das dieses Jahr nix mehr mit dem Tausch.
Aber ich weiß ja jetzt nicht, ob das mit dem vergössern überhaupt irgendwie geht in meiner Konstellation (ZoL / Boot-Mirror-Pool / vergrössern).

gea:
Du meintest ja weiter oben , das es bei zwei unterschiedlichen Platten evtl. Probleme geben könnte wenn ashift unterschiedlich ist.
Laut der Ausgabe von "zed -C" die ich weiter oben geposted hatte, läuft der Pool ja bisher mit "ashift: 12".
Die Ersatzplatte soll ja jetzt die "Samsung SM863a" werden. Läuft die denn auch mit "ashift: 12"? Weiß das zufällig jemand?
Wenn ja, dann müsste es ja eigentlich passen oder?
 
Ashift ist keine Pool Property sondern eine vdev Property. Mehrere vdevs in einem Pool können also eine unterschiedliche ashift haben. Ashift=12 ist ideal für Platten mit einem internen 4K Aufbau.

Idealerweise meldet eine Platte ihren internen Aufbau bein Anlegen eines vdev und ZFS verhält sich entsprechend. Man kann das zwar beim Anlegen anders erzwingen, ist bei SSD oft nicht sinnvoll.

Bei einem zpool replace Befehl hat man aber keine Option. Entweder die Platten sind soweit kompatibel dass das klappt oder eben nicht. Dann geht der Replace einfach nicht. und man braucht eine passende Platte. Ist die dann größer steht die Kapazität mit aktiviertem Expand zur Verfügung wenn alle im vdev getauscht sind.

Bei Bootplatten klappt das. zumindest bei Solarish nicht ohne die Boot-Partition manuell zu ändern. Da ist meist eine Neuinstallation einfacher/ schneller.
 
Ok, verstanden soweit. Im Klartext also am besten die defekte gegen eine größere tauschen gemäß der Anleitung: ZFS: Tips and Tricks - Proxmox VE (mit GPT kopieren, GUIDs randomize, Grub installieren und Replace) und dann einfach so laufen lassen. Und wenn dann später mal die zeite große noch ran soll, am besten neu installieren. Richtig?
 
Hallo gea,

ich habe auf deiner HP diesen Eintrag für ESXI und ZFS gefunden.

Passthrough
There are problems with Intel Optane NVMe pass-through
A workaround is to add Optane 900P device ID to passthru.map

enable SSH on ESXi and login via WinSCP as user root

- edit /etc/vmware/passthru.map
- add following lines at the end of the file:

# Intel Optane 900P
8086 2700 d3d0 false

- restart hypervisor

jetzt meine Frage gilt das auch für 800P oder Optane 32GB oder sind das andere werte.

Viele Grüße
Jörg
 
2700 ist die Device ID (die gibt einem ESXi ja an) einer 900P.
Eine 800P hat eventuell eine andere.

Die 32G Optane scheint generell nicht zu funktionieren.
Die 900P scheint bei einigen mit dem Eintrag in der passthru.map zu tun.

Als ich es selber kürzlich mit meiner 900P getestet habe, hatte ich aber keinen Erfolg.
 
Meine NAS-Platte verweigert nicht grundsätzlich den Dienst, jedoch meldet sie keine Arbeitsbereitschaft im FreeNAS. Die gesamte Platte wurde als ZFS-Pool formatiert und ins System eingehängt. Nun kann ich auf das Laufwerk nicht mehr zugreifen, da sich die Hardware mit I/O-Fehlern abgemeldet hat. Eine Datenrettung mittels Netzwerkfreigabe ist nicht mehr möglich. Welche anderen Möglichkeiten hätte ich noch?
 
Hallo gea,

danke für die information.

Viele Grüße

Jörg

- - - Updated - - -

Hallo Walki,

die frage wäre eher ob du schon kabel und Kontroller getauscht hast und diese im NAS ohne mirror oder RAIDz z.b. eingerichtet hattest.

Viele Grüße
Jörg
 
Ja und OmniOS 151028.
Ich habe das aber nur kurz getestet und mich nicht weiter damit beschäftigt.
 
@Joerg007: Kabel war mein erster Gedanke. Habe die Platte danach noch auf Ubuntu an meinem anderen Rechner getestet. Selber Fehler. Sehr ärgerlich.
 
Habe ein Fehler gefunden bei den Jobs/Snaps

Das sollte so doch nicht sein wenn ich Stunde 0 ausschließe oder?

Habe die neue nappit free version geupdatet. Oder muss ich erst noch den Server komplett neustarten?
 
Zuletzt bearbeitet:
Ich denke es ist de Cron Syntax gemeint:

h/n = alle n Stunden

In deinem Fall alle 0 Stunden, was vermutlich gleichbedeutend ist mit "jede Stunde"

EDIT: Nein, ich denke du hast Recht, denn alle n Stunden wäre laut Doku every-n.
 
Zuletzt bearbeitet:
Hey zusammen, wahrscheinlich wurde das schon 100 mal gefragt, aber ich habe über die Suche nichts finden können.

Ich bin dabei meinen NAS zu planen. Ich bin mir eigentlich auch sicher, dass ich FreeNAS und damit ZFS einsetzen möchte.

Zu Beginn war der Plan 3x8 TB einzusetzen. Ich habe jedoch immer wieder gelesen, dass der ZFS Pool nicht einfach durch eine weiteren 8 TB erweitert werden kann. Das ist für ein erhebliches Problem. Ist das schlicht komplett unmöglich oder gibt es hier Umwege wie das doch realisiert werden kann.

Angenommen ich stoße an die Grenze werde ich sicher nicht irgendwo 16TB (wenn ich RAID-Z1 verwende) freuen Speicherplatz haben um die Daten zu sichern und anschließend wieder in den größeren Pool zu schreiben.

Ich möchte auch ungern zwei Pools haben und immer wieder überlegen müssen in welchem jetzt meine Daten liegen.
 
Du kannst an einem bestehenden Pool z.B. ein weiteres vdev (z.B. ein Raidz1 oder 2) dranhängen. Der zur Verfügung stehende Speicherplatz erweitert sich dann einfach.
ZFS verteilt den eingehenden Datenstrom dann einfach auf die beiden Raidz. Bestehende Daten werden jedoch nicht umgelagert/verteilt.
Du hast dann quasi das, was bei klassischen Raidleveln dann Raid50 ist: 2 Raid5, die gestriped werden.

Deine Anwendungen werden das über die SMB oder NFS-Shares nicht mal merken; ausser verbesserte I/O-Leistung.
Solche Setups sind durchaus nicht untypisch für ZPools, insbesondere wenn es um viel größere Datenmengen geht. Allerdings macht man das dann nicht mehr mit Raidz1, sondern Z2 oder gar Z3. Je nach Poolgröße.

Nachteil: Fällt eines dieser "Sub-Raid5" (vdev) aus , wird der Pool korrupt.

Alternativ wenn Du weniger Platten aufeinmal hinzufügen willst, kannst auch Mirror-Pärchen (=Raid1) aneinander hängen, also immer 2 Platten hinzufügen. Dann hast Du aber natürlich nur 50% Nettospeicherplatz. Dafür aber mehr Performance bei Random-Zugriffen.
Oder Du kannst später die 8TB-Platten 1:1 durch größere ersetzen, der zusätzliche Speicherplatz steht dann automatisch zur Verfügung wenn alle Platten eines vdev ersetzt sind (sofern autoexpand=yes gesetzt ist).

Btw, ich gebe zu bedenken dass bei Platten dieser Größenordnungen die Resilvering-Zeit (Resilvern = Rebuild) bei starker Belegung im Falle des Falles ziemlich lang sein kann und so ein langer Rebuild kann ziemlich stressig für die verbliebenen Platten sein. Fällt Dir während dieses Vorgangs eine weitere Platte aus: goodbye Daten.

=> ZFS bietet also durchaus verschiedene Möglichkeiten, existente Pools zu erweitern.
 
Zuletzt bearbeitet:
Wenn damit der ganze Pool korrupt wird bedeutet das dass die Daten auch weg sind? Oder ist ein rebuild dann noch möglich?
 
CommanderBond schrieb:
Habe ein Fehler gefunden bei den Jobs/Snaps

Microsoft OneDrive - Access files anywhere. Create docs with free Office Online.

Das sollte so doch nicht sein wenn ich Stunde 0 ausschließe oder?

Habe die neue nappit free version geupdatet. Oder muss ich erst noch den Server komplett neustarten?
Zum Vergrößern anklicken....

Danke für den Hinweis.
Da war noch ein Fehler in der Ausnahmebehandlung

Bei den Jobeinstellungen bedeutet z.B. every/1;2
jeder [Monat,Tag,Stunde,Minute] außer bei 1 oder 2

Ich habe den Fehler in der 18.12 pre3 behoben und hochgeladen.
Bitte in About > Update neu downloaden

- - - Updated - - -

Blackspoded schrieb:
Wenn damit der ganze Pool korrupt wird bedeutet das dass die Daten auch weg sind? Oder ist ein rebuild dann noch möglich?
Zum Vergrößern anklicken....

ZFS baut den Pool als Raid-0 über die vdevs.
Fällt ein vdev aus ist der Pool verloren

Delphix hat die Reparaturoptionen von Open-ZFS allerdings verbessert
Turbocharging ZFS Data Recovery | Delphix

Teilweise kann man daher noch etwas retten.
Dies ist im aktuellen Illumos enthalten, ich vermute mal im aktuellen Free-BSD auch bereits.

Generell sollte man aber die vdevs so anlegen, dass ein vdev Verlust sehr unwahrscheinlich ist, also Z2 oder Z3.
Für den echten Disasterfall (Brand, Diebstahl, massiver Hardwarefehler, oder vdev lost) hat man natürlich auch bei ZFS ein Backup zu haben.
 
Wird der Pool schon bei einer defekten HDD defekt oder entsprechend RAID 5 erst beim Ausfall von 2?
 
Beim Ausfall einer Platte ist der Pool degraded aber man kann normal weiterarbeiten.

Erst wenn mehr Platten ausfallen als es die Redundanz erlaubt (2 Platten bei Z1, drei Platten bei Z2, vier Platten bei Z3) geht der Pool auf offline. Fallt eine Platte aus und kommt später wieder, so geht der Pool wieder auf degraded oder online. ZFS ist da viel problemfreier als Raid-5 oder Raid-6.
 
Das Flashen auf IT-Mode geht einfacher, wenn dein Rechner sowohl per BIOS als auch UEFI starten kann. Lies dir den Flash-Link erstmal komplett durch und dann in Teilabschnitten zu UEFI und zu BIOS. Auf manchen Systemen klappt nur der UEFI- und manchmal nur der BIOS-Weg, also kein Grund zur Besorgnis. Ich hatte es per BIOS gemacht.

Das direkte Flashen von IR auf IT ist mit den aktuellen Tools nicht mehr möglich, das sagt jedenfalls die Bildschirmausgabe auf meinem Dell-Server. Die SAS-Adresse kannst du sowohl mit "megarec/megacli" als auch per "lsi2flash" auslesen und löschen. "megarec/megacli" liefen bei mir weder im UEFI- noch im BIOS-Modus....könnte mit der von mir genutzten Rufus- und der damit auf den Stick aufgespielten FreeDOS-Version zusammen gehangen haben, ist aber egal. DOS unterstützt nur 8.3 Zeichen als Dateinamen+Endung, daher ist "lsi2flsh" korrekt. Leider wirft das Tool, egal welche Version von "lsi2flsh", nur dann eine Syntax aus, wenn es eine LSI-Karte findet...

Hat man eine sehr aktuelle FW samt BIOS auf seinem H200 gehabt, weigert sich der Controller manchmal nach dem Löschen von FW und BIOS diese zu überschreiben bzw zu downgraden, weil dort wesentlich mehr Register beschrieben waren. Auf den Bildern im Link ist die LSI-Version 15 sichtbar, höhere Versionen zeigen sich bereits deutlich weniger kooperativ. Zu jeder FW+BIOS wird jedoch immer auch die passende Version des Flash-Tools mitgeliefert. Mit einem älteren Flashtool eine neuere Version zu schreiben geht meist ebenso wenig wie anders herum. Der Trick bei aktuellerer Dell-FW besteht dann darin, nach dem Löschen zuerst mit einer älteren/versionsniedrigeren Flash-Version (auf dem LSI/Avago/Broadcom-Server liegt immer noch das DOS-Tool samt FW von P7 kombiniert für IT und IR rum, zu finden über "Legacy Products" und durchhangeln nach LSI9211 oder https://docs.broadcom.com/docs/12350520) die IR-Version (IR benötigt mehr Platz im Flash als IT) zu senken und erst im nächsten Schritt in dergleichen Version auf IT umzuflashen. Auch auf dem Dell-Server gibt es verschiedene FW-Stände der "6GBPSAS.fw" sprich der Dell-Version des LSI2008-HBAs, zu finden unter https://downloads.dell.com/FOLDER43913M/1/SASHBA_FRMW_WIN_R294624.EXE. Davon die letzte Version einzuspielen, schadet nichts. Die Kommandos mit "megarec" konnte ich mir wie bereits geschrieben komplett ersparen. Ich habe nach dem Löschen von Dell-BIOS+FW einfach erst das Dell-HBA-BIOS (sas2flsh -o -f 6gbpsas.fw), dann die P7-FW von LSI (sas2flsh -o -f 2118it.bin) und zuletzt aus einem anderen Ordner die P20-FW von LSI (sas2flsh -o -f 2118it.bin) eingespielt. Anschließend schaut man nochmal nach, ob die SAS-Adresse noch stimmt bzw überhaupt vorhanden ist und spielt diese ggf wieder ein. Das ROM "mptsas2.rom" (sas2flsh -o -b mptsas2.rom) dagegen habe ich nicht mehr eingespielt, da der H200-Controller sowieso als HBA direkt an die ZFS-Appliance durchgereicht werden sollte. Wie sich der HBA ohne ROM unter Windows oder Linux verhält, habe ich nicht ausprobiert; Solarish bindet sowohl HBA als auch Platten ein und das reichte mir. Ohne ROM werden jedenfalls weder Controller noch angeschlossene Platten beim System-Start angezeigt, daß spart dann unabhängig von der Plattenanzahl alleine 30 Sekunden.

Das jetzt wieder bzw immer noch die LSI-P19 drauf ist, hängt mit einem Posting von "gea" in einem anderen Forum zusammen. Die erste P20-Version hatte anscheinend noch Probleme mit einigen SSDs, daß wurde aber im April 2016 durch eine fehlerbereinigte P20-Version gelöst.
 
Zuletzt bearbeitet:
ich hab mir bei so nem Holländer auf ebay erst kürzlich 3 Stück H200 gekauft, der bietet die direkt geflashed im IT Mode an... sind auch preislich prima... einfach "Dell H200 IT" eingeben, dann kommt er schon daher

edit: laufen auch problemlos mit FreeNas in voller Bandbreite, hab grad einen in meinem Backuprechner drin... mit Unraid funktionieren sie auch einwandfrei ... die Kühlkörper werden halt extrem heiß bei den Teilen... etwas aktive Kühlung kann hier also nicht schaden
 
Zuletzt bearbeitet:
Prinzipiell ist flashen nicht schwierig
http://www.napp-it.org/doc/downloads/flash_lsi_sas.pdf

Es besteht aber schon ein wenn auch kleines Risiko.
Nach Möglichkeit würde ich auch geflashed kaufen

Grundsätzlich kann man aber auch die Controller mit IR Mode einsetzen. Diese Firmware kann noch Raid 1/10. Da jede Firmware andere Treiber benötigt, nimmt man aber für ZFS gerne die IT Firmware. Deren Treiber sind die ausgereiftesten und da die Firmware fast nichts kann außer Platten bereitstellen ist die auch besonders schnell und fehlerfrei.

Die dritte Firmwarevariante kann Raid-5. Die taugt garnichts da der Controller damit sehr langsam ist. Mangels Cache und BBU auch unsicher. Auch ist die Treiberunterstützung dafür bei Unix (Free-BSD, Solarish) nicht gegeben.
 
Der Kühlkörper ist wirklich sehr klein. Im T110ii beispielsweise liegen die PCIe-Slots neben der komplett verschlossenen Hutze für die Kühlung von CPU und RAM. Kühlung erhält der HBA nur durch normale Konvektion, wenn der oben liegende NT-Lüfter die erwärmte Luft rausbläst...
 
Ich hatte auch ca. 2 Jahre einen LSI3008 mit IR Firmware im Einsatz. Dieser befindet sich onboard. Hatte auch etwas Schiss ihn auf die IT Firmware zu flashen. Irgendwann habe ich es dann einfach gemacht. Das war gar nicht so schwer. Am Ende merke ich nun aber keinen Unterschied zwischen IR und IT Firmware. Wenn du also nur ZFS damit betrieben willst, sehe ich da persönlich keinen Vorteil in der IT Firmware.

Ich hatte mich damals an folgende Anleitung gehalten, auch wenn ich statt Freenas Openmediavault im Eisatz habe:

[How Do] Flashanleitung LSI SAS3008 auf Mainboard Supermicro X11SSH-CTF über integrierte Uefi-Shell | FreeNAS Community

Frohes Fest und viele Grüße Hoppel
 
Mit IT kann der Controller kein Raid und bindet angeschlossene Laufwerke immer einzeln an, also genau was man bei ZFS haben will. Mit IR kann der Controller prinzipiell beides, aber wozu etwas mitschleppen, wenn man das bei ZFS nicht braucht? Auf der anderen Seite funktioniert ZFS auch mit IR, allerdings bekommt dann ZFS keine Rohdaten mehr von den Datenträgern sondern das, was der Controller bereits interpretiert hat. Das muß per se nicht schlecht sein, widerspricht aber dem Konzept von ZFS. Auf der anderen Seite bringen nur die teureren Raidcontroller einen ausreichend flinken Prozessor mit, damit die Paritätsberechnung etc nicht zum Nadelöhr für IO-Übertragung wird. Jede halbwegs moderne CPU bringt dafür mindestens 2 deutlich höhergetaktete Kerne mit, die sich den Großteil der Zeit langweilen. Die Paritätsberechnung fällt dort nebenbei ab.
 
Das ist richtig. Aber es tut auch nicht weh die Raid-Funktionen mitzuschleppen. Man muss eben nur aufpassen, dass man sie in Kombination mit ZFS nicht nutzt. ;)

Wie gesagt, ich sehe keinen Unterschied durch die Nutzung der IT-Firmware im Gegensatz zur IR-Firmware. Ich habe die Raid-Funktionen auch vorher nicht genutzt.

Ich glaube, dass es eher eine Glaubensfrage ist. Wenn ich die Raid-Funktionen sowieso nicht nutze, kann ich berechtigterweise die IT-Firmware flashen. Ich kann aber die IR-Firmware auch ohne die Raid-Funktionen nutzen. ;)

Klärt mich gerne auf, wenn ich hier etwas falsch verstanden habe.

Viele Grüße
 
Frohe Weihnachten euch Allen :xmas:

Neue Technik-Geschenke bringen neue Herausforderungen

Ich stehe nun vor der Herausforderung in meinem ESXi Server mit napp-it Storage VM eine Intel 600p M2 NVME durch eine Intel Optane 900p 280GB zu ersetzen.
Grundsätzlich sollte das machbar sein, allerdings habe ich noch folgende offene Fragen, bevor ich den Umbau morgen starten werde:

Ausgangslage:
ESXi mit 48GB RAM, Xeon E3 v6, Supermicro X11SSL-CF, aktuell 8 aktive VMs
Der ESXi bootet von einem USB Stick
SATA und LSI 3008 Controller sind beide an die napp-it VM durchgereicht. (4 HDD am SATA, 8 SSD am LSI, napp-it hat 16GB RAM)
Die 600p läuft in einem PCIe M.2 Adapter und beherbergt die napp-it VM (40GB vDisk).

Zielzustand:
Optane 900p 280GB ersetzt die 600p/PCIe M.2
napp-it liegt dann auf der Optane
SLOG und L2ARC via ESXi vDisks für napp-it VM zugänglich machen
SLOG für HDD Pool (Daten + BAckup) und SLOG für SDD Pool (ESXi VMs)
Rest der Optane für L2ARC

Meine Fragen dazu:
1. Nach meinem Verständnis benötige ich für jeden Pool eine eigene SLOG vDisk. Bei 2 Pools (HDD und SSD) also 2 x 20GB vdisk. Richtig?
2. Gleiches gilt auch für L2ARC, d.h. je Pool eine L2ARC vDisk. Richtig? (2 x 80GB vdisk für L2ARC für die beiden Pools)
3. Meine aktuelle napp-it VM hat eine Boot vDisk von 40GB, was vermutlich viel zu groß ist und somit wertvollen Optane Speicher vergeudet, denn nur 2 GB sind belegt. Gibt es eine Möglichkeit die OmniOS Partition und zugehörige vDisk zu verkleinern? Ich denke 10GB sollten reichen oder übersehe ich dabei etwas?
4. Ist es richtig, dass ich die entsprechenden vDisks, dann nur noch über "Extend Pool" den Pools zuordnen muss und den entsprechenden Typ (SLOG bzw. L2ARC) auswählen muss und danach funktioniert dann alles wie erwartet? Oder sind weitere Konfigurationen notwendig?

@gea: Gemäß deiner Empfehlung im servethehome Forum:

My suggested AiO setup

- use am USB stick ro boot ESXi
- create a local datastore on an Intel Optane 900P and place the napp-it storage VM onto
- Use an LSI HBA or Sata in pass-through mode for your datadisks

- add a 20 G vdisk on the Optane datastore to the napp-it storage VM and use as Slog for your datapool
- add a vdisk for on L2ARC (around 5 and no more than 10 x size of RAM)
Zum Vergrößern anklicken....

sollte das passen, oder?

Ich würde mich über ein kurzes konstruktives Feedback freuen...
 
1+2: ja, jeweils pro Pool.
3: ich würde erwarten, dass des mit einer Thin-provisioned vdisk fürs Storage-OS kein Problem ist. Dann wird ja nur der benötigte Platz wirklich reserviert.
Btw, für Slog und L2arc vdisks NICHT thin-provisioned nehmen.

PS: der Zielzustand erinnert mich etwas an mein Setup (nur das ichs auf BSD-Basis hab). :xmas:
 
Zuletzt bearbeitet:
Anmelden, um zu antworten.

Ähnliche Themen

G
Wieviel ZFS steckt in Qnap ZFS ??
Antworten
5
Aufrufe
880
gea
G
Shihatsu
ZFS Pool "verschicken"
Antworten
9
Aufrufe
592
sandreas
S
thor17
Ceph Node auf bestehenden ZFS Pools
Antworten
3
Aufrufe
533
gea
G
G
[Übersicht] napp-it cs, Web-GUI für fast jeden ZFS Server oder Servergruppen
4 5 6
Antworten
158
Aufrufe
9K
gea
G
AliManali
*erledigt* Perc H310 flashen
Antworten
2
Aufrufe
309
AliManali
AliManali
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh