[Sammelthread] ZFS Stammtisch

Moin Moin, ich hab noch mal ne Frage zu Napp-It. :-)

Ich habe eine Externe 4TB Platte per USB angeschlossen. Im Terminal seh ich jetzt in Abständen folgende Fehlermeldung:
scsi: Warning: /pci@0,0/pci15ad,790@11/pci15ad,770@1/storage@1/disk@0,0 (sd6)

Und bei den Disk Infos steht: S:0 H:0 T:33
Was heißt das T:33?

Und kommt der Fehler oben, weil die Platte sich evtl in Standby versetzt?
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Soft, Hard und Transfererrors sind iostat Warnungen/Meldungen des Platten Subsystems/Treiber.

Soft Errors sind behebbare Ereignisse die nicht nicht weiter bearbeitet werden können z.B. ein illegal request, letzendlich keinen Lesefehler verursachen, allenfalls die Performance verringern.

Hard Errors sind meist kritische Fehler, z.B. Media Error. Führt zu einem weiteren Leseversuch der erfolgreich sein kann. Wenn sonst kein ZFS Fehlermeldung z.B. too many errors = disk offline dazukommt, geht es auch nur auf die Performance.

Transfer errors deuten auf Kommunikationsprobleme hin (timeout, bus reset etc). Auch das geht auf die Performance. Eine Platte die hinter einem USB Controller (also nicht unter Kontrolle von ZFS) in Standby geht kann sehr gut die Ursache sein.

Insgesamt sind iostat Meldungen ein früher Hinweis auf mögliche Problem. Wenn die plötzlich zunehmen sollte man sich das genauer ansehen. Es gibt aber Hardware oder Software die derartige Fehler im Dutzend produziert ohne dass es ein Problem darstellt (manche Hardware-Raid Controller, Smartmontools Check bei Solaris etc)
 
Ah ok, wie ich es mir schon gedacht hatte.
Aber ist ja jetzt auch nicht sinnvoller den ganzen USB Controller durchzurechnen oder? Nicht das ich den falschen erwische wo der ESXi Stick drin steckt. :-)
Ich kann übrigens auch keinen USB3 Controller fur die Napp-It VM anlegen weil esxi dann meint, die VM könne das nicht.
 
Bis auf die iostat Meldungen sollte eigentlich nichts passieren.
Wenn man es besser/schneller/zuverlässiger haben wollte, würde ich eh einen Anschluss per Sata oder noch besser SAS bevorzugen, also per hotplugfähiger Backplane/Wechselplattengehäuse.
Beitrag automatisch zusammengeführt:

Luckysh0t schrieb:
Da da ja auch "encryption" genannt wird, könnte es ja nun auch da schnell genug laufen..im vgl zu den älteren Versionen.
Zum Vergrößern anklicken....

Ich bin gerade dabei mir die neuen Epyc für meine nächsten Hardwareupdates näher anzusehen und habe im ersten Schritt ein paar Test mit einem Xeon Silver gemacht. Dabei habe ich auch Tests mit OmniOS stable 151034 vs 151036 (mit hardware accelerated Raid-Z) gemacht.

Einen Performancevorteil vom neuen OmniOS 151036 habe ich nicht wirklich gesehen, allenfalls beim Plattenpool mit aktiviertem sync. Überrascht hat mich aber wie schnell Verschlüssellung geworden ist. Kann man für einen 10G Filer wirklich einsetzen sofern man kein sync benötigt. Da bricht es doch heftig ein.

Punkt 8.1 in meinen Manuals https://napp-it.org/manuals
 
Zuletzt bearbeitet:
Ich habe hier zwei EVO 850 SSDs mit 250 GB. Diese haben ein Wearout von 25 %. Macht es Sinn diese mit 2*500 und 2*1000 GB SSDs in einen Striped Mirror zu packen?
 
Ich würde die wohl entsorgen, Restwert unerheblich.
Neupreis einer 250 evo ca 35,--,
 
Entsorgen tue ich die nicht. Die wandern dann eher ins Laptop oder als Boot Disk für den Backupserver.
 
Servus zusammen,

mich würde mal interssieren, wie man am besten unter Solaris HDDs tauscht ggf. auch gegen größere vornimmt.

Das Pool Setup wäre wie folgt:

NAME
hddtank
mirror-0
HDD
HDD
mirror-1
HDD
HDD
mirror-2
HDD
HDD

Da ja jede HDD des Pools sein duplikat hat, wäre es korrekt einfach eine Platte des jeweiligen Pools herauszunehmen, und gegen eine neue ggf. größere zu tauschen.
Danach den Resilver Prozess zu starten, auf beendigung zu warten? Wenn das Resilvern abgeschlosseen ist, die noch verbleibende HDD genau so zu tauschen.

Gibt es hier ggf. weitere wichtige Punkte zu beachten ausser das man die HDDs eindeutig via SN identifizieren sollte vor dem entfernen, das man auch die richtige erwischt?

Der mirror wäre wohl sobald die 2. HDD entfernt wurde degraded. richtig? Hat das Auswirkung auf die Performance im mirror Setup? Kann man ab diesem Zeitpunkt noch auf die ZFS Filesysteme des Pools zugreifen, also sind die SMB Shares noch vorhanden?

Im Anschluss wird dann noch ein Pool expand erforderlich, um die Größe zu erweitern, oder? Was wäre hier zu tun/beachten?

Sollte ich es Angriff nehmen, wäre es bestimmt sinnvoll nur einen Mirror zur gleichen Zeit anzupacken, oder?

Auf erhellende Infos gespannt sag ich schon mal Danke
Grüße

Elektromat
 
Einfach eine Platte aus dem Pool entfernen um sie anschließende gegen eine größere Platte zu tauschen ist keine gute Idee weil der Pool dann degraded ist. Fällt die zweite Platte des jeweiligen Mirrors aus wäre das der Gau, ein verlorener Pool.

Besser die neue Platte zusätzlich anstecken und ein Disk Replace starten. Erst wenn der abgeschlossen ist, die alte Platte entnehmen. Dadurch hat man keinen degraded Pool.

Solange ein Pool nicht offline geht kann man damit arbeiten. Ein Replace/Resilver beeinträchtigt die Performance nur wenig da es weniger Priorität hat als z.B. ein SMB Dateizugriff.,
 
gea schrieb:
Besser die neue Platte zusätzlich anstecken und ein Disk Replace starten. Erst wenn der abgeschlossen ist, die alte Platte entnehmen. Dadurch hat man keinen degraded Pool.
Zum Vergrößern anklicken....

Das hört wesentlich besser an. Man sollte einen funktionellen Pool nicht gefährden. Genug Ports hab ich am Controller auch frei wäre also kein Problem.
So war es doch besser, erst mal nachzufragen. (y) Die neue HDD erst mal flug zu verkabeln und nebendran zu legen solang sie eingebunden wird, wäre ja ausreichend.

Ist es später relevant an welchem Port vom Controller die Platte hängt oder wäre das im grunde egal?

Muss der Pool im Nachgang erweitert werden, oder erfolgt das automatisch mit dem Disk Replace, das diesem Pool dann mehr Speicher zu verfügung steht bei größeren HDDs?
 
Zuletzt bearbeitet:
Elektromat schrieb:
Ist es später relevant an welchem Port vom Controller die Platte hängt oder wäre das im grunde egal?

Muss der Pool im Nachgang erweitert werden, oder erfolgt das automatisch mit dem Disk Replace, das diesem Pool dann mehr Speicher zu verfügung steht bei größeren HDDs?
Zum Vergrößern anklicken....

1. Ist egal an welchen Port du die hängst.

2. Sobald die letzte kleine Platte gegen eine größere ausgetauscht wurde, erweitert sich die Größe des Pools von alleine.
 
Das System merkt sich die Plattennamen aus denen ein Pool besteht. Handelt es sich dabei um portbasierte Plattennamen wie c1t2d0 (zweiter Plattenanschluss am Controller 1) so wird die nicht mehr als Poolmitglied erkannt wenn man sie z.B. an c1t3d0 ansteckt. Der Pool geht dann auf degraded (z.B. c1t2d0 missing). Um das zu beheben muss man den Pool exportieren/importieren weil dabei alle Platten auf ZFS Labels eingelesen werden.

Hat man einen LSI HBA im IT Mode, dann erfolgt die Erkennung der Platten über deren WWN, eine genormte Nummer die der Hersteller vergibt, ähnlich zur Mac Adresse einer Netzwerkkarte. Die bleibt selbst bei einem Wechsel des Servers identisch. Das sind Nummern wie 5000CCA249D5A807d0, davor steht eine Controllerinformation. Die sollte bei aktuellem OmniOS auch bei mehreren HBAs identisch bleiben, z.B. c15t5000CCA249D5A807d0 . Da ist dann ein Portwechsel, sogar ein HBA Wechsel unktitisch. WWN Ist daher immer die beste Lösung. Man muss dabei aber eine Liste der WWN und der Plattenschächte mitführen, entweder manuell oder z.B. über napp-it und Disk > Map. Die WWN ist bei allen SAS und den meisten Sata Platten auch auf dem Plattengehäuse vermerkt.

Mit autoexpand=on sollte die höhere Kapazität eines vdev (und damit des Pools) verfügbar sein, nachdem alle Platten des vdev ersetzt sind. Passiert das mal nicht, dann gehts nach einem Pool export+import.
 
Zuletzt bearbeitet:
Guten Morgen,
ich habe gerade das erste mal ZFS in Verwendung für eine Proxmox-Installation. Nun ist mir aufgefallen, dass aus meinem Spiegelsatz eine Platte als Faulty rausgeflogen ist:

Bildschirmfoto 2020-11-16 um 09.13.14.png


Als Laie stellt sich mir nun die Frage, woran das liegt.
Ist die SSD im Eimer (die ist/war neu), ist das SSD-Modell (Kingston A400) absolut ungeeignet (Ich plane sowieso, das ganze auf meine Intel D3-S4610 zu verschieben) oder hat mein RAM einen Defekt (Sollte ich einen Memtest machen?), oder handelt es sich gar um einen anderen Anwenderfehler? Die SMART-Werte der rausgeflogenen SSD scheinen i.o. zu sein.

Kurze Info zum System:
i3 6100 auf einem Gigabyte MDQ17AI, 16GB DDR4 2400 SO-DIMM, Crucial (non-ECC), 120W FSP-Netzeil und aktuell nur die besagten 2 Kingston SSDs.

Langfristig möchte ich Proxmox sowieso auf meiner Intel D3-S4610 laufen lassen. Mir stellt sich nur die Frage, wie ich das nun am schlauesten Anstelle, mein Gedanke wäre, die einzubauen und erstmal den Mirror damit zu reparieren. Gibt es anschließend Wege, den Mirror gänzlich aufzulösen, also die Daten dann nur auf der Intel zu haben? Oder könnte ich den Pool degraded betreiben (und falls ja, kann es damit zu Problemen kommen, abseits eines Plattenausfalls?) Oder sollte ich das System einfach nochmal neu installieren?

Danke im Voraus :)
 
@mardsis
Entweder hat die SSD selbst ein Problem oder die Verbindung dahin ist gestört. Auf der anderen Seite sind Desktop-SSDs nicht gerade für eine gleichmäßige Schreibperformance bekannt. Die durchschnittliche Latenz bis ein IO wirklich weggeschrieben ist, ist bei Desktop-HW immer deutlich höher gegenüber Serverversionen. Das kann im ungünstigsten Fall schon zum Rauswurf führen.
Auf der anderen Seite werden ausgehend von https://www.ssd-ratgeber.de/kingston-a400-sata-ssd-technische-daten/ selbst bei der 960er SSD nur 300TBW angegeben und ZFS schreibt bedingt durch die zusätzlichen Checksummen etwas mehr wie andere Dateisysteme. Das könnte bei Servereinsatz also schon etwas knapp werden.
 
Dann werde ich wohl wie geplant die ollen Kingston SSDs rausschmeißen, meine Intel D3-S4610 einsetzen und das überbraten. 3PB TBW sind sicher deutlich besser als 180TB. Eigentlich waren die Kingston auch nur drin, weil ich schon mal etwas testen wollte, bevor ich die endgültigen SSDs einsetze. Der Fehler hat mich dann halt etwas stutzig gemacht. Ich werde mir zu ZFS wohl auch noch ein paar mehr Basics anlesen.
 
ich möchte eine meiner SSDs aus dem Mirror tauschen, da diese im Scrub immer fehler auswirft und degraded. Wie mache ich das am besten?
 
Bin neu im Thema ZFS. Eigentlich nehme ich mir schon die Zeit und lese Threads durch. 11.172 Posts ist dann aber doch eine Hausnummer und wahrscheinlich sind viele Infos auch veraltet. :d

Kann / soll ich meine Fragen zu einem konkreten Projekt hier stellen oder einen neuen Thread starten? Wird wahrscheinlich schon etwas umfangreicher. Die Fragen zielen auf best practice zu vorhandenem und noch zu beschaffendem Equipment ab, Verschlüsselung mit ZFS, Performance, Datensicherheit und welche NAS-Distribution für mich am ehesten in Frage kommt.
 
einen schönen Sonntag in die Runde,
ich wollte mich heute daran machen meinen produktiven Pool langsam zu erweitern, nachdem ich den HBA dank der Tipps aus dem Forum erfolgreich getauscht habe.
Der Plan war die alten 2TB WD reds gegen neuere 4TB-Platten nach und nach zu tauschen und schließlich per Autoexpand die neue Größe des Pools zu übernehmen. Leider scheitere ich jetzt aber an diesem Fehler:

cannot replace c0t50014EE20A4A986Cd0 with c0t50014EE2669B2527d0: new device has a different optimal sector size; use the option '-o ashift=N' to override the optimal size

Die Fehlerursache ist mir nach einiger Lektüre klar, nicht aber wie ich das am besten handeln kann.
Ich glaube verstanden zu haben, dass Platten mit unterschiedlicher Sector-size durchaus im gleichen Pool betrieben werden können, sodass mein ursprünglicher Plan auch zur Folge hätte dass die sector-size mit dem Austausch der letzten Platte für den ganzen Pool gelten würde und somit "optimal" würde?
Aber wie bekomme ich es am besten hin, die die Option '-o ashift=N' beim Austausch der Platte zu setzen? Ich bin leider nicht so fit auf der Kommandozeile, dachte aber , dass der ursprüngliche Befehl mit der ashift=12 Option irgendwo gelogged sein könnte und ich diesen abgeändert per Putty absetzen könnte? Wo könnte ich entsprechende Logeinträge finden?
 
Die Sector-Size läßt sich meines Wissens nachträglich nicht mehr ändern ohne den Pool einzureißen. Ich würde daher "tank" per zfs send/receive exportieren, dann in richtiger Sektorgrösse mit den grösseren Platten neu aufsetzen und das Backup wieder importieren.
 
Hallo zusammen,

bin nach langer Zeit endlich mal dazu gekommen meine Daten auf den Solaris zfs filer umzuziehen, dabei aber jetzt auf ein paar Ungereimtheiten gestossen dir mir nicht ganz klar sind.

Zum einen stutze ich über die iostat softerror counter, welche sich mit der Zeit nach oben „schrauben“, offenbar auch gleich verteilt über alle sata Laufwerke. Nach ein bißchen suchen, habe was im Zusammenhang mit smartmontools gefunden welche offenbar bei smartchecks diesen Wert ansteigen lassen? Zudem scheint per default im napp-it ja auch der accelarator für smart aktiv zu sein, welcher dies dann im Hintergrund quasi noch forciert? Ist dem so und letztlich sind diese Werte in dieser Konstellation dann zu „vernachlässigen“?


Ein weiterer Aspekt ist mir beim Schreiben auf ein smb share aufgefallen, hier werden von Win10 Clients aus, nicht wirklich die eigentlich erwarteten Werte von annähernd einer 1Gbit Anbindung (~115MB/s) erreicht. Es schwankt immer wieder mal zwischen 65-115 hin und her. Scheint beim Lesen aber nicht aufzutreten. Auch hier ließ sich was zu einem Problem finden was mit SRU9 gefixt worden seil soll. In dem Zusammenhang wurde ein Parameter

set ip:tcp_reass_max=3000

erwähnt, welcher sich in der /etc/system setzen lassen soll. Aber offenbar wird dieser Wert von GA Version ohne SRU gar nicht unterstützt und beim Start nicht angewendet, da dieser nicht im Modul IP vorhanden ist. Irgendwer noch ne Idee warum es zu der unstabilen Schreibperformance kommt und was man dagegen tun könnte?
 
Softerrors sind meiner begrenzten eigenen Erfahrung damit eigentlich die Vorboten von Problemen. Da der Fehler über alle Laufwerke verteilt ansteigt, würde ich nicht von den Platten und Kabel ausgehen sondern auf etwas grundsätzliches wie Controller oder RAM tippen. Läuft ein Resilver eigentlich fehlerfrei durch?
 
Sanfte Grüße,

kurze Frage zu ZFS mit und Ohne HBA.
Ich kann die Verwendung von einem HBA nur in Verbindung mit ESXI und z.B. napp-it

Wie würde es sich verhalten, wenn ich nur napp-it alone verwende, brauche ich dann zwingend ein HBA? bzw. Ist es möglich , mit ZFS "on Mainboard" zu starten und später, wenn die Platten mehr werden einen HBA einzusetzen? Wird dann ZFS sauber erkannt?

Mein Kenntnisstand ist eigentlich, dass der HBA mir nur ermöglicht die Platten samt durchzureichen und keine weitere Funktion hat....
 
Solange das jeweilige OS passende Treiber hat und auch die jeweiligen Ports sauber erkennt, ist das kein Problem. Der HBA liefert nur einfach mehr Ports.
D.h. einen HBA kannst Du einfach auch so nutzen, um direkt mehr Ports zu haben oder eben in eine VM durchreichen da er eine eigene ID/IOMMU-Gruppe hat.
 
Anmelden, um zu antworten.

Ähnliche Themen

G
Wieviel ZFS steckt in Qnap ZFS ??
Antworten
5
Aufrufe
880
gea
G
Shihatsu
ZFS Pool "verschicken"
Antworten
9
Aufrufe
592
sandreas
S
thor17
Ceph Node auf bestehenden ZFS Pools
Antworten
3
Aufrufe
533
gea
G
G
[Übersicht] napp-it cs, Web-GUI für fast jeden ZFS Server oder Servergruppen
4 5 6
Antworten
158
Aufrufe
9K
gea
G
AliManali
*erledigt* Perc H310 flashen
Antworten
2
Aufrufe
309
AliManali
AliManali
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh