[Sammelthread] ZFS Stammtisch

Sobald Du PCIe-SSDs oder genug Netzwerkbandbreite (z.B. 10G oder viel Random Access) willst, ist man definitiv um die Leistung eines kleinen AM4 Ryzen froh.
Richtig ausgewählt/konfiguriert kann AM4 für die geboten Leistung sehr effizient sein. Und recht kostengünstig derzeit nochdazu.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Die Frage wird hier ja oft gestellt. Aber scheinbar eher zu den alten langsamen Modellen mit wenig RAM. Jedenfalls kam mir das bei den Ergebnissen der Sufu so vor.
Hat jemand das schon mit eineem Pi 5 und 8GB RAM versucht?
Ich bin ja der Null-Checker wenn es um ZFS geht, aber mir ist gerade langweilig und einen Pi5/8GB mit 4-Fach NVMe-Head (16TB) wäre doch ganz witzig. So könnte ich ich meinen Horizont erweitern und was lernen.
Oder lieber bei den alteingesessenen Filesystemen bleiben?
Ja klar damals war halt ZFS sozusagen noch neuer auf Linux etc und da war das halt interessant ob man das überhaupt zum Laufen bekommt.

Ich nutze ZFS auf meinem DailyServer einem N6005 - einer auch supersparsamen Mini Intel CPU :d der kann problemlos ein verschlüsseltes ZFS Volume im Netzwerk (mit 2.5 Gbit) lesen und schriebend bereitstellen - bei Stromverbauch auf Raspberry 4/5 Niveau.

Und da kannst ja auch selber Sachen für basteln - glaube das macht einfach mehr Sinn

Ich bin gerade dabei alle meine - alle mit openZFS FreeBSD oder Linux - mit sowas auszustatten - weil so oft schaue ich dann auch nicht nach, ob das ZFS noch ok ist.

Denke so Bastelsachen um ZFS herum machen mehr Sinn als am ZFS selber, seit es openZFS gibt ist die Softwareentwicklung so viel schneller als früher, bis man da selber was dran macht gibt es schon viel besseres Patches - und es ist auch an vielen Stellen so komplex geworden, dass man extrem lange braucht um sich in irgendeinen Teilbereich einzulesen.

Aber "aussenrum" kann man bei ZFS-Servern auch viel machen.

Am ZFS compilier ich halt nur ab und zu neue Versionen aber das supereinfach inzwischen. https://openzfs.github.io/openzfs-docs/Developer Resources/Building ZFS.html

Hat nur den Nachteil das OS kann man dann nicht auf ZFS machen, denn sobald der Kernel ein update bekommt, funktioniert das ZFS evtl erst wieder, wenn es neu kompiliert wurde, weil die selber kompilierten ZFS Module dann nicht mehr zum Kernel passen....
 

Anhänge

  • ANZEIGE_KOMPLETT.jpg
    ANZEIGE_KOMPLETT.jpg
    83,7 KB · Aufrufe: 60
Zuletzt bearbeitet:
Ich bekomme beim napp-it das Monitoring nicht mehr her. Bis auf Job sind alle Einträge wie auf dem Bild gezeigt. Volle Lizenz ist vorhanden und sollte sauber registriert sein.

Ausschalten, Einschalten von MON bringt nichts. Reboot bringt auch nichts. Restart von napp-it ebenfalls ohne Wirkung. Ideen?
 

Anhänge

  • Bildschirmfoto 2024-05-17 um 14.34.36.png
    Bildschirmfoto 2024-05-17 um 14.34.36.png
    5,5 KB · Aufrufe: 37
Sonst würde ich noch schauen ob die Uhrzeit des System passt (lokal, UTC etc .... da gibt es ja immer mal wieder Problemchen) - evtl hat das log-file ein falsches Datum - kannst Du die Fateiattribute des log-files sehen? also Datum etc? Oder wenn man Zugriff hat und sich halt soweit auskennt das log-file verschieben irgendwo hin und dann das neu erzeugen lassen, das sollte ja denke ich mal keine Probleme geben, wenn das nicht da ist - aber man wiess ja nie deshalb ist evtl verschieben besser als löschen :d
 
Da habe ich auch schon gesucht. Die Log-Files habe ich aber noch nicht eineindeutig identifizieren können. Gelöscht hatte ich zwischendurch schon einige :d

date/time kommt vom Proxmox-Server beim Hochfahren der VM und ist ok und in sync. In den Einstellungen via napp-it ist Europe/Berlin als Zeitzone ausgewählt.

Es gibt Tage da funktioniert es. Manchmal nach booten, manchmal nach einem Restart von napp-it. Ich kann da einfach kein Muster erkennen. Aktuell bekomme ich nur noch den Fehler.

Neuestes Proxmox, neuestes OmniOS, neuestes 24.01c napp-it
 
:d :d hehe jo log files löschen würde ich auch denke ich versuchen, aber man weiss ja nie wie gut der andere im OS unterweg ist oder wie kritisch das System ist etc wenn man so was vorschlägt, aber Du kennst Dich da wohl gut aus.

Naja dachte halt weil < 3600s (oder 7200) das doch so die magische Zahl ist das evtl ein UTC / lokale Zeitzonen Problem - aber das wäre vermutlich schon früher aufgefallen bei der Sommerzeitumstellung z.B.
 
Laufen denn die Monitor Dienste. Das sieht man im Startmenü (About) bei Background Agents.

Die Kurzzeitlogs liegen unter /tmp. Die Langzeit logfiles unter /var/web-gui/_log/monitor/
/tmp ist RAM und wird beim reboot ohnehin gelöscht, die anderen mal manuell löschen. Falsches System Datum kann auch Ursache sein.

Mal testweise in ein älteres BE booten ob es da noch geht. Ich hatte schon Fälle wo ein Update Probleme machte. Das kann man so ersehen und ein Update wiederholen.
 
Danke Euch beiden :)

Die MON Dienste laufen, ja.

Zeit:

Code:
root@vmnas:/tmp/nappit# date
17. Mai 2024 um 16:04:06 CEST

und das passt. Stimmt auch mit EUROPE/BERLIN überein.

/tmp habe mal alle logs gelöscht
bis auf Job bleibt alles grau.

nach Restart napp-it dasselbe, Fehlermeldung jetzt "xyz: no log file" ... irgendwie logisch :d


Update:
Background agents - Screenshot

Update 2:
Es ändert sich nichts, wenn ich ACC / MON oben rechts an/ausschalte

Update 3:

Ein reboot mittels "init 6" und das Monitoring springt an. Mh. Ich werde das mal beobachten. Normalerweise stoppe und starte ich über die napp-it Oberfläche. Die backgroundservices sehen auch anders auch. Siehe 2. Screenshot
 

Anhänge

  • Bildschirmfoto 2024-05-17 um 16.09.30.png
    Bildschirmfoto 2024-05-17 um 16.09.30.png
    7 KB · Aufrufe: 31
  • Bildschirmfoto 2024-05-17 um 16.17.45.png
    Bildschirmfoto 2024-05-17 um 16.17.45.png
    13,6 KB · Aufrufe: 31
Zuletzt bearbeitet:
Nur im zweiten Screenshot laufen Monitoring Dienste (background agents): Ohne diese Dienste werden keine neuen Echtzeitdaten für das Monitoring gesammelt.
 
  • Danke
Reaktionen: you
Das ist mir bisher nie aufgefallen.

Hast Du eine Empfehlung, in welches napp-it log ich mal schauen könnte. Ich bekomme beim ersten Starten oft komische Meldungen. Mal schauen, ob das ggf. zusammenhängt. Ich habe nix spannendes gemacht, außer, napp-it mit deinem wget installiert und über die Oberfläche updates gemacht.


Update:

Ich habe jetzt noch mal rumprobiert. Immer dann, wenn ich napp-it stoppe und wieder starte, kommen die background services nicht mit hoch.

Ich habe jetzt einfach /var/web-ui und /etc/init.d/napp-it.. gelöscht und neu installiert. Reboot.

Sowohl der erste Start, als auch start/stop/restart des napp-it services funktionieren ohne Meldungen und alles kommt, inkl. der background services, so hoch, wie es soll. Auch nach einem shutdown und poweroff über die napp-it funktioniert alles.

Ich beobachte das hoffnungsvoll weiter ;)
 
Zuletzt bearbeitet:
Jupp Software repariert man eh immer am besten mit wild Dateien löschen und viel Stromstecker im Betrieb ziehen :) :)
 
  • Haha
Reaktionen: you
So einfach war das gar nicht. Steht in der Doku drin, was man zur Deinstallation machen muss ... so ganz irre bin ich dann doch nicht 😁
 
Im Prinzip gibt es bei napp-it keine Installation sondern nur das Kopieren von Ordnern. Installation=Ordner herunterladen, Deinstallation=Ordner löschen, Update=neueren Ordner kopieren, Downgrade=älteren Ordner nehmen - ganz so wie es früher üblich war als man nicht für jeden Kleinkram eine Registry oder sql Datenbank brauchte und es keine tausend Abhängigkeiten und gemeinsam genutzte dll gab um etwas Platz zu sparen.
 
Zuletzt bearbeitet:
Meine Test-Installation von ZFS auf einem Raspi5 mit Openmediavault läuft ganz vernünftig.
Gigabit wird damit problemlos ausgelastet. Der 2.5Gbit-Adater klemmt auch schon dranne, ich steck ihn aber erst an den 2.5Gbit-Router an seinen Platz wenn fertig. Leider sind die großen SSDs noch in der Post...... danke nochmal für eure Unterstützung.
 

Anhänge

  • IMG_0642.jpeg
    IMG_0642.jpeg
    1,5 MB · Aufrufe: 53
  • IMG_0641.jpeg
    IMG_0641.jpeg
    1,5 MB · Aufrufe: 56
Mein Problem mit dem Monitoring beim napp-it besteht weiter. Egal, welche Version ich nehme (24.01c;24dev v. 09.05.). Die Backgrnd-agents und GUI accel-agents starten nicht. Auch, wenn MON und ACC eingeschaltet sind.

Gibt es noch Ideen? :)

PS: ein shutdown & poweroff über die GUI hat es jetzt geheilt ...
 
Zuletzt bearbeitet:
Das Monitoring schreibt z.B. iostat Ausgaben fortlaufend in eine Log Datei um die dann anzuzeigen. Die Datei wird beim Lesen und Schreiben durch Perl kurz exklusiv geblockt damit beides nacheinander und nicht gleichzeitig stattfindet. Ein Hänger in Schreibprozess könnte die Ursache gewesen sein wenn ein poweroff das beseitigt.
 
Mein Problem mit dem Monitoring beim napp-it besteht weiter. Egal, welche Version ich nehme (24.01c;24dev v. 09.05.). Die Backgrnd-agents und GUI accel-agents starten nicht. Auch, wenn MON und ACC eingeschaltet sind.

Gibt es noch Ideen? :)

PS: ein shutdown & poweroff über die GUI hat es jetzt geheilt ...
Ich hab/hatte das gleiche Problem, nach Update auf die aktuelle Version....

Oben rechts das Monitoring wieder aktiviert und danach gings wieder.
 
Ein Update/Downgrade muss immer alle Hintergrunddienste beenden, sonst ginge das nicht mit einfachem Kopieren der neuen/alten Version.
 
Danke Euch beiden.

Das Ein-/Ausschalten von MON/ACC bringt oftmals nichts. Dann kommen die beiden background services nicht wieder hoch. Ich werde das mal beobachten. Aktuell läuft es.
 
@gea:

Kann ich ACC und MON auch auf der Kommandozeile starten/stoppen?

Ich kriege es einfach nicht stabil ans laufen. Beim reboot komme ich regelmässig nur über HTTP rein. Oben dann Hinweis "cannot chown /tmp/nappit/htm" oder so. Und HTTPS zeigt dann "Service nicht erreichbar". Oft laufen dann aber zumindest die background services. Nicht immer. Wenn ich die GUI dann restarte, geht auch HTTPS wieder, aber spätestens dann sind MON/ACC wirkungslos und off.
 
Ich habe jetzt auch mehrfach die GUI und die Monitordienste neu gestartet und hatte dann auch plötzlich das gleiche Problem.
Ursache ist der Start der Monitordienste mit "at now". Da scheint ab und zu etwas zu klemmen.

Ich starte jetzt die Monitordienste über den taskserver. Damit sollte das Problem behoben sein (24.01 und 24.dev)

nur als Info

Die Monitordienste werden so gestartet (Das & am Ende started die Dienste im Hintergrund)
perl /var/web-gui/data/napp-it/zfsos/_lib/illumos/agents/agent_stat.pl arcstat &
perl /var/web-gui/data/napp-it/zfsos/_lib/illumos/agents/agent_stat.pl iostat_60s &
perl /var/web-gui/data/napp-it/zfsos/_lib/illumos/agents/agent_stat.pl iostat_long &
perl /var/web-gui/data/napp-it/zfsos/_lib/illumos/agents/agent_stat.pl fsstat &
perl /var/web-gui/data/napp-it/zfsos/_lib/illumos/agents/agent_stat.pl nicstat &
perl /var/web-gui/data/napp-it/zfsos/_lib/illumos/agents/agent_stat.pl poolstat &
perl /var/web-gui/data/napp-it/zfsos/_lib/illumos/agents/agent_stat.pl prstat &
perl /var/web-gui/data/napp-it/zfsos/_lib/illumos/agents/agent_stat.pl zilstat &

Gestoppt werden sie per kill

Einen Zusammenhang mit https kann ich im Moment nicht sehen.
 
  • Danke
Reaktionen: you
Das sieht gut aus. Habe jetzt ein paar Tests gemacht, aber die üblichen Verdächtigen haben nicht angeschlagen. Danke @gea !!! :)

Version 24.01d
 
Wenn plötzlich der Strom ausfällt oder der Rechner abstürzt, sollte man sich Gedanken über Datensicherheit machen.. Es geht dabei nicht um das Word Dokument das gerade gesichert werden sollte. Das ist immer defekt und nur Word kann mit tmp Files etwas dagegen unternehmen. Es geht um die Siherheit der anderen Daten die bereits auf der Platte sind, um die Integrität des Datenträgers und um die Sicherheit des Dateisystems auch wie bei ZFS um extrem robuste.

Prinzipiell ist man mit ZFS und Copy on Write auf der sicheren Seite. Dadurch dass ZFS keine Datenblöcke auf der Platte ändert sondern immer neue anlegt und die nur bei vollständigen atomaren Schreibvorgängen statt der alten Datenblöcke aktiviert (Data + Metadaten komplett geschrieben oder ein Raid Stripe auf allen Platten gesichert) sollte ZFS einen Crash beim Schreiben in 99,9999 % der Fälle ohne Probleme überstehen (es gibt immer ein minimales Zeitfenster in dem ein Crash dennoch Schaden anrichtet. Das ist dann aber wie der Dachziegel der einem bei Verlassen des Hauses auf den Kopf fällt- Restrisiko und mit dafür macht man Backups).

Meist denkt man nur an fehlenden ECC RAM wenn man überlegt, wie dennoch Datenverluste auftreten können, die selbst ZFS nicht beherrschen kann. Ein Problem das man oft übersieht ist die Platte selber. Bei mechanischen Platten weiß man dass die einen Schreibcache hat dessen Inhalt verloren gehen könnte. ZFS weiß das auch und kann das handhaben z.B. indem der dektiviert wird. ZFS hat genug eigenen schnellen Cache und braucht den nicht.

Man nutzt jedoch immer häufiger SSD Speicher und da sieht die Sache ganz anders aus. Die benötgen zum Teil einen flüchtigen Cache unabdingbar um überhaupt schnell zu sein. Andereseits muss die Firmware Tabellen führen die auch nicht beschädigt werden dürfen. Ein Crash beim Schreiben kann daher zu Datenverlust bis zu SSD Totalausfall führen. SSD werden da zwar immer besser, dennoch ist powerloss protection bei SSD eine Überlegung wert um ein Risiko zu vermeiden oder sehr gering zu halten.

Ein Artikel dazu
 
  • Danke
Reaktionen: you
Folgendes Szenario:

Dell Poweregde mit Windows Server, darauf laufen 2 Hyper-V Maschinen mit jeweils FreeNas und durchgereichten Platten. Der eine ist der "Access-Server", der andere ist der Backup davon. (Snapshot-Repliaktion).

Ich bin jetzt, für lau, an einen Lenovo 1HE Server gekommen (Intel 7.Gen Xeon, 8GB RAM ECC, 1 Stück 12 TB Platte). Den würde ich gerne als weiteren Backup-Server verwenden. Der soll dann auch in ein anderes Zimmer. Ich würde gerne auch ein anderes System, alles außer Freenas, nehmen, Thema "Zweigleisigkeit".

Geld möchte ich dafür nicht weiter ausgeben, weshlab leider der Kauf einer 2ten Platte raus fällt. (RAM und SSDs fürs OS habe ich noch genug rumfliegen).

ZFS trotz nur einer Platte?
Welches OS / System würdet ihr an meiner Stelle verwenden? Linux-Skills vorhanden.
Erster Gedanke war, Debian, openZFS (oder BTRFS?) und dann via NFS per Cronjob "weg kopieren".
 
ZFS kann eine gewisse Redundanz auch auf einer Platte gewährleisten, wenn man den Parameter "copies=2" setzt. Dann werden eben auch User-Daten (nicht nur Metadaten) doppelt auf der gleichen Disk abgelegt und sollte sich z.B. ein Sektor verabschieden, kann ZFS das auffangen. Ein kompletter Drive-Failure ist damit natürlich immer noch fatal.
 
Wenn man zweigleisig fahren möchte und jetzt FreeNAS unter BSD nutzt, dann sind die Optionen:

1. Linux mit OpenZFS auf Debian, Proxmox, Ubuntu oder TrueNAS (auf Debian Basis)
2. OmniOS (Solaris Fork, OpenZFS kompatibel), punktet vor allem wegen Stabilität, niedrigem Resourcenverbrauch und dem ins OS integrierten SMB Server statt SAMBA
3. Windows mit Open-ZFS (aktuell noch beta), sehr vielversprechend
4. Solaris mit native ZFS (das stabilste und schnellste ZFS, kommerziell, nicht kompaibel zu Open-ZFS), hier also eher weniger geeignet

Auch mit nur einer Platte hat man alle ZFS Vorteile bis auf "Selbstreparatur", außer man nimmt copies=2
Btrfs und ZFS würde ich vermeiden. ZFS kann viel mehr, ist viel stabiler und man hat mit einem schon genug zum lernen und lesen
Sichern der Daten am Besten mit Replikation übers Netz (ssh oder netcat), nicht via NFS Sharing

Wenn man zweigleisig nur wegen der kürzlichen Open-ZFS Probleme unter Linux fahren möchte, dann wäre die beste Option auf dem Backupsystem entweder OmniOS einzusetzen (basiert nicht auf Open-ZFS sondern hat ein eigenes Repository, übernimmt aber von da ausgewählte Features) oder man legt einen Backuppool ohne aktivierte Features an. Das hilft schon etwas.
 
Zuletzt bearbeitet:
3+4 wären raus wegen kommerziell, etc...

Nummer 1 klingt am sympatischsten für mich und war auch so mein Gedanke, aber Nummer 2 klingt auch interessant. Muss ich mich mal dazu einlesen.
Vielen Dank erstmal.

"copies=2" ist notiert, die Platte ist groß genug
 
nur am Rande
Windows 10/11 dürfte fast jeder eh haben.
Das aktuelle Solaris 11.4 cbe kann man frei herunterladen und nichtkommerziell/ privat nutzen

Meine napp-it cs web-gui kann bei allen ZFS managen, FreeNAS/TrueNAS mit Einschränkungen,
(Die mögen es nicht wenn auf der Console was eingestellt wird) inkl. User, Shares, Replikation jeder mit jedem
und Alerts/ Statusmail von allen gemanagten ZFS Servern.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh