[Sammelthread] ZFS Stammtisch

Kann man aus Solaris/Napp-it die Temperaturen (CPU, HDD,.. auslesen ?
Was ich so gefunden habe funktioniert wohl nur auf Serverboards bzw allgemein unterstützer HW.

Kann auch ein Programm sein, was eine GUI benötigt, da meiner mit Gnome läuft.

Gruß
Lucky
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ich wollte mal die Experten fragen, ob hier jemand eine gute ZFS-Backup Lösung hat.
Bin vor kurzem von Btrfs auf ZFS / Freenas umgestiegen und hatte davor ein gutes Tool (btrbk) was Snapshots und Backups über send/recv macht.
Snapshots 2x pro Tag. Einmal pro Woche per WoL den Backupserver an und dann über ssh auf den Backupserver

So nun dachte das macht alles Freenas auch alles ohne Handanlegen:
Die Snapshots sind kein Probelm, das geht.
Aber das Incrementelle Backup geht nicht so wie gedacht. Replizierung geht, aber leider nicht nur einmal die Woche und in Kombination mit WoL so gut wie garnicht.

Nach dem querlesen glaube ich ist Zrep auch nicht was ich brauche/will. Hat mit zfsbackup oder zfsnap jemand erfahrung?

Oder gibt es einen Befehl ala "zfs send pool/dataset@neustersnap | ... ", Klar kann ich da ein Scrpit schreiben um rauszufinden welches der neuste snap ist. Aber vll gibts ja auch eine einfache Lösung :-), bzw man muss ja auch nicht immer alles neu erfinden.
 
Kann man aus Solaris/Napp-it die Temperaturen (CPU, HDD,.. auslesen ?
Was ich so gefunden habe funktioniert wohl nur auf Serverboards bzw allgemein unterstützer HW.

Der SMART-Status liefer zumindest für die Platten ne Temperatur. CPU bin ich überfragt.
 
ich würde auf Anhieb auch nur sagen dass das mit ipmi tools/utils geht (auf Serverboards)
 
Hat von Euch jemand die aktuelle Solaris 11.4 Beta im Einsatz? Mir klatscht nach einer Neuinstallation ständig die VM. In der Kernel panic Message ist die Rede von smbclnt2, also vermutlich der Client, um auf SMB Shares anderer Maschinen zuzugreifen. Zwingend nötig ist der Client für mich nicht und ich teste gerade, ob die VM mit deaktiviertem smb/client2 durchläuft.

Im Beta Forum von Oracle habe ich die Nachrichten gepostet: enabled smbclnt2 causes kernel panic |Oracle Community

Hat jemand von Euch Ideen, was ich noch testen könnte? Der einzige Unterschied, der mir noch einfällt, ist, dass ich bei der alten Beta lokale Benutzer hatte und die neue Beta über napp-it einem AD hinzugefügt habe. Die Dateirechte stehen aber noch auf den alten GIDs und UIDs.

Viele Grüße
Martin
 
Benötigt ZFS mehr Takt/IPC oder Cores?

Überlege meinen Opteron 3280 als Fileserver zu nutzen und frage mich, ob ich da nicht total ins CPU-Limit komme bei 10Gbit?
 
Weder noch: RAM.
 
Habe aktuell 24GB ECC verbaut. Sollte eigentlich reichen für die paar TB.
 
Also RAM ist wichtiger als CPU?
Ich spiele mit dem Gedanken ein SAN aus 6-12 SSDs für meine Workstation im ZFS-Raid"10" in naher Zukunft aufzubauen und per 10Gbit anzuschließen. Was sollte man da als CPU nehmen? Reicht ein A4-4000?
 
Prinzipiell sind die zusätzlichen RAM-Anforderungen von ZFS minimal. Ein 64bit OS läuft mit (oder ohne) ZFS stabil mit 2 GB RAM. Da ZFS aber den RAM als Schreib-/Lesecache nutzt läßt sich damit vor allem bei langsameren Platten ein teils riesiger Performanceschub erreichen.

Bei der CPU ist tendenziell Takt wichtiger als Cores. Auch wenn ZFS hier keine besonderen Ansprüche stellt, so ist es dennoch so daß ein High-Performance Filer (Stichwort 6-12 SSD) ohne eine angemessene CPU Leistung nicht den erhofften Durchsatz bringen kann.

Zusätzlich ist ein Blick auf das OS sinnvoll. Bei ZFS auf Unix (BSD, Solarish) ist eine bessere Unterstützung der Intel Serverchipsätze/ Onboard Sata zu erwarten als dies bei AMD der Fall ist. Ich würde mir auch überlegen ob ECC RAM nicht sinnvoll wäre. Viel Geld in schnelle SSDs zu investieren und bei Board, CPU und RAM übermäßig zu sparen ist auch nicht soo sinnvoll.

Ich würde mir auch eher einen Raid-Z2 SSD Pool mit weniger SSDs überlegen. Raid-10 hat nur bei iops Vorteile und das haben SSDs fast im Überfluss. Falls man sicheres Schreiben (sync write) benötigt macht auch bei SSD only Pools eine Intel Optane 800P/900P/4800X als Slog Sinn (schneller und zumindest hoffentlich ordentliche Powerloss Protection), siehe Intel Optane (32G/800P/900P) for ZFS pools and Slog on Solaris and OmniOS | ServeTheHome and ServeThe.Biz Forums
 
Zuletzt bearbeitet:
Danke dir für deine Einschätzung :)

naja es ist und bleibt ein Hobby, dem ich gerne einen sinnvollen Nutzen gebe. Die wichtigen Daten (Nextcloud etc) haben ECC-Ram zur Verfügung. Sonst reicht mir da eigentlich "Consumergrade" Hardware aus. Vielleicht wird es ein gebrauchter R210 II, sonst irgendwas in Richtung Pentium oder Ryzen 3. Schön wäre irgendwas mit DDR3-SODIMM, da hätte ich noch 8GB übrig.

Raid-Z2 - hat man da auch mehr Speicherplatz zur Verfügung? Da benötigt man mind. 5 SSDs, richtig?

Wichtig ist mir, dass die 10Gbit ausgenutzt werden können. Das Dateiprotokoll wird dann entweder SMB oder NFS sein.
 
Raid-Z2 - hat man da auch mehr Speicherplatz zur Verfügung? Da benötigt man mind. 5 SSDs, richtig?
Wichtig ist mir, dass die 10Gbit ausgenutzt werden können. Das Dateiprotokoll wird dann entweder SMB oder NFS sein.

Z2 geht ab 4 Platten. Man nimmt es üblicherweise zwischen ca 6 und 12 Platten. Bei Z2 sind immer 2 Platten Redundanz (die dürfen ohne Datenverlust kaputtgehen)

10 Gbit bringt bei sequentieller Last ohne Tuning ca 300-400 MB/s, mit Tuning bis ca 1000 MB/s. Eine Festplatte liegt bei ca 200 MB/s, eine gute SSD bei 400 MB/s. Im Raid Z2 skaliert die sequentielle Performance mit der Anzahl der Datenplatten. Sequentiell ist es sehr einfach 10G auszulasten (4 Platten oder 2 SSDs).

Anders sieht es bei wahlfreiem Zugriff auf kleine Dateien aus. Da bricht eine Festplatte gerne auf ein Bruchteil der Leistung ein. Da hat dann die SSD Vorteile. Wenn man dann noch sicheres Schreiben benötigt, so landen selbst gute Enterprise SSDs gerne mal unter 40 MB/s. Erst die Intel Optane als Pool SSD oder als Slog schafft dann 10G Performance.

siehe
http://napp-it.org/doc/downloads/optane_slog_pool_performane.pdf
SSD performance - issues again | ServeTheHome and ServeThe.Biz Forums
 
danke für die Links, die lese ich mir mal durch

wie gesagt, sicheres Schreiben ist da nicht notwendig. Prinzipiell würde auch ein Raid0 gehen, das ist mir dann aber doch ein wenig zu riskant bzw zu aufwendig das neu aufzubauen.

was für ein tuning würde denn Sinn machen?

Ich denke mal sync=disabled z.B.?
 
Ich denke mal sync=disabled z.B.?

Ja, dazu eventuell atime=off und compress=lz4

Dann auf Windows nach neuesten Treibern schauen und im Treiber interrupt throtteling=off

Je nach OS eventuell tcp und NFS Puffer vergrößern

Eventuell Jumboframes versuchen
 
Der Bug ist bekannt und die Ursache gefunden. Details sowie ein evtl. möglicher Workaround fehlen mir mangels Zugriff auf das Oracle Bugtracking noch.

Daher kann ich vorerst nur raten, auf das nächste Release zu warten.
Nachdem weitere Nachfragen im Oracle Forum unbeantwortet bleiben: hat von Euch jemand über die Firma einen Account zum Bugtracker und kann mehr dazu sagen? Mangels Rückmeldung dort bin ich tatsächlich versucht,die alte Beta zu installieren, meinen Pool neu aufzusetzen und alle Daten zu migrieren.
 
• Wie sieht’s mit der Lautstärke aus? Hört man irgendeine Art Festplattengeklacker?

Ich habe die 12 TB Version, und die ist nicht leise, bei Zugriffen.Würde sagen, dass sie fast auf niveau der alten WD Raptor ist, wenn dir das was sagt.

Habe mich nun übrigens doch gegen die 10TB bzw. 12TB Seagate Ironwolf entschieden, da ich mit den vorhandenen 8x 4TB WD Red bisher nur gute Erfahrungen gesammelt habe. Wichtig ist mir eine geringe Lautstärke und ein guter Support im Fehlerfall. Beides habe ich bei den WD Red definitiv. Von der Performance her liegt die Seagte Ironwolf wohl klar vor der WD Red, was wohl hauptsächlich an der Geschwindigkeit (7.200<->5.400U/min) liegt. Heute sind die ersten 3 WD Red angekommen. Ich werde nun so nach und nach die vorhandenen 4TB Platten in meinem Raid-Z2-Pool durch die neuen 10TB-Modelle ersetzen.

Da der gesamte Vorgang einiges an Zeit in Anspruch nehmen wird, habe ich mir folgende Vorgehensweise überlegt:

  1. 3 Platten bei einem Händler des Vertrauens bestellen
  2. alle 3 Platten nacheinander einem Error Scan unterziehen (ich will beim Resilvern nur ungern festellen müssen, dass eine Platte defekt ist)
  3. sobald ein Error Scan einer Platte abgeschlossen ist, wird sie in meinen Pool resilvered
  4. wenn 2 Platten der ersten Bestellung resilvered sind, werde ich die nächste Bestellung von 3 Platten bei einem anderen Händler des Vertrauens auslösen
  5. dann gleiches Vorgehen wie zuvor
  6. wenn 2 Platten der zweiten Bestellung resilvered sind, werde ich die nächste und letzte Bestellung 2 weiterer Platten bei einem dritten Händler des Vertrauens auslösen
  7. dann wieder gleiches Vorgehen, bis alle Platten ersetzt wurden

Ich denke, dass das Vorhaben ein paar Wochen dauern wird. Ich habe ja auch nicht immer Zeit, wenn ein Task abgeschlossen ist, gleich den nächsten anzuschieben.

Durch die Bestellungen bei verschiedenen Händlern erhoffe ich mir Platten aus unterschiedlich Produktionszyklen zu erhalten, um die Möglichkeit eines Ausfalls mehrerer Platten gleichzeitig zu verringern. Die ersten drei Platten waren nun alle vom gleichen Produktionsdatum. Ich vertraue da Mal auf die gute Erfahrung mit WD. Außerdem verteilt sich die Investition über ein paar Wochen. Das tut nicht ganz so weh, als wenn alles gleichzeitig zu bezahlen wäre. ;)

Ansonsten werde ich das Resilvering pro Platte wie folgt angehen:

  1. Server herunterfahren
  2. neue Festplatte an einen freien Sata-Port anschließen
  3. Server hochfahren
  4. mit "ls -la /dev/disk/by-id/ata-WDC*" die IDs der zu ersetzenden Festplatte und der neuen Festplatte ermitteln
  5. dann mit "zpool replace mediatank /dev/disk/by-id/alte-Platte /dev/disk/by-id/neue-Platte" das Resilvering anstoßen
  6. wenn das soweit geklappt hat, kann mit "„zpool status" das Resilvering verfolgt werden
  7. Server herunterfahren
  8. alte Festplatte ausbauen, neue Festplatte an den Platz der alten setzen
  9. die nächste neue Festplatte an einen freien Sata-Port anschließén
  10. Server hochfahren
  11. Vorgang wiederholen, bis alle ersetzt wurden

Um die Ausfallwahrscheinlichkeit beim Resilvern zu verringern, werde ich die neue Platte immer an einen freien Sata-Port meines Mainboards anschließen und erst wenn der Vorgang erfolgreich abgeschlossen wurde, die neue Platte an den Platz der alten Platte setzen.

Habe ich es richtig verstanden, dass sich der Speicherplatz automatisch mit dem Abschluss des letzten Resilverings der 8. Festplatte erhöht oder muss ich da noch irgendwas machen?

Was haltet ihr von der Vorgehensweise? Gibt's noch irgendwas anderes zu beachten?

Danke schonmal und Gruß Hoppel
 
Zuletzt bearbeitet:
Sofern Du den Pool auf autoexpand=on gestellt hast.

Btw, mir würde dieses x-fache Resilvern aufn Keks gehen (geht ja auch ggf. ordentlich auf die Platten) und einfach mit den neuen Platten einen neuen Pool erstellen und per ZFS send/receive die Daten "rüberschubsen". Setzt natürlich genug Anschlüsse bzw. eine zweite Maschine voraus. Das geht um vielfaches schneller; insbesondere wenn es innerhalb einer Maschine ist oder 10Gbit zwischen Maschine1 und 2 verfügbar ist.
 
Zuletzt bearbeitet:
Ja, da hast du Recht. Habe da auch nicht wirklich Lust drauf. Leider habe ich hier bei mir zu Hause keinen zweiten Rechner mit 8 freien SATA-Anschlüssen und mein Server ist dafür auch nicht geeignet. Ich habe lediglich noch 4 freie Sata-Ports und keinen freien 3,5"-HDD-Slot. Auch wenn man die zusätzlichen Festplatten irgendwie außerhalb lagern könnte, denke ich, dass ich dann auch noch ein anderes Netzteil im Server benötigen würde.

Darüber habe ich mir natürlich auch schon Gedanken gemacht, aber extra ein neues Netzteil und einen HBA kaufen? Kann man machen, muss man aber nicht. ;) Ich starte jetzt erstmal so. Die erste Platte wird bereits resilvered.

Danke für den TIP "autoexpand=on". Das habe ich direkt mal gemacht.

Ich sehe mit zpool status allerdings keine zufrieden stellende performance:

Code:
root@omv4:~# zpool status
  pool: mediatank
 state: ONLINE
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Thu May 31 08:51:13 2018
        1,65M scanned out of 22,2T at 1,65M/s, (scan is slow, no estimated time)
        0B resilvered, 0,00% done

Die freien Sata-Ports sind alle direkt am Mainboard während alle zfs Platten an einem zusätzlich Onboard-SAS-Controller (LSI-SAS3008) hängen. Beim letzten Resilvering, als eine Platte defekte Sektoren hatte, hatte ich die defekte Platte direkt entfernt und die neue Platte an den richtigen Platz am LSI3008 gesetzt. Da hat das Resilvering knappe 14h gedauert. Momentan sehe ich mit "zpool status" immer wieder Werte um die 350Stunden oder "scan is slow".

Hat da noch jemand eine Idee zu? Hängt das mit den unterschiedlichen Controllern zusammen?

Wenn ja, kann man das Resilvering abbrechen? Denn dann würde ich die zu ersetzende Platte direkt entfernen und die neue Platte auch direkt am LSI3008 anschließen.

15 Tage resilvern, nein danke. ;)

Danke und Gruß Hoppel
 
Zuletzt bearbeitet:
OK, liegt an den unterschiedlichen Controllern. Nach knappen 3h sollte es immer noch 370 Stunden dauern und 0,00% abgeschlossen.

Ich habe den Resilver-Vorgang mit folgendem Befehl abgebrochen:

Code:
zpool detach mediatank /dev/disk/by-id/neue-Platte

Dann kurz mit "zpool status" geprüft, was mein Pool dazu sagt. Alles in Ordnung, als wäre nichts gewesen. Dann habe ich den Server heruntergefahren, die zu ersetzende Platte entfernt und die neue Platte an den Platz der alten am LSI 3008 gehängt. Danach habe ich dann das Resilvering wieder mit demselben Befehl wie heute morgen gestartet:

Code:
zpool replace mediatank /dev/disk/by-id/alte-Platte /dev/disk/by-id/neue-Platte

Dann nochmal kurz mit "zpool status" geprüft, was Sache ist. Das gefällt mir schon besser, innerhalb von ein paar Minuten schon 0,45% abgeschlossen:

Code:
root@omv4:~# zpool status
  pool: mediatank
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Thu May 31 12:15:43 2018
        103G scanned out of 22,2T at 267M/s, 24h8m to go
        12,5G resilvered, 0,45% done

Mal sehen, wie lange das Resilvering nachher wirklich dauert. Momentan reduziert sich die Zeit noch stetig.

Ich muss sagen, ZFS ist wirklich eine feine Sache. Die Dokumentation dazu ist auch wirklich hervorragend!

Danke für eure Unterstützung! ;)

Gruß Hoppel
 
Zuletzt bearbeitet:
OmniOS.png

Wie bekomme ich das weg bzw. was genau ist das Problem?
dladm show-link sagt mir, dass die Netzwerkkarte den Status UP hat. Nameserver habe ich auch getestet bzw. geändert, hat aber auch nix gebracht...
Wenn ich die URL normal in einem Browser eingebe, dann geht auch die Seite auf.

Hab vor meinem Urlaub auf die neue Stable geupdatet und da ging noch alles. Jetzt nach eineinhalb Wochen die Kiste wieder angemacht und ich bekomme diesen Fehler.

Danke für eure Ideen!
 
Ein Netzwerkproblem
Vermutlich Gateway, default route oder DNS

vermutlich wird daher auch ein Ping auf diese Adresse scheitern.
Was passiert denn bei einem ping 8.8.8.8 (Google DNS)
 
ping 8.8.8.8 bringt nur
ping: Sendto No route to host

nslookup google.de bringt nur einen Timeout. Kein Server erreichbar

Also netzwerkkarte entfernen und neu hinzufügen?

ipadm delete-if und ein anschließendes create-if hat geholfen.
Danke!
 
Zuletzt bearbeitet:
Und zurück. Nach einem Neustart habe ich dasselbe Problem wie zuvor... Ich muss ein create-addr machen, damit es wieder geht. Der Befehl müsste es doch persistent speichern oder?
 
Hmm, dann müsste es persistent sein. Hab nach deinem PDF -T verwendet. Aber dann schau ich später mal was ein show-addr -o ALL zurück liefert.
 
Moin zusammen,

vielleicht kann mir jemand helfen wie ich es am besten lösen kann.Ich habe einen ESXI 6.5 am laufen und darauf die fertige OS lösung von napp-it.

Läuft alles klasse, nur würde ich gerne im falls das der Strom ausgeht, dass das komplette System ab schaltet, sobald die USV entsprechendes meldet.

die mache ich das am besten ist eine usb usv von aps.

vielen dank vorab
 
Entweder apcupsd auf dem ESXi ans laufen kriegen oder wie im HowTo in meiner Signatur zu einer apcupsd-VM.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh