[Sammelthread] ZFS Stammtisch

[Ash1983]

Der Plural von Status ist Status (mit langem U).

Gesendet von meinem Mi A1 mit Tapatalk

 

[morumbinas]

Ich komme leider nicht mehr auf das napp-it Web Interface. Chrome spuckt mir "This site can't be reached" aus (192.168.178.79 refused to connect). Über smb komme ich aber problemlos auf meine Shares.

An was liegt das. Hier noch ein Screenshot von ifconfig -a:


Habe bereits nen restart von napp-it gemacht.

 

[gea]

Das OS läuft auch ohne napp-it (Ist ja nur fürs Management)
wurde denn http://192.168.178.79:81 eingegeben ?

napp-it läuft auf Port 81 mit http oder Port 82 mit https

 

[gea]

Das OS läuft auch ohne napp-it (Ist ja nur fürs Management) -
wurde denn http://192.168.178.79:81 eingegeben ?

napp-it läuft auf Port 81 mit http oder Port 82 mit https

- - - Updated - - -

Berücksichtigt ZFS eigentlich Smart-Stati von Devices? Sprich, was passiert wenn Smart "failed" ausgibt, die SSD aber durchaus noch funktioniert?

Beispiel: Die Samsung Enterprise-SSDs geben bereits "failed" aus, wenn die Powerloss-Kondensatoren ausgefallen sind, der Rest aber normal funktioniert.

ZFS ist Smart egal.
Wenn eine Platte unter ZFS zuviel Fehler hat (Connect oder Checksums) wird sie von ZFS aus dem Pool entfernt, vorher nicht.

 

[morumbinas]

Das OS läuft auch ohne napp-it (Ist ja nur fürs Management)
wurde denn http://192.168.178.79:81 eingegeben ?

napp-it läuft auf Port 81 mit http oder Port 82 mit https

Ja, komme aber weder mit http://192.168.178.79:81 als auch https://192.168.178.79:82 auf das Interface. Ich kann mich nur erinnern, dass ich ein Update von 16 auf 17 eingespielt vor ein paar Tagen. Habe danach nicht mehr getestet, weil die Shares funktioniert haben.

Gibts noch irgendeine Möglichkeit anstatt napp-it neu aufzusetzen??

 

[morumbinas]

edit: doppelt

 

[morumbinas]

Das OS läuft auch ohne napp-it (Ist ja nur fürs Management)
wurde denn http://192.168.178.79:81 eingegeben ?

napp-it läuft auf Port 81 mit http oder Port 82 mit https

Ja, komme aber weder mit http://192.168.178.79:81 als auch https://192.168.178.79:82 auf das Interface. Ich kann mich nur erinnern, dass ich ein Update von 16 auf 17 eingespielt vor ein paar Tagen. Habe danach nicht mehr getestet, weil die Shares funktioniert haben.

Gibts noch irgendeine Möglichkeit anstatt napp-it neu aufzusetzen??

 

[Trambahner]

Ok, verstanden. Nachdem die betroffene SSD nur noch rund 35-40 Mbyte/s schreibt (lt. zpool iostat, auch nach Überprüfung Kabel), muss die selber throtteln. Denn wenn ich sie offline setze, schreibt ihr Mirror wieder mit >400 MB/s. setze ich sie online bin ich wieder bei 40 MB auf dem betroffenen Mirror-vdev.

Die werd ich also ersetzen müssen, denn ein Stripe über 3 Vdev mit einem Vdev davon ohne Mirror: no no no. Na mal schaun, ob der Händler mir die tauscht. Denn Samsung wirds nicht für nen Privatuser und bei Kaufdatum mehr als 6 Monate vorher hängts bottomline an der Kulanz. Also heissts wohl: neue SSD ordern, damit das vdev schnellstens wieder i.o. kommt .

 

[gea]

Ja, komme aber weder mit http://192.168.178.79:81 als auch https://192.168.178.79:82 auf das Interface. Ich kann mich nur erinnern, dass ich ein Update von 16 auf 17 eingespielt vor ein paar Tagen. Habe danach nicht mehr getestet, weil die Shares funktioniert haben.

Gibts noch irgendeine Möglichkeit anstatt napp-it neu aufzusetzen??

Auf der Consoler kann man napp-it via /etc/init.d/napp-it restart starten/neu starten. Eventuell kommt da eine hilfreiche Fehlermeldung. Ansonst einfach den Online Installer via wget neu starten. Eventuelle Einstellungen bleiben erhalten.

 

[Meza100]

Hi zusammen,

ich hätte erstmal eine theoretische Frage zu ZFS (z.B. unter FreeNAS). Wenn ich ein FreeNAS-System aufsetzen würde, so wäre erstmal die Frage, wie viele Platten so als Minimum angesehen würden. Momentan sind 2 Platten im System (2x 3tb). Wenn die Anzahl aufgestockt werden muss, so ist das an sich kein Problem.

Jetzt kommt meine ursprüngliche Frage: Wie verhält sich das ZFS, wenn ich die Anzahl der Platten erweitern möchte? Was müsste erledigt werden, dass das System die Platte einbindet? Ein Freund von mir würde z.B. auch gerne ZFS auf die Beine stellen, jedoch ist für ihn das Erweitern des ZRAIDs (mit einer neuen Platte) ein Dorn im Auge. Er meinte, dass man das komplette RAID (sozusagen) auflösen und nochmal neu aufbauen müsste (somit müssten die Daten erstmal runter und dann wieder rauf). Stimmt das? Wenn ja, gibt es eventuell eine andere Möglichkeit, dass man es nicht machen müsste?

Danke und Grüße,
Stefan

 

[gea]

Ein ZFS Datenpool besteht aus sogenannten "vdevs". Das kann eine einzelne Platte sein, ein Mirror oder Raid-Z. Erweitert wird ein Pool durch Hinzufügen weiterer vdevs.

Besteht der Pool z.B. aus einem Mirror so kann man die Kapazität (und Performance) durch Hinzufügen eines weiteren Mirrors verdoppeln. Den Pool muss man dazu nicht auflösen.

Eine andere Option besteht darin, alle Platten durch größere zu ersetzen (jeweils mit Raid rebuild). Sind alle ersetzt steht die größere Kapazitöt bereit.

Was bisher nicht geht ist z.B. ein ein 3 Platten Raid-Z auf 4 Platten zu erweitern. Das ist aber bei Open-ZFS in Arbeit.

 

[Meza100]

Hi gea,

alles klar, das würde meine Frage sehr gut beantworten. D.h., wenn ich den Datenpool mit anderen Festplatten erweiteren möchte, so geht das nur durch "manuelles" hinzufügen. Ein Automatismus gibt es leider noch nicht. Das wird für mich, in der Zukunft, natürlich nicht hinderlich sein, da ich die Platten nicht oft wechsle bzw. erweitere.

Gibt es essentielle Unterschiede zwischen Btrfs und ZFS? Ist ZFS "sicherer" als Btrfs?

 

[TCM]

Im Vergleich zu ZFS ist BTRFS einfach nur lächerliches Kinderspielzeug. Die kriegen nicht mal RAID5 hin. RAID56 - btrfs Wiki Wenn Linux-Frickler meinen, mal eben ein Filesystem (das tausendste) aus dem Boden zu stampfen und sich dann keine Sau mehr drum kümmert, dann kommt sowas raus.

Edit: Ein Stand bei RAID1 war mal, dass immer nur von einem Teil des Mirrors gelesen wird und man deshalb Datenkorruption ohne Scrub nie erkennen konnte, selbst wenn man alle Daten einmal gelesen hatte. Völliger Humbug dieses FS. Ob das immer noch so ist, kann eigtl. egal sein. Wer sowas als funktionalen Stand überhaupt implementiert, sollte Filesysteme nicht anfassen.

 

[Trambahner]

ZFS ist rockstable auf den richtigen Betriebssystemen und in der Masse "field proven" in Datacenter-Umgebungen.

 

[gea]

Nicht ganz aktuell, aber es hat sich ja seither nicht soviel getan
How ZFS continues to be better than btrfs — Rudd-O.com in English

 

[negotiator]

Im Thread-Verlauf gab es dazu ja bereits verschiedene Postings. Welches Modell ist den gegenwärtig die Empfehlung für Enterprise-SSDs?

Einsatzbereich: Home-Server, daher bitte die "Budget-Variante"
Größe: 1TB +/-
Anschluss: M.2 (PCIe), SATA würde aber auch gehen

 

[Trambahner]

Bei mir sind derzeit SM863 960GB Samsungs im Einsatz, diese Tage wird eine SM883 gleicher Größe ankommen. Beide MLC.

Die PM883 wär die vergleichbare TLC-Variante.

 

[negotiator]

Danke Trambahner.
Aufgrund des vergleichbaren oder sogar besseren Preises macht es bei Neuanschaffung Sinn, auf die SM883 zugehen. Oder gibt es da Nachteile zur 863?

Die SM863 verhält sich bzgl. Trim (oder besser trotz fehlendem Trim) unauffällig, d.h. die Schreibrate bleibt auch nach mehreren Wochen/Monaten Betrieb konstant?
Bei meiner Consumer 970pro ist es leider so, dass nach einigen Wochen Betrieb die Schreibrate auf deutlich unter 100Mbs fällt. Ich würde diese daher ganz gerne vom Server in meine Workstation packen und durch eine Enterprise-SSD ersetzen. Der "Performance-Nachteil" von SATA zu M.2 ist sicherlich vernachlässigbar, oderß

 

[Trambahner]

- Sowohl PM/SM863 als auch PM/SM883 unterstützen Trim, sofern es das OS tut. FreeBSD ZFS tut es. ZoL (und damit Proxmox) bin ich nicht auf dem aktuellen Stand. Trim kann übrigens auch nachteilig sein, denn es erhöht die Latenzen.
- Mit Langzeit-Lastbetrieb kann ich Dir keine Erfahrung bieten, ich lasse normal nicht 24/7 laufen und manchmal ist die Kiste auch mehrere Tage aus. Es gibt aber (wenige) Reviews, die ganz klar die Leistungsfähigkeit gezeigt haben.
- Die SM863 ist der Datacenter-Verwandte der 850pro, die SM883 entsprechend ähnlich der 860pro. Die 863 ist also deutlich älter und End-of-Life; durch den Preisverfall bei Flash in den letzten Quartalen wurde die SM883 deutlich günstiger.
- Du kannst davon ausgehen, dass die Write-Iops mit 25-30k das Worst-Szenario ist, mit kurzzeitiger Last sind die 863er der 850pro sehr ähnlich, kommen also über die knapp 30k hinaus. Sequentiell schaffen sie etwa 5-10% weniger als die 850pro.
- Wenn Du dem Controller mehr Overprovisioning gibts als default eingestellt ist (hab ich getan), dann wirst Du auch längerfristig eher wohl noch oberhalb dieses Durchsatzes sein.

Unter längerer Last werden diese DC-Sata-SSDs beständiger und performanter als eine Consumer NVMe sein, einen realen Performancevegleich Sata<>PCIe müsstest Du mit einer Enterprise-NVMe machen. Wenn Du entsprechende langanhaltende Lasten hast, ist eine 970pro völlig ungeeignet. Dann eher Richtung Intel DC P3700 und Nachfolger schauen. Oder wenn es auf Latenzen ankommt: eine Optane 900/905p oder DC P4800x.


Achtung, Nachteil: Samsung gibt keine Garantie für Endkunden auf die Dinger. Als Endkunde hast Du also maximal die gesetzliche Gewährleistung gegenüber dem Verkäufer. Das könnte mich nun sogar akut betreffen, da bei einer meiner sechs SM863 die Powerloss-Kondensatoren eingegangen sind (lt. Smart-Daten) und das Ding nun auch massiv langsam ist. Daher die 883 als Ersatz.

Sprich, wenn das Ding kommt, wirds meine üblichen Mini-Tests geben, und dann wird die defekte SM863 mittels #zpool replace xx yy gegen die 883 getauscht. ZFS sei dank keine Affäre (womit wir wieder beim Thementitel sind) .

 

[morumbinas]

Auf der Consoler kann man napp-it via /etc/init.d/napp-it restart starten/neu starten. Eventuell kommt da eine hilfreiche Fehlermeldung. Ansonst einfach den Online Installer via wget neu starten. Eventuelle Einstellungen bleiben erhalten.

Habe keine Fehlermeldung bekommen, aber nach wget ging es wieder problemlos!

Vielen Dank!!!

 

[gea]

Habe keine Fehlermeldung bekommen, aber nach wget ging es wieder problemlos!

Vielen Dank!!!

Eine weitere Möglichkeit wären die Bootenvironments von Solarish gewesen.
Das sind bootfähige Snaps mit dem Systemzuständen vor den letzten Änderungen.

Die kann man beim Booten direkt anwählen um einen Stand vor einem der letzten Updates zu booten.

 

[negotiator]

Danke für die ausführliche Antwort, Trambahner!

- Sowohl PM/SM863 als auch PM/SM883 unterstützen Trim, sofern es das OS tut. FreeBSD ZFS tut es. ZoL (und damit Proxmox) bin ich nicht auf dem aktuellen Stand. Trim kann übrigens auch nachteilig sein, denn es erhöht die Latenzen.

Ich bin momentan auf dem aktuellen Omnios-Release. Soweit mir bekannt, gibt es dafür noch keinen Trim-Support. Oder ist mein Kenntnisstand mittlerweile überholt? Wie sieht es bei Solaris selbst aus?

 

[gea]

Solaris kann Trim im Raid.
Bei Illumos kann das NexentaStor. Es gibt aber ein Projekt um das in das allgemeine Illumos (OmniOS,OI) zu übernehmen.

Man kann aber sagen, dass Trim bei einem Server mit konstanter Schreiblast nicht so viel bringt oder bei Enterprise SSD nicht wirklich nötig ist. Neue NVMe wie Intel Optane brauchen gar kein Trim mehr.

 

[Elektromat]

Hallo Zusammen,

ich muss zugeben ich bin noch recht neu am Solaris 11 testen. Hatte nur gesehen, es gab wohl Probleme ursprünglich mit dem Broadcom SAS 9305-24i .
Hat denn zwischenzeitlich schon jemand erfolgreich HDDs über den Broadcom SAS 9305-24i an das Solaris 11 (läuft im ESXi) durchgereicht?
Würde mit dem geanken spielen mir den Controller anzuschaffen sollte es mittlerweile funktionieren.

Bzw. gibt es denn alternativ ähnliche SAS Controller die mit Solaris 11 (im ESXI) laufen?

Danke für eure Infos.

Grüße
Elektromat

 

[me777]

Nabend nochmal,
mein Backup Datengrab meldet sich alle paar Tage mit ner Fehlermeldun/Warnuing:

ZFS has detected an io error:

   eid: 35
 class: io
  host: backup
  time: 2019-04-10 03:00:27+0200
 vtype: disk
 vpath: /dev/mapper/ld-ata-WDC_WD30EFRX-68EUZN0_WD-WCC4N3VPFXRY
 vguid: 0x8720E9A41BE42EB0
 cksum: 0
  read: 0
 write: 0
  pool: backup

SMART sagt bei beiden Platten bei denen es passiert alles OK, auch der Selbsttest.
Aber ein scrub hat auf den 2 Platten jeweils mehrere checksum Fehler gefunden.

	    ld-ata-WDC_WD30EFRX-68EUZN0_WD-WCC4N2UARD0K  ONLINE       0     0    48
	    ld-ata-WDC_WD30EFRX-68EUZN0_WD-WCC4N3VPFXRY  ONLINE       0     0    44

Suche ich hier nach einem Problem den Platten selbst oder ehr Controler oder Kabel?

Danke.

 

[asche77]

Suche ich hier nach einem Problem den Platten selbst oder ehr Controler oder Kabel?

Bei mir lag es damals an fehlerhafter Firmware für den HBA (die frühen Versionen der LSI Firmware v20 hatten Fehler, die mit der 20.0.0.7 (?) dann ausgemerzt waren). Firmware-Update und Kabel wechseln wären wohl die schnellsten und einfachsten Maßnahmen.

 

[me777]

das oben waren nur ausschnitte, ich habe insgesamt 8 von den 3TB (incl der 2 mit den Fehlern) und dann noch 8 4TB;
hmm, das ich debian nutze hätte ich auch noch schreiben sollen. sorry.

der controller sollte es nicht sein, dann müssten ja alle glechen Platten am controller gleichmäßig Fehler machen?

eventuell hängen auch ausgerechenet die 2 direkt per SATA am mainborad. muss ich mal checken.

 

[gea]

Hallo Zusammen,

ich muss zugeben ich bin noch recht neu am Solaris 11 testen. Hatte nur gesehen, es gab wohl Probleme ursprünglich mit dem Broadcom SAS 9305-24i .
Hat denn zwischenzeitlich schon jemand erfolgreich HDDs über den Broadcom SAS 9305-24i an das Solaris 11 (läuft im ESXi) durchgereicht?
Würde mit dem geanken spielen mir den Controller anzuschaffen sollte es mittlerweile funktionieren.

Bzw. gibt es denn alternativ ähnliche SAS Controller die mit Solaris 11 (im ESXI) laufen?

Danke für eure Infos.

Grüße
Elektromat

Mein letzter Wissenstand war, dass es zumindest ohne Subscription/neuere Builds nicht geht.
Unter ESXi geht allenfalls RDM einzelner Platten.

Ich würde den BroadCom 9300 nehmen, gibts halt nicht mit 24 Port. Da brauchts mehrere oder einen Expander (am Besten dann mit SAS Platten).

 

[besterino]

Hab den 9305-24i in einem X11Spi-TF mit Xeon Silver (siehe Signatur).

PCIe-Passthrough des ganzen Controllers an Solaris (11.3 / 11.4) funktionierte bei mir leider nicht. Passthrough der einzelnen Platten funktioniert unauffällig und hab ich jetzt seit einigen Monaten so im Betrieb ohne Probleme.

 

[Elektromat]

Mein letzter Wissenstand war, dass es zumindest ohne Subscription/neuere Builds nicht geht.
Unter ESXi geht allenfalls RDM einzelner Platten.

Ich würde den BroadCom 9300 nehmen, gibts halt nicht mit 24 Port. Da brauchts mehrere oder einen Expander (am Besten dann mit SAS Platten).

Hab den 9305-24i in einem X11Spi-TF mit Xeon Silver (siehe Signatur).

PCIe-Passthrough des ganzen Controllers an Solaris (11.3 / 11.4) funktionierte bei mir leider nicht. Passthrough der einzelnen Platten funktioniert unauffällig und hab ich jetzt seit einigen Monaten so im Betrieb ohne Probleme.

Danke für eure Infos, das bringt mich auf den richtigen Weg.