[Sammelthread] ZFS Stammtisch

[ludwinator]

Hast du ne halbwegs frische Version von Capture One?
Ich kann mich erinnern, das die Version 9 über Netzwerkshares Probleme hatte, bei Version 10 sieht das viel besser aus.
Ansonsten kann ich empfehlen, per Wireshark einen Mitschnitt auf dem Windows Rechner mitlaufen zu lassen, evtl. gibt's ein Problem mit SMB

cu

 

[mros]

Es ist die allerneuste Version von Capture One. Mit Wireshark kann ich es heute Abend mal beobachten.
Wie gesagt, es ist nur da so komisch (+ das was vor der Domäne war). Man sieht ja auch bei Procmon das da was abnormal lange dauert.

Und auch dir danke gea. Ich probiere es heute Abend aus und gebe Rückmeldung!

Danke schon mal für den Input.

 

[CommanderBond]

Ich habe noch 2 SSDs über 256GB jede und Frage mich was ich damit am besten mache, meine Ideen:

Meinen Mirror Pool aus 2x3TB HDDs erweitern, L2ARC oder ZIL oder beides?
Oder nen weiteren Mirror Pool und darauf dann so die wichtigsten Sachen verschieben die man oft benötigt?
Oder Verkaufen?
Was mich manchmal stört ist dass die HDDs im SpinDown sind und man dann immer erst warten muss. Wenn man nur mal grad nen paar Bilder oder ne PDF vom Server braucht ist das nervig. Auf SpinDown verzichten möchte ich aber auch nicht für die HDDs

 

[mros]

So, ich habe probiert und SMBv1 geht gut und wenn man die Oplocks ausschaltet. Bedingt sich ja aber vielleicht auch denn in SMBv1 gab es ja keine Oplocks.
Ich würde es jetzt so machen dass ich die Oplocks aus lasse und SMBv2.1 nutze - oder gibt es da irgendwelche Bedenken? Ich habe leider nicht so ganz genau verstanden was die machen. Entstehen mir da irgendwelche gravierenden Nachteile?
nbmand bringt nichts - ist bei mir aber auf on?! (Kann mich nicht mehr aktiv dran erinnern das an gemacht zu haben - es gibt auf dem Filesystem kein NFS Share, sollte aber egal sein, oder?)

Im Wireshark hab ich jetzt nicht wirklich differenzieren können an welcher Stelle er hängt. Da hätte ich aber bestimmt mit ein wenig mehr Einsatz was gefunden. Aber so geht es ja.

Danke auf alle Fälle schon mal. Das hätte ich definitv nicht gefunden.

 

[ludwinator]

ZIL solltest du nur auf Enterprise SSDs machen, die Frage ist allerdings, ob du überhaupt sync writes hast.
L2ARC bringt meistens nicht viel, hängt davon ab, was du an RAM hast.
Die Frage ist, nach welchen Kriterien willst du Daten auf die SSDs schieben? 250GB is nicht grade viel...

cu

 

[CommanderBond]

Wenn ich Multimediadateien abziehe bleibt net viel übrig, von daher würden dir 250GB schon reichen. Dass L2ARC bei mir net viel bringt habe ich mir schon fast gemacht. Ich habe einmal nen großen Pool mit Filmen, sprich son Film guckt man einmal, und dann vielleicht nie mehr oder erst nach nem Jahr nochmal. Und bei Dokumenten und so würde es warscheinlich auch nur dann was bringen wenn ich immer dieselben Dateien öffne. Sprich wenn ich Daten lesen will die ich nen Jahr net angerührt habe wäre es ja dennoch nur HDD speed. Daher die Frage eben auf SSDs zu speichern.
Ich denke L2ARC macht primär Sinn bei VM oder bei anderen Daten womit man immer zu tun hat

 

[MisterY]

Eine Frage an die ZFS-Gurus: ich habe aktuell drei 1TB Hdds in einem raidz1. Soweit alles gut. Aber was ist, wenn ich erweitern will? Dass man keine HDD hinzufügen kann sondern nur ersetzen, weiß ich. Aber man kann doch einem bestehenden Pool einen weiteren Raidz Verbund hinzufügen, richtig?
Wenn ja, macht es Sinn hier auch auf raidz1 zu setzen?
Und wie macht man das?

Achja: ist es normal, dass ein ZFS Pool periodisch sich selbst überprüft/scrubt?

 

[ludwinator]

Eine Frage an die ZFS-Gurus: ich habe aktuell drei 1TB Hdds in einem raidz1. Soweit alles gut. Aber was ist, wenn ich erweitern will? Dass man keine HDD hinzufügen kann sondern nur ersetzen, weiß ich. Aber man kann doch einem bestehenden Pool einen weiteren Raidz Verbund hinzufügen, richtig?

ja

Wenn ja, macht es Sinn hier auch auf raidz1 zu setzen?

ja

Und wie macht man das?

zpool add "alter Pool" raidz neuedisk1 neuedisk2 neuedisk3 ...
Bedenke: beim schreiben wird ZFS dann neue Daten über beide RaidZ verteilen, aber die alten bleiben da wo sie sind. Wenn dann mal das alte RaidZ voll ist, wird nur noch auf das Neue geschrieben. Klar oder?

Achja: ist es normal, dass ein ZFS Pool periodisch sich selbst überprüft/scrubt?

Das ist gut so, aber das tut es nicht von alleine, da läuft wohl ein Cron Job.


cu

 

[gea]

Ich denke L2ARC macht primär Sinn bei VM oder bei anderen Daten womit man immer zu tun hat

L2Arc macht Sinn wenn der RAM relativ klein ist (damit schlechte Cache-Hitrate), insbesondere bei Pools mit wenig iops. Ausserdem kann man beim L2Arc Read-Ahead aktivieren. Das kann bei sequentiellen Daten deutlich mehr Performance bringen (z.B. Multi-User Videoserver)

 

[ludwinator]

L2Arc macht Sinn wenn der RAM relativ klein ist (damit schlechte Cache-Hitrate), insbesondere bei Pools mit wenig iops. Ausserdem kann man beim L2Arc Read-Ahead aktivieren. Das kann bei sequentiellen Daten deutlich mehr Performance bringen (z.B. Multi-User Videoserver)

du meinst l2arc_noprefetch ?

Erfahrungen damit?

cu

 

[budachst]

Moin,

ich liebäugele mit einem neuen System, welches meinen alten N40L ersetzen soll. Da ich vorhabe auf diesem System napp-it All-in-one einzusetzen, wollt eich mal fragen, ob schonb jemand mit diesem System Erfahrungen hat und mir sagen kann, ob das eine gute Wahl ist. Es handelt sich um folgendes Supoermicro-Equipment: Board X10SDV-4C-TLN2F, Case SC721TQ-250B

Lässt sich damit was anfangen, auch wenn man keinen dedizierten HBA hat?

 

[xymos]

So, ich habe probiert und SMBv1 geht gut und wenn man die Oplocks ausschaltet. Bedingt sich ja aber vielleicht auch denn in SMBv1 gab es ja keine Oplocks.
Ich würde es jetzt so machen dass ich die Oplocks aus lasse und SMBv2.1 nutze - oder gibt es da irgendwelche Bedenken? Ich habe leider nicht so ganz genau verstanden was die machen. Entstehen mir da irgendwelche gravierenden Nachteile?
nbmand bringt nichts - ist bei mir aber auf on?! (Kann mich nicht mehr aktiv dran erinnern das an gemacht zu haben - es gibt auf dem Filesystem kein NFS Share, sollte aber egal sein, oder?)

Im Wireshark hab ich jetzt nicht wirklich differenzieren können an welcher Stelle er hängt. Da hätte ich aber bestimmt mit ein wenig mehr Einsatz was gefunden. Aber so geht es ja.

Danke auf alle Fälle schon mal. Das hätte ich definitv nicht gefunden.

Zum Thema Oplocks:

Leases als Oplock-Nachfahre | c't Magazin

 

[besterino]

@budachst: damit hast Du eine sehr komfortable Basis. Wenn Du aber ein Napp-It ESXi all-in-one einsetzen willst, brauchst Du konzeptionell einen HBA (siehe napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana, Solaris and Linux ownloads). Den kannst Du Dir aber auch gebraucht kaufen, hast ja noch einen PCIe-Slot frei.

 

[MisterY]

@ludwinator: danke dir

wie viele HDDs dürfen denn bei 2*Raidz1 ausfallen? Auch nur eine oder zwei?

 

[ludwinator]

in jedem Raidz1 darf eine ausfallen.

cu

 

[budachst]

@budachst: damit hast Du eine sehr komfortable Basis. Wenn Du aber ein Napp-It ESXi all-in-one einsetzen willst, brauchst Du konzeptionell einen HBA (siehe napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana, Solaris and Linux ownloads). Den kannst Du Dir aber auch gebraucht kaufen, hast ja noch einen PCIe-Slot frei.

Schade… ich hatte gehofft, dass man vielleicht den onboard Controller dafür verwenden könnte… mal sehen. Aber es stimmt schon, die LSI 2008i sind nicht soo teuer…

 

[hwluxforum]

kurze frage/Einwurf zu napp-it/Solaris: scheinbar wird auf ESXi dort ja im Moment nur LSI parallel controller untersützt. Irgendwas für den Paravirtual Adapter in Sicht?`Ich denke gerade bei Storage müsste der doch evtl. besonders interessant sein?

 

[MisterY]

Also ist das sowas wie ein Raid10? Wenn ja, ist dann auch die Datenrate größer?
Wie viele HDDs sollte ich im zweiten RaidZ1-Verbund nehmen? Oder sollte ich auf RaidZ2 setzen?
Macht es Sinn eine consumer SSD mit TLC als Cache einzubinden?

Ich habe zwar noch einen großen Fileserver, möchte aber beide Server gerne untereinander Sichern (mind. 1x im Monat, eher häufiger). Das würde über eine SMB/NFS Freigabe des Proxmox-Host stattfinden. Große Dateien (>3GB) sollen nicht auf das ZFS geladen werden.

Nichtsdestotrotz würde ich gerne von 2 VMs auch auf meinem Proxmox-Host Backups anlegen (falls ich mal was verhaue ) - aktuell habe ich dafür eine einzelne 320GB HDD verbaut - könnte ich die reintheoretisch auch auf dem vergrößerten zpool packen? Da wäre das Backup ja immerhin etwas "sicherer", oder?

 

[Digi-Quick]

@ludwinator: danke dir

wie viele HDDs dürfen denn bei 2*Raidz1 ausfallen? Auch nur eine oder zwei?

Es darf weiterhin nur eine beliebige HDD ausfallen >> der Redundanzlevel ändert sich de Facto nicht.
Da das degradete Raidz1 beim Resilvern deutlich stärker belastet wird als das 2. Raidz1, ist die die Wahrscheinlichkeit daß in diesem Raidz1 eine weitere HDD ausfällt exorbitant höher, als daß im "gesunden Raidz1 eine HDD ausfällt, daher hat dieses Szenanrio keine Bedeutung!

 

[gea]

kurze frage/Einwurf zu napp-it/Solaris: scheinbar wird auf ESXi dort ja im Moment nur LSI parallel controller untersützt. Irgendwas für den Paravirtual Adapter in Sicht?`Ich denke gerade bei Storage müsste der doch evtl. besonders interessant sein?

Es wird ja nur die Solarish Storage VM virtualisiert. Deren System-Plattenperformance ist nicht relevant.
Den eigentlichen Storage sollte man nicht virtualisieren sondern direkt per pass-through an die Storage VM durchreichen. Ansonsten ist die Performance immer etwas schlechter da die Daten anstatt direkt über den Solarish Treiber erst über den virtualisierten Adapter und dann via ESXi und den echten Adapter geführt werden müssten. Auch hätte ZFS keine Kontrolle z.B. über Smartdaten oder sicheres syncrones Schreiben mehr da der ESXi Controller oder die Platten einen aus ZFS Sicht unkontrollierbaren Cache hinzufügen könnten.

 

[CommanderBond]

Kann man einen dieser Intel SATA Controller auch durchreichen wenn man zB Exsi samt Storage VM OS auf ner NVMe sitzen hat? Oder spricht da irgendwas gegen?

"Bare Metall" verträgt sich OmniOS ja ganz gut damit

 

[hwluxforum]

Es wird ja nur die Solarish Storage VM virtualisiert. Deren System-Plattenperformance ist nicht relevant.
Den eigentlichen Storage sollte man nicht virtualisieren sondern direkt per pass-through an die Storage VM durchreichen. Ansonsten ist die Performance immer etwas schlechter da die Daten anstatt direkt über den Solarish Treiber erst über den virtualisierten Adapter und dann via ESXi und den echten Adapter geführt werden müssten. Auch hätte ZFS keine Kontrolle z.B. über Smartdaten oder sicheres syncrones Schreiben mehr da der ESXi Controller oder die Platten einen aus ZFS Sicht unkontrollierbaren Cache hinzufügen könnten.

ja - du hast recht. Ist mir zwischenzeitlich auch eingefallen, dass es ja nur das OS selbst betriff. Rest ist ja durchgereicht.
Gibts irgendwo sinnvolle Daten für RAM/cores bei sagen wir mal ZFS über 3x4TB (=Nutzdaten 8 TB? wobei - war da nicht was man soll es nur bis max. % befüllen?).
Wäre bei mir eher als Datengrab / Archiv gedacht...

 

[gea]

Gibts irgendwo sinnvolle Daten für RAM/cores bei sagen wir mal ZFS über 3x4TB (=Nutzdaten 8 TB? wobei - war da nicht was man soll es nur bis max. % befüllen?). Wäre bei mir eher als Datengrab / Archiv gedacht...

Die einzige Regel bei Solaris und ZFS lautet:

- Mit 1-2 GB RAM läuft Solaris stabil
- ZFS verteilt selbst sequentielle Daten über dem Pool bei starker Fragmentation. ZFS ist halt kein High Performance sondern ein High Security Dateisystem. Die Performace ist also vor allem durch die iops Leistung des Pools bestimmt. Zum Ausgleich hat es einen der besten Lesecaches. Mit ausreichend RAM wird nach dem Warmwerden fast alles aus dem RAM geliefert. Für einen Medien oder Archivserver würde ich 2-8 GB RAM aufwärts dazurechnen.
- ZFS nutzt RAM bis zu 4 GB per default als Schreibcache. Für hohe Schreibleistung also 2-4GB hinzurechnen.

Mit 4-8 GB RAM insgesamt ist das also bei einem User voll ok. Mit BSD oder Linux etwas mehr RAM nehmen da ZFS intern noch auf der Solaris RAM-Verwaltung basiert. CPU ist nicht so relevant.

- - - Updated - - -

Kann man einen dieser Intel SATA Controller auch durchreichen wenn man zB Exsi samt Storage VM OS auf ner NVMe sitzen hat? Oder spricht da irgendwas gegen?

"Bare Metall" verträgt sich OmniOS ja ganz gut damit

Man kann nur komplette PCI Devices durchreichen.
Ansonsten könnte ESXi + Storage VM auf NVMe mit Sata pass-through auf vielen Boards laufen.

 

[CommanderBond]

Die einzige Regel bei Solaris und ZFS lautet:

-Mit ausreichend RAM wird nach dem Warmwerden fast alles aus dem RAM geliefert. Für einen Medien oder Archivserver würde ich 2-8 GB RAM aufwärts dazurechnen.
.

Das kommt bei einem Medien oder grade Archivserver aber doch gar nicht zu tragen. Bei einem Archivserver werden doch kaum Sachen gelesen und wenn auch nicht umbedingt immer die gleichen.

 

[xymos]

Habe heute einen neuen Pool anlegen wollen. Allerdings mit der Option, dass das vdev ein aushilft 12 gesetzt bekommt.
Dazu habe ich wie gewohnt, meine sd.conf editiert und folgendes eingefügt:

"ATA WDC WD15EARS-00Z5B1", "physical-block-size:4096";

Allerdings mag Solaris das nicht:



Hat da einer einen Reim drauf ?
Unter OmniOS bei selbiger Hardware war das kein Problem.

 

[ludwinator]

du hast da nen Fehler in der sd.conf drin.
Alle Zeilen enden mit einem Komma, nur die letzte mit einem Semikolon.
Poste doch mal das File

cu

 

[xymos]

@ludwinator


Ich hatte die Syntax nicht komplett !

#4k override
sd-config-list = --> hatte ich nicht gesetzt.
"ATA SAMSUNG HD204UI", "physical-block-size:4096",
"ATA ST2000DL004 HD20", "physical-block-size:4096",
"ATA ST3250820NS", "physical-block-size:4096",
"ATA WDC WD15EARS-00S", "physical-block-size:4096",
"ATA WDC WD15EARS-00Z", "physical-block-size:4096"; --> und das Semikolon am Ende "richtig" angepasst.

THX


Weiß jemand von euch, wie man den Shutdown beschleunigen kann ?
Mein System, bestehend aus zwei Pools benötigt 3.19min um sich auszuschalten.
Nicht, dass mich das jetzt stören würde, aber ich wüsste gerne, was es für Möglichkeiten gäbe, dies zum ändern.

 

[gea]

Normalerweise wartet shutdown 60s, kann man aber einstellen
Shutting Down a System - Oracle Solaris Administration: Common Tasks

init 5 startet shutwown sofort und
uadmin 2 6 ist wie Strom ausschalten.

 

[budachst]

Kann es sein, dass nahezu alle LSI HBAs aus China/Hong Kong kommen? Ich wollte mir für mein nächsten Microserver so einen zulegen - ggf. auf IT FW flashen…

Fujitsu 9211-8i D2607-A11 LSISAS2008 SAS/SATA RAID SAS controller=LSI 9240-8I

Das Gehäuse hat zwar nur 4 Drive Slots, aber man weiß ja nie…


Cheers,
budy

 

[MisterY]

eine kleine Verständnisfrage: ich habe ein ZFS-RaidZ1 aus 3*1TB. Warum habe ich nur 1.4TB verfügbar? Müssten es nicht 2TB sein?

weil:

df -h
Filesystem                    Size  Used Avail Use% Mounted on
udev                           10M     0   10M   0% /dev
tmpfs                         3.2G  9.1M  3.2G   1% /run
rpool/ROOT/pve-1              133G   22G  112G  17% /
tmpfs                         7.9G   43M  7.8G   1% /dev/shm
tmpfs                         5.0M     0  5.0M   0% /run/lock
tmpfs                         7.9G     0  7.9G   0% /sys/fs/cgroup
/dev/sdc1                     294G  186G   94G  67% /mnt/sdc1
rpool                         112G  128K  112G   1% /rpool
rpool/ROOT                    112G  128K  112G   1% /rpool/ROOT
rpool/data                    113G  1.2G  112G   2% /rpool/data
rpool/data/subvol-103-disk-1   15G  3.3G   12G  22% /rpool/data/subvol-103-disk-1
rpool/data/subvol-103-disk-2   10G  128K   10G   1% /rpool/data/subvol-103-disk-2
rpool/data/subvol-103-disk-3   20G  128K   20G   1% /rpool/data/subvol-103-disk-3
rpool/data/subvol-104-disk-1   10G  779M  9.3G   8% /rpool/data/subvol-104-disk-1
rpool/data/subvol-107-disk-1   10G  1.3G  8.8G  13% /rpool/data/subvol-107-disk-1
rpool/data/subvol-110-disk-1   20G  969M   20G   5% /rpool/data/subvol-110-disk-1
rpool/data/subvol-110-disk-2  100G  128K  100G   1% /rpool/data/subvol-110-disk-2
rpool/data/subvol-111-disk-1   15G  2.5G   13G  17% /rpool/data/subvol-111-disk-1
rpool/data/subvol-114-disk-1   10G  846M  9.2G   9% /rpool/data/subvol-114-disk-1
rpool/data/subvol-115-disk-1   15G  510M   15G   4% /rpool/data/subvol-115-disk-1
rpool/data/subvol-117-disk-1  8.0G  294M  7.8G   4% /rpool/data/subvol-117-disk-1
rpool/data/subvol-119-disk-1   15G  378M   15G   3% /rpool/data/subvol-119-disk-1
[COLOR="#FF0000"]tank                          1.4T  171G  1.3T  12% /tank[/COLOR]
tank/subvol-103-disk-1        200G  128K  200G   1% /tank/subvol-103-disk-1
tank/subvol-103-disk-2        200G   12G  189G   6% /tank/subvol-103-disk-2
tank/subvol-104-disk-1        500G  256K  500G   1% /tank/subvol-104-disk-1
tank/subvol-107-disk-1        300G  128K  300G   1% /tank/subvol-107-disk-1
tank/subvol-109-disk-3         15G  2.6G   13G  18% /tank/subvol-109-disk-3
tank/subvol-109-disk-4        300G   64G  237G  22% /tank/subvol-109-disk-4
tank/subvol-111-disk-1        500G  114G  387G  23% /tank/subvol-111-disk-1
tank/subvol-111-disk-2        500G  128K  500G   1% /tank/subvol-111-disk-2
tank/subvol-111-disk-3        500G  128K  500G   1% /tank/subvol-111-disk-3
tank/subvol-111-disk-4        500G  2.2M  500G   1% /tank/subvol-111-disk-4
tank/subvol-111-disk-5        500G  128K  500G   1% /tank/subvol-111-disk-5
tank/subvol-113-disk-1        100G  2.6G   98G   3% /tank/subvol-113-disk-1
/dev/fuse                      30M   28K   30M   1% /etc/pve

da steht tank = 1.4 TB

aber hier:

 zpool iostat
               capacity     operations    bandwidth
pool        alloc   free   read  write   read  write
----------  -----  -----  -----  -----  -----  -----
rpool        109G   123G     12     39   184K   230K
tank         822G  1.92T      4     74   185K  6.71M
----------  -----  -----  -----  -----  -----  -----

steht tank = 2TB??

zpool list -H -o name,size
rpool   232G
tank    2.72T