Luckysh0t
Enthusiast
Was soll man sagen, alte SSD mit Solaris wieder eingebaut, updates eingespielt und schon bin ich wieder bei 95-110 MB/s wenn ich auf den Filer kopiere.^^
Dank den Updates bleibt das nun auch so - Beta hin oder her..^^
Dank den Updates bleibt das nun auch so - Beta hin oder her..^^
Hallo, ich war jetzt eine gewisse Zeit nicht aktiv, daher meine Frage:
Wie sieht es mit dem Support für Solaris aus und weiß jemand wie es mit Solaris seitens Updates, Bug/Securityfixes für die Zukunft seitens Oracle ausschaut? Also ich erwarte vom OS keine Sonderfunktionen. Sicherheit, Performance stehen im Vordergrund und das System wird nur für NAS-Anwendungen genutzt. Jedoch sprechen die Erkenntnisse von @gea für Solaris.
@gea meinst du mit deinem Post, dass Solaris Updates nur gegen Entgelt bringt? So habe ich das jedenfalls verstanden.
Wie sieht es mit dem Support für Solaris aus und weiß jemand wie es mit Solaris seitens Updates, Bug/Securityfixes für die Zukunft seitens Oracle ausschaut? Also ich erwarte vom OS keine Sonderfunktionen. Sicherheit, Performance stehen im Vordergrund und das System wird nur für NAS-Anwendungen genutzt. Jedoch sprechen die Erkenntnisse von @gea für Solaris.
@gea meinst du mit deinem Post, dass Solaris Updates nur gegen Entgelt bringt? So habe ich das jedenfalls verstanden.
besterino
Legende
Oracle hat Solaris 11.4 auf ein neues Update-Konzept umgestellt. Man ist jetzt ohne offizielle Lizenz quasi in einem „Beta“-Tree unterwegs, bekommt damit aber - im Gegensatz zu früher - auch die Updates. Ich find‘s besser als vorher, weil man dadurch sowohl an die neuen Treiber kommt als auch eben seit Release neu eingeführte Features.
Offiziell wird Solaris 11.4 bis mindestens 2034 supported - bis dahin fließt ja noch viel Wasser den Rhein runter und wer weiß, was dann damit passiert…?
Offiziell wird Solaris 11.4 bis mindestens 2034 supported - bis dahin fließt ja noch viel Wasser den Rhein runter und wer weiß, was dann damit passiert…?
Wobei anzumerken wäre dass ich regelmäßig mit OmniOS kein Problem habe unter 1G Netzen > 90MB/s zu erreichen. Nur mit 10G/40G war Solaris bei mir immer deutlich schneller mit seinem multithreaded kernel/ZFS basierten SMB Server/native ZFS im Vergleich zu dem Solaris Fork OmniOS/Open-ZFS und dessen kernelbasiertem SMB Server.
Mit OmniOS und 50MB/s SMB muss noch was anderes bremsen.
Mit OmniOS und 50MB/s SMB muss noch was anderes bremsen.
BYTE64
01010101
Hallo,
bin schon seit einigen Stunden in VirtualBox (Aktuelles Manjaro KDE, Kernel 5.18.7) zum Thema ZFS-Raid am experimentieren.
Ziel : 8 SSDs in einem verschlüsselten RAID-Z2. Mountet man das Volume, soll gleich die Passwort Abfrage kommen.
Folgendes habe ich bereits gemacht :
Was auch funktioniert.
Danach noch ein verschlüsseltes Dataset erstellt :
Das geht auch, nur so ganz gefällt mir das alles nicht wirklich.
Kann man nicht den zpool direkt verschlüsseln, so dass ich das zusätzliche Dataset nicht brauche ?
Nach einem Reboot ist alles wieder weg, ich muss jedesmal
machen. Er lädt und mountet es dann, aber es kommt keine Passwort Abfrage vor
dem öffnen die eigentlich kommen sollte. Bug ?
Kann man das nicht beim Start automatisch aktivieren lassen ?
Das ganze in die /etc/fstab eintragen geht dann wohl auch nicht ?
Wenn ich das Dataset extra mounten will kommt jedesmal
cannot mount 'zfsraid/crypt': encryption key not loaded
anstatt der Passwort Abfrage. Bug ?
geht auch nicht.
bin schon seit einigen Stunden in VirtualBox (Aktuelles Manjaro KDE, Kernel 5.18.7) zum Thema ZFS-Raid am experimentieren.
Ziel : 8 SSDs in einem verschlüsselten RAID-Z2. Mountet man das Volume, soll gleich die Passwort Abfrage kommen.
Folgendes habe ich bereits gemacht :
Code:
sudo zpool create -m /home/test-user/zfsraid -f zfsraid raidz2 \
/dev/disk/by-id/ata-VBOX_HARDDISK_VB508db1a2-93858a39 \
/dev/disk/by-id/ata-VBOX_HARDDISK_VB38887df0-49f1e687 \
/dev/disk/by-id/ata-VBOX_HARDDISK_VBd5b00b29-fecfdb74 \
/dev/disk/by-id/ata-VBOX_HARDDISK_VB75c6b021-844c8f5c \
/dev/disk/by-id/ata-VBOX_HARDDISK_VBb0da9ce6-82da721a \
/dev/disk/by-id/ata-VBOX_HARDDISK_VB26696bca-98b8772a \
/dev/disk/by-id/ata-VBOX_HARDDISK_VB80bdf548-a7aa05ec \
/dev/disk/by-id/ata-VBOX_HARDDISK_VB093027cb-7b61f85aDanach noch ein verschlüsseltes Dataset erstellt :
Code:
sudo zfs create -o encryption=aes-256-gcm -o keyformat=passphrase zfsraid/cryptKann man nicht den zpool direkt verschlüsseln, so dass ich das zusätzliche Dataset nicht brauche ?
Nach einem Reboot ist alles wieder weg, ich muss jedesmal
Code:
sudo zpool import -d /dev/disk/by-id zfsraiddem öffnen die eigentlich kommen sollte. Bug ?
Kann man das nicht beim Start automatisch aktivieren lassen ?
Das ganze in die /etc/fstab eintragen geht dann wohl auch nicht ?
Wenn ich das Dataset extra mounten will kommt jedesmal
cannot mount 'zfsraid/crypt': encryption key not loaded
anstatt der Passwort Abfrage. Bug ?
Code:
sudo mount -t zfs /dev/disk/by-id/zfsraid /home/test-user/zfsraid/crypt
Shihatsu
Legende
- Mitglied seit
- 16.08.2005
- Beiträge
- 5.014
Ich bin mir nicht sicher ob mein derzeitiges Problem etwas mit Hardware, etwas mit Software, etwas mit Dumheit oder alles drei ist, daher fange ich mal hier an:
Ich habe einen proxmox server, als Basis dient ein Supermicro H11SSL-i. Daran hängen 2 SSDs (Intel DC S3520) und diverser anderer Kram, der erst einmal egal sein sollte. DA eine meiner VMs nach etwas mehr performance schreit (jellyfin), wollte ich ihr eine "übriggebliebene" 980 pro spendieren. Also server runtergefahren, den stick in den freien m.2 Slot gesteckt, hochgefahren, via GUI die Disk gewiped, GPT initalisiert, ZFS-Storage angelegt und los gings. Aber, ach weh - die SSD mag mich nicht. Oder das Board nicht. Oder mein proxmox nicht. Oder oder oder. Sobald ich damit beginne VMs darauf zu kopieren, anzulegen oder sonstwas geht der pool in "Suspended":
-v bringt mir leider nichts an infos:
Also mal angefangen das auszutesten was das NEtz so hergibt, angefangen bei einem clear:
Auf das Ergebnis warte ich immer noch, also Konsole neu gestartet (ctrl+c oder sonstiges brachte kein Ergebnis) und mal "härtere" Gangart eingeschaltet:
Selbst das läuft unendlich ohne Ergebnis (außer der toten Konsole).
Sodele, und hier stehe ich jetzt erstmal. Klar, ausbauen, neu einbauen, formatieren, neue GPUid etc pp hab ich alles durch. Was mache ich als nächstes?
Die SSD ging bis zum Ausbau ohne PRobleme, zeigt keine Smart errors und war "unauffällig". Ich hab jetzt mal eine IcyBox NVME-USB Adapter bestellt, um das Mainboard als Fehlerquelle ausschließen oder identifizieren zu können. Irgendwelche anderen klugen Ratschläge was ich bis dahin mal testen könnte?
Ich habe einen proxmox server, als Basis dient ein Supermicro H11SSL-i. Daran hängen 2 SSDs (Intel DC S3520) und diverser anderer Kram, der erst einmal egal sein sollte. DA eine meiner VMs nach etwas mehr performance schreit (jellyfin), wollte ich ihr eine "übriggebliebene" 980 pro spendieren. Also server runtergefahren, den stick in den freien m.2 Slot gesteckt, hochgefahren, via GUI die Disk gewiped, GPT initalisiert, ZFS-Storage angelegt und los gings. Aber, ach weh - die SSD mag mich nicht. Oder das Board nicht. Oder mein proxmox nicht. Oder oder oder. Sobald ich damit beginne VMs darauf zu kopieren, anzulegen oder sonstwas geht der pool in "Suspended":
Code:
root@pve:~# zpool status VM_Storage_NVME
pool: VM_Storage_NVME
state: SUSPENDED
status: One or more devices are faulted in response to IO failures.
action: Make sure the affected devices are connected, then run 'zpool clear'.
see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-HC
config:
NAME STATE READ WRITE CKSUM
VM_Storage_NVME ONLINE 0 0 0
nvme-Samsung_SSD_980_PRO_500GB_S5GYNG0NC44312K ONLINE 4 0 0
errors: List of errors unavailable: pool I/O is currently suspended
errors: 1 data errors, use '-v' for a list
Code:
root@pve:~# zpool status VM_Storage_NVME -v
pool: VM_Storage_NVME
state: SUSPENDED
status: One or more devices are faulted in response to IO failures.
action: Make sure the affected devices are connected, then run 'zpool clear'.
see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-HC
config:
NAME STATE READ WRITE CKSUM
VM_Storage_NVME ONLINE 0 0 0
nvme-Samsung_SSD_980_PRO_500GB_S5GYNG0NC44312K ONLINE 4 0 0
errors: List of errors unavailable: pool I/O is currently suspended
Code:
root@pve:~# zpool clear VM_Storage_NVME
Code:
root@pve:~# zpool clear -nFX VM_Storage_NVMESodele, und hier stehe ich jetzt erstmal. Klar, ausbauen, neu einbauen, formatieren, neue GPUid etc pp hab ich alles durch. Was mache ich als nächstes?
Die SSD ging bis zum Ausbau ohne PRobleme, zeigt keine Smart errors und war "unauffällig". Ich hab jetzt mal eine IcyBox NVME-USB Adapter bestellt, um das Mainboard als Fehlerquelle ausschließen oder identifizieren zu können. Irgendwelche anderen klugen Ratschläge was ich bis dahin mal testen könnte?
besterino
Legende
Probier mal die SSD per (so nem 10 Euro) Adapter in einem PCIE-Slot. Ich hab auch Probleme mit meinen SSDs in den m.2-Slots von meinem H12SSL-C: Zwar ESXi als „OS“, aber lassen sich nicht per PCIE-Passthrough an eine VM durchreichen. Keine VM startet mit den Dingern. Ich hab die m.2-Slots im Verdacht (8 andere SSDs in diesen Hyper x16 PCIE-Adaptern funzen anstandslos), betrifft bei mir beide m.2 Plätze. Bin allerdings noch nicht zum Testen gekommen…
Shihatsu
Legende
- Mitglied seit
- 16.08.2005
- Beiträge
- 5.014
Aaaaa, gute Idee und schön zu hören das ich nicht allein bin mit meinem Problem. Genau in die Richtung ging ja auch das mit dem USB-Adapter. Ich hol mir mal noch so eine PCI-Karte dazu. Wobei es bei mir da langsam beengt wird - Quadro 620, USB-Karte (für passthrough), Mellanox X3 und nen LSI (noname/rebrand) HBA stecken da schon drin. Wird langsam kuschelig!
Edit sagt: Danke, und: Vielleicht kaufe ich gleich etwas vernünftiges um 3 weitere 980 unterzubringen.... decisions decisions...
Edit sagt: Danke, und: Vielleicht kaufe ich gleich etwas vernünftiges um 3 weitere 980 unterzubringen.... decisions decisions...
besterino
Legende
Papperlapapp. Du hast 128 Lanes, nutze sie. 
Bei mir gehen 32 weg für 2x4SSDs (demnächst wenn ich mal dazu komm noch +8 für die in den m.2-Slots), 16 für NIC, 16 für HBA, bleiben aktuell immer noch 64 für
Spielereien…
Bei mir gehen 32 weg für 2x4SSDs (demnächst wenn ich mal dazu komm noch +8 für die in den m.2-Slots), 16 für NIC, 16 für HBA, bleiben aktuell immer noch 64 für
Spielereien…
Shihatsu
Legende
- Mitglied seit
- 16.08.2005
- Beiträge
- 5.014
Mit dem kuschelig meinte ich tatsächlich den Platz, nicht die Lanes - im Sommer wirds da drin durchaus mal wärmer als gewünscht. Wird Zeit für den Umzug in den Keller, im Moment ist das Ding noch in einem Tower und steht unterm Dachboden - letzte Woche warens da 37 Grad 
Welche Karte nutzt du für die m.2s?
edit sagt: diese hier:
?
Welche Karte nutzt du für die m.2s?
edit sagt: diese hier:
?
Zuletzt bearbeitet:
besterino
Legende
Ja, einmal die, aber noch die alte (PCIE3), und einmal die Asrock (PCIE4, war bei meinem TRX40 Taichi dabei). Müsste die hier sein:
geizhals.de
EDIT und Nachtrag: Meine zwei werde ich bei Gelegenheit auf die hier stecken, hab ich noch hier: https://geizhals.de/supermicro-aoc-slg3-2m2-o-a1711691.html
ASRock Hyper Quad M.2 Card ab € 44,48 (2024) | Preisvergleich Geizhals Deutschland
✔ Preisvergleich für ASRock Hyper Quad M.2 Card ✔ Produktinfo ⇒ Wandlung: PCIe -> M.2 PCIe • Host: 1x PCIe 4.0 x16 (male) • Ziel: 4x M.2/M-Key (PCIe 4.0 x4, 22110/2280/2… ✔ Adapter/Konverter ✔ Testberichte ✔ Günstig kaufen
geizhals.de
EDIT und Nachtrag: Meine zwei werde ich bei Gelegenheit auf die hier stecken, hab ich noch hier: https://geizhals.de/supermicro-aoc-slg3-2m2-o-a1711691.html
Zuletzt bearbeitet:
besterino
Legende
Nicht mehr verfügbar im Zweifel.
Trambahner
Urgestein
Ob ich Solaris nochmal testen soll? Hab zwei SN850 2TB mal im Mirror sequentiell probert. Jeweils gleiche Plattform (5600X, PCIe 4 für beide SSDs) direkt am Blech, also kein Passthrough/AIO-Konzept.
Proxmox 7/Debian: 3,6 GB/s
FreeBSD 13: 4,2 GB/s
aktuelles Solaris 11.4.42.111: 5,6-7,2 GB/s.
(BSD 11 mit zwei PM9A3 im Mirror, auch PCIe4: 2,4 GB/s)
Insgesamt gefällt mir die Performance von NVMes unter Linux und BSD gar nicht. Als ob maximal QD1 mit 128KB-blöcken genutzt wird. Nicht nur unter ZFS, sondern auch Roh vom/zum Device.
Auch 970 Evos+ erreichen weder beim Schreiben noch Lesen ihren Durchsatz unter Windows. Wenn ich da 2,2 GB/s lesend bei BSD 11+12 sehe, ist das schon viel.
Solaris geht ohne irgendwas "rumzuschrauben" sofort ans Hardware-Max.
Leistungsaufnahme Idle in etwa vergleichbar mit Proxmox 7.
Proxmox 7/Debian: 3,6 GB/s
FreeBSD 13: 4,2 GB/s
aktuelles Solaris 11.4.42.111: 5,6-7,2 GB/s.
(BSD 11 mit zwei PM9A3 im Mirror, auch PCIe4: 2,4 GB/s)
Insgesamt gefällt mir die Performance von NVMes unter Linux und BSD gar nicht. Als ob maximal QD1 mit 128KB-blöcken genutzt wird. Nicht nur unter ZFS, sondern auch Roh vom/zum Device.
Auch 970 Evos+ erreichen weder beim Schreiben noch Lesen ihren Durchsatz unter Windows. Wenn ich da 2,2 GB/s lesend bei BSD 11+12 sehe, ist das schon viel.
Solaris geht ohne irgendwas "rumzuschrauben" sofort ans Hardware-Max.
Leistungsaufnahme Idle in etwa vergleichbar mit Proxmox 7.
Zuletzt bearbeitet:
Solaris ist schnell, insbesondere seit man auch als Privatnutzer wieder kostenlosen Zugriff auf ein topaktuelles Solaris 11 hat. Mich überrascht aber schon dass es bis 2x so schnell ist als BSD und Linux. Für normalen Filer use käme dann der im Vergleich zu SAMBA hinsichtlich Performance und Windows ntfs ACL Kompatibilität überragende kernel/ZFS-basierte SMB Server ontop dazu.
Leider ist Solaris für kommerzielle Nutzung recht teuer (ab ca 1000Euro/Jahr mit 1 CPU Sockel), teils teurer als ein Windows Server und eben nicht OpenSource wie der Solaris Fork OmniOS. Ich kenne viele die bei günstigeren Kosten aus obigen Gründen auf Solaris Filer mit native ZFS wechseln würden. Ich unterstütze Solaris 11 daher weiter mit napp-it, habe da auch einige größere Firmen als Anwender.
Leider ist Solaris für kommerzielle Nutzung recht teuer (ab ca 1000Euro/Jahr mit 1 CPU Sockel), teils teurer als ein Windows Server und eben nicht OpenSource wie der Solaris Fork OmniOS. Ich kenne viele die bei günstigeren Kosten aus obigen Gründen auf Solaris Filer mit native ZFS wechseln würden. Ich unterstütze Solaris 11 daher weiter mit napp-it, habe da auch einige größere Firmen als Anwender.
Zuletzt bearbeitet:
Shihatsu
Legende
- Mitglied seit
- 16.08.2005
- Beiträge
- 5.014
So, Rückmeldung zu meinem Problem mit der 980pro: Es hatte sich ja schon angedeutet das das kein ZFS Problem war (und damit meine Wahl des threads falsch) und so war es dann auch. Asus Hyper x2 eingebaut, die NVME SSD läuft ohne murren. Das Mainboard mag also m.2 nur sehr sehr bedingt. Mein einziges Problem das ich jetzt damit habe ist das aus REsteverwertung plötzlich der Bedarf an 3 weiteren m.2 SSDs geworden ist.... Nunja. ;( Danke nochmal @besterino und sorry fürs stören der heiligen ZFS-Hallen.
besterino
Legende
Hihihi & gerne. Und heilig ist hier eh nix.
& gerne. Und heilig ist hier eh nix.Cat Division
Profi
- Mitglied seit
- 08.09.2019
- Beiträge
- 2
Hallo zusammen,
das ist mein erster Betrag hier im Forum und direkt eine Frage die ich bisher nicht recherchieren konnte.
Ich bin absoluter Neuling im Umgang mit zfs, also sagt mir auch gerne wenn ich komplett auf dem Holzweg bin.
Kenn jemand eine Möglichkeit, das sich ZIL und L2ARC nicht sofort mit dem Pool synchronisieren sondern dies zeitgesteuert machen?
Hintergrund:
Ich setze gerade ein Homeserver mit Proxmox für zwei user auf, war aber schon sehr versucht unraid zu nutzen da mir die Idee des "Mover" gut gefällt.
Jetzt ist die Überlegung, dass Schreib- und Leseanfragen weitgehenst aus dem SSD-Cache (ZIL bzw. auch ARC/L2ARC) bedient werden - wenn die angefragten Daten dort verfügbar sind.
Der HDD-Pool soll nur anspringen wenn der Cache die Anfrage nicht bedienen kann, der Cache vollläuft und vielleicht einmal am Tag zum Abgleich mit dem Cache - falls nötig.
Grund: Möglicherweise weniger Leistungsaufnahme des Servers da die HDDs meist schlafen, leiserer Server, seltenere spin-ups und dadurch Schonung der Platten.
Was sagt ihr?
das ist mein erster Betrag hier im Forum und direkt eine Frage die ich bisher nicht recherchieren konnte.
Ich bin absoluter Neuling im Umgang mit zfs, also sagt mir auch gerne wenn ich komplett auf dem Holzweg bin.
Kenn jemand eine Möglichkeit, das sich ZIL und L2ARC nicht sofort mit dem Pool synchronisieren sondern dies zeitgesteuert machen?
Hintergrund:
Ich setze gerade ein Homeserver mit Proxmox für zwei user auf, war aber schon sehr versucht unraid zu nutzen da mir die Idee des "Mover" gut gefällt.
Jetzt ist die Überlegung, dass Schreib- und Leseanfragen weitgehenst aus dem SSD-Cache (ZIL bzw. auch ARC/L2ARC) bedient werden - wenn die angefragten Daten dort verfügbar sind.
Der HDD-Pool soll nur anspringen wenn der Cache die Anfrage nicht bedienen kann, der Cache vollläuft und vielleicht einmal am Tag zum Abgleich mit dem Cache - falls nötig.
Grund: Möglicherweise weniger Leistungsaufnahme des Servers da die HDDs meist schlafen, leiserer Server, seltenere spin-ups und dadurch Schonung der Platten.
Was sagt ihr?
Trambahner
Urgestein
Hi, ganz so einfach ist das nicht;
das wird so nicht funktioniern beim Schreiben. ZFS kennt keinen SSD-Schreibcache, Schreibcache ist immer nur Ram und wird von ZFS festgelegt, wieviel das ist vom für ZFS verfügbaren. Schreibvorgänge werden da gesammelt und dann in bestimmten Abständen und/oder wenn Belegungsschwellen erreicht werden, auf den Pool geschrieben. Je nach OS und ZFS-Version kann das jeweils im Detail bissl unterschiedlich verhalten.
Ein ZIL/SLOG-Device ist kein Schreibcache, sondern dient nur der Beschleunigung von synchronen Schreibanforderungen und wird nie gelesen ausser im Desasterfall. ZFS kann damit synchron angeforderte Schreibvorgänge annähernd so schnell
an an die aufrufende Anwendung bestätigen wie asynchrone Schreibvorgänge. Fileserver arbeiten üblicherweise bereits asynchron, d.h. profitieren quasi nie von einer SSD als extra Slog-Device ("Zil").
Ferner brauchst Du dafür eine Enterprise-SSD mit kürzestmöglichen und konstanten Latenzen (sowas wie Intel Optane). Die typischen Consumer-SSD kannst Du da sofort vergessen, die brechen da sehr schnell sehr stark ein.
D.h. so
Ein L2ARC wird aus Anwendungssicht nur gelesen und dient damit nur Lesevorgängen, ist aber langsamer als Ram. Ausserdem braucht ein L2ARC selber Ram zur Verwaltung. Regel: nie mehr als 5-10 fache L2Arc-Menge wie Ram dem ZFS zur Verfügung steht. Für sequentiell und eher langsam gelesene Dateien (z.B. Filme) bringt eine L2ARC 0,0. Der wird da gar nicht genutzt.
D.h. auch ein L2ARC bringt nur in bestimmten Fällen was.
Daher: Prio 1 Ram soviel geht (technisch oder monetär möglich), erst dann L2Arc und ein extra Slog-Device nur, wenn die eigene Anwendung synchron schreibt.
Für beständig genutzten "Arbeitskram" mit Dateien einen zweiten Pool nur aus SSDs in Erwägung ziehen und von den eher seltener genutzten Files trennen. Kann natürlich im gleichen Server sein.
Auch virtuelle Disks von VMs wo das Betriebssystem gehören HDD-Pools.
Auch ein "Abgleichen mit Cache" gibt es nicht bei ZFS, das passiert beständig da die Cache- und Slog-SSDs integrierter Bestandteil eines Pools sind, wenn sie zu einem dazugefügt werden.
Neuere ZFS-Versionen kennen ein sogenanntes "special Vdev", wo man z.B. kleine Datenblöcke und Metadaten "hindirigieren" kann. Auch instant, nicht zeitverschoben.
ZFS ist ein tolles System, aber nicht auf "Homeuse"-Eigenschaften entwickelt und optimiert, sondern auf 24/7 Rechenzentrumsbetrieb und hohe Datenintegrität und -mengen. Dementsprechend sind Dinge wie Stromsparen oder Platten schlafen schicken erstmal nicht vorgesehen.
HDD Spindown kann funktionieren, muss aber nicht und ist nicht empfohlen.
Was für einen selber besser passt oder passend gemacht werden kann als Konzept, muss jeder im Einzelfall prüfen.
das wird so nicht funktioniern beim Schreiben. ZFS kennt keinen SSD-Schreibcache, Schreibcache ist immer nur Ram und wird von ZFS festgelegt, wieviel das ist vom für ZFS verfügbaren. Schreibvorgänge werden da gesammelt und dann in bestimmten Abständen und/oder wenn Belegungsschwellen erreicht werden, auf den Pool geschrieben. Je nach OS und ZFS-Version kann das jeweils im Detail bissl unterschiedlich verhalten.
Ein ZIL/SLOG-Device ist kein Schreibcache, sondern dient nur der Beschleunigung von synchronen Schreibanforderungen und wird nie gelesen ausser im Desasterfall. ZFS kann damit synchron angeforderte Schreibvorgänge annähernd so schnell
an an die aufrufende Anwendung bestätigen wie asynchrone Schreibvorgänge. Fileserver arbeiten üblicherweise bereits asynchron, d.h. profitieren quasi nie von einer SSD als extra Slog-Device ("Zil").
Ferner brauchst Du dafür eine Enterprise-SSD mit kürzestmöglichen und konstanten Latenzen (sowas wie Intel Optane). Die typischen Consumer-SSD kannst Du da sofort vergessen, die brechen da sehr schnell sehr stark ein.
D.h. so
Ein L2ARC wird aus Anwendungssicht nur gelesen und dient damit nur Lesevorgängen, ist aber langsamer als Ram. Ausserdem braucht ein L2ARC selber Ram zur Verwaltung. Regel: nie mehr als 5-10 fache L2Arc-Menge wie Ram dem ZFS zur Verfügung steht. Für sequentiell und eher langsam gelesene Dateien (z.B. Filme) bringt eine L2ARC 0,0. Der wird da gar nicht genutzt.
D.h. auch ein L2ARC bringt nur in bestimmten Fällen was.
Daher: Prio 1 Ram soviel geht (technisch oder monetär möglich), erst dann L2Arc und ein extra Slog-Device nur, wenn die eigene Anwendung synchron schreibt.
Für beständig genutzten "Arbeitskram" mit Dateien einen zweiten Pool nur aus SSDs in Erwägung ziehen und von den eher seltener genutzten Files trennen. Kann natürlich im gleichen Server sein.
Auch virtuelle Disks von VMs wo das Betriebssystem gehören HDD-Pools.
Auch ein "Abgleichen mit Cache" gibt es nicht bei ZFS, das passiert beständig da die Cache- und Slog-SSDs integrierter Bestandteil eines Pools sind, wenn sie zu einem dazugefügt werden.
Neuere ZFS-Versionen kennen ein sogenanntes "special Vdev", wo man z.B. kleine Datenblöcke und Metadaten "hindirigieren" kann. Auch instant, nicht zeitverschoben.
ZFS ist ein tolles System, aber nicht auf "Homeuse"-Eigenschaften entwickelt und optimiert, sondern auf 24/7 Rechenzentrumsbetrieb und hohe Datenintegrität und -mengen. Dementsprechend sind Dinge wie Stromsparen oder Platten schlafen schicken erstmal nicht vorgesehen.
HDD Spindown kann funktionieren, muss aber nicht und ist nicht empfohlen.
Was für einen selber besser passt oder passend gemacht werden kann als Konzept, muss jeder im Einzelfall prüfen.
Zuletzt bearbeitet:
Cat Division
Profi
- Mitglied seit
- 08.09.2019
- Beiträge
- 2
Danke Trambahner für die schnelle und umfassende Antwort. 
Das Thema ZIL/SLOG hatte ich dann tatsächlich falsch verstanden.
Hab ich nochmal etwas zum Nachdenken.
ZFS ist sicherlich etwas übertrieben für meinen Anwendungsfall aber ich hab Bock darauf und möchte es verstehen. 😉
Das Thema ZIL/SLOG hatte ich dann tatsächlich falsch verstanden.
Hab ich nochmal etwas zum Nachdenken.
ZFS ist sicherlich etwas übertrieben für meinen Anwendungsfall aber ich hab Bock darauf und möchte es verstehen. 😉
Luckysh0t
Enthusiast
Das dürfte den meisten so gehen..da auf yt etc das gerne falsch erklärt wird..gerade wenn es um eine spezielle Nas Distri geht..nur einige wenige yt erklären das richtig..habe ich das Gefühl
Beitrag automatisch zusammengeführt:
Ich habe damals die "FreeBSD Mastery : ZFS xyz" Bücher gelesen..sind zwar schon etwas ins Alter gekomen..dürfte aber wenn es nicht gerade um die neusten openZFS Features geht noch stimmen. Allerdings hilft auch das hier
Zuletzt bearbeitet:
ZFS ist das nonplusultra wenn es um Datensicherheit geht. Es versucht alle denkbaren Ursachen eines Datenverlusts technisch zu vermeiden. Zusammen mit ECC RAM ist das auch der Fall. Ein erheblicher Hardw/Softwareareschaden ist dann nötig um Datenkorruption hervorzurufen.
Als Vergleich: Wäre es übertriebenes Sicherheitsbedürfnis beim Autokauf auf ESP, ABS, Nackenstütze und Sicherheitsgurt zu verzichten. ZFS hat in der Summe ähnliche Relevanz.
Slog/ZIL darf man nicht als Schreibcache sehen. Es schützt den rembasierten Schreibcache vor Datenverlust bestätigter Schreibvorgänge, ähnlich wie eine Batterie bei Hardwareraid. Stürzt der Rechner beim Schreiben ab, werden beim Reboot fehlende Schreibvorgänge nachgeholt. ZFS selber bleibt aber auch ohne Slog/ZIL dank Copy on Write immer unbeschädigt. Für einen SMB Filer braucht man Slog/ZIL daher nicht. Lediglich bei Datenbanken oder VM Storage gibt es ein Risiko einer defekten Datenbank/VM bei einem Absturz beim Schreiben.
Zuletzt bearbeitet:
OmniOS update
Zwischenzeitlich sind wir bei 151042o
github.com
unter anderem
- Fix for a rare kernel panic due to a race condition in poll()
- AMD CPU microcode updated to latest versions as of 20220408
- OpenSSL updated to version 1.1.1q and 3.0.5
- Updates to ZFS to gracefully handle unknown/invalid vdev device IDs
Zwischenzeitlich sind wir bei 151042o
omnios-build/ReleaseNotes.md at r151042 · omniosorg/omnios-build
Build system for OmniOS. Contribute to omniosorg/omnios-build development by creating an account on GitHub.
github.com
unter anderem
- Fix for a rare kernel panic due to a race condition in poll()
- AMD CPU microcode updated to latest versions as of 20220408
- OpenSSL updated to version 1.1.1q and 3.0.5
- Updates to ZFS to gracefully handle unknown/invalid vdev device IDs
Luckysh0t
Enthusiast
Hallo zusammen,
ich will mir den proxmox backup server einrichten und per nfs auf meinen solaris filer sichern.. wie ich so recherchiert habe, schlägt das fehl weil ich kein "no root squash" im nfs server aktiv habe, über napp it hab eich das bei den porpertys nicht gefunden (nfs). Wie bekomme ich das am besten gesetzt ?
Grüße
Lucky
ich will mir den proxmox backup server einrichten und per nfs auf meinen solaris filer sichern.. wie ich so recherchiert habe, schlägt das fehl weil ich kein "no root squash" im nfs server aktiv habe, über napp it hab eich das bei den porpertys nicht gefunden (nfs). Wie bekomme ich das am besten gesetzt ?
Grüße
Lucky
no_root_squash ist eine Linux Option.
root=client oder root=192.168.1.2 als share option in Solaris erlaubt root access für den Server "client".
docs.oracle.com
root=client oder root=192.168.1.2 als share option in Solaris erlaubt root access für den Server "client".
Managing Network File Systems in Oracle Solaris 11.4
docs.oracle.com
CommanderBond
Enthusiast
- Mitglied seit
- 16.04.2012
- Beiträge
- 703
Hallo,
Ich nutze OmniOS mit Nappit. Habe allerdings das Problem dass meine Datasets nicht gemountet werden nach einem boot, bis auf der aller erste. Die Keyfiles liegen auf einem localen Filesystem welches unverschlüsselt ist. Automount ist ebenfalls aktiviert und bei allen verschlüsselten Datasets identisch. Ich kann ansonsten keine Unterschiede in den Eigenschaften feststellen. Manuell entschlüsseln kann ich sie, also auf die Keyfiles selber scheint Zugriff da zu sein. Es spielt auch keine Rolle welche Datasets vor dem boot entschlüsselt waren, nach dem neustart ist immer nur das erste entschlüsselt und die anderen sind alle verschlüsselt. Das Dataset was er entschlüsselt heißt „alte_daten“ und liegt auf dem pool „ssdpool“. Weil es mit a anfängt ist es ganz oben in der Liste. Keine Ahnung ob es was damit zu tun hat.
Ich nutze OmniOS mit Nappit. Habe allerdings das Problem dass meine Datasets nicht gemountet werden nach einem boot, bis auf der aller erste. Die Keyfiles liegen auf einem localen Filesystem welches unverschlüsselt ist. Automount ist ebenfalls aktiviert und bei allen verschlüsselten Datasets identisch. Ich kann ansonsten keine Unterschiede in den Eigenschaften feststellen. Manuell entschlüsseln kann ich sie, also auf die Keyfiles selber scheint Zugriff da zu sein. Es spielt auch keine Rolle welche Datasets vor dem boot entschlüsselt waren, nach dem neustart ist immer nur das erste entschlüsselt und die anderen sind alle verschlüsselt. Das Dataset was er entschlüsselt heißt „alte_daten“ und liegt auf dem pool „ssdpool“. Weil es mit a anfängt ist es ganz oben in der Liste. Keine Ahnung ob es was damit zu tun hat.
Ich habe es gerade mit zwei Dateisystemen daten/a und daten/b probiert und beide waren nach Reboot unlocked.
Ist bei allen Dateisystemen automount auf yes gesetzt, z.B.
Sind die Dateisysteme geschachtelt?
Die ZFS Eigenschaften sieht man wenn man im Menü Dateisysteme ganz links in der Auflistung auf den Namen des Dateisystems klickt,
Ist bei allen Dateisystemen automount auf yes gesetzt, z.B.
| daten/b | enc_automount: | yes | local |
| daten/b | enc_split: | L1:L1 | local |
Sind die Dateisysteme geschachtelt?
Die ZFS Eigenschaften sieht man wenn man im Menü Dateisysteme ganz links in der Auflistung auf den Namen des Dateisystems klickt,
CommanderBond
Enthusiast
- Mitglied seit
- 16.04.2012
- Beiträge
- 703
ja automount steht auf yes und enc_split auf L1:L1. liegen alle auf einem pool. verschachtelt ist da auch nichts.
ein unterschied ist dass die ganzen zfs eigenschaften bei den verschiedenen datasets unterschiedlich sortiert sind. die einträge sind manchmal an anderen stellen bei der auflistung
ein unterschied ist dass die ganzen zfs eigenschaften bei den verschiedenen datasets unterschiedlich sortiert sind. die einträge sind manchmal an anderen stellen bei der auflistung
Tschuldigung für’s Reinplatzen und „Hallo“ in die Runde.
Habe diverse Dokus durch und leider nur Infoschnippsel gefunden.
Unterstützt eines der aktuellen Solaris(h)-Systeme „Server side copy“ via (k)NFS?
Im *BSD/Linux-Land wird bisweilen die Kompatibilität/Stabilität des copy_file_range() syscalls mit NFS 4.2 bzw. auf ZFS diskutiert. In manchen Kernel/Server/Client-Kombis scheint es zu laufen (mit coreutils >= 9.0 bzw. ab FreeBSD 13). Aber „offiziell“/definitiv festlegen mag sich niemand. Das Feature wäre ein handfester Grund auf Solaris zurückzuwechseln.
Habe diverse Dokus durch und leider nur Infoschnippsel gefunden.
Unterstützt eines der aktuellen Solaris(h)-Systeme „Server side copy“ via (k)NFS?
Im *BSD/Linux-Land wird bisweilen die Kompatibilität/Stabilität des copy_file_range() syscalls mit NFS 4.2 bzw. auf ZFS diskutiert. In manchen Kernel/Server/Client-Kombis scheint es zu laufen (mit coreutils >= 9.0 bzw. ab FreeBSD 13). Aber „offiziell“/definitiv festlegen mag sich niemand. Das Feature wäre ein handfester Grund auf Solaris zurückzuwechseln.
Zum automatischen unlock verschlüsselter Dateisysteme in napp-it beim Booten:
Die Sortierung ist egal, ein Grund für das Problem sehe ich aber nicht.
Was passiert wenn man als Root folgendes aufruft
perl /var/web-gui/data/napp-it/zfsos/_lib/scripts/agents/agent-bootunlock.pl
Illumos/OmniOS sicher nicht, neuestes Oracle Solaris 11.4 CBE kann ich nicht sagen.
Alternative: Lokales umkopieren mit midnight commander - das geht immer.
Die Sortierung ist egal, ein Grund für das Problem sehe ich aber nicht.
Was passiert wenn man als Root folgendes aufruft
perl /var/web-gui/data/napp-it/zfsos/_lib/scripts/agents/agent-bootunlock.pl
Beitrag automatisch zusammengeführt:
Illumos/OmniOS sicher nicht, neuestes Oracle Solaris 11.4 CBE kann ich nicht sagen.
Alternative: Lokales umkopieren mit midnight commander - das geht immer.
