martingo
Experte
- Mitglied seit
- 17.01.2017
- Beiträge
- 1.300
Mit OS und LXCs/VMs auf dem gleichen Pool hätte ich keine Bauchschmerzen und würde das eher von vorhandenen und geplanten Festplattenkapazitäten abhängig machen. Hierfür würde ich SSDs bevorzugen. Daten würde ich trennen, wobei das natürlich auch eine Frage der Datenmengen ist.
Eine Single SSD für das OS "reicht". Ich würde es aber nicht empfehlen, siehe hierzu dieser Beitrag sowie die zwei folgenden:
Eine Single SSD für das OS "reicht". Ich würde es aber nicht empfehlen, siehe hierzu dieser Beitrag sowie die zwei folgenden:
TRIM: Hat eigentlich jemand auf seinem OmniOS / Illumos System (a.k.a. Napp-IT) für SSDs das TRIM wieder (manuell) eingeschaltet? Bisher ist es ja aufgrund einiger Geburtsprobleme standardmäßig noch deaktiviert, im Illumos Entwicklungszweig ist das aber zwischenzeitlich wieder auf "Standard aktiv" zurückgesetzt worden.
Notiere für mich aus der OmniOS CE gitter lobby:
Aber vermutlich hat der (zwischenzeitlich freigegebene) fix noch keinen Einzug in OmniOS gehalten?
Notiere für mich aus der OmniOS CE gitter lobby:
Aber vermutlich hat der (zwischenzeitlich freigegebene) fix noch keinen Einzug in OmniOS gehalten?
Zuletzt bearbeitet:
In OmniOS bloody kommt das aktuelle Illumos zeitnah.
Änderungen in der jeweiligen Stable werden in den Release Notes hinterlegt.
github.com
github.com
Änderungen in der jeweiligen Stable werden in den Release Notes hinterlegt.
omnios-build/doc/ReleaseNotes.md at r151032 · omniosorg/omnios-build
Build system for OmniOS. Contribute to omniosorg/omnios-build development by creating an account on GitHub.
github.com
omnios-build/doc/ReleaseNotes.md at r151030 · omniosorg/omnios-build
Build system for OmniOS. Contribute to omniosorg/omnios-build development by creating an account on GitHub.
github.com
Elektromat
Experte
Code:
Benchmark: Write: filebench_sequential, Read: filebench, date: 01.15.2020
pool: hddtank
NAME STATE READ WRITE CKSUM
hddtank ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
c0t5000C500B2BE98F5d0 ONLINE 0 0 0
c0t5000C500B2C203F5d0 ONLINE 0 0 0
mirror-1 ONLINE 0 0 0
c0t5000C500B0BFE30Bd0 ONLINE 0 0 0
c0t5000C500B2C23A91d0 ONLINE 0 0 0
host omnios
pool hddtank (recsize=128K, ssb=-, compr=off, readcache=all)
slog -
remark
Fb3 sync=always sync=disabled
Fb4 singlestreamwrite.f sync=always sync=disabled
207 ops 4065 ops
41.397 ops/s 812.959 ops/s
432884us cpu/op 22689us cpu/op
24.0ms latency 1.2ms latency
41.2 MB/s 812.8 MB/s
________________________________________________________________________________________
randomread.f randomrw.f singlestreamr
pri/sec cache=all 129.6 MB/s 62.6 MB/s 1.5 GB/s
________________________________________________________________________________________Hoffe das ist passend sonst benötige ich bitte infos was wo ggf. eingestellt werden sollte zum test.
Danke.
@gea kannst du etwas sagen ob es wenn die vm korrekt auf den AES-NI Befehlssatz zugreift die CPU Auslastung der VM nicht bis max geht?
Zuletzt bearbeitet:
Prinzipiell ist eine hohe CPU Last nichts problematisches. Es bedeutet ja eh nur dass der Server so schnell wie möglich arbeitet weil alle Komponenten so schnell Daten liefern, dass die CPU an den Anschlag geht. Niederige CPU Last weil das Storage Daten nicht schnell genug liefert wäre viel unangenehmer.
Zum Benchmark (Tabelle bitte als Code einfügen, dann bleibt es lesbarer)
Sequentiell Schreiben (ohne sync): 812 MB/s ist perfekt, bei Platten aber jenseits des physikalisch möglichen (Ein Raid-10 aus Platten kann maximal ca 400 MB/s). Da schönt der Cache.
Sequentiell Schreiben (mit Sync): 42 MB/s ist so schlecht wie erwartet. Ein gutes Slog (Optane ab 800P, WD SS530) kann da viel helfen und den Wert um den Faktor 10 verbessern.
Readwerte/RW sind für einen Platten Raid-10 auch gut.
Zum Benchmark (Tabelle bitte als Code einfügen, dann bleibt es lesbarer)
Sequentiell Schreiben (ohne sync): 812 MB/s ist perfekt, bei Platten aber jenseits des physikalisch möglichen (Ein Raid-10 aus Platten kann maximal ca 400 MB/s). Da schönt der Cache.
Sequentiell Schreiben (mit Sync): 42 MB/s ist so schlecht wie erwartet. Ein gutes Slog (Optane ab 800P, WD SS530) kann da viel helfen und den Wert um den Faktor 10 verbessern.
Readwerte/RW sind für einen Platten Raid-10 auch gut.
@gea : im aktuellen napp-it dev vom 20. Dezember kann ich keine verschlüsselten Datasets erzeugen unter Solaris 11.4. Es wird einfach kein Dateisystem angelegt, die GUI meldet es aber.
Mit der 19.06h pro funktioniert es.
8x 7K6000 Platten im RAID-Z2 mit ner Optane 900p als SLOG/Cache.
Mit der 19.06h pro funktioniert es.
Beitrag automatisch zusammengeführt:
Code:
Results for fileserver.f, please wait 30 s until restarting tests..
start filebench..
Filebench Version 1.4.9.1
13796: 0.000: Allocated 126MB of shared memory
13796: 0.011: File-server Version 3.0 personality successfully loaded
13796: 0.012: Creating/pre-allocating files and filesets
13796: 0.024: Fileset bigfileset: 10000 files, 0 leafdirs, avg dir width = 20, avg dir depth = 3.1, 1254.784MB
13796: 0.026: Removed any existing fileset bigfileset in 1 seconds
13796: 0.026: making tree for filset /saspool/filebench.tst/bigfileset
13796: 0.045: Creating fileset bigfileset...
13796: 3.709: Preallocated 8015 of 10000 of fileset bigfileset in 4 seconds
13796: 3.709: waiting for fileset pre-allocation to finish
13796: 3.709: Starting 1 filereader instances
13874: 3.723: Starting 50 filereaderthread threads
13796: 4.755: Running...
13796: 34.814: Run took 30 seconds...
13796: 34.818: Per-Operation Breakdown
statfile1 253340ops 8428ops/s 0.0mb/s 0.1ms/op 15us/op-cpu [0ms - 431ms]
deletefile1 253021ops 8418ops/s 0.0mb/s 0.9ms/op 74us/op-cpu [0ms - 389ms]
closefile3 253351ops 8429ops/s 0.0mb/s 0.3ms/op 11us/op-cpu [0ms - 294ms]
readfile1 253351ops 8429ops/s 1121.4mb/s 0.1ms/op 31us/op-cpu [0ms - 352ms]
openfile2 253358ops 8429ops/s 0.0mb/s 0.3ms/op 30us/op-cpu [0ms - 502ms]
closefile2 253364ops 8429ops/s 0.0mb/s 0.0ms/op 5us/op-cpu [0ms - 239ms]
appendfilerand1 253365ops 8429ops/s 65.9mb/s 0.3ms/op 43us/op-cpu [0ms - 559ms]
openfile1 253376ops 8430ops/s 0.0mb/s 0.3ms/op 32us/op-cpu [0ms - 516ms]
closefile1 253382ops 8430ops/s 0.0mb/s 0.0ms/op 6us/op-cpu [0ms - 173ms]
wrtfile1 253385ops 8430ops/s 1057.5mb/s 0.5ms/op 78us/op-cpu [0ms - 316ms]
createfile1 253389ops 8430ops/s 0.0mb/s 0.8ms/op 146us/op-cpu [0ms - 670ms]
13796: 34.818:
IO Summary:
2786682 ops, 92711.133 ops/s, (8429/16859 r/w), 2244.9mb/s, 219us cpu/op, 1.3ms latency
13796: 34.818: Shutting down processes
ok.
Code:
Benchmark: Write: filebench_sequential, Read: filebench, date: 01.16.2020
pool: saspool
NAME STATE READ WRITE CKSUM
saspool ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
c17t5000CCA24314E7A1d0 ONLINE 0 0 0
c12t5000CCA243104A89d0 ONLINE 0 0 0
c19t5000CCA2440AD795d0 ONLINE 0 0 0
c14t5000CCA24314DFE9d0 ONLINE 0 0 0
c15t5000CCA244097FB1d0 ONLINE 0 0 0
c16t5000CCA24314E7B1d0 ONLINE 0 0 0
c13t5000CCA24314E081d0 ONLINE 0 0 0
c18t5000CCA2440CC019d0 ONLINE 0 0 0
logs
c1t1d0 ONLINE 0 0 0
cache
c1t2d0 ONLINE 0 0 0
host nas
pool saspool (recsize=128k, compr=off, readcache=all)
slog Virtual disk 42.9 GB
remark
begin test 4 ..singlestreamwrite.f ..
begin test 4sync ..singlestreamwrite.f ..
set sync=disabled
begin test 7 randomread.f ..
begin test 8 randomrw.f ..
begin test 9 singlestreamread.f ..
Fb3 sync=always sync=disabled
Fb4 singlestreamwrite.f sync=always sync=disabled
2924 ops 6588 ops
584.780 ops/s 1317.471 ops/s
3024us cpu/op 1834us cpu/op
1.7ms latency 0.7ms latency
584.6 MB/s 1317.3 MB/s
________________________________________________________________________________________
read fb 7-9 + dd (opt) randomread.f randomrw.f singlestreamr
pri/sec cache=all 780.7 MB/s 1.1 GB/s 8.8 GB/s
________________________________________________________________________________________8x 7K6000 Platten im RAID-Z2 mit ner Optane 900p als SLOG/Cache.
Zuletzt bearbeitet:
In der aktuellen 19.dev finden vor allem Anpassungen hinsichtlich Verschlüssellung (OmniOS) statt (Prompt, Fiebasiert, https Keyserver etc). Ich werde mir das für die nächste dev anschauen.
ps
Klasse Performance. Bitte aber Tabellen als Code einfügen (besser lesbar)
Elektromat
Experte
Was ich auf jeden Fall beantworten kann ist das die Performance bezüglich dem Kopieren auf Crypted ZFS Dateisysteme deutlich abnimmt.
Hatte mal getestet von meinem PC Daten von einer SSD auf ein non Cryped ZFS Dateisystem (hddtank) zu schieben. Hier liege ich bei großen Dateien um die 225 MB/s.
Schreiben von der SSD auf ein Crypted läuft stark schwankend von ca. 150MB/s - 200MB/s geht bei einer großen Datei hoch und wieder runter in diesem Bereich.
Kommt mir so vor als ob er an irgend einer Stelle nicht nach kommt, dadurch limitiert.
Verstehe ich das richtig das die Benchmarks Pool basierend sind, und nicht auf ZFS Dateisystem Ebene sind? Es gibt auf jeden fall einen extremen unterschied zwischen Crypted und non Crypted ZFS Dateisystemen.
Sollte es auf Pool Ebene sein, wie kann man es auf Dateisystem Ebene testen?
OK Slog wäre eine idee, aber was wäre im Fall, dass das Slog Device defekt geht? Wäre dann der gesamte Pool defekt? Ist dann noch ein Zugriff möglich?
Momentan könnte ja in jedem Mirror eine Platte ausfallen, also ohne Slog..
Zuletzt bearbeitet:
Im Menü Pools > Benchmark wird unter dem Pool ein Dateisystem "_Pool_Benchmark"
angelegt um darin die Tests mit unterschiedlichen ZFS Einstellungen zu fahren. Nach den Tests wird das Dateisystem wieder gelöscht. Um ein verschlüsseltes Dateisystem zu testen, kann man manuell ein verschlüsseltes Dateisystem mit dem Namen anlegen und die Benchmarks laufen lassen. Dieses zfs create/ zfs destroy könnte man im Script /var/web-gui/data/napp-it/zfsos/06_Pools/20_Benchmark=-lin/action.pl auch auskommentieren.
Slog
Ein Slog wird ja nur nach einem Neustart gelesen, ansonst schützt es nur den RAM Schreibcache. Geht das Slog im laufenden Betrieb kaputt, so ist der Inhalt des Schreibcaches bis zum nächsten Commit ungeschützt. Ab dann wird onpool protokolliert um den Cache abzusichern. Meht passiert nicht. Der Pool bleibt funktionsfähig und importierbar.
Slog Mirror macht man hauptsächlich um den Performanceverlust beim Ausfall zu vermeiden. Ansonst ist ein Slog Ausfall unkritisch.
Elektromat
Experte
Wäre dies evtl. für eine kommende Nappit Version möglich/angedacht? Also den Test ebenfalls im Menü als Option zusätzlich auf ein Crypted Dateisystem zu erweitern?
Es könnte ggf. hilfreich sein, also ein weiteres hilfreiches Benchmark Szenario darstellen/abbilden.
Bezüglich Slog hatte ich mir mal folgende rausgesucht. Sollte wenn dann auf jeden Fall im M.2 Format sein.
Intel Optane SSD DC P4801X 100GB, M.2 (SSDPEL1K100GA01)
Nur leider ist diese schlecht bis garnicht verfügbar. Wäre diese OK?
Welche wäre denn hier ebenfalls eine Passende Option?
Du sagtest ab Optane 800p welches Modell liefert hier maximale Performance Werte?
Wie groß sollte man einen SLog Speicher anlegen? Ist dabei die Pool größe entscheidend dem sie angehängt wird?
Es gab doch eine Option sie als Partition aufzuteilen für verschiedene Pools, oder habe ich das falsch in Erinnerung.
Beitrag automatisch zusammengeführt:
Folgend aktuelle Tests:
Uncrypted:
Code:
Benchmark: Write: filebench_sequential, Read: filebench, date: 01.18.2020
pool: hddtank
NAME STATE READ WRITE CKSUM
hddtank ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
c0t5000C500B2BE98F5d0 ONLINE 0 0 0
c0t5000C500B2C203F5d0 ONLINE 0 0 0
mirror-1 ONLINE 0 0 0
c0t5000C500B0BFE30Bd0 ONLINE 0 0 0
c0t5000C500B2C23A91d0 ONLINE 0 0 0
mirror-3 ONLINE 0 0 0
c0t5000C500C3AAD8F0d0 ONLINE 0 0 0
c0t5000C500C3FDEF04d0 ONLINE 0 0 0
host omnios
pool hddtank (recsize=128K, ssb=-, compr=off, readcache=all)
slog -
remark
Fb3 sync=always sync=disabled
Fb4 singlestreamwrite.f sync=always sync=disabled
230 ops 4887 ops
45.996 ops/s 977.354 ops/s
211204us cpu/op 27313us cpu/op
21.7ms latency 1.0ms latency
45.8 MB/s 977.2 MB/s
________________________________________________________________________________________
randomread.f randomrw.f singlestreamr
pri/sec cache=all 112.6 MB/s 197.4 MB/s 1.4 GB/s
________________________________________________________________________________________Crypted:
Code:
Benchmark: Write: filebench_sequential, Read: filebench, date: 01.18.2020
pool: hddtank
NAME STATE READ WRITE CKSUM
hddtank ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
c0t5000C500B2BE98F5d0 ONLINE 0 0 0
c0t5000C500B2C203F5d0 ONLINE 0 0 0
mirror-1 ONLINE 0 0 0
c0t5000C500B0BFE30Bd0 ONLINE 0 0 0
c0t5000C500B2C23A91d0 ONLINE 0 0 0
mirror-3 ONLINE 0 0 0
c0t5000C500C3AAD8F0d0 ONLINE 0 0 0
c0t5000C500C3FDEF04d0 ONLINE 0 0 0
host omnios
pool hddtank (recsize=128K, ssb=-, compr=off, readcache=all)
slog -
remark
Fb3 sync=always sync=disabled
Fb4 singlestreamwrite.f sync=always sync=disabled
168 ops 3138 ops
33.598 ops/s 627.461 ops/s
919207us cpu/op 203943us cpu/op
29.6ms latency 1.6ms latency
33.4 MB/s 627.3 MB/s
________________________________________________________________________________________
randomread.f randomrw.f singlestreamr
pri/sec cache=all 7.0 MB/s 11.6 MB/s 78.2 MB/s
________________________________________________________________________________________
Zuletzt bearbeitet:
Die Intel DC 4801X M.2 ist schlicht die absolut beste Slog Option. Ist unschlagbar schnell hinsichtlich Latenz und iops, hat garantierte Powerloss Protection, Write Endurance jenseits von Gut und Böse und gibts eben in M.2. Die Performance skaliert zwar auch bei Optane mit der Kapazität, die 100 GB ist aber bis auf ganz hohe Anforderungen perfekt (da noch relativ günstig). Man könnte übrigens auch ein U.2 Laufwerk an den M.2 Anschluss anschließen. Bei meiner Optane 900P war das Kabel sogar dabei.
Die Alternative wenn es sich nicht um ein kritisches System handelt wäre eine Optane 800P. Sie hat aber nicht die Write Endurance und keine garantierte Powerloss Protection (vermutlich dennoch ein gutes Powerloss Verhalten). Für ein Produktivsystem würde ich immer die Datacenter Optane (NVMe) oder WD SS530 (12G SAS) bevorzugen. Die 900P ist ähnlich zur 800P, hat aber eine erheblich bessere Write Endurance. und ist damit die am häuig genutzte Option wenn man auf das "von Intel garantiert" bei Powerloss Protection nicht angewiesen ist wie at home (hat bei gleichem Preis wie die 4801-100 mehr Kapazität und ist damit schneller, die gleich schnelle 4801-200 kostet das Doppelte)
Ein Slog muss nicht groß sein. Es soll ja lediglich den Writcache im Crashfall sichern. Ca 10 GB ist meist ausreichend, mit 20 GB ist man auf der sicheren Seite. Leider gibt es aktuell kein sicheres ultra high Perfornance 20 GB Laufwerk. Das früher häufig genutzte ZeusRAM (Dram, 8GB) hatte aber auch > 2000 Euro gekostet. Da ist fir Optane DC 480x geradezu ein Schnäppchen.
Die beiden Benchmarks zeigen aber deutlich
- wenn man sichers sync Schreiben braucht, geht nichts ohne Slog. Schreiben mit 30-50 MB/s ist sonst viel zu wenig.
- Verschlüssellung kostet Performance. Vermutlich wird das bei einem Barebone Setup mit guter CPU geringer ausfallen. 620 MB/s Schreiben und 80 MB/s lesen reicht aber oft schon. Man könnte jetzt noch schauen ob eine schwächere Verschlüssellung deutlich bessere Werte liefert.
Ich werde die Verschlüssellungs Option auf jeden Fall in das Menü einbauen.
Die Alternative wenn es sich nicht um ein kritisches System handelt wäre eine Optane 800P. Sie hat aber nicht die Write Endurance und keine garantierte Powerloss Protection (vermutlich dennoch ein gutes Powerloss Verhalten). Für ein Produktivsystem würde ich immer die Datacenter Optane (NVMe) oder WD SS530 (12G SAS) bevorzugen. Die 900P ist ähnlich zur 800P, hat aber eine erheblich bessere Write Endurance. und ist damit die am häuig genutzte Option wenn man auf das "von Intel garantiert" bei Powerloss Protection nicht angewiesen ist wie at home (hat bei gleichem Preis wie die 4801-100 mehr Kapazität und ist damit schneller, die gleich schnelle 4801-200 kostet das Doppelte)
Ein Slog muss nicht groß sein. Es soll ja lediglich den Writcache im Crashfall sichern. Ca 10 GB ist meist ausreichend, mit 20 GB ist man auf der sicheren Seite. Leider gibt es aktuell kein sicheres ultra high Perfornance 20 GB Laufwerk. Das früher häufig genutzte ZeusRAM (Dram, 8GB) hatte aber auch > 2000 Euro gekostet. Da ist fir Optane DC 480x geradezu ein Schnäppchen.
Die beiden Benchmarks zeigen aber deutlich
- wenn man sichers sync Schreiben braucht, geht nichts ohne Slog. Schreiben mit 30-50 MB/s ist sonst viel zu wenig.
- Verschlüssellung kostet Performance. Vermutlich wird das bei einem Barebone Setup mit guter CPU geringer ausfallen. 620 MB/s Schreiben und 80 MB/s lesen reicht aber oft schon. Man könnte jetzt noch schauen ob eine schwächere Verschlüssellung deutlich bessere Werte liefert.
Ich werde die Verschlüssellungs Option auf jeden Fall in das Menü einbauen.
Zuletzt bearbeitet:
Elektromat
Experte
Aus platzgründen ist tatsächlich direkt M.2 die eleganteste Option. Ich mach mir zwar nicht wirklich Temperatur sorgen in meinem Gehäuse. Ich hab es ja gut mit Lüftern ausgestattet.
Sollte man schauen, das man die M.2 mit einem passiven Kühlkörper versieht? Sie drosselt doch bestimmt wenn zu warm oder?
Bzw. in punkto Hardware Lebenszeit/Performance wohl auch nicht verkehrt.
Kann man die Verschlüsselungs stärke herabsetzen ohne den Pool neu zu erstellen/befüllen?
Perfekt danke. Ich kann nur immer weider bestätigen, echt super Support, einfach unschlagbar.
Keep up the good work!
ZFS Verschlüssellung (keine Eigenschaft des Pools sondern eines Dateisystems) kann man nur beim Anlegen des Dateisystems festlegen.
Elektromat
Experte
Sorry das ist mir bewusst, das es das Dateisystem betrifft,
Ich stolper wenn´s schnell geht über die Begrifflichkeiten...
Luckysh0t
Enthusiast
Abend zusammen,
würde eigentlich etwas dagegen sprechen den ESXi auf der Intel DC 4801X M.2 installieren, den Rest als Datastore bereistellen und darauf eine bzw mehr (Je nach Bedarf/Platz) VMDK die jeweils als SLOG für Filesysteme in Solaris dienen ?
Klar mag das "Perlen vor die Säue sein" aber abgesehen von den Slog FS hätte ich nichts darauf und der restliche Speicher wäre ungenutzt - der bei der 100 GB Version auch nicht mehr als zu viel ist um damit noch groß was anzufangen.
Und da ESXi auf einem internen Storage läuft, würde es sich nichts mehr vom RAM für seine Scratch Partition klauen - sollte es noch so sein.
Gruß
Lucky
würde eigentlich etwas dagegen sprechen den ESXi auf der Intel DC 4801X M.2 installieren, den Rest als Datastore bereistellen und darauf eine bzw mehr (Je nach Bedarf/Platz) VMDK die jeweils als SLOG für Filesysteme in Solaris dienen ?
Klar mag das "Perlen vor die Säue sein" aber abgesehen von den Slog FS hätte ich nichts darauf und der restliche Speicher wäre ungenutzt - der bei der 100 GB Version auch nicht mehr als zu viel ist um damit noch groß was anzufangen.
Und da ESXi auf einem internen Storage läuft, würde es sich nichts mehr vom RAM für seine Scratch Partition klauen - sollte es noch so sein.
Gruß
Lucky
Zuletzt bearbeitet:
Warum nimmst du den restlichen Speicher nicht als L2ARC ? ESXi da drauf ist echt Perlen vor die Säue, den hab ich auf ner microSD.
Luckysh0t
Enthusiast
Ich bin mir nicht wirklich sicher ob ein L2ARC mir so viel bringen würde (Hatte aber auch schon daran gedacht).
Ist ein Homeserver ("live" und "test"), aber nicht in dem sinne Produktiv, als dass es auf jedes quäntchen Performance ankommt.
Und die VMs und Multimediadateien werden für mich wohl kaum rentabel/nutzbar schneller werden.
Zumal er ja langsamer als der L1ARC ist.
Sollte Solaris der RAM ausgehen wird entsprechend erweitert.
Klar ein USB Stick etc kostet nun wahrlich nicht viel, aber wenn man schon brachliegenden Speicher hat, erschien mir dass als die "sinnvollste" nutzung.
Ist ein Homeserver ("live" und "test"), aber nicht in dem sinne Produktiv, als dass es auf jedes quäntchen Performance ankommt.
Und die VMs und Multimediadateien werden für mich wohl kaum rentabel/nutzbar schneller werden.
Zumal er ja langsamer als der L1ARC ist.
Sollte Solaris der RAM ausgehen wird entsprechend erweitert.
Klar ein USB Stick etc kostet nun wahrlich nicht viel, aber wenn man schon brachliegenden Speicher hat, erschien mir dass als die "sinnvollste" nutzung.
Ich hab da mal wieder ein Problem, bei dem ich nicht weiterkomme und ehrlich gesagt nichts probieren möchte, wenn ich nicht genau weiß was da so passieren kann 
In meiner napp-it Pool Ansicht, sehe ich einen degraded Pool. Vermutlich hat sich hier beim Umbau des Servers ein Kabel gelöst und daher ist eine Platte nicht verfügbar. Das werde ich heute Abend mal überprüfen.
Wo ich allerdings keine Idee habe, ist die Meldung:
cannot open 'TEMP': pool I/O is currently suspended
Hier mal der Screenshot dazu:
Kann es dieselbe Ursache sein? D.h. dass ich aus Versehen ein Kabel gezogen habe? Der TEMP Pool ist nämlich nur ein Stripe von 2 SSDs, d.h. wenn eine weg ist, ist auch der Pool weg. Wäre die obige Fehlermeldung die richtige zu dieser Situation? Falls ja, dann werde ich erstmal heute Abend die Verkabelung prüfen, denn es ist ein wenig eng im Gehäuse mit 8 SSDs und 4 HDDs.
In meiner napp-it Pool Ansicht, sehe ich einen degraded Pool. Vermutlich hat sich hier beim Umbau des Servers ein Kabel gelöst und daher ist eine Platte nicht verfügbar. Das werde ich heute Abend mal überprüfen.
Wo ich allerdings keine Idee habe, ist die Meldung:
cannot open 'TEMP': pool I/O is currently suspended
Hier mal der Screenshot dazu:
Kann es dieselbe Ursache sein? D.h. dass ich aus Versehen ein Kabel gezogen habe? Der TEMP Pool ist nämlich nur ein Stripe von 2 SSDs, d.h. wenn eine weg ist, ist auch der Pool weg. Wäre die obige Fehlermeldung die richtige zu dieser Situation? Falls ja, dann werde ich erstmal heute Abend die Verkabelung prüfen, denn es ist ein wenig eng im Gehäuse mit 8 SSDs und 4 HDDs.
besterino
Legende
Sorry für die Erschleichung von Aufmerksamkeit: vielleicht kennt sich ja hier einer mit Solarish & iSCSI aus. Ich habe irgendwie gerade einen Knoten im Hirn im Hinblick auf "multiple iSCSI-shares for multiple clients"...
Hab hier einen eigenen Fred dazu aufgemacht:
Hab hier einen eigenen Fred dazu aufgemacht:
Ich hab da mal wieder ein Problem, bei dem ich nicht weiterkomme und ehrlich gesagt nichts probieren möchte, wenn ich nicht genau weiß was da so passieren kann
In meiner napp-it Pool Ansicht, sehe ich einen degraded Pool. Vermutlich hat sich hier beim Umbau des Servers ein Kabel gelöst und daher ist eine Platte nicht verfügbar. Das werde ich heute Abend mal überprüfen.
Wo ich allerdings keine Idee habe, ist die Meldung:
cannot open 'TEMP': pool I/O is currently suspended
Hier mal der Screenshot dazu:
Anhang anzeigen 487275
Kann es dieselbe Ursache sein? D.h. dass ich aus Versehen ein Kabel gezogen habe? Der TEMP Pool ist nämlich nur ein Stripe von 2 SSDs, d.h. wenn eine weg ist, ist auch der Pool weg. Wäre die obige Fehlermeldung die richtige zu dieser Situation? Falls ja, dann werde ich erstmal heute Abend die Verkabelung prüfen, denn es ist ein wenig eng im Gehäuse mit 8 SSDs und 4 HDDs.
Degraded ist ein Pool aus mehreren Platten bei dem eine oder mehrere Platten ausgefallen sind, jedoch noch ausreichende Redundanz besteht so dass der Pool verfügbar bleibt.
Offline wäre der Pool wenn mehr Platten ausfallen als es die Redundanz erlaubt.
Wenn plötzlich alle Platten ausfallen, geht der Pool nicht auf offline sondern er höngt mit I/O is currently suspended (eigentlich wartet hier ZFS darauf dass die Platten sich wieder melden)
Prinzipiell unkritisch. Im Gegensatz zu Hardwareraid ist ZFS sehr gurmütig. Solbald die Platten wieder da sind geht der Pool wiedr auf Online.
Wenn man den Pool mit I/O is currently suspended loschen möchte muss man allerdings neu booten.
@gea Danke für die Erklärung. Beim Degraded Pool war tatsächlich ein SATA Stecker ein wenig verrutscht, so dass kein Kontakt mehr da war. Nach Korrektur und Neustart war das Problem dann gelöst. Er hat dann die zuvor fehlenden Platte resilvered.
Interessanterweise war auch nach dem Reboot der suspended Pool wieder online, als wäre nichts gewesen. Woran das jetzt lag, kann ich nicht erklären, aber Hauptsache es funktioniert wieder.
Interessanterweise war auch nach dem Reboot der suspended Pool wieder online, als wäre nichts gewesen. Woran das jetzt lag, kann ich nicht erklären, aber Hauptsache es funktioniert wieder.
Hallo zusammen,
hat noch jemand OmniOS r151032 und Probleme mit Android-Fileexplorern?
Ich kann zwar mit SolidExplorer oder FX auf das Share zugreifen, komme dann aber nicht tiefer in die Verzeichnishierarchie. Wenn ich in ein Unterverzeichnis wechseln möchte, dann lande ich wieder im gleichen Verzeichnis. Es ergibt eine Endlosschleife auf Ebene des Startverzeichnisses: /share/OrdnerEbene1/OrdnerEbene1/OrdnerEbene1/OrdnerEbene1 ....
Steige ich direkt tifer ein: /share/OrdnerEbene1/OrdnerEbene2/ (als Startpfad in der Konfiguration des jeweiligen Programms), dann sehe ich den Inhalt von OrdnerEbene2 und kann auf Dateien zugreifen. Aber den Ordner wechseln kann ich nicht.
Meinen Backupserver habe ich testweise mit der älteren r151030 gestartet, und dann tritt der Fehler nicht auf. Bei meinem produktiven habe ich leider keine BE mit r151030 mehr...
Noch eine Frage am Rande: Warum klappt bei den Androiden der Zugriff nur mit SMBv1?
hat noch jemand OmniOS r151032 und Probleme mit Android-Fileexplorern?
Ich kann zwar mit SolidExplorer oder FX auf das Share zugreifen, komme dann aber nicht tiefer in die Verzeichnishierarchie. Wenn ich in ein Unterverzeichnis wechseln möchte, dann lande ich wieder im gleichen Verzeichnis. Es ergibt eine Endlosschleife auf Ebene des Startverzeichnisses: /share/OrdnerEbene1/OrdnerEbene1/OrdnerEbene1/OrdnerEbene1 ....
Steige ich direkt tifer ein: /share/OrdnerEbene1/OrdnerEbene2/ (als Startpfad in der Konfiguration des jeweiligen Programms), dann sehe ich den Inhalt von OrdnerEbene2 und kann auf Dateien zugreifen. Aber den Ordner wechseln kann ich nicht.
Meinen Backupserver habe ich testweise mit der älteren r151030 gestartet, und dann tritt der Fehler nicht auf. Bei meinem produktiven habe ich leider keine BE mit r151030 mehr...
Noch eine Frage am Rande: Warum klappt bei den Androiden der Zugriff nur mit SMBv1?
martingo
Experte
- Mitglied seit
- 17.01.2017
- Beiträge
- 1.300
Ich habe das gleiche Drama, dachte das liegt irgendwie an meiner Installation und der Domänenmitgliedschaft o.ä.
Habe zehn verschiedene Apps probiert und hat letztlich nur mit "FE File Explorer" funktioniert. X-Plore hatte ich nicht getestet.
Mit iOS gab es auch ein (anderes) Problem, da hing sich immer die komplette App auf wenn man eine beliebige Datei öffnen wollte. Dort lief es auch nur mit der gleichen App (FE).
Jeweils mehrere Geräte getestet (Smartphones, Tablets) mit unterschiedlichen iOS/Android Versionen.
Habe zehn verschiedene Apps probiert und hat letztlich nur mit "FE File Explorer" funktioniert. X-Plore hatte ich nicht getestet.
Mit iOS gab es auch ein (anderes) Problem, da hing sich immer die komplette App auf wenn man eine beliebige Datei öffnen wollte. Dort lief es auch nur mit der gleichen App (FE).
Jeweils mehrere Geräte getestet (Smartphones, Tablets) mit unterschiedlichen iOS/Android Versionen.
WMDK
Legende
Mal ne Frage an die ZFS Spezialisten hier 
Ich habe vor, folgende Config für Proxmox einzusetzen:
AMD Ryzen 3700X
64GB ECC RAM
2x 1TB NVMe SSD
Die NVMe SSDs sollen im ZFS als RAID1 laufen.
Jetzt habe ich überlegt, ob es sinnvoll ist, z.B. noch eine Datacenter SATA SSD als L2ARC einzusetzen, bzw. die 50/50 zu teilen für L2ARC / SLOG.
Kann da jemand was zu sagen, wie sinnvoll das ist? Ich brauche auf dem Server eine recht gute Read & Write Performance. Read ist fast noch wichtiger als Write eigentlich, aber Write sollte natürlich auch kein 5MB/s Spielchen werden.
Ich habe vor, folgende Config für Proxmox einzusetzen:
AMD Ryzen 3700X
64GB ECC RAM
2x 1TB NVMe SSD
Die NVMe SSDs sollen im ZFS als RAID1 laufen.
Jetzt habe ich überlegt, ob es sinnvoll ist, z.B. noch eine Datacenter SATA SSD als L2ARC einzusetzen, bzw. die 50/50 zu teilen für L2ARC / SLOG.
Kann da jemand was zu sagen, wie sinnvoll das ist? Ich brauche auf dem Server eine recht gute Read & Write Performance. Read ist fast noch wichtiger als Write eigentlich, aber Write sollte natürlich auch kein 5MB/s Spielchen werden.
Ein extra Slog wird kaum was bringen (außer es ist eine Optane bei ganz schlechten NVMe).
L2Arc wird kaum was bringen wenn man für ZFS ausreichend RAM bereitstellen kann (z.B. 32GB von 64 GB)
Was ist es denn für eine NVMe?
Wenn die NVMe keine powerloss protection können, ist sicheres sync-write nicht gewährleistet.
L2Arc wird kaum was bringen wenn man für ZFS ausreichend RAM bereitstellen kann (z.B. 32GB von 64 GB)
Was ist es denn für eine NVMe?
Wenn die NVMe keine powerloss protection können, ist sicheres sync-write nicht gewährleistet.
WMDK
Legende
32GB wollte ich eigentlich nicht bereitstellen, dachte da eher so an 8-16GB, da ich auch noch RAM für die VMs brauche.
Powerloss Protection ist nicht vorhanden. D.h. somit für ZFS eh ungeeignet?
Powerloss Protection ist nicht vorhanden. D.h. somit für ZFS eh ungeeignet?
WMDK
Legende
Also ich habe zwei Stück hiervon:
Samsung SM961 Series
und zwei Stück hiervon:
Toshiba XG5 Series
Samsung SM961 Series
und zwei Stück hiervon:
Toshiba XG5 Series
