Hallo,
du kannst maximal den zpool erweitern aber nicht das vdev, verlierst dabei aber die vollständige Redundanz (fällt eine der alten Platten aus, bleibt alles beim alten, fällt die neue Platte aus, sind alle Daten futsch). Um das gleiche Redundanzlevel zu halten, müsstest du 2x3TB als mirror dem Pool hinzufügen, aber ob jemand diesen Mischmasch haben will? Damit das Ganze halbwegs geordnet bleibt, sollte man dann 3x1,5 oder 3x3TB als raidz hinzufügen.
du kannst maximal den zpool erweitern aber nicht das vdev, verlierst dabei aber die vollständige Redundanz (fällt eine der alten Platten aus, bleibt alles beim alten, fällt die neue Platte aus, sind alle Daten futsch). Um das gleiche Redundanzlevel zu halten, müsstest du 2x3TB als mirror dem Pool hinzufügen, aber ob jemand diesen Mischmasch haben will? Damit das Ganze halbwegs geordnet bleibt, sollte man dann 3x1,5 oder 3x3TB als raidz hinzufügen.
Ah ok, also nicht die ganzen Disks zuweisen sondern nur Partitionen. Eigentlich ganz logisch - Danke!
Außer zum zeigen dass es geht, ist davon extrem abzuraten. Wenn diese Platte ausfällt, dann sind zwei ZFS devices davon betroffen, von dem Chaos eines Austausches dieser Platte im Fehlerfall mal ganz zu schweigen. Man nimmt doch ZFS wegen der Datensicherheit und sollte dann nicht alles daransetzen, das zu verringern..
Wenn dann macht partitionieren allenfalls bei Log und Cache devices Sinn. Wenn die ausfallen, dann ist auch nicht alles weg.
Sinn macht eigentlich nur:
alle 1,5 TB Platten durch 3 TB zu ersetzen (replace mit anschlie0endem Rebuild)-> doppelte Kapazität
oder dem Pool ein weiteres vdev hinzufügen (als Mirror oder Raid-Z) -> mehr Kapazität und mehr Performance
MoggeleMuh
Enthusiast
- Mitglied seit
- 30.11.2006
- Beiträge
- 376
"Braucht" man SSDs für ZIL oder L2ARC?
D.h. bekomme ich z.B. statt 100 MiB/s nur noch 35 MiB/s durchs Netz
wenn ich keine SSD als zusätzlichen Cache verwende oder sind die
Auswirkungen eher in der Größenordnung von 98,7 MiB/s statt 99,5 MiB/s?
D.h. bekomme ich z.B. statt 100 MiB/s nur noch 35 MiB/s durchs Netz
wenn ich keine SSD als zusätzlichen Cache verwende oder sind die
Auswirkungen eher in der Größenordnung von 98,7 MiB/s statt 99,5 MiB/s?
Nein es kommt auf deine gesamtes System und die Größen deiner Pools und den Anwenungsbereich an. Hab hier 16 GB Ram, Testweise 4x 2 TB HDDs im Striped Mirrored Vdev Zpool (also RAID 10) und kam mit 2x Mirrored Intel SSDs als ZIL genau auf meine max. 124 MB/s beim schreiben. Ohne extra SSD ZIL das gleiche Ergebnis. Von daher unnötig bei meiner Konfig. Wieso willst du überhaupt ZIL und L2ARC auf HDDs bzw. SSDs nutzen? Wenn ich mal Speedprobleme habe, steck ich mir lieber mehr RAM rein, da hab ich mehr davon. L2ARC auf ner SSD macht bei mir noch weniger Sinn da ja nur die oft benötigen Daten auf die SSD ausgelagert werden und mein System keine 24/7 läuft.
Zuletzt bearbeitet:
MoggeleMuh
Enthusiast
- Mitglied seit
- 30.11.2006
- Beiträge
- 376
Von wollen kann keine Rede sein, weil teuer Geld, habe nur gelesen, dass das oft so gemacht wird.
Also die Konfig die mir aktuell vorschwebt sieht ungefähr so aus:
- max 1 gleichzeitiger Transfer über 1x 1GbE
- max 12 mechanische Platten
- soviel CPU und RAM, dass hier keine Limitierung besteht
Will also nur 1x 1 GbE saturieren.
Nehme nach Deiner Antwort an, dass ich mir die 2 SSDs für den ZIL sparen kann.
Also die Konfig die mir aktuell vorschwebt sieht ungefähr so aus:
- max 1 gleichzeitiger Transfer über 1x 1GbE
- max 12 mechanische Platten
- soviel CPU und RAM, dass hier keine Limitierung besteht
Will also nur 1x 1 GbE saturieren.
Nehme nach Deiner Antwort an, dass ich mir die 2 SSDs für den ZIL sparen kann.
Ja das kannst du dir sparen, ich hatte damals auch "aufgeschnappt" und gleich umgesetzt und ja war halt umsonst das ganze 
Nutze die SSDs nun als Comstar iSCSI Target wegen den hohen IOPS.
---------- Post added at 16:55 ---------- Previous post was at 14:54 ----------
Mal ein DD Benchtest von mir von meinem Mirror Pool aus zwei 3 TB Seagate SV35.5:
Sollten doch etwa 238 MB/s Write sein.
Aber dann ~ 5688 MB/s Read?! Alles nur aus dem RAM, oder wie kommt der Wert Zustande? Hab ich was falsch gemacht?
Nutze die SSDs nun als Comstar iSCSI Target wegen den hohen IOPS.---------- Post added at 16:55 ---------- Previous post was at 14:54 ----------
Mal ein DD Benchtest von mir von meinem Mirror Pool aus zwei 3 TB Seagate SV35.5:
Code:
root@ZFSSERVER:~# time dd if=/dev/zero of=/mnt/daten/dd.tst bs=1024000 count=10000
10000+0 records in
10000+0 records out
real 0m43.847s
user 0m0.014s
sys 0m5.027sSollten doch etwa 238 MB/s Write sein.
Code:
root@ZFSSERVER:~# time dd if=/mnt/daten/dd.tst of=/dev/null bs=1024000
10000+0 records in
10000+0 records out
real 0m1.862s
user 0m0.007s
sys 0m1.822sAber dann ~ 5688 MB/s Read?! Alles nur aus dem RAM, oder wie kommt der Wert Zustande? Hab ich was falsch gemacht?
Zuletzt bearbeitet:
Code:
root@ZFSSERVER:~# zfs get -r compression daten
NAME PROPERTY VALUE SOURCE
daten compression off local
daten/backup compression off inherited from daten
daten/files compression off inherited from daten
daten/movies compression off inherited from daten
daten/music compression off inherited from datenNein bei allen Pools immer aus.
Zuletzt bearbeitet:
Ist alles aus.
Code:
zfs get all daten
NAME PROPERTY VALUE SOURCE
daten type filesystem -
daten creation So. Dez 2 13:08 2012 -
daten used 859G -
daten available 1,84T -
daten referenced 9,54G -
daten compressratio 1.00x -
daten mounted yes -
daten quota none default
daten reservation none default
daten recordsize 128K default
daten mountpoint /mnt/daten local
daten sharenfs off default
daten checksum on local
daten compression off local
daten atime off local
daten devices on default
daten exec on default
daten setuid on default
daten readonly off default
daten zoned off default
daten snapdir hidden default
daten aclmode discard default
daten aclinherit restricted default
daten canmount on default
daten xattr on default
daten copies 1 default
daten version 5 -
daten utf8only off -
daten normalization none -
daten casesensitivity mixed -
daten vscan off default
daten nbmand off default
daten sharesmb off local
daten refquota none default
daten refreservation none default
daten primarycache all default
daten secondarycache all default
daten usedbysnapshots 0 -
daten usedbydataset 9,54G -
daten usedbychildren 849G -
daten usedbyrefreservation 0 -
daten logbias latency default
daten dedup off default
daten mlslabel none -
daten sync standard default
daten encryption off -
daten keysource none default
daten keystatus none -
daten rekeydate - default
daten rstchown on default
daten shadow none -
Zuletzt bearbeitet:
GrafikTreiber
Enthusiast
- Mitglied seit
- 25.12.2005
- Beiträge
- 1.529
Die Daten kommen wohl alle aus dem Ram.
There's a lot of caching!
There's a lot of caching!
Zuletzt bearbeitet:
@TCM Ja ist das System. Habe eben mit 30 GB das gleiche probiert.
@GrafikTreiber hehe dacht ich mir auch, hab den Test darum mal mit 30 GB wiederholt:
Nun ~ 185 MB/s Write, klingt schon realistischer bei nur 2 HDDs.
Aber beim Read Test hab ich nach ~ 8 Minuten abgebrochen... das wären ja nur 25 MB/s ?! Wie kann das sein? Wenn ich ein z.B. 65 GB großes Image vom Server herunter kopiere auf meinen PC, hab ich doch auch meine 120 MB/s, was läuft da falsch?
@GrafikTreiber hehe
dacht ich mir auch, hab den Test darum mal mit 30 GB wiederholt:
Code:
time dd if=/dev/zero of=/mnt/daten/dd.tst bs=1024000 count=30000
30000+0 records in
30000+0 records out
real 2m46.232s
user 0m0.041s
sys 0m15.310sNun ~ 185 MB/s Write, klingt schon realistischer bei nur 2 HDDs.
Code:
time dd if=/mnt/daten/dd.tst of=/dev/null bs=1024000
12239+0 records in
12239+0 records out
real 7m56.835s
user 0m0.036s
sys 0m6.385sAber beim Read Test hab ich nach ~ 8 Minuten abgebrochen... das wären ja nur 25 MB/s ?! Wie kann das sein? Wenn ich ein z.B. 65 GB großes Image vom Server herunter kopiere auf meinen PC, hab ich doch auch meine 120 MB/s, was läuft da falsch?
GrafikTreiber
Enthusiast
- Mitglied seit
- 25.12.2005
- Beiträge
- 1.529
Festplatten können nicht immer konstante Leistungen bringen und sacken auch mal auf 25 MB/s ab, je nach dem an welche Stelle sie gerade schreiben. Sofern du weißt wie Festplatten aufgebaut sind bzw. funktionieren denk doch mal darüber nach was passiert wenn man am "Inneren des Kreises" bzw. am "Äußern des Kreises" angelangt ist.
Sind das Green HDDs? Dann trifft das hier besonders zu, die sind ja von Haus aus schon nicht schnell.
Beispiel Read, beim Write ist es ähnlich:
Sind das Green HDDs? Dann trifft das hier besonders zu, die sind ja von Haus aus schon nicht schnell.
Beispiel Read, beim Write ist es ähnlich:
Zuletzt bearbeitet:
GrafikTreiber
Enthusiast
- Mitglied seit
- 25.12.2005
- Beiträge
- 1.529
Etwas OT, aber bitte kaufe in Zukunft keine DVR-Platten mehr für RAID! Die haben eine spezielle Firmware welche für DVR angepasst ist und ein anderes Error-Handling hat. Es steht dort nicht zum Spaß "optimized vor digital video recording"!
Zuletzt bearbeitet:
Ja danke für den Hinweis (hab mir den Thread dazu durchgelesen vor dem Kauf: http://www.hardwareluxx.de/communit...peicherplatten-im-desktop-einsatz-898036.html), aber leider bin ich mit den Perfomancetest immer noch nicht schlauer. Wie gesagt Write = super, Read = schlecht. In der Praxis ist aber beides Stabil, egal was ich mache, SMB, Rsync usw. usf. alles rennt ohne Einbrüche oder solche auffälligen Dinge.
Zuletzt bearbeitet:
In der "Praxis" werden mit 16 GB RAM wohl > 80 % der Lesezugriffe aus dem RAM bedient. Da fällt eine schlechte Platten-Lese-Performance nicht so auf.
Was ich machen würde:
- Bei dd immer RAM x 2 als Größe nehmen und mind. 30s zwischen Schreiben und Lesen warten
- alternative: mit bonnie++ testen (geht wohl leider nicht mit Solaris 11)
- Die 3 TB Platten sind 4k Platten. Schlechte Lesewerte treten auch bei falschem Alignment auf
(das vdev müsste ashift=12 sein, wenn es ashift= 9 hat, bremst das vor allem beim Lesen)
Ashift ist eine vdev-Eigenschaft; abfragen mit: zdb -C poolname
Falls ashift=9: Pool eventuell neu anlegen
Zuletzt bearbeitet:
Danke gea.
Alle Pools sind mit deinem napp-it 4K Pool angelegt wurden.
(sieht so bei allen Pools aus, bis auf der SLC SSD wo das Betriebsystem liegt, aber da ist das egal)
Bonnie ++ geht leider nicht hab Solaris 11.
Hab den Test wie du empfohlen hast wiederholt:
2 Minuten gewartet...
178 MB/s Write und 27 MB/s Read
Alle Pools sind mit deinem napp-it 4K Pool angelegt wurden.
Code:
zdb -C daten | grep ashift
ashift: 12(sieht so bei allen Pools aus, bis auf der SLC SSD wo das Betriebsystem liegt, aber da ist das egal)
Bonnie ++ geht leider nicht hab Solaris 11.
Hab den Test wie du empfohlen hast wiederholt:
Code:
time dd if=/dev/zero of=/mnt/daten/dd.tst bs=1024000 count=32000
32000+0 records in
32000+0 records out
real 2m55.792s
user 0m0.047s
sys 0m13.829s2 Minuten gewartet...
Code:
time dd if=/mnt/daten/dd.tst of=/dev/null bs=1024000
32000+0 records in
32000+0 records out
real 20m50.573s
user 0m0.092s
sys 0m16.868s178 MB/s Write und 27 MB/s Read
178 MB/s Write und 27 MB/s Read
Bei solch schlechten Werten würde ich dem auf den Grund gehen und ein paar Versuche machen,
Mögliche Ursachen:
Falls der Pool mit dem modifizierten zpool von OpenIndiana 148 erstellt wurde:
-Solaris 11 mag den 4k Pool so nicht, Pool neu anlegen (ashift=9 bzw ashift=12 mit OI oder OmniOS und normalem zpool binary)
Eine der beiden Platten macht Probleme
- andere Platte versuchen oder mirror auflösen und Platten einzeln testen
natürlich alles nur, falls es ein Backup gibt
zum Vergleich eventuell OI oder OmniOS (aktuellstes Illumos) gegentesten
Also der Pool wurde wie schon erwähnt über napp-it mit der "Force ashift=12" Option erstellt. Und dann zpool upgrade auf V 33. Ist das dieser Problemfall?
Hab die HDDs mit jeweils 6 Stunden SMART Longtest usw. schon getestet (vor 3 Tagen) nichts dabei rausgekommen - außer das alles in Ordnung ist. Scrub rennt mit 190 MB/s ohne Fehlermeldung durch. Wenn ich von dem Mirror Pool auf meine Backup HDD mit Rsync abgleiche, habe ich 90-140 MB/s und da ist es ja auch ein lesender Zugriff auf die HDDs, bin da wirklich sehr verwirrt, denn es sieht ja gut aus oder?
Mein Problem ist das alle Pools V 33 haben und ich diese nur mit Solaris 11 wieder importieren kann, ich müsste echt alle Pools nochmal mit V 28 anlegen und alles nochmals neu sichern und dann wieder zurück kopieren, werd ich vielleicht wenn ich Urlaub habe angehen können.
Und als alternativ OS für ZFS was würdest du da aktuell als "rock solid" ansehen? Beim aktuellen OI gibts ja diesen komischen 5000er zpool und diese OmniOS, bist du damit zufrieden und keine Probleme im Alltag oder Dinge die man beachten muss? Illumian 1.0 ist keine Alterantive? Ich brauche eigentlich nur den schnellen CIFS Kernel, iSCSI Comstar und NFS, alles andere wird nicht benötigt.
Danke gea für deine Unterstützung.
Hab die HDDs mit jeweils 6 Stunden SMART Longtest usw. schon getestet (vor 3 Tagen) nichts dabei rausgekommen - außer das alles in Ordnung ist. Scrub rennt mit 190 MB/s ohne Fehlermeldung durch. Wenn ich von dem Mirror Pool auf meine Backup HDD mit Rsync abgleiche, habe ich 90-140 MB/s und da ist es ja auch ein lesender Zugriff auf die HDDs, bin da wirklich sehr verwirrt, denn es sieht ja gut aus oder?
Mein Problem ist das alle Pools V 33 haben und ich diese nur mit Solaris 11 wieder importieren kann, ich müsste echt alle Pools nochmal mit V 28 anlegen und alles nochmals neu sichern und dann wieder zurück kopieren, werd ich vielleicht wenn ich Urlaub habe angehen können.
Und als alternativ OS für ZFS was würdest du da aktuell als "rock solid" ansehen? Beim aktuellen OI gibts ja diesen komischen 5000er zpool und diese OmniOS, bist du damit zufrieden und keine Probleme im Alltag oder Dinge die man beachten muss? Illumian 1.0 ist keine Alterantive? Ich brauche eigentlich nur den schnellen CIFS Kernel, iSCSI Comstar und NFS, alles andere wird nicht benötigt.
Danke gea für deine Unterstützung.
Zuletzt bearbeitet:
Viele Probleme treten nur bei ganz bestimmten Rahmenbedingungen auf. Diese Kombination (ashift 12-Pool aus OpenIndiana 148 mit Update auf Solaris 11 V34) habe ich noch nie getestet, habe aber auch von keinen Problemen gehört. Das ließe sich aber schnell mit einer freien Platte testen.
Zu den Pools mit komischem Zpool 5000
Bis Zpool 28 war ja alles Klar, das war OpenSource (Dank an SUN). Alle neueren Pools 29..34+ sind die "komischen" Oracle Pools mit vendor lock-in. Das heißt, die werden niemals von irgendwem außer Oracle Solaris unterstützt werden können.
Als Ausweg hat Illumos (da findet die gemeinsame freie Solaris/ZFS Entwicklung statt) diese traditionelle Versionierung beendet und den Pool Version 5000 eingeführt, damit es die nächsten 1000 Jahre keine Probleme mit der Oracle Nummerierung gibt.
Pool 5000 führt Feature Flags ein. Das sind neuere Features wie asyncrones (mehrfach schnelleres) asyncrones Löschen von snaps und künftig viele andere neuere Features die von Illumos, Nexenta, Joyent, Delphix oder anderen etwa aus dem BSD oder Linuxlager entwickelt werden. Diese Features können zwar auch closed source sein (z.B. bei Nexenta) sind aber normalerweise OpenSource und werden dann von allen neueren ZFS Entwicklungen (Basis Illumos aber auch BSD oder Linux ZOL) unterstützt werden können. Alle neueren Illumos Entwicklungen (Nexenta4 auf Basis von Illumian, OmniOS, OpenIndiana und SmartOS) können Pools V5000 genau wie BSD und Linux bereits jetzt oder künftig.
Im Moment sehe ich Oracle Solaris 11 eher in der Außenseiterposition. Mainstream ZFS ist Illumos (bis auf den oberen Enterprise Sektor). Welche der Distributionen sich langfristig etabliert ist aber schon schwieriger vorherzusehen. Klar ist, dass sich die Distributionen halten, hinter denen eine starke Firma steht, also etwa NexentaStor oder SmartOS.
Die sind aber beide nicht ohne Pferdefuß für ein NAS/SAN. SmartOS is zu sehr auf Cloud ausgerichtet und Nexenta hat wegen NexentaStor kein Interesse an einem zu guten oder zu aktuellen Illumian - der Basis des künftigen NexentaStor 4.
Es bleibt zunächst OpenIndiana, der freie Nachfolger von OpenSolaris - mit dem breitesten Anspruch an Nutzungsmöglichkeiten - vom Desktop bis zum Server. Da liegt aber auch das Problem. Dafür gibt es zuwenig Entwickler.Deshalb geht es bei OI auch so langsam voran.
Die interessanteste neuere Entwicklung ist OmniOS. Das ist eine Server-Minimaldistribution die ganz zeitnah der Illumos Entwicklung folgt, stable ist und ähnlich Nexenta mit einer kommerziellen Support-Option aufwarten kann.
Ich selber sehe OpenIndiana nach wir vor als Standard an. OmniOS könnte dem aber im Serverbereich den Rang ablaufen. Napp-it 0.9 unterstützt daher primär OI und OmniOS läuft aber auch mit Illumian und Solaris 11.1
Zu den Pools mit komischem Zpool 5000
Bis Zpool 28 war ja alles Klar, das war OpenSource (Dank an SUN). Alle neueren Pools 29..34+ sind die "komischen" Oracle Pools mit vendor lock-in. Das heißt, die werden niemals von irgendwem außer Oracle Solaris unterstützt werden können.
Als Ausweg hat Illumos (da findet die gemeinsame freie Solaris/ZFS Entwicklung statt) diese traditionelle Versionierung beendet und den Pool Version 5000 eingeführt, damit es die nächsten 1000 Jahre keine Probleme mit der Oracle Nummerierung gibt.
Pool 5000 führt Feature Flags ein. Das sind neuere Features wie asyncrones (mehrfach schnelleres) asyncrones Löschen von snaps und künftig viele andere neuere Features die von Illumos, Nexenta, Joyent, Delphix oder anderen etwa aus dem BSD oder Linuxlager entwickelt werden. Diese Features können zwar auch closed source sein (z.B. bei Nexenta) sind aber normalerweise OpenSource und werden dann von allen neueren ZFS Entwicklungen (Basis Illumos aber auch BSD oder Linux ZOL) unterstützt werden können. Alle neueren Illumos Entwicklungen (Nexenta4 auf Basis von Illumian, OmniOS, OpenIndiana und SmartOS) können Pools V5000 genau wie BSD und Linux bereits jetzt oder künftig.
Im Moment sehe ich Oracle Solaris 11 eher in der Außenseiterposition. Mainstream ZFS ist Illumos (bis auf den oberen Enterprise Sektor). Welche der Distributionen sich langfristig etabliert ist aber schon schwieriger vorherzusehen. Klar ist, dass sich die Distributionen halten, hinter denen eine starke Firma steht, also etwa NexentaStor oder SmartOS.
Die sind aber beide nicht ohne Pferdefuß für ein NAS/SAN. SmartOS is zu sehr auf Cloud ausgerichtet und Nexenta hat wegen NexentaStor kein Interesse an einem zu guten oder zu aktuellen Illumian - der Basis des künftigen NexentaStor 4.
Es bleibt zunächst OpenIndiana, der freie Nachfolger von OpenSolaris - mit dem breitesten Anspruch an Nutzungsmöglichkeiten - vom Desktop bis zum Server. Da liegt aber auch das Problem. Dafür gibt es zuwenig Entwickler.Deshalb geht es bei OI auch so langsam voran.
Die interessanteste neuere Entwicklung ist OmniOS. Das ist eine Server-Minimaldistribution die ganz zeitnah der Illumos Entwicklung folgt, stable ist und ähnlich Nexenta mit einer kommerziellen Support-Option aufwarten kann.
Ich selber sehe OpenIndiana nach wir vor als Standard an. OmniOS könnte dem aber im Serverbereich den Rang ablaufen. Napp-it 0.9 unterstützt daher primär OI und OmniOS läuft aber auch mit Illumian und Solaris 11.1
Zuletzt bearbeitet:
Ich habe EON (jetzt auch eine Illumos Distribution, booted aber von USB und läuft dann im RAM) selber bis ca Version napp-it 0.5 unterstützt. Leider passiert da zu wenig als dass EON Chancen hätte.
Dieses "läuft schnell auch vom USB Stick" wird ja auch von ESXi favorisiert und wird derzeit unter ZFS von SmartOS perfektioniert- leider für Cloud und nicht für NAS/SAN Anwendung. Auch FreeBSD hat damit seinen Schwerpunkt.
Jedoch sind SSD billig geworden und richtig viel schneller und zuverlässiger als USB Sticks, so dass diese Nische mehr und mehr unnötig wird. Ein SmartOS mit napp-it Web-UI ist allerdings schon etwas, was ich mir künftig vorstellen könnte.
Im Moment ist ein ZFS-Server mit einem minimal-OS sicher am Besten mit OmniOS oder OI/Solaris Text Edition machbar - auch als appliance mit (napp-it) Web-UI.
Dieses "läuft schnell auch vom USB Stick" wird ja auch von ESXi favorisiert und wird derzeit unter ZFS von SmartOS perfektioniert- leider für Cloud und nicht für NAS/SAN Anwendung. Auch FreeBSD hat damit seinen Schwerpunkt.
Jedoch sind SSD billig geworden und richtig viel schneller und zuverlässiger als USB Sticks, so dass diese Nische mehr und mehr unnötig wird. Ein SmartOS mit napp-it Web-UI ist allerdings schon etwas, was ich mir künftig vorstellen könnte.
Im Moment ist ein ZFS-Server mit einem minimal-OS sicher am Besten mit OmniOS oder OI/Solaris Text Edition machbar - auch als appliance mit (napp-it) Web-UI.
Zuletzt bearbeitet:
Ja also ein USB Stick Boot ist auch für mich kein Grund, hab eine SLC SSD und an den Pool komme ich ja auch mal rann selbst wenn die SSD mal den Geist aufgibt.
Hab jetzt extra nochmal getestet:
Eine 150 GB Western Digital VelociRaptor direkt an den SATA Port vom Intel Mainboard, nur mit dem napp-it V 28 Pool angelegt und nochmal gebencht:
107 MB/s Read und 39 MB/s Write ich glaub hier stimmt was gewaltig nicht, zumindest bei dem DD Test, bei allen anderen Dingen hab ich keine Geschwindigkeitsprobleme, ich werd wohl mal alles frisch aufsetzen.
Hab jetzt extra nochmal getestet:
Eine 150 GB Western Digital VelociRaptor direkt an den SATA Port vom Intel Mainboard, nur mit dem napp-it V 28 Pool angelegt und nochmal gebencht:
107 MB/s Read und 39 MB/s Write ich glaub hier stimmt was gewaltig nicht, zumindest bei dem DD Test, bei allen anderen Dingen hab ich keine Geschwindigkeitsprobleme, ich werd wohl mal alles frisch aufsetzen.
mauorrizze
Enthusiast
Kleines Update zu meinen Virtualisierungsversuchen: endlich läuft oi151 mit dem IBM BR10i SAS Controller (LSI-IT-Firmware) unter ESXi ordentlich. OmniOS ist schon vorbereitet, aber falls keine Probleme auftauchen bleibt es bei oi mit napp-it. Hatte zum Schluss (fast) die Qual der Wahl, nachdem ich ca. 5 Stunden nach erstem Fehlschlag rausgefunden habe, dass man den LSI Controller für das Host-Bios deaktivieren kann und muss! Und unter KVM das Rom deaktivieren, dann kommen auch keine verwirrenden Fehlermeldungen. Grrrr....
Hier meine persönlichen Vor- und Nachteile Proxmox VE / ESXi
ESXi
+ oi151 läuft
- FreeBSD/nas4free wollte so von alleine nicht
+ schnelle funktionierende Konsole
+ Durchreichen von USB *soll* gut funktionieren, Tests folgen...
+ schnelle vmxnet3 Gast-Treiber für Linux und Solaris/oi
- offizielle Clients nur für Windows
Proxmox VE
+ bestehendes nas4free läuft letzten Endes gut (schreibend schneller als über onboard Controller zuvor)
- dafür wollte oi immer noch nicht, kam schon weiter aber Installer hat sich rebootet ohne Hinweise auf Fehler
+ OS-unabhängiges Web-Interface, in vielen Punkten sogar übersichtlicher als das von ESXi (vielleicht weil's etwas weniger umfangreich ist)
+ linuxbasiert (ach... aber ihr wisst schon, open und source und so...)
+ Hardwarekompatibilität (z.B. Durchreichen meiner PCI-TV-Karte)
- USB durchreichen macht Probleme (der Bus meiner TV-Karte wurde getauscht - statt PCI jetzt USB. Sobald ich z.B. etwas Netzwerkaktivität hatte hagelte es Übertragungsfehler!)
- bezogen auf oi steht kein echtes GBit-Netzwerk zur Verfügung, hatte etwa 700Mbit mit dem e1000, alternativ 'ne Karte durchreichen oder auf weitere Unterstützung der virtio-Treiber hoffen
Im Stromverbrauch nehmen sich beide nicht viel, absolut sah es bei mir so aus: Proxmox mit RHEL-Kernel (57W) > ESXi (54W)> aktueller Gentoo-Kernel (50W? - HBA nur "eingebaut", Platten onboard) jeweils idle mit geparkten HDD-Köpfen. Belastungsprofile hab ich mir jetzt nicht Ausgedacht
Obwohl mir Proxmox bzw. KVM "sympathischer" ist, nehme ich jetzt erstmal ESXi wegen USB, Netzwerk und v.A. weil oi überhaupt lief. Nach vielen Fehlschlägen hatte ich keine Lust auf weitere Fehlersuche.
Hoffe das war nicht zu off-topic, aber immerhin geht's ja darum ZFS gescheit zum laufen zu kriegen
Daher zum Schluss auch noch eine reine ZFS-Frage:
Kann man / darf man / soll man, unter OpenIndiana, ZFS bezogen auf Speichernutzung optimieren? Unter FreeBSD konnte man ja im loader Systemparameter ändern (vm.kmem_size*, vfs.zfs.arc*). Aber wenn ich mir den freien Speicher anschaue, scheint oi von Haus aus den besser zu nutzen?
Hier meine persönlichen Vor- und Nachteile Proxmox VE / ESXi
ESXi
+ oi151 läuft
- FreeBSD/nas4free wollte so von alleine nicht
+ schnelle funktionierende Konsole
+ Durchreichen von USB *soll* gut funktionieren, Tests folgen...
+ schnelle vmxnet3 Gast-Treiber für Linux und Solaris/oi
- offizielle Clients nur für Windows
Proxmox VE
+ bestehendes nas4free läuft letzten Endes gut (schreibend schneller als über onboard Controller zuvor)
- dafür wollte oi immer noch nicht, kam schon weiter aber Installer hat sich rebootet ohne Hinweise auf Fehler
+ OS-unabhängiges Web-Interface, in vielen Punkten sogar übersichtlicher als das von ESXi (vielleicht weil's etwas weniger umfangreich ist
)+ linuxbasiert (ach... aber ihr wisst schon, open und source und so...)
+ Hardwarekompatibilität (z.B. Durchreichen meiner PCI-TV-Karte)
- USB durchreichen macht Probleme (der Bus meiner TV-Karte wurde getauscht - statt PCI jetzt USB. Sobald ich z.B. etwas Netzwerkaktivität hatte hagelte es Übertragungsfehler!)
- bezogen auf oi steht kein echtes GBit-Netzwerk zur Verfügung, hatte etwa 700Mbit mit dem e1000, alternativ 'ne Karte durchreichen oder auf weitere Unterstützung der virtio-Treiber hoffen
Im Stromverbrauch nehmen sich beide nicht viel, absolut sah es bei mir so aus: Proxmox mit RHEL-Kernel (57W) > ESXi (54W)> aktueller Gentoo-Kernel (50W? - HBA nur "eingebaut", Platten onboard) jeweils idle mit geparkten HDD-Köpfen. Belastungsprofile hab ich mir jetzt nicht Ausgedacht
Obwohl mir Proxmox bzw. KVM "sympathischer" ist, nehme ich jetzt erstmal ESXi wegen USB, Netzwerk und v.A. weil oi überhaupt lief. Nach vielen Fehlschlägen hatte ich keine Lust auf weitere Fehlersuche.
Hoffe das war nicht zu off-topic, aber immerhin geht's ja darum ZFS gescheit zum laufen zu kriegen
Daher zum Schluss auch noch eine reine ZFS-Frage:
Kann man / darf man / soll man, unter OpenIndiana, ZFS bezogen auf Speichernutzung optimieren? Unter FreeBSD konnte man ja im loader Systemparameter ändern (vm.kmem_size*, vfs.zfs.arc*). Aber wenn ich mir den freien Speicher anschaue, scheint oi von Haus aus den besser zu nutzen?
Nein unter OpenIndiana brauchst du nichts "tweaken" da läuft alles Standardmäßig schon wie Butter, ein anpassen führt da eher zu Problemen. Du könntest max. bei Datenbanken oder sonstigen Sonderwünschen deine Pools anpassen für mehr IOPS etc.
/edit
@gea
Konnte es nicht lassen und hab mal OmniOS (latest stable) installiert und probiere gerade in VirtualBox alles mal aus, aber napp-it lässt sich nicht installieren, bekomme keine Internetverbindung, auch wenn durch DHCP die IP richtig angerufen wird usw. auch als statische Konfig nach deiner Anleitung klappt es leider nicht: http://napp-it.org/downloads/omnios.html.
Hab dazu parallel mal Illumian 1.0 mit napp-it 0.9 installiert (ohne etwas anzupassen, da apt-get update und apt-get upgrade nichts geändert haben bzw. installiert haben und das mit dem Distri-update hab ich auch nicht ganz verstanden) und werde berichten ob mir irgendwas auffällt, aber rennt out of the box ohne Probleme bisher.
/edit
@gea
Konnte es nicht lassen und hab mal OmniOS (latest stable) installiert und probiere gerade in VirtualBox alles mal aus, aber napp-it lässt sich nicht installieren, bekomme keine Internetverbindung, auch wenn durch DHCP die IP richtig angerufen wird usw. auch als statische Konfig nach deiner Anleitung klappt es leider nicht: http://napp-it.org/downloads/omnios.html.
Hab dazu parallel mal Illumian 1.0 mit napp-it 0.9 installiert (ohne etwas anzupassen, da apt-get update und apt-get upgrade nichts geändert haben bzw. installiert haben und das mit dem Distri-update hab ich auch nicht ganz verstanden) und werde berichten ob mir irgendwas auffällt, aber rennt out of the box ohne Probleme bisher.
Zuletzt bearbeitet:
Leider muss man bei OmniOS das Netzwerk von Hand konfigurieren. Anleitungen z.B.
Changing to Static IP - OpenIndiana - OpenIndiana Wiki
IT From All Angles » Solaris 11: Network Configuration Basics
lediglich bei den Anleitungen zu Solaris 11 darauf achten dass es bei Illumos
# ipadm create-if bge0
# ipadm delete-if bge0
heißt, bei Solaris 11 aber
# ipadm create-ip bge0
# ipadm delete-ip bge0
zu Nexenta Illumian
Das ist seit einem Jahr unverändert. Es steht zwar 1.0 dran, ist aber eine relativ alter Illumos Stand der bisher nicht upgedatet wurde. Nach den Erfahrungen mit NexentaCore 3, das Updates von NexentaStor immer verspätet oder gar nicht erhielt bin ich etwas skeptisch mit dem OpenSource Angebot von Nexenta. OpenIndiana oder OmniOS sind da viel aktueller.
