[Sammelthread] ZFS Stammtisch

[antilope114]

defekte Platte tauschen:

- neue Platte einsetzen (falls keine Platte bereits als hotswap dem Pool hinzufügt wurde)
- defekte Platte durch funktionierende ersetzen (disk-replace, passiert automatisch wenn hotswap Platte vorhanden), resilver
- defekte Platte abmelden (unconfigure, geht jetzt, da die defekte Platte jetzt nicht mehr Pool-Mitglied ist)
- defekte Platte herausziehen

Das mag funktionieren, solange man noch einen Port freihat. Falls das nicht der Fall ist muss man die defekte Platte zuerst offline setzen (falls nicht schon erfolgt) und dann mit cfgadm abmelden bevor die neue an denselben Port eingesetzt wird.

 

[gea]

Mit WWN Disk-ID's (z.B. c3t600039300001EA56d0) und funktionierendem Hotplug kann man einfach die defekte Platte herausziehen und eine neue einschieben und per disk replace ersetzen dann die alte Platte abmelden.

Ohne funktionierendes Hotplug, ohne einen freien Slot oder bei Platten mit Controller-Port-ID's (z.B. c0t1d0):

- Pool-Eigenschaft auto-replace auf on
- Rechner herunterfahren, defekte Platte durch neue Platte ersetzen (unformatiert oder nicht ZFS)
- Rechner neu starten, resilver sollte automatisch starten (sonst manuell disk-replace, nur alte Platte wählen)

 

[millenniumpilot]

defekte Platte tauschen:

- neue Platte einsetzen (falls keine Platte bereits als hotswap dem Pool hinzufügt wurde)
- defekte Platte durch funktionierende ersetzen (disk-replace, passiert automatisch wenn hotswap Platte vorhanden), resilver
- defekte Platte abmelden (unconfigure, geht jetzt, da die defekte Platte jetzt nicht mehr Pool-Mitglied ist)
- defekte Platte herausziehen

Du meinst HotSpare?
Wenn ich mich recht erinnere, lies sich die defekte Platte auch nicht abmelden, als bei mir die Hotspare eingesprungen und das resilvering abgeschlossen war.
Die defekte Platte war immer noch Poolmitglied und wurde als missing gekennzeichnet.
Oder zählt die Hotspare nicht als Ersatzplatte, nur der wirkliche Tausch gegen eine neue Platte ist notwendig?

Das auto-replace im alten Schacht hat in der Tat bei mir gut funktioniert, voraussetzung war, das OI die Platte noch nicht kannte.
Danach war die Hotspare nicht mehr im Status inUse.

Ich probiere heuten Abend den oben von Gea genannten Weg nochmals aus.

 

[gea]

Du meinst HotSpare?
Wenn ich mich recht erinnere, lies sich die defekte Platte auch nicht abmelden, als bei mir die Hotspare eingesprungen und das resilvering abgeschlossen war.
Die defekte Platte war immer noch Poolmitglied und wurde als missing gekennzeichnet.
Oder zählt die Hotspare nicht als Ersatzplatte, nur der wirkliche Tausch gegen eine neue Platte ist notwendig?

Das auto-replace im alten Schacht hat in der Tat bei mir gut funktioniert, voraussetzung war, das OI die Platte noch nicht kannte. Danach war die Hotspare nicht mehr im Status inUse.

Ja Hotspare.

Ein Hotspare bleibt ein Hotspare, auch wenn sie im Fehlerfall einspringt (in Use) und die defekte Platte bleibt Pool-Mitglied bis sie ersetzt und entfernt wurde (oder neu gestartet). Dann ist die Hotspare wieder frei für den nächsten Ausfall. Ein Tausch der defekten Platte ist also angesagt. Andernfalls kann man die Hotspare entfernen und ganz normal mit disk-replace arbeiten.

 

[millenniumpilot]

Hallo Gea,

ich danke Dir und so machen meine gestrigen Beobachtungen auch einen Sinn.
Aber ganz so wie von Dir beschrieben war es denn heute nun auch wieder nicht ;-)

Also: gegeben ein Mirror aus 2 Platten und noch eine weitere freie Platte am HBA.

Ich ziehe eine Platte des Mirrors, nach Schreibzugriff geht der Pool in den Status degraded.
Ich kann die defekte Platte nicht mit dem Menüpunkt Disk->Replace austauschen, da sie dort garnicht mehr aufgeführt ist.
Daher füge ich die freie Platte dem Pool hinzu, warte das resilvering ab und remove (Disk-> remove) dann die defekte Platte aus dem Pool. Wahrscheinlich spielt hier die Reihenfolge gar keine Rolle. Replace also eher dann, wenn die Platte noch funktionsfähig ist und vorsorglich auf Grund von Smart-Fehlermeldungen getauscht wird.

Weiterer Test:
Platte aus dem Mirror ziehen, dann Removen, dann Platte wieder reinstecken, dann adden geht auch.
Kurioserweise zeigt mir jetzt die Monitor SAS2-Extension leider 1 Platte zu wenig an. Die Auflistungen unter Disks oder Disk->Smartinfo oder Pools dagegen sind alle korrekt. Auch ein mehrmaliger Aufruf von delete buffered SAS info bringt die Platte nicht wieder zum Vorschein.

Nichtdestotrotz bin ich doch wieder zufrieden. Die Probleme gestern resultierten wahrscheinlich aus der Verwendung der SATA-Ports des M.B.
Also wandert zusätzlich der alte Intel SASUC8i wieder auf das Board.


btw: eine Spareplatte mehreren Pools zuordnen geht leider nicht - oder?

Gruß Millenniumpilot

 

[gea]

Ich ziehe eine Platte des Mirrors, nach Schreibzugriff geht der Pool in den Status degraded.
Ich kann die defekte Platte nicht mit dem Menüpunkt Disk->Replace austauschen, da sie dort garnicht mehr aufgeführt ist.

welches napp-it?
Neuere Versionen erkennen mehr "Sonderfälle"
Eine einfach ausgesteckte Platte ist kein normaler Plattenausfall.

btw: eine Spareplatte mehreren Pools zuordnen geht leider nicht - oder?

Ist per CLI möglich wird aber von napp-it derzeit nicht unterstützt.

 

[millenniumpilot]

welches napp-it?.

0.8k, das ist das neuste, was downloadbar ist.

Eine einfach ausgesteckte Platte ist kein normaler Plattenausfall.

irgendwie muss ich ja die Platte hart abschalten. Eine ausfallende Platte meldet sich auch nicht vorher im napp-it ab. ;-)
Aber wenn es im Ernstfall besser funktioniert, dann ist ja gut.
So wie es jetzt funktioniert hat und mit Napp-it gehandelt werden kann, ist es gut für mich. Man sollte es nur vorher schon einmal durchgespielt haben, was ich hiermit getan habe.

 

[zos]

Link nicht erreichbar

Eine kleine Frage zu Solaris und NTFS.

Ich habe erfolgreich mount_ntfs bei meinem Solaris System nachgerüstet und kann auch ohne Probleme meine USB 2.0 HDD mit einer 500 GB NTFS Disk mounten und per MC zugreifen. Aber es wird mir im Share nur max. eine 4 GB große Datei angzeigt, obwohl die Datei 13,1 GB ist. Wenn ich dann diese falsch angezeigte Datei kopiere möchte vom NTFS mount zu meinem normalen Storage, dann bricht das ganze bei etwa 4 GB ab mit der Meldung das die Datei nicht gelesen werden kann.

Habe es mit der Anleitung gemacht: Mount NTFS / Ext2 / Ext3 / FAT 16 / FAT 32 in Solaris « UNIX/Linux Gab auch nie Fehlermeldungen und das mounten ansich geht wunderbar. Das mit den 4 GB kenn ich eigentlich nur von FAT32, aber doch nicht bei NTFS.

Ist das nun ein Bug, oder muss man noch etwas beachten?

Hallo AG1M,

in Deiner verlinkten Anleitung sind weiterführende Downloadlinks auf die Seiten von belenix.org.

Ich habe schon vor längerer Zeit einmal versucht hier die erforderlichen Packages zum Mounten von ntfs runter zu laden, damals wie heute erhalte ich einen Timeout bei Aufruf von belenix.org.

Alternative Bezugsquellen habe ich bisher nicht gefunden. Hast Du ggf. hier alternative Links gefunden?

Danke und Gruß,
zos

 

[bluesunset]

belenix wurde afaik schon vor einiger Zeit eingestellt.
Eine google suche nach den Archivnamen bringt aber unter anderem ein http://belenix.sarovar.org/binfiles/README.FSWfsmisc.txt hervor.
Ob du aber wirklich Software von 2006 auf einem produktiven System haben willst bezweifle ich einmal.

FSWfsmisc.tar.gz 23-Aug-2006 18:12 4.1M

In der Anleitung steht auch etwas von nur für x86, sprich nur 32bit Solaris mit Intel/AMD CPUs.

 

[millenniumpilot]

Hallo Gea,

seit vielen vielen Monaten setzte ich Dein Napp-it in der Version 0.6 ein, seit dem Wochenende in der Version v. 0.8k nightly Jul.29.2012.
Bei dieser neuen Version ist bei mir die GUI nun schon zum 4. mal nicht erreichbar gewesen, ich muss napp-it regelmäßig mit "./etc/init.d/nappit restart" neu starten.
Gleichzeitig habe ich aber auch auf oi_151a5 upgedated. Ist da irgendetwas bekannt?

Gruß Millenniumpilot

 

[gea]

napp-it nutzt nach wie vor den minihttpd Webserver.
Ich habe selber mehrere OI 151a5 und mir ist dabei nichts aufgefallen.

Es kann aber schon passieren, dass minihttpd bei CGI Programmen abstürzt.
Mir ist das aber in den letzten Monaten nicht passiert.

Gibt es denn eine besondere Aktion, bei der der Webserver abstürzt?

 

[millenniumpilot]

Hallo Gea,

bisher habe ich keine spezielle Aktion ausmachen können, bei der das passiert. Eben noch Smartwerte abgefragt und alles ist OK, nach einer Weile nichtstun und erneuten Aufrufen der Webseite ist der Webserver dann weg. Das passiert mehrmals am Tag.
Ich hatte aber fälschlicherweise anfangs das Napp-it Update von 0.6 auf 0.8 über die GUI und nicht per wget eingespielt, dies aber anschließend nachgeholt. Eventuell ist hier etwas durcheinander geraten.
Ich werde aber die nächsten Tage den OI und Napp-it komplett neu aufsetzen, damit ich endlich die Hostnamen für die Bestellung Deiner Extensions bennen kann ;-)
Du weist ja, andere Dinge haben aktuell vorrang.

Gruß Millenniumpilot

btw: was passiert eigendlich bei Deiner Replikations-Extension mit den Snaps auf dem "Backup-Server". Bleiben die liegen und ich kann damit verschiedene Versionsstände der Sicherungen vorhalten? Wenn ja, werden die in regelmäßigen und einstellbaren Abständen gelöscht?

 

[layerbreak]

Hallo,

ich brauch mal euren Rat.

Ich nutze all-in-one OI_148 mit 2 x LSI 9211-8i und mein Pool besteht aus lauter Mirrors.
Die HDs drehen alle mit 5400 Umdrehungen.
Momentan gibt es aber von Hitachi keine 2TB Platten mit 5400 sondern nur mit 7200 Umdrehungen.

Ich muss jetzt 4 Platten a' 640 GB (2 Mirrors) gegen 2TB ersetzen (Mirror-5 und -6)
und einen neuen 2TB Mirror hinzufügen (Mirror-7).

Gibt es Probleme wenn 7 Mirrors mit 5400 Umdrehungen drehen und 3 Mirrors mit 7200?
Sonst irgend welche Nachteile/Vorteile?

NAME STATE READ WRITE CKSUM
apool ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
c1t50024E9003CE0317d0 ONLINE 0 0 0
c1t50024E9003CF7685d0 ONLINE 0 0 0
mirror-1 ONLINE 0 0 0
c1t50024E9003CE0368d0 ONLINE 0 0 0
c1t50024E9003CE031Bd0 ONLINE 0 0 0
mirror-2 ONLINE 0 0 0
c1t5000CCA369CBF60Cd0 ONLINE 0 0 0
c1t5000CCA369CA262Bd0 ONLINE 0 0 0
mirror-3 ONLINE 0 0 0
c1t5000CCA369CC721Dd0 ONLINE 0 0 0
c1t5000CCA369CE5B24d0 ONLINE 0 0 0
mirror-4 ONLINE 0 0 0
c1t5000CCA369CC9E8Cd0 ONLINE 0 0 0
c1t5000CCA369CD3944d0 ONLINE 0 0 0
mirror-5 ONLINE 0 0 0
c1t5000C50009AAAE26d0 ONLINE 0 0 0
c1t5000C50010185CAEd0 ONLINE 0 0 0
mirror-6 ONLINE 0 0 0
c11t0d0 ONLINE 0 0 0
c1t50024E9202F1ACE9d0 ONLINE 0 0 0

Zur Vorgehensweise:
- System herunterfahren, trotz hot-plugging
- je eine 640 GB Spiegelplatte gegen eine 2TB austauschen in den gleichen Slot
- System neustarten und auf automatischen resilver warten bzw. abwarten
- danach das gleiche Prozedere mit der zweite Spiegelplatte
- zum Schluss neuen Mirror dem Pool hinzufügen

oder ist es besser wenn ich mit napp-it
Disks/remove dann die eine 640 GB HD auswähle, diese aus dem Slot ziehe, die Neue 2TB in diesen Slot stecke und mit Disks/add dem entsprechenden Mirror wieder hinzufüge.
Geht diese Vorgehensweise im laufenden Betrieb? Oder soll ich besser jedesmal das System neu starten, wenn ja bei welchem Schritt?

 

[AG1M]

Hallo AG1M,

in Deiner verlinkten Anleitung sind weiterführende Downloadlinks auf die Seiten von belenix.org.

Ich habe schon vor längerer Zeit einmal versucht hier die erforderlichen Packages zum Mounten von ntfs runter zu laden, damals wie heute erhalte ich einen Timeout bei Aufruf von belenix.org.

Alternative Bezugsquellen habe ich bisher nicht gefunden. Hast Du ggf. hier alternative Links gefunden?

Danke und Gruß,
zos

Hab hier einen aktiven Download: Mount NTFS in Solaris 11 « Amin Abbaspour's Blog

Einfach die Dateien umbennen, aber ich muss bluesunset Recht geben, es geht zwar, aber ich kann max. 4 GB große Dateien nutzen, trotz NTFS Formatierung ist einfach veraltet und Buggy (leider).

Aber mit x86 muss nicht immer nur 32 Bit gemeint sein, Solaris selbst macht die Unterscheidung zwischen x86 Systemen und SPARC Systemen, wie beim Installer vom Solaris 11 (welches SunOS 5.11 64 Bit ist)->

Download Download for SPARC - Text Install (526 MB)
Download Download for x86 - Text Install (430 MB)

 

[gea]

btw: was passiert eigendlich bei Deiner Replikations-Extension mit den Snaps auf dem "Backup-Server". Bleiben die liegen und ich kann damit verschiedene Versionsstände der Sicherungen vorhalten? Wenn ja, werden die in regelmäßigen und einstellbaren Abständen gelöscht?

Der Repliationsjob löscht alle snaps bis auf die Vorversion automatisch.
Sollen ältere Snaps bleiben, kann man das mit einem normalen Snapjob erledigen.

---------- Post added at 22:11 ---------- Previous post was at 21:58 ----------

Hallo,

ich brauch mal euren Rat.

Ich nutze all-in-one OI_148 mit 2 x LSI 9211-8i und mein Pool besteht aus lauter Mirrors.
Die HDs drehen alle mit 5400 Umdrehungen.
Momentan gibt es aber von Hitachi keine 2TB Platten mit 5400 sondern nur mit 7200 Umdrehungen.

Ich muss jetzt 4 Platten a' 640 GB (2 Mirrors) gegen 2TB ersetzen (Mirror-5 und -6)
und einen neuen 2TB Mirror hinzufügen (Mirror-7).

Gibt es Probleme wenn 7 Mirrors mit 5400 Umdrehungen drehen und 3 Mirrors mit 7200?
Sonst irgend welche Nachteile/Vorteile?


Zur Vorgehensweise:
- System herunterfahren, trotz hot-plugging
- je eine 640 GB Spiegelplatte gegen eine 2TB austauschen in den gleichen Slot
- System neustarten und auf automatischen resilver warten bzw. abwarten
- danach das gleiche Prozedere mit der zweite Spiegelplatte
- zum Schluss neuen Mirror dem Pool hinzufügen

oder ist es besser wenn ich mit napp-it
Disks/remove dann die eine 640 GB HD auswähle, diese aus dem Slot ziehe, die Neue 2TB in diesen Slot stecke und mit Disks/add dem entsprechenden Mirror wieder hinzufüge.
Geht diese Vorgehensweise im laufenden Betrieb? Oder soll ich besser jedesmal das System neu starten, wenn ja bei welchem Schritt?

- Unterschiedlich schnelle oder große vdevs sind kein Problem. Die schnelleren Platten brauchen etwas mehr Strom. Im Schnitt wird der Pool dafür etwas schneller.

Mit Hotplug (LSI 9211 sind da problemlos):

- Pool Eigenschaft autoexpand auf on stellen
- neue Platte einstecken (nach kurzer Zeit erscheint sie als verfügbar) dann
- per Disk-replace eine 640GB Platte durch die neue 2 TB Platte ersetzen, resilver abwarten
- zweite 640 GB Platte ersetzen, resilver abwarten

Der zusätzliche Platz steht jetzt zur Verfügung
Die 640GB Platten per disk - hotplug - set offline abmelden und herausnehmen

 

[sashXP]

Nur Mal ein kleiner Erfahrungsbericht zu FreeBD/ZFS und ZFSonLinux:
ich bin nun von Nas4Free zurück auf Ubuntu gegangen (12.10 Beta, Kernel 3.5) und habe zfsonlinux manuell kompiliert. Ich habe einen ZFS-Mirror, die Festplatten sind mit LUKS verschlüsselt. Die Performance liegt bei 40-50 MB/s. Ich bin damit sehr zufrieden.

 

[layerbreak]

- Unterschiedlich schnelle oder große vdevs sind kein Problem. Die schnelleren Platten brauchen etwas mehr Strom. Im Schnitt wird der Pool dafür etwas schneller.

Mit Hotplug (LSI 9211 sind da problemlos):

- Pool Eigenschaft autoexpand auf on stellen
- neue Platte einstecken (nach kurzer Zeit erscheint sie als verfügbar) dann
- per Disk-replace eine 640GB Platte durch die neue 2 TB Platte ersetzen, resilver abwarten
- zweite 640 GB Platte ersetzen, resilver abwarten

Der zusätzliche Platz steht jetzt zur Verfügung
Die 640GB Platten per disk - hotplug - set offline abmelden und herausnehmen

Danke gea für deine Antwort.
Aber so wie du es beschrieben hast, wird die neue 2TB HD in einen neuen, freien Slot gesteckt.
Die neue 2TB HD soll aber in den gleichen Slot kommen, in welcher die 640GB momentan steckt.

Wenn ich die vorher gehende Beiträge richtig verstanden habe, muss mit Disks-Replace die alte HD bei ZFS "abgemeldet" werden.
Wäre es die richtige Vorgehensweise, so wie du es hier beschrieben hast?

Es gibt da lediglich ein paar Tipps
2. wenn der Controller hotplug kann (z.B. AHCI, SAS HBA):
- neu eingesteckte Platten werden automatisch erkannt
- Platten dürfen nicht einfach entfernt werden sondern müssen vorher per disk - hotplug - unconfigure abgemeldet werden
- Ein Platte tauschen: neue disk einstecken, disk replace, alte Platte per unconfigure abmelden und herausnehmen
(napp-it menu disk-hotswap - set offline bzw set online - nutzt cfgadm)
Platte ist aber durchaus noch als unconfigured bis zum reboot bekannt (erst beim reboot wird sie nicht mehr angezeigt, stört aber nicht weiter, da napp-it sie nicht als verfügbar anzeigt.)

plus
Pool Eigenschaft autoexpand auf on stellen

 

[gea]

Danke gea für deine Antwort.
Aber so wie du es beschrieben hast, wird die neue 2TB HD in einen neuen, freien Slot gesteckt.
Die neue 2TB HD soll aber in den gleichen Slot kommen, in welcher die 640GB momentan steckt.

Wenn ich die vorher gehende Beiträge richtig verstanden habe, muss mit Disks-Replace die alte HD bei ZFS "abgemeldet" werden.
Wäre es die richtige Vorgehensweise, so wie du es hier beschrieben hast?

Wenn die neue Platte in den Slot der bisherigen Platte gesteckt werden soll, geht das wohl nur auf die "harte Tour".
Herunterfahren und Platte wechseln (autoreplace=on). Beim Neustart oder per disk-replace faulted-neue wird die neue Platte eingebunden.

Oder auf die unfeine Art: Platte einfach herausziehen, neue einschieben und disk replace (bei Port-ID's nur alte anwählen,
sonst disk replace alte WWN - neue WWN) aufrufen. Geht aber nicht bei jedem Controller.

 

[gea]

Ergänzung (disk replace im gleichen Slot, ohne reboot auf die saubere Art)

z.B.
- erst disk offline stellen: zpool offline tank c1t3d0
- dann unconfigure: cfgadm -c unconfigure sata1/3
- tauschen
- configure: cfgadm -c configure sata1/3
- disk online: zpool online tank c1t3d0
- replace: zpool replace tank c1t3d0

Ich werde das noch in napp-it so ändern (Option: offline stellen)

 

[ron2105]

Hallo,

ich hoffe es hat jemand einen Tipp für mich.
Ich habe einen zpool aus 2 mirror-sets mit WD20EARX HDDs (ashift=12). Nun wollte ich diesen Pool um einen Mirror erweitern. Da ich noch einige WD20EARS hatte, kein Problem - dachte ich.
Beide Plattentypen haben Advanced Format, gaukeln also 512 b statt vorhandener 4 KB Sektorgröße vor. OpenIndiana bzw. das ZFS sollte aber die 4 KB erkennen und hat dies ja auch bei den WD20EARX gemacht.
Als ich jetzt aber ein # zdb -C tank1 | grep ashift eingebe, trifft mich glatt der Schlag: der hinzugefügte Mirror hat ashift=9, was ich natürlich überhaupt nicht gebrauchen kann.
Bei Tante Google bin ich nicht so ganz fündig geworden, wie ich das Problem lösen kann. Evtl. könnte ich, wenn das möglich ist, eine Spiegelhälfte gegen eine HDD mit ashift=12 austauschen, befürchte aber, dass diese dann doch wieder in eine HDD mit ashift=9 umgestrickt wird.
Schon mal vielen Dank für eure Vorschläge.

 

[xrated]

ich bin nun von Nas4Free zurück

Hatte das einen bestimmten Grund?

 

[ludwinator]

@Ron
Befrage doch mal deine Platten mit den Smartmontools und schau nach folgender Zeile:
Sector Sizes: 512 bytes logical, 4096 bytes physical
Deine EARX werden das so melden, interessant wäre jetzt zu wissen, was dort bei deinen EARS steht.

 

[sashXP]

Hatte das einen bestimmten Grund?

ich habe die Performance einfach nicht in den Griff bekommen. max 25mb/s waren mit NAS4FREE drin. Zudem läuft mein Rechner i.d.R. 24h und scheinbar ist Freebsd nicht so stromsparend wie Ubuntu/Debian,

 

[zos]

ntfs-mount

belenix wurde afaik schon vor einiger Zeit eingestellt.
Eine google suche nach den Archivnamen bringt aber unter anderem ein http://belenix.sarovar.org/binfiles/README.FSWfsmisc.txt hervor.
Ob du aber wirklich Software von 2006 auf einem produktiven System haben willst bezweifle ich einmal.

In der Anleitung steht auch etwas von nur für x86, sprich nur 32bit Solaris mit Intel/AMD CPUs.

Hab hier einen aktiven Download: Mount NTFS in Solaris 11 « Amin Abbaspour's Blog

Einfach die Dateien umbennen, aber ich muss bluesunset Recht geben, es geht zwar, aber ich kann max. 4 GB große Dateien nutzen, trotz NTFS Formatierung ist einfach veraltet und Buggy (leider).

Aber mit x86 muss nicht immer nur 32 Bit gemeint sein, Solaris selbst macht die Unterscheidung zwischen x86 Systemen und SPARC Systemen, wie beim Installer vom Solaris 11 (welches SunOS 5.11 64 Bit ist)->

Download Download for SPARC - Text Install (526 MB)
Download Download for x86 - Text Install (430 MB)

Vielen Dank für Eure Antworten.

Wenn das so ist, werde ich wohl auf die Nutzung verzichten. Es wundert mich schon ein wenig, dass es hierfür keine stabile (sowie 64 Bit) Lösung gibt.

 

[gea]

Wenn das so ist, werde ich wohl auf die Nutzung verzichten. Es wundert mich schon ein wenig, dass es hierfür keine stabile (sowie 64 Bit) Lösung gibt.

Es gibt wohl einfach zuwenig Nutzen.
NTFS braucht man nur zum Umkopieren von/zu ZFS.
Das geht übers Netz vom PC aus aber genausoschnell und ist das übliche Verfahren.

 

[chlen]

Hallo zusammen
Ich habe ein all in one Server Basis von ESXI 5U1, OpenIndiana 151a5 und napp-it 0.8k gemäss gea's Tutorial umgesetzt.
Die NAS Funktionalität mit Windows und MAC funktioniert tadellos und liefert die erwartete Performance.
Ich wollte nun zum entscheidenden Schritt ansetzen und einen ZFS Folder via NFS mit ESXI sharen, um dort weitere VMs zu installieren.
Dies funktioniert auch, allerdings lassen sich keine VMs auf dem neuen ESXi datastore "vmstore" einrichten.
ESXI startet die Einrichtung der VM kann sie jedoch nicht beendet (stoppt bei 100%) und friert selbst ein (ESXI muss rebooted werden).
Nach zwei Tagen intensiver Fehlersuche habe ich nun herausgefunden, das der vmxnet3 Treiber, den OI und die auf vmstore einzurichtende neue VM nutzen, das Problem verursacht.
Ersetze ich den vmxnet3 Treiber durch e1000 funktioniert alles reibungslos, und ich kann VMs auf vmstore einrichten.
Allerdings musste ich feststellen, dass die Performance massiv leidet.
- als NAS: gut 10% Performance-Einbussen bei naspt (Windows Client)
- Windows VM auf NFS datastore "vmstore" (all in one): 100MB/s (Seq. Read) 30MB/s (Seq. Write) mit Crystal Disk Mark
Gerade letzteres ist eigentlich inakzeptabel, da die raw performance des ZFS pools bei 270MB/s Write und 430 MB/s Read liegt (gemessen mit dd/ nappit unter OI).
Ich habe übrigens auch andere OS versucht: Das Problem tritt auf bei Solaris 11/11 sowie OI151a3 und OI151a5.
@gea: Was war die letzte Version von OI, napp-it und ESXI / vmware-tools, bei der die all-in-one Lösung unter Nutzung von vmxnet3 funktioniert hat?
@all: Jemand eine Idee, was ich falsch gemacht haben könnte, oder wie ich
a) vmxnet für NFS share mit ESXI nutzen kann, oder
b) e1000 zu einer akzeptablen performance auf dem ESXI vmstore überreden kann?

 

[antilope114]

Schreib doch mal kurz, was du für Hardware nutzt.

Gruß

 

[chlen]

Schreib doch mal kurz, was du für Hardware nutzt.

Gruß

Board: Intel DQ67EP mITX mit VT-D
Processor: Xeon E3-1260L
RAM 16GB
HBA: LSI 9211-8i (pasthrough durch ESXI an OI)
Storage:
4x Hitachi 7k3000 2GB (ZFS configured as stripped mirror)
1x Intel 320 (ZFS ZIL derzeit nicht genutzt)
1x Crucial M4 64GB (als L2ARC)
Netzwerk:
1. NIC: Onboard Intel 82579
2. NIC: Commell MPX-574D mini pcie Gigabit Ethernet Intel 82574L (derzeit nicht genutzt)
Switch: Cisco SG300MP, Jumbo Frames aktiviert

ESXI Netzwerk-Konfiguration:
1x vswitch0 mit
- ESXI Management: IP: 192.168.102.2, default gateway: 192.168.102.1, DNS: 192.168.1.1
- SAN Network (hier hängt die NIC von OI drin): IP: 192.168.102.4, default gateway: 192.168.102.1, DNS: 192.168.1.1
- VM Network (für die einzurichtenden VM über NFS store)
- Jumbo Frames aktiviert

 

[antilope114]

Ersetze ich den vmxnet3 Treiber durch e1000 funktioniert alles reibungslos, und ich kann VMs auf vmstore einrichten.
Allerdings musste ich feststellen, dass die Performance massiv leidet.
- als NAS: gut 10% Performance-Einbussen bei naspt (Windows Client)
- Windows VM auf NFS datastore "vmstore" (all in one): 100MB/s (Seq. Read) 30MB/s (Seq. Write) mit Crystal Disk Mark

Ich gehe mal davon aus, dass die vmware tools in jeder vm installiert wurden?

Über die 10% Performanceeinbuße würde ich mir jetzt nicht den Kopf zerbrechen, das kann auch durchaus Schwankungen unterliegen, hier sollte das Netzwerk (ich gehe mal von GbE aus) der limitierende Faktor sein. Ein CIFS-share unter Solaris sollte dir über GbE etwa 100 MB/s liefern, unabhängig vom verwendeten Treiber.

Die 100MB/s sq. reads in der Windows vm kommen vermutlich daher, dass der e1000 ein GbE-Adapter ist (obwohl die Schreibrate in der Tag ungewöhnlich niedrig ist).
Was passiert, wenn du nach Anlegen der VM mit dem e1000 in den Einstellungen einen vmxnet3 Treiber hinzufügst und den e1000 deaktivierst?

Unter Windows sollte der vmxnet-Treiber keine Probleme machen, in Kombination mit OI/Solaris 11 funktioniert er bis heute nicht fehlerfrei, für die Solaris VM solltest du also in jedem Fall den e1000 auswählen (du kannst dir mal die /var/adm/messages in der OI/Solaris vm anschauen, die sollte mit Fehlermeldungen vom vmxnet überlaufen)

Du hast auch die Möglichkeit, in ESXi das VM Communications Interface (VMCI) zwischen den vms auf einem Host zu aktivieren, eine Art Highspeed ComLink, dass den TCP/IP-Stack komplett umgeht und die Netzwerkperformance dadurch erhöht - hast du das mal getestet?

 

[chlen]

Ich gehe mal davon aus, dass die vmware tools in jeder vm installiert wurden?

Über die 10% Performanceeinbuße würde ich mir jetzt nicht den Kopf zerbrechen, das kann auch durchaus Schwankungen unterliegen, hier sollte das Netzwerk (ich gehe mal von GbE aus) der limitierende Faktor sein. Ein CIFS-share unter Solaris sollte dir über GbE etwa 100 MB/s liefern, unabhängig vom verwendeten Treiber.

Die 100MB/s sq. reads in der Windows vm kommen vermutlich daher, dass der e1000 ein GbE-Adapter ist (obwohl die Schreibrate in der Tag ungewöhnlich niedrig ist).
Was passiert, wenn du nach Anlegen der VM mit dem e1000 in den Einstellungen einen vmxnet3 Treiber hinzufügst und den e1000 deaktivierst?

Unter Windows sollte der vmxnet-Treiber keine Probleme machen, in Kombination mit OI/Solaris 11 funktioniert er bis heute nicht fehlerfrei, für die Solaris VM solltest du also in jedem Fall den e1000 auswählen (du kannst dir mal die /var/adm/messages in der OI/Solaris vm anschauen, die sollte mit Fehlermeldungen vom vmxnet überlaufen)

Du hast auch die Möglichkeit, in ESXi das VM Communications Interface (VMCI) zwischen den vms auf einem Host zu aktivieren, eine Art Highspeed ComLink, dass den TCP/IP-Stack komplett umgeht und die Netzwerkperformance dadurch erhöht - hast du das mal getestet?

1) VMware Tools wurden in allen OS installiert
2) Der NAS Performanceverlust ist messbar aber verschmerzbar. Du hast Recht sollte, eigenlich nicht auftreten, ist aber so.
3) Ich dachte der E1000 leifert 2-4 Gigabit, wenn er ESXI intern genutzt wird. Meine Befürchtung war eher, dass der gesamte Verkehr nicht innerhalb von ESXI geschieht sonder über die NICs geht (daher habe ich meine Netzwerkkonfiguration geposted -> z.B. war ich mir nicht sicher, ob ich einen separaten vswitch oder ein vmkernel interface benötige)
4) Den vmxnet3 Treiber kann ich unter Windows nicht nutzen, da sobald ich in der Windows VM die Konfiguration anpasse (Wechsel der NIC zu vmxnet3) ESXI versucht, die Konfiguration auf den vmstore zu schreiben und (wie bei der VM Einrichtung) dabei einfriert.
5) Die vmxnet Meldungen habe ich gesehen, aber wie gesagt als NAS genutzt liefert er super Ergebnisse und zwar sehr stabil auch unter Last.
6) Ich habe es bereits mit und ohne VMCI versucht. Hat keinen Einfluss auf das Problem. Die Perfomance, die ich berichtet habe, war MIT VMCI.

Ich habe kein Gefühl, das ich mit dem E1000 Treiber als Performance erwarten kann - Kann hier jemand ein paar Anhaltspunkt geben, mein ZFS Setup ist ja nicht ungewöhnlich und die raw Perfromance mehr als zufriedenstellend.

Ein Faktor, den ich noch im Kopf habe, ist der Treiber für die Onboard NIC, der Community provided ist. Aber eigentlich sollte gerade der NFS Share mit ESXI davon unberührt sein (läuft ja nicht über NIC).