ESX / ESXi - Hilfethread

[fdsonne]

@expression
mit dem MSI Board könnte es gehen... Musst mal schauen im Bios nach IOMMU.
Ob der X4 das kann, weis ich allerdings nicht.

Das Asrock Board kanns definitiv nicht. Und mit dem i3 dürfte es auch nicht gehen.

EDIT:
oder war ich zu langsam.

 

[underclocker2k4]

IOMMU wird nur mit dem FX890 unterstütz. (und natürlich die Serverchipsets) @AMD Plattform

EDIT:
Die i5 Clarkdale(nicht alle) und die Sandys unterstützen auch vt-d. (sprich, man muß keinen Xeon nehmen)

 

[fdsonne]

Ahhh da war der Fehler. Ich wusste noch was mit 8 vorn...
Wobei ich grundsätzlich irgendwie von Desktop AMD Platform für ESX Geschichten abraten würde. Einfach weil der Support so nicht wirklich gegeben ist.

 

[underclocker2k4]

So problematisch ist das ganze garnicht.
Lediglich dieses RealTek NIC gedöns scheint ein Problem dazustellen. (wie immer beim ESX)

Der Rest soll laufen. Ich bin aktuell auch am Überlegen, wie meine nächste Plattform aussehen soll. Dual C32 wäre ne nette Sache, leider fehlt es da an potentieller Auswahl. Das Tyanboard unterstützt nur irgendwelche lowPower CPUs....
SM hat leider garnichts in der Richtung.

 

[fdsonne]

Jupp, die NIC ist ein Problem...

Der Storagecontroller das andere. Ich hatte bis jetzt noch kein so richtiges Glück in Sachen ESX mit AMD... Und selbst die größeren Server Hersteller scheinen die AMD Geschichten mittlerweile leider etwas stiefmütterlich zu behandeln. Aber das ändert sich eventuell mit dem Bulldoser...

Wobei man ja immernoch Treiber nachschieben kann, zur Not selbst nachkompilieren. Sofern man für Linux da Treiber findet geht das oft auch.

 

[Gr3yh0und]

Die 8111/8169er haben ja einige schon mit Treibern eingebunden. Soviel ich da weiß, geht das recht brauchbar. Ansonsten halt E1000 kaufen.
Beim 1156er braucht man für VT-D i5-6XX oder i7-8XX (Dual/Quad). Überlege gerade selber meinen 530er gegen ein 650er zu tauschen und VT-D zu nutzen.

 

[underclocker2k4]

i5-6XX trifft es nicht ganz, der 661 und der 655k haben kein vt-d. (daher oben auch die Einschränkung was die Clarkdales angeht)

 

[gea]

All-In-One

ESXi Server mit integriertem ZFS-NAS/SAN

ich habe dazu mal einen Entwurf für Teil 2 meines mini HowTo
hochgeladen. Wens interessiert, der kanns ja mal anschauen
und mir Fehler rückmelden

(ich habs in Englisch verfasst, sollte aber nicht zu schwer zum lesen sein)

Teil 2: ESXi all-in-one
http://www.napp-it.org/doc/downloads/all-in-one.pdf


Gea

 

[ph0b0s]

Hey Gea,

wow, vielen dank für das PDF. Ich bin begeistert. Hätte ich das vor ca. 2 Monaten gelesen, hätte ich mir viel Zeit und Frustration sparen können. Ich bin nun kurz davor die Hardware in meinem Server zu tauschen (aktuell nen i3-540 mit h55 board).

Eine Frage beschäftigt mich schon, seit dem ich den ESXi + Nexenta im Einsatz habe. Gibt es mit die Möglichkeit mit dem ESXi Stromsparfunktionen zu nutzen, ala HDD spindown etc. Bei meiner jetzigen Konfiguration, schluckt das System im Idle ca. 70 Watt (i3-540; msi h55m-ed55, 8gb kingston value ram (4 riegel), 3x wd green 2tb (ears - raidz1), 2x wd green 1tb (ears - mirror) und eine wd green 500gb als system platte. Dabei sind nicht wirklich oft Zugriffe auf dem Server.

Aktuell funktioniert ja kein passthrough mit meiner Konfiguration und die Platten sind über einen Umweg (RDM Mapping of local SATA disks) in die Nexenta VM eingebunden.

Ist denn in deiner Konfiguration mit HBA ein HDD Spindown / sleep / what ever um strom bei den Platten zu sparen möglich? Was hat du für Verbrauchswerte mit deinem Server im Idle / Last?

Vielen Dank nochmals für deine Super Arbeit gea.

Grüße
ph0b0s

 

[fdsonne]

Bin mir nun nicht ganz sicher, aber rein von der logik her müsste es gehen, denn es wird ja der komplette Controller durchgereicht. Sofern der Controller dies unterstützt, und das OS es auch kann, müsste man die HDDs schlafenlegen können...

Die Frage ist, ob das wirklich Sinn macht. Ich bin davon im 24/7 Betrieb nicht ganz so überzeugt. Einfach weil die Belastung beim Anlaufen auf die HDDs extrem hoch ist. mir wäre das zu gefährlich.

 

[gea]

Hey Gea,

wow, vielen dank für das PDF. Ich bin begeistert. Hätte ich das vor ca. 2 Monaten gelesen, hätte ich mir viel Zeit und Frustration sparen können. Ich bin nun kurz davor die Hardware in meinem Server zu tauschen (aktuell nen i3-540 mit h55 board).

Eine Frage beschäftigt mich schon, seit dem ich den ESXi + Nexenta im Einsatz habe. Gibt es mit die Möglichkeit mit dem ESXi Stromsparfunktionen zu nutzen, ala HDD spindown etc. Bei meiner jetzigen Konfiguration, schluckt das System im Idle ca. 70 Watt (i3-540; msi h55m-ed55, 8gb kingston value ram (4 riegel), 3x wd green 2tb (ears - raidz1), 2x wd green 1tb (ears - mirror) und eine wd green 500gb als system platte. Dabei sind nicht wirklich oft Zugriffe auf dem Server.

Aktuell funktioniert ja kein passthrough mit meiner Konfiguration und die Platten sind über einen Umweg (RDM Mapping of local SATA disks) in die Nexenta VM eingebunden.

Ist denn in deiner Konfiguration mit HBA ein HDD Spindown / sleep / what ever um strom bei den Platten zu sparen möglich? Was hat du für Verbrauchswerte mit deinem Server im Idle / Last?

Vielen Dank nochmals für deine Super Arbeit gea.

Grüße
ph0b0s

hallo ph0b0s

ESXi sieht die Platten nicht, also kann ESXi hier gar nichts beisteuern.
Es muss also auf der Ebene des Storage OS passieren. Solaris und Co haben
Energiesparoptionen eingebaut.
siehe BigAdmin Feature Article: Managing the Power Used by Idle Disks in Servers Running the Solaris 8 OS or Above

Das geht auch, allerdings muss dann das ZFS fault-management ausgeschaltet werden, das ständig prüft, ob noch alle Platten laufen. Nexenta Project - Power Mgmt not working - The Nexenta Project

Ansonsten: wenn Energiekosten eine Rolle spielen; überlegen ob 24/7 nötig ist und bei CPU, RAM und Platten auf den Verbrauch achten.


Gea

 

[brigadeleiter]

esxi 4.1 monitoring probleme

hallo zusammen,

ich bekomme ein fehlermeldung beim connecten auf unseren esxi 4.1 mit veeam monitor und vkernel storageview, beim noch nicht upgedateten 4.0 gehen beide tools. der vsphere client läuft auch problemlos.

storageviev :

"Error occured during data collection
Unexpected error in StorageVIEW Service!."

veeam monitor:
"Unable to update infrastructure tree. Can't delete entity with ID 47 because it's a host node"

ich hoffe ihr habt eine idee, denn zu veeam finde ich nur info zu einem hotfix, aber keinen download.

vielen dank,
david

 

[konfetti]

ich bin heut morgen mal positiv vom ESXi 4.1 überrascht worden *gg*
Wir hatten anno 2009 mit unseren ESX 3.5 in der Testumgebung das Problem, das uns das Storage, aufgrund eines Paritätsfehlers im Raid den Speicher vollgemüllt hatte, und damit das kleine Storage (FibreCat AX100) den Dienst verweigerte...
Damals war das Problem, das alle laufenden VMs ein Problem mit ihren Festplatten hatten, und es zu einem Enormen Datenverlust kam, da auch die Snapshots nicht mehr brauchbar waren, teilweise liesen sich die VMs zwar mittel BartPE reparieren, aber das gelang nicht immer.

Heute Morgen hatten wir das selbe Problem wieder, die AX100 hatte keinen Link mehr zu den ESX'en eigentlich hat sie warum auch immer, heute nichts getan. Nach einem Reboot haben die ESX Server die StorageAdapter über FC sofort wieder gehabt und auch die Systeme liefen noch - keine Probleme, kein Datenverlust. - ich bin beeindruckt - damit haben wir uns zumindest die Zeit gespart, die benötigt gewesen wäre, um die Backups wiederherzustellen - aber das geht mit der VDR auch noch relativ passabel.

 

[ph0b0s]

@Gea vielen Dank, die Deaktivierung des Fault Managements hat noch ein paar Watt Einsparung beim Idle betrieb gebracht. Was die Hardware angeht, bin ich der Meinung das aktuell schon gute Hardware fürs Strom sparen verbaut sind, die Kiste wird auch nie 24/7 laufen.

Weiß vielleicht hier schon jemand wann man mit der Verfügbarkeit der Sandy-Xeons + passende Boards ca. rechnen kann? Finde leider nicht wirklich offiziele Aussagen. Wenn ich noch sehr lange warten müsste, dann werde ich auf die Xeons mit Sockel 1156 gehen müssen.

 

[Eye-Q]

Gerade heute ist eine Meldung bei heise darüber erschienen, auch noch nicht mit definitivem Termin, allerdings ist eine Ankündigung von Boards ja schon mal die halbe Miete.

 

[brigadeleiter]

esxi 4.1.0 (build.348481) - keine intel pro gt desktop mehr

hallo zusammen,

wir haben heute unsere zweite whitebox noch einmal neu installiert, weil wir die letzten tage seltsame probleme mit der verbindung zum nas hatten und da wurden unsere "Intel Pro GT Desktop" (Pci) nicht mehr erkannt. zum glück waren zwei "Intel Pro CT Desktop" (Pci-E) zur hand und die wurden anstandslos erkannt.
das problem mit dem nas besteht allerdings weiterhin.

esxi 4.1.0, build 348481 neuinstallation auf usb stick.

seltsamerweise hatten wir vorher auch 4.1 ohne update1 und da lief noch alles.

edit: nach bios update auf 1.9 funktioniert die erkennung der pro gt wieder und wir haben beide karten (gt,ct) im mix laufen. als zugabe bootet der stick gleich viel schneller.

whitebox 2
-esxi 4.1.0, build 348481auf usb stick
-msi ms 7360, p35 neo (bios 1.9)
-intel xeon x3220
-8gb samsung ddr2
-intel pro gt desktop (pci, management netz)
-intel pro ct desktop (pci-E, storage netz)

ciao,
david

 

[mueder joe]

Moin Moin,

stellt euch vor ich hab n RAID Controller mit 2 Arrays. Ist es möglich ein Array als Storage für n ESXi zu nutzen, das 2. Array wird direkt an ne VM durchgereicht?
Ist nur ne theoretische Betrachtung, dass der Controller für den ESXi kompatibel ist etc. setz ich jetzt mal voraus.

 

[therealJMC]

Nein, geht nur Controller(bzw. Geräte)-Weise. Aber hier wärs besser aufgehaoben

ESX / ESXi - Hilfethread - Seite 17 - Forum de Luxx

 

[underclocker2k4]

*moved*

 

[mueder joe]

Nein, geht nur Controller(bzw. Geräte)-Weise.

Jo so kenne / nutze ich es aktuell ja auch. Hatte aber nicht die Möglichkeit das mal zu testen, deshalb die Frage. Interessant wäre es allerdings schon

Aber hier wärs besser aufgehaoben

Tomaten auf den Augen gehabt, natürlich gehört es hier hin.

 

[Lightflasher]

Nabend mal eine kleine Frage am Rande hat wer seinen ESX auf einem USB-Stick installiert muss man irgendwas beachten, wegen der Geschwindigkeit etc?

 

[brigadeleiter]

Nabend mal eine kleine Frage am Rande hat wer seinen ESX auf einem USB-Stick installiert muss man irgendwas beachten, wegen der Geschwindigkeit etc?

wir haben auch mehrere sticks 2gb, 4gb und haben keine geschwindigkeitsprobleme beim booten, denn danach ist der esxi ja voll in den ram geladen und der stick spielt keine rolle mehr.
du kannst auch ganz normal von der install cd auf den stick installieren, oder aber den stick schon am rechner vorbereiten, wenn du kein cd/dvd lw am server hast oder ne fehlermeldung bekommst so wie ich.

ciao,
david

 

[therealJMC]

@mueder_joe:
Ist definitiv so, dass man nur ganze Geräte durchreichen kann. Also bräuchte man für den ESXi eigenen controller/adapter mit eigenen HDDs (oder USB-Stick) - dann kann man den controller durchreichen.

 

[Lightflasher]

wir haben auch mehrere sticks 2gb, 4gb und haben keine geschwindigkeitsprobleme beim booten, denn danach ist der esxi ja voll in den ram geladen und der stick spielt keine rolle mehr.
du kannst auch ganz normal von der install cd auf den stick installieren, oder aber den stick schon am rechner vorbereiten, wenn du kein cd/dvd lw am server hast oder ne fehlermeldung bekommst so wie ich.

ciao,
david

Ok cool also kann ich jeden beliebigen Stick nehmen den ich hier noch rumliegen habe werde ich mal testen danke für die Infos

 

[H_M_Murdock]

Hab n ESXi mal testhalber auf nem billigen 1 oder 2 GB Stick installiert. Geht beim 4.1er auch übern Installer wie hier schon erwähnt wurde.
Wobei ich selbst den Fehler gemacht hab und das nicht wusste und die umständliche Version über dd gewählt hab.

Wie auch immer, jedenfalls läufts super.

Ein Kumpel von mir hat nen Fujitsu TX150 S7 mit dem integrierten ESXi Flashmodul, das ist letztendlich auch nix anderes als n USB-Stick der intern gesteckt ist.

 

[therealJMC]

Hmm

Hab jetzt an meinen Proliant der noch hier rumsteht und auch nen Onboard-USB-Sockel hat nen USB-Stick angesteckt der ne SDHC drin hat. 4GB groß.

Installation ging ohne Probleme, ich wollte allerdings das passthrough mal testen um den Onboard-Controller durchzureichen. War wohl nix - trotz ESXi aufm Stick benötigt man ja noch ein lokalen datastore (da hatte ich so jetzt garnicht dran gedacht) - und da dienst der USB-Stick leider nicht um nur mal so die paar Konfigurationsdateien zwischenzuspeichern...

Wie haben das andere Leute mit Passthrough von Controllern denn gelöst? Den Onboard für ESX und dedizierte controller durchgereicht?

 

[gea]

Hmm

Hab jetzt an meinen Proliant der noch hier rumsteht und auch nen Onboard-USB-Sockel hat nen USB-Stick angesteckt der ne SDHC drin hat. 4GB groß.

Installation ging ohne Probleme, ich wollte allerdings das passthrough mal testen um den Onboard-Controller durchzureichen. War wohl nix - trotz ESXi aufm Stick benötigt man ja noch ein lokalen datastore (da hatte ich so jetzt garnicht dran gedacht) - und da dienst der USB-Stick leider nicht um nur mal so die paar Konfigurationsdateien zwischenzuspeichern...

Wie haben das andere Leute mit Passthrough von Controllern denn gelöst? Den Onboard für ESX und dedizierte controller durchgereicht?

korrekt
booten von usb und sata durchreichen oder
booten von sata und extra controller durchreichen.

wie auch immer; das storage OS muss auf das ESXi bootdrive,
es sollte also schon ein richtig guter usb stick (ich habe das mit einem
USB3 SLC Stick getesten und es ging so halbwegs - halb so schnell wie eine einfache Sata Festplatte)
oder eine Boot-Festplatte > 16 GB sein (je nach OS und RAM auch mehr)

und nicht vergessen;
Passthrough muss vom Mainboard, dem Bios sowie der CPU unterstützt werden (vt-d oder IOMMU)
und dann muss ESXi auch noch mitspielen.

Gea

 

[therealJMC]

booten von usb und sata durchreichen

Naja - das meinte ich ja:
Schön wärs - ich kann zwar SATA durchreichen, allerdings kann ich keine Maschine anlegen weil kein datastore eingerichtet ist - und sich auch keiner einrichten lässt, da nach einem reboot der onboard sata in passthrough ist und somit angeschlossene HDDs vom ESXi nicht mehr gesehen werden...

Edit:
Das einrichten vom passthrough ist ja nicht das ding - und n X3430 ist da auch nicht das Problem und vt/d an - deshalb sehe ich die daran angeschlossenen hdds ja nach einem reboot im ESXi nicht mehr, der controller hängt ja im passthrough

 

[gea]

Naja - das meinte ich ja:
Schön wärs - ich kann zwar SATA durchreichen, allerdings kann ich keine Maschine anlegen weil kein datastore eingerichtet ist - und sich auch keiner einrichten lässt, da nach einem reboot der onboard sata in passthrough ist und somit angeschlossene HDDs vom ESXi nicht mehr gesehen werden...

Edit:
Das einrichten vom passthrough ist ja nicht das ding - und n X3430 ist da auch nicht das Problem und vt/d an - deshalb sehe ich die daran angeschlossenen hdds ja nach einem reboot im ESXi nicht mehr, der controller hängt ja im passthrough

Man muss auf der Boot-Disk ein lokales Datastore anlegen und darauf das Storage-OS installieren. Erst das Storage-OS hat dann Zugriff auf die anderen Disks via pass-through und kann dann darauf ein share oder ein NFS/iSCSI Datastore anlegen. Ich hab dazu ein miniHowTo geschrieben.

http://www.napp-it.org/doc/downloads/all-in-one.pdf

Gea

 

[therealJMC]

Ich hab vor ein paar Tagen dein Howto mal überflogen. Mir ist das Prinzip durchaus bekannt, aber mit nem 4gb Stick hab ich schlichtweg keine Möglichkeit ein datastore anzulegen. Probier's morgen nochmal ohne bei der Installation angeschlossene hdds, die erste hdd hatte er nämlich nach der install schon zum datastore gemacht...