Kleiner Erfahrungsbericht einer ESXi Installation auf nicht unterstützer Hardware

[Inferno]

Da hier ja auch immer mal wieder nach dem Vmware ESXi gefragt wird wollte ich euch mal hier ein kleines Projekt vorstellen, was mein Onkle und ich aufgebaut haben bzw. immer wieder erweitern oder verändern.


Aufbau:

2x ESXi 3.5
2x Openfiler als shared storage

Auf dem ESXi laufen ein Mailserver, Webserver, DNS; Mediaserver, PDF Server und ein paar Linux VM's.

Gebootet werden die beiden Rechner über USB und somit sind keine Festplatten nötig. Beide ESX's sind per NFS an Openfiler angebunden und können somit auf den gleichen Datenbestand zugreifen. Angeschlossen sind die Rechner per Gigabit.

Auf dem ESXi Server mit der Phenom CPU laufen zur Zeit 9 VM's mit jeweils 1vCPU und 256-1024MB RAM. Bis jetzt läuft alles sehr flüssig ohne das man das Gefühl hat, dass es an Geschwindigkeit fehlt.

Hier mal ein paar Details (Hardware) und ein paar Bilder des Aufbaus: IpCop (Firewall):


1. Rechner mit ESXi

Athlon 6000+
ASUS MSN2-E (nvidia Nforce 570)
8 GB RAM
einfache PCI-E Grafikkarte
2x onboard gigabit nic
1x Intel Desktop GT 1000 Netzwerkkarte



2. Rechner mit ESXi:
Phenom 9850
MSI KA790GX
8GB RAM
onboard Grafikkarte
3x Intel Desktop GT 1000 Netzwerkkarte


Die beiden ESXi's zusammen:


Alle 5 Zusammen (Openfiler+ESXi+IPcop)

Openfiler:
Athlon 64 X2
4GB RAM
3WARE 9650SE-4LPML
4x 1TB Festplatte SATA




Diese Konfiguration lief dann ca. 1 Jahr und der ESXi wurde dann auf die Version 4 gehoben und ein Openfiler durch ein Qnap TS-419P ersetzt. Jedoch merkt man doch schon einen erheblichen Unterschied zwischen dem Hardware Raid und dem Software Raid des Qnaps.

 

[Gohst_oc]

Ich verwende selber ESXi (4 Update 1) auf nicht unterstüzter Hardware.

Zwar war es nicht gerade einfach als absolut Laie die Infos zu bekommen wie man die oem.tgz bearbeitet, aber als ich es dann endlich geschafft habe, war ich positiv überrascht.

Meine Hardware:

Athlon II X4 620
Foxconn A7DA-S (SB750)
8 GB RAM
3Ware 9690SA-4I
HD 3300

Ich habe das ganze direkt auf einen USB Stick installiert.
Aber ein paar Probleme habe ich noch.

Beim booten haltet das System immer wieder an. Die Errors sagen nicht viel.
Onboard Sound, Firewire und Sound über HDMI sind aus (im BIOS).
Ich weiss nicht ob es noch ein IRQ Konflikt ist?

Und immer wenn ich etwas drücke, scheint es erst ausgeführt zu werden, wenn ich eine 2te, beliebige Taste betätige.

Auch beim Herunterfahren über vSphere. Ich muss immer zum Server laufen und eine beliebige Taste drücken, dann geht er instant off.

Ist bei dir die Perfomance über die Konsole auch sehr bescheiden? Über Remote (RDP) läuft alles gut, aber beim Arbeiten über die Konsole sind Tasteneingaben teils über ne Sekunde verzögert.

Und funktioniert bei dir passtrough von Hardware?

 

[konfetti]

hardware passthrough ist nur möglich, wenn die cpu (intel) vt-d unterstützt.
gut, das mobo muss es auch können, aber sonst geht das nicht.

 

[Gohst_oc]

Und was ist mit AMD's VT? Der Athlon II X4 620 kann das.

Ich denke auch, dass hier das Mainboard schuld ist.

 

[DiePike]

Und was ist mit AMD's VT? Der Athlon II X4 620 kann das.

Ich denke auch, dass hier das Mainboard schuld ist.

Kann da jemand was zu sagen? Gibts nen AMD Chipsatz welcher in der Lage ist HDD Passthrough zu ermöglichen?

 

[DJCORNI]

@OP

Kannst du mir sagen was für ein Phenom 9850 das ist. Stepping und am besten das genaue Model - etwa HD9750WCJ4BGH oder sowas...?

Ich habe einen Phenom 9650 (wohl B3) mit dem sich der ESXi nicht installieren lässt (siehe hier), das Problem tritt auch mit ESXi 4.1 auf.

Steckt man ihn dieses Board einen Athlon 64 X2 BE-2350 (habe ich noch rumliegen) gehts...

 

[barnacle2k]

Kann da jemand was zu sagen? Gibts nen AMD Chipsatz welcher in der Lage ist HDD Passthrough zu ermöglichen?

VT-D aka IOMMU Kann nur der 890FX Chipsatz.
(habe da ein Board abzugeben... )

Beim booten haltet das System immer wieder an. Die Errors sagen nicht viel.
Onboard Sound, Firewire und Sound über HDMI sind aus (im BIOS).
Ich weiss nicht ob es noch ein IRQ Konflikt ist?

Und immer wenn ich etwas drücke, scheint es erst ausgeführt zu werden, wenn ich eine 2te, beliebige Taste betätige.

Auch beim Herunterfahren über vSphere. Ich muss immer zum Server laufen und eine beliebige Taste drücken, dann geht er instant off.

Dieses Problem kommt vom C1E das muss im BIOS abgeschaltet werden.

 

[Metzzo]

Hihu

Mich würden ein paar Daten bzgl. des Unterschied Hard/Software-Raid interessieren.

Nutze aktuell zwei Optiplex 745 als ESXi + QNAP TS239Pro II.
Spiele mit dem Gedanken mir nächsten Monat ein "billig" NAS (FreeNas 0.8) selbst zu basteln.
Core2Duo und RAM etc. gibts ja sau billig aber einen gescheiter ~ 8 Port RAID Controller wird teuer

Grüße
Patrick

 

[gea]

wenn ich mal die dubiosen Hard/ Software-Raid-Sachen aussen vor lasse,
so fällt mir dazu folgendes ein.

-Pro Hardware Raid:
- gut bei langsamer Hardware
- flexible im Raid Management z.B. Wechsel der Raid Levels
- kann auch Boot-Laufwerk als Raid

-Gegen Hardware Raid
- nur soviel Platten, wie Ports (üblicherweise kein Raid über mehrere/ beliebige Controller)
- Raid ist futsch, wenn Controller abraucht und kein identischer Ersatz da ist
- kein wirklicher Performance-Zuwachs bei schneller Hardware
- OS hat kein keine direkte Kontrolle defekter Platten, obwohl es Probleme viel intelligenter handhaben könnte
als ein im Vergleich dazu dummer Hardware Raid-Controller
- teuer

im Vergleich dazu Software Raid
eigentlich alles negiert was oben steht.

Das bedeutet, Software-Raid wird umso besser wie die Hardware schneller wird (nix für alte Gurken). Ausserdem ist eine gute Software-Raid-Implementierung nötig. Die Beste ist wohl ZFS von SUN - das wohl beste und flexibelste Raid überhaupt - obwohl es viel mehr als nur Raid ist.

Mein Tipp: Software Raid, und das gesparte Geld in ein Server Mainbaord (ab 150 Euro, ich würde was aktuelles von Intel mit vti-d nehmen-dann läßst sich sogar der Storage-Server mit PCi-passthrough virtualisieren) mit viel ECC Ram, SAS HBA mit LSI 1068 (ab ca 100 Euro) oder SAS2 mit LSI 2008 HBA und eventuell Quad-CPU stecken, wobei viel RAM wichtiger ist. Bei ZFS wüerde ich aber immer ein Solaris basiertes System wählen (Nexenta*, OpenIndiana oder Solaris Express 11 - mit den neuesten ZFS Features) - und dies per NFS (auch ein Sun-Special) an ESXi anbinden.

 

[fdsonne]

-Pro Hardware Raid:
- gut bei langsamer Hardware
- flexible im Raid Management z.B. Wechsel der Raid Levels
- kann auch Boot-Laufwerk als Raid

-Gegen Hardware Raid
- nur soviel Platten, wie Ports (üblicherweise kein Raid über mehrere/ beliebige Controller)
- Raid ist futsch, wenn Controller abraucht und kein identischer Ersatz da ist
- kein wirklicher Performance-Zuwachs bei schneller Hardware
- OS hat kein keine direkte Kontrolle defekter Platten, obwohl es Probleme viel intelligenter handhaben könnte
als ein im Vergleich dazu dummer Hardware Raid-Controller
- teuer

Kurz noch zu den Nachteilen...
Also der Performancezuwach bei schnellerer Hardware hält sich auch bei Softwarelösungen in Grenzen, nämlich dann, wenn die Platten limitieren und das packen Hardwareraidcontroller ebenso... Ein Nachteil der Softwaregeschichte ist eher, das die Hardware richtig Bumms haben muss, sonst wirds mit den Datenraten nix. Beim Hardwareraid ist der Unterbau quasi recht egal, solange die PCIe/PCI-X Bandbreite nicht limitiert.

Zum Thema direkter Zugriff...
Das ist auch so nicht gewollt. Für was brauch man direkten Zugriff? Das OS ist genau so doof wie der Controller. Mal ganz davon ab, kann ordentliche Raid Managementsoftware auch direkt an die HDDs ran.

Zum Thema teuer...
Das ist relativ Gerade wenn man keinen Durchblick in Sachen Softwareraid und vor allem das von dir oft erwähnte ZFS und den Unix Unterbau hat, so wirds gemessen an der Arbeitszeit immer günstiger


Den Rest kann man denke ich so stehen lassen...
Vllt wäre noch zu erwähnen, der Hardwareraidcontroller braucht idR weniger Strom bei Last als die CPU unter Last im Softwarraid...

 

[gea]

Kurz noch zu den Nachteilen...
Also der Performancezuwach bei schnellerer Hardware hält sich auch bei Softwarelösungen in Grenzen, nämlich dann, wenn die Platten limitieren und das packen Hardwareraidcontroller ebenso... Ein Nachteil der Softwaregeschichte ist eher, das die Hardware richtig Bumms haben muss, sonst wirds mit den Datenraten nix. Beim Hardwareraid ist der Unterbau quasi recht egal, solange die PCIe/PCI-X Bandbreite nicht limitiert.

Zum Thema direkter Zugriff...
Das ist auch so nicht gewollt. Für was brauch man direkten Zugriff? Das OS ist genau so doof wie der Controller. Mal ganz davon ab, kann ordentliche Raid Managementsoftware auch direkt an die HDDs ran.

Zum Thema teuer...
Das ist relativ Gerade wenn man keinen Durchblick in Sachen Softwareraid und vor allem das von dir oft erwähnte ZFS und den Unix Unterbau hat, so wirds gemessen an der Arbeitszeit immer günstiger


Den Rest kann man denke ich so stehen lassen...
Vllt wäre noch zu erwähnen, der Hardwareraidcontroller braucht idR weniger Strom bei Last als die CPU unter Last im Softwarraid...

Ich denke da etwas anders.
Bei Raid limitieren eigentlich nie die Platten. Eine Platte macht z.B. 100 GB/s sequentiell, dann müssten 11 Platten im Raid 5 eigentlich 1000 GB/s können - herauskommen aber oft nicht mehr als die Performance einer Platte - bei Hardware-Raid völlig unabhängig ob die CPU's tatsächlich vielleicht die 1000 GB's könnte.

Zum Thema HD-Kontrolle. Das ist eigentlich originäre Aufgabe des Betriebssystems. Es hat dazu fast unendlich CPU und Ram verglichen mit dem Hardware-Raid-Controller. Es muss aber darauf vorbereitet sein, das zu können - und das ist leider nicht immer der Fall. Das OS ist eben nicht per se genauso doof wie der Controller (ist zwar oft so) sondern hat/ hätte viel mehr Möglichkeiten - je nach OS.

Zum Thema Raid-Durchblick - Der ist umso nötiger, je weniger Unterstützung das OS einem bietet. Das ist ja gerade der Grund warum ich -zugegeben sehr davon begeistert- ZFS bevorzuge. Man muss fast nichts wissen, um fast alles richtig zu machen.

zum Thema teuer.
wenn Arbeitszeit herangezogen wird, sind Hardwarekosten immer egal. Ich denke auch dass die Ansprüche an ein System wichtiger sind als die Kosten - dennoch macht es oft einen Unterschied ob ein Controller 100 Euro oder 500 Euro kostet - ich habe genug von der zweiten Sorte herumliegen.

Irgendwie erinnert mich die Diskussion an die zusätzlichen numerischen Koprozessoren, die vor 15 Jahren verschwanden, als die CPU's selber schnell genug wurden um diese Berechnungen schneller vornehmen zu können als die Spezialprozessoren - etwas was in der nächsten Zeit auch mit GPU's < Mittelklasse passieren wird - die gehen auch einfach in die CPU - zu etwas muss deren Power ja auch da sein.