Home-ESXi Server mit VT-d, ZFS und niedrigem Verbrauch

[xrated]

Intel VT ist wohl pflicht

 

[ludwinator]

Naja ohne Hardwarevirtualisierung VT-x tuts ja auch der ESX nicht. Aber VT-d ist schon nochmal was anderes, das können die ganzen Unlocked Core-I (K) Prozis nicht.

 

[gea]

Das All-in-One Konzept ist ja ganz nett, aber ich halte es eigentlich für unnötig kompliziert (allein schon wegen dem RAID-Gedöns).
Habt ihr schon mal über OI+KVM nachgedacht? Ich fahre 151a4 mit KVM und da drunter W2k3, w2k8, XP etc problemlos, habe wahrscheinlich eher mehr Performance als mit ESX und trotzdem alle Vorteile von ZFS und Virtualisierung. Brauche aber überhaupt keinen RAID-Controller und kein VT-D, dafür hab ich aber funktionierendes Powermanagement.
Für die Puristen, die gerne vom Stick booten wäre dann noch SmartOS ne Alternative, damit kann man in nullkommanix alle denkbaren VMs hochziehen.


cu

Solaris und ZFS, das ist Storagetechnologie vom Feinsten, dazu Zones um Betriebssysteminstanzen (z.B. Virtualisierung) sauber abzuschotten und das ganze gepaart mit KVM, damit die Virtualisierung nicht auf dem OS sondern im Kernel stattfindet: das hat das Potential zum Knüllersystem.

Es wird zwar nie ganz die Performance eines Minimal-Barebone Virtualisierers wie ESXi oder XEN erreichen, die ja kaum größer sind als die Firmware eines Wlan Routers, das ist aber auch nicht nötig, da CPU und RAM heute kein Problem mehr sind.

Was noch fehlt ist aber Reife, Komfort, Verbreitung, Dokumentation sowie Gast-Treiber um z.B. Grafik oder Netzfunktionen der Gäste zu beschleunigen. Ich sehe es deshalb als Option der Zukunft oder für spezielle Fälle.

Aktuell ist ESXi die dominante Lösung. Den Mehraufwand des zweiten Controllers sehe ich als gering an. Raid für ZFS braucht man auf jeden Fall. Das Management eines ESXi ist das eigentlich entscheidende, da es einfach über ein Windowsprogramm gemanagt wird. Gäste verschieben, Hardare virtualisieren, alles easy.

Ich hoffe aber auch, dass das Quasi-Monopol von ESXi durch XenServer oder (OI+) KVM mal beendet wird. Derzeit ist es es aber die gängigste Lösung.

 

[xrated]

Naja ohne Hardwarevirtualisierung VT-x tuts ja auch der ESX nicht. Aber VT-d ist schon nochmal was anderes, das können die ganzen Unlocked Core-I (K) Prozis nicht.

Ich wollte da mehr auf AMD hinaus. Auf dem N36L/N40L soll ja auch ESX lauffähig sein.

 

[underclocker2k4]

rated, wie meinst du das mit dem Intel-VT ist pflicht,bezogen worauf?

Pflicht ist in erster Linie eine Virtualisierungstechnik, woher die kommt, das ist nicht ganz so entscheidend.

 

[gdfan]

Also ich betreibe oben gefordertes Setup auf dem ESXI aus meiner Signatur. Das gangze funktioniert mehr oder weniger problemlos:

Wenn ich den onboard Intel Controller druchreiche, lassen sich die anderen im System nicht mehr verwenden. Bisher habe ich dafür keine Lösung gefunden und eben einen PCIe Controller durchgereicht. Das funktionier dann auch problemlos

 

[fdsonne]

Was noch fehlt ist aber Reife, Komfort, Verbreitung, Dokumentation sowie Gast-Treiber um z.B. Grafik oder Netzfunktionen der Gäste zu beschleunigen. Ich sehe es deshalb als Option der Zukunft oder für spezielle Fälle.

Das sehe ich bei so vielen anderen Lösungen als das Problem, gerade in größeren Firmeneinsätzen usw.
Der ESX(i) macht sich einfach aktuell ziemlich gut. In so ziemlich jeder Lebenslage. Wir sind bei uns auf der Arbeit auch gerade dabei nach und nach die älteren ESXi Systeme und freier Lizenz mit wenigstens der Std. Lizenz auszustatten, einfach weil bei der Anzahl von 10+ dann irgendwann mal der Überblick leidet.

Andere Systeme mögen vllt hier und dort Vorteile haben, im großen und ganzen gibt es aber viele viele kleinere und größere Baustellen. Oft ist viel gebastel dabei usw. usf.
Mal schauen wo die Entwicklung hingeht...

 

[xrated]

rated, wie meinst du das mit dem Intel-VT ist pflicht,bezogen worauf?

Pflicht ist in erster Linie eine Virtualisierungstechnik, woher die kommt, das ist nicht ganz so entscheidend.

Requirements
Currently KVM on OpenIndiana only supports recent Intel VT chipsets. It is also a very fresh port so bugs are to be expected.

 

[antilope114]

Wenn ich den onboard Intel Controller druchreiche, lassen sich die anderen im System nicht mehr verwenden.

Meinst du mit "die anderen" die beiden Sata III onBoard Ports mit ASM chipsatz? Was passiert wenn du die durchreichst? Funktionieren die Intel dann auch nicht mehr im ESXi host?

 

[fdsonne]

Requirements
Currently KVM on OpenIndiana only supports recent Intel VT chipsets. It is also a very fresh port so bugs are to be expected.

Wenn dem wirklich so ist, dann dürfte der Spaß nicht auf AMD CPUs laufen... Ist das so? Ich kanns leider aus Mangel an laufender Hardware nicht testen...

 

[gea]

Wenn dem wirklich so ist, dann dürfte der Spaß nicht auf AMD CPUs laufen... Ist das so? Ich kanns leider aus Mangel an laufender Hardware nicht testen...

Korrekt
Joyent, (die haben KVM auf den Illumos Kernel portiert, siehe auch SmartOS.org)
unterstützt derzeit nur Intel

 

[fdsonne]

Korrekt
Joyent, (die haben KVM auf den Illumos Kernel portiert, siehe auch SmartOS.org)
unterstützt derzeit nur Intel

das beantwortet dann underclockers Frage von oben wohl ziemlich eindeutig.

 

[gdfan]

Die anderen SATA 3 Ports und die eingesteckte Controllerkarte
Wenn ich die beiden durchreiche und den Intel als lokalen Storage Controller nehme, geht alles

 

[mosjka]

schau mal in meine Signatur. Läuft perfekt! HDDs werden auch nach 15min in sleep Modus geschickt, wenn diese nicht benötigt werden. Idle 40Watt, ansonsten je nach dem was die CPU am machen ist 50-100W. Die VMs liegen bei mir auf einer SSD, denn die Hitachis nutze ich eigentlich nur als ZFS Storage.

 

[antilope114]

schau mal in meine Signatur. Läuft perfekt! HDDs werden auch nach 15min in sleep Modus geschickt, wenn diese nicht benötigt werden. Idle 40Watt, ansonsten je nach dem was die CPU am machen ist 50-100W. Die VMs liegen bei mir auf einer SSD, denn die Hitachis nutze ich eigentlich nur als ZFS Storage.

Hast du mit dem X9SCL mal probiert die onBoard Intel durchzureichen an die OI vm? Funktioniert das?

 

[TCM]

Den Vorschlag von gea verfolge ich auch gerade, jedoch mit einer i7-Mobile CPU, kostet zwar ein wenig mehr, verbraucht aber nochmals deutlich weniger. Nachteil kein ECC-Ram.

Der Nachteil wiegt aber die Ersparnis nie und nimmer auf. Angenommen, die Ersparnis wäre 20W. Dann würdest du im Jahr vielleicht 40-50 Euro sparen. So groß wird die Ersparnis aber nicht sein, wenn ich sehe, dass meine Kiste nackt ohne Platte 40W frisst.

50 Euro im Jahr hätte ich aber locker übrig, wenn ich dafür weiß, dass meine Daten nicht schleichend kaputtgehen.

ECC einsparen ist der falsche Weg.

---------- Post added at 17:55 ---------- Previous post was at 17:54 ----------

schau mal in meine Signatur. Läuft perfekt! HDDs werden auch nach 15min in sleep Modus geschickt, wenn diese nicht benötigt werden. Idle 40Watt, ansonsten je nach dem was die CPU am machen ist 50-100W. Die VMs liegen bei mir auf einer SSD, denn die Hitachis nutze ich eigentlich nur als ZFS Storage.

40 Watt mit laufenden Platten oder ohne?

 

[Hummerman]

ECC einsparen ist der falsche Weg.

Bei dir sind es reg ECC, an die man durchaus günstig dran kommt, in dem Fall wären es die vollkommen übertrieben teuren Unbuffered-Dimms.

Ich wechsle von reg ECC auf Ram ohne ECC. Und bin mir ziemlich sicher, dass meine Daten nicht schleichend kaputtgehen (jedenfalls nicht bei dem Einsatzzweck, sonst müssten die auf meinem Rechner auch schon lange alle defekt sein).

 

[gea]

Bei dir sind es reg ECC, an die man durchaus günstig dran kommt, in dem Fall wären es die vollkommen übertrieben teuren Unbuffered-Dimms.

Ich wechsle von reg ECC auf Ram ohne ECC. Und bin mir ziemlich sicher, dass meine Daten nicht schleichend kaputtgehen (jedenfalls nicht bei dem Einsatzzweck, sonst müssten die auf meinem Rechner auch schon lange alle defekt sein).

Ohne ZFS gibt es eine Reihe von Fehlern, die zu Datenverfälschung/ Verlust führen können, ohne dass man es merkt. Mit ZFS gibt es eigentlich nur eine vermeidbare Ursache (sonstiger Hardwaredefekte mal aussen vor) für Fehler die ZFS nicht erkennt, nämlich RAM Fehler.

In der Mehrzahl der Fälle ist ECC RAM nicht so viel teurer wir RAM ohne Fehlerprüfung.
Es ist damit die ideale Ergänzung zu ZFS wenn man das wegen der Datensicherheit gewählt hat.

Wobei einem klar sein muss, dass RAM Fehler oft statistische Fehler sind, d.h. je mehr RAM desto
wahrscheinlicher sind Fehler. Viel Speicher ohne ECC ist ein größeres Problem als wenig RAM ohne ECC.

 

[hoppel118]

Ich möchte hier nochmal kurz einwerfen dass ESXi nicht wirklich stromsparend ist, die aktuellen Stromsparoptionen von CPUs und Mainboards werden teilweise gar nicht oder nur sehr rudimentär unterstützt, das System läuft unabhängig von der Auslastung fast immer mit vollem/voller Takt/Spannung. Eventuell ist Proxmox eine Alternative für dich, das basiert auf Debian und unterstützt daher auch Stromsparfunktionen vernünftig.

Auch ich habe mich für Proxmox entschieden. Bei Proxmox kannst du entscheiden, ob du KVM oder OpenVZ verwendest. Es gibt eine starke Community dahinter und du kannst das System selbständig um alle debian-Pakete erweitern. Es benötigt nicht wirklich Ressourcen und ist extrem einfach über ein schickes WebInterface zu administrieren.

Ich stand damals auch vor der Wahl esxi oder proxmox und finde es einfach cool von jedem Rechner aus Zugriff zu haben, ohne dafür eine Extra-Software (vsphere client) installieren zu müssen. Am besten einfach mal ausprobieren, die Installation war nach 15min abgeschlossen. Achtung, die entsprechende HDD wird komplett formatiert.

Mein Raid-Controller "Areca ARC-1231ML mit 12Ports" wurde ootb erkannt. Auf meinen 4Platten (4x 3TB Hitachi Deskstar 5K3000) habe ich ein Raid5-Array eingerichtet und darauf eine große LVM-Partition. In Proxmox habe ich dann über das WebInterface diese LVM-Partiition eingebunden. Mit LVM kann ich so meinen VMs völlig dynamisch Speicher zuweisen und diese auch relativ sicher auf dem Array betreiben. Die Performance ist der Oberhammer.

Als OS für die NAS-VM stand ich ebenfalls vor deiner Wahl. OpenIndiana, FreeNAS, openAttic oder openmediavault. Entschieden habe ich mich letztendlich für OMV (openmediavault), da auch hier debian zu Grunde liegt. Der Hauptentwickler der ursprünglich mal bei FreeNAS entwickelt hat, sich aber wegen "Unzulänglichkeiten" bei FreeNAS von der Distri distanziert, macht hier wirklich einen guten Job. Nachteil, wenn du es brauchst, es wird kein ZFS von OMV unterstützt. Bei Solaris hingegen werden die VirtIO-Treiber wohl nicht unterstützt, habe ich mal gelesen.

VT-d kann mein Board auch, habe ich mich aber bisher noch nicht damit beschäftigt. Zukünftig soll aber noch eine VDR-VM (VideoDiscRecorder) hinzukommen. Per VT-d will ich dann meine TV-Karten an den Gast durchreichen und an meine OMV-VM eine USB3-PCIe-Karte, um meine Daten direkt von einer ext. HDD kopieren zu können.

Proxmox ist auf jeden Fall einen Blick wert!

Gruß Hoppel

 

[ludwinator]

Nochmal zurück zu KVM, bei mir läuft KVM auch auf AMD (Opteron und N36L) problemlos.
Hier gibts die KVM-Version die Intel und AMD supported: https://github.com/jclulow/illumos-kvm

cu

 

[TCM]

Genau, und schon geht's los mit "Zieh dir einfach von da den Patch x und von dort den Patch y". Das war vor 15 Jahren mal spannend.

 

[ludwinator]

oh, das ist bei deinen Systemen also anders? Keine Updates, Treiber, neue Versionen, Verbesserungen etc?
OK, ohne Fortschritt könnte das sogar klappen....

cu

 

[TCM]

Mit Anlauf den Punkt verfehlt. Glückwunsch.

 

[ludwinator]

Ich schlage vor, das Urteil darüber, wer hier wobei welchen Punkt verfehlt, dem Threadopener zu überlassen.
Ich zeige hier lediglich Alternativen auf, wenn du die nicht hören willst, ist das dein Problem.
Wenn du eine Grundsatzdiskussion darüber willst, mach einen eigenen Thread auf.

 

[TCM]

Es ging mir darum, dass man ESXi einsetzt, weil es aus einem Guss ist und man keine Lust hat, sich ein funktionierendes System erstmal aus zig Quellen zusammenzufrickeln.

Von Wartungs-Patches war überhaupt keine Rede.

 

[mosjka]

Hast du mit dem X9SCL mal probiert die onBoard Intel durchzureichen an die OI vm? Funktioniert das?

Ja hatte ich. Im ESXI wird der onboard Controller auch erkannt. Ich habe mir ein kleinen SATA Controller besorgt, an dem ich die Systemplatte (ESXI und die VMs) drauf sollte. Ich habe es nicht geschaft, das System von diesem SATA Controller booten zu lassen. Bin dann direkt auf den IBM1015 umgestiegen.

---------- Post added at 13:46 ---------- Previous post was at 13:40 ----------

[/COLOR] 40 Watt mit laufenden Platten oder ohne?

40 Watt verbraucht das System, wenn die 4x 5k3000 Hitachis im standby/sleep Modus befinden. Wenn diese hochfahren bzw. im Betrieb sind, geht der Verbrauch auf ca. 70 Watt hoch.

 

[TCM]

40 Watt verbraucht das System, wenn die 4x 5k3000 Hitachis im standby/sleep Modus befinden. Wenn diese hochfahren bzw. im Betrieb sind, geht der Verbrauch auf ca. 70 Watt hoch.

Da liegt ja LGA2011 gar nicht so schlecht. Auch 40W, allerdings ohne LSI-Controller.

 

[antilope114]

Ja hatte ich. Im ESXI wird der onboard Controller auch erkannt. Ich habe mir ein kleinen SATA Controller besorgt, an dem ich die Systemplatte (ESXI und die VMs) drauf sollte. Ich habe es nicht geschaft, das System von diesem SATA Controller booten zu lassen. Bin dann direkt auf den IBM1015 umgestiegen.

Das lag aber dann daran, dass der ESX den Sata controller nicht unterstützt hat - weniger daran, dass es prinzipiell nicht möglich wäre.

Onboard durchgereicht und ESX vom 1015 booten sollte einwandfrei funktionieren, oder?

 

[mosjka]

Das lag aber dann daran, dass der ESX den Sata controller nicht unterstützt hat - weniger daran, dass es prinzipiell nicht möglich wäre.

Onboard durchgereicht und ESX vom 1015 booten sollte einwandfrei funktionieren, oder?

ESXi auf USB und davon booten. Onboard SATA durchreichen und dann? Wo knallst du dann die ganzen VMs drauf?

Ich verwende mein IBM M1015 als ZFS Storage. Da liegt keiner meiner VMs drauf. Es gibt eine Anleitung um den ZFS Storage dem ESXi bereit zu stellen, war aber nicht mein Vorhaben. www.napp-it.org/doc/downloads/all-in-one.pdf