Home-ESXi Server mit VT-d, ZFS und niedrigem Verbrauch
- Ersteller sashXP
- Erstellt am
ludwinator
Enthusiast
- Mitglied seit
- 28.12.2006
- Beiträge
- 529
Naja ohne Hardwarevirtualisierung VT-x tuts ja auch der ESX nicht. Aber VT-d ist schon nochmal was anderes, das können die ganzen Unlocked Core-I (K) Prozis nicht.
Solaris und ZFS, das ist Storagetechnologie vom Feinsten, dazu Zones um Betriebssysteminstanzen (z.B. Virtualisierung) sauber abzuschotten und das ganze gepaart mit KVM, damit die Virtualisierung nicht auf dem OS sondern im Kernel stattfindet: das hat das Potential zum Knüllersystem.
Es wird zwar nie ganz die Performance eines Minimal-Barebone Virtualisierers wie ESXi oder XEN erreichen, die ja kaum größer sind als die Firmware eines Wlan Routers, das ist aber auch nicht nötig, da CPU und RAM heute kein Problem mehr sind.
Was noch fehlt ist aber Reife, Komfort, Verbreitung, Dokumentation sowie Gast-Treiber um z.B. Grafik oder Netzfunktionen der Gäste zu beschleunigen. Ich sehe es deshalb als Option der Zukunft oder für spezielle Fälle.
Aktuell ist ESXi die dominante Lösung. Den Mehraufwand des zweiten Controllers sehe ich als gering an. Raid für ZFS braucht man auf jeden Fall. Das Management eines ESXi ist das eigentlich entscheidende, da es einfach über ein Windowsprogramm gemanagt wird. Gäste verschieben, Hardare virtualisieren, alles easy.
Ich hoffe aber auch, dass das Quasi-Monopol von ESXi durch XenServer oder (OI+) KVM mal beendet wird. Derzeit ist es es aber die gängigste Lösung.
Ich wollte da mehr auf AMD hinaus. Auf dem N36L/N40L soll ja auch ESX lauffähig sein.
underclocker2k4
Mr. Alzheimer
rated, wie meinst du das mit dem Intel-VT ist pflicht,bezogen worauf?
Pflicht ist in erster Linie eine Virtualisierungstechnik, woher die kommt, das ist nicht ganz so entscheidend.
Pflicht ist in erster Linie eine Virtualisierungstechnik, woher die kommt, das ist nicht ganz so entscheidend.
Also ich betreibe oben gefordertes Setup auf dem ESXI aus meiner Signatur. Das gangze funktioniert mehr oder weniger problemlos:
Wenn ich den onboard Intel Controller druchreiche, lassen sich die anderen im System nicht mehr verwenden. Bisher habe ich dafür keine Lösung gefunden und eben einen PCIe Controller durchgereicht. Das funktionier dann auch problemlos
Wenn ich den onboard Intel Controller druchreiche, lassen sich die anderen im System nicht mehr verwenden. Bisher habe ich dafür keine Lösung gefunden und eben einen PCIe Controller durchgereicht. Das funktionier dann auch problemlos
Das sehe ich bei so vielen anderen Lösungen als das Problem, gerade in größeren Firmeneinsätzen usw.
Der ESX(i) macht sich einfach aktuell ziemlich gut. In so ziemlich jeder Lebenslage. Wir sind bei uns auf der Arbeit auch gerade dabei nach und nach die älteren ESXi Systeme und freier Lizenz mit wenigstens der Std. Lizenz auszustatten, einfach weil bei der Anzahl von 10+ dann irgendwann mal der Überblick leidet.
Andere Systeme mögen vllt hier und dort Vorteile haben, im großen und ganzen gibt es aber viele viele kleinere und größere Baustellen. Oft ist viel gebastel dabei usw. usf.
Mal schauen wo die Entwicklung hingeht...
Requirements
Currently KVM on OpenIndiana only supports recent Intel VT chipsets. It is also a very fresh port so bugs are to be expected.
antilope114
Enthusiast
Meinst du mit "die anderen" die beiden Sata III onBoard Ports mit ASM chipsatz? Was passiert wenn du die durchreichst? Funktionieren die Intel dann auch nicht mehr im ESXi host?
Zuletzt bearbeitet:
Wenn dem wirklich so ist, dann dürfte der Spaß nicht auf AMD CPUs laufen... Ist das so? Ich kanns leider aus Mangel an laufender Hardware nicht testen...
Korrekt
Joyent, (die haben KVM auf den Illumos Kernel portiert, siehe auch SmartOS.org)
unterstützt derzeit nur Intel
das beantwortet dann underclockers Frage von oben wohl ziemlich eindeutig.
schau mal in meine Signatur. Läuft perfekt! HDDs werden auch nach 15min in sleep Modus geschickt, wenn diese nicht benötigt werden. Idle 40Watt, ansonsten je nach dem was die CPU am machen ist 50-100W. Die VMs liegen bei mir auf einer SSD, denn die Hitachis nutze ich eigentlich nur als ZFS Storage.
antilope114
Enthusiast
Hast du mit dem X9SCL mal probiert die onBoard Intel durchzureichen an die OI vm? Funktioniert das?
Der Nachteil wiegt aber die Ersparnis nie und nimmer auf. Angenommen, die Ersparnis wäre 20W. Dann würdest du im Jahr vielleicht 40-50 Euro sparen. So groß wird die Ersparnis aber nicht sein, wenn ich sehe, dass meine Kiste nackt ohne Platte 40W frisst.
50 Euro im Jahr hätte ich aber locker übrig, wenn ich dafür weiß, dass meine Daten nicht schleichend kaputtgehen.
ECC einsparen ist der falsche Weg.
---------- Post added at 17:55 ---------- Previous post was at 17:54 ----------
40 Watt mit laufenden Platten oder ohne?
- Mitglied seit
- 15.02.2004
- Beiträge
- 4.345
Bei dir sind es reg ECC, an die man durchaus günstig dran kommt, in dem Fall wären es die vollkommen übertrieben teuren Unbuffered-Dimms.
Ich wechsle von reg ECC auf Ram ohne ECC. Und bin mir ziemlich sicher, dass meine Daten nicht schleichend kaputtgehen (jedenfalls nicht bei dem Einsatzzweck, sonst müssten die auf meinem Rechner auch schon lange alle defekt sein).
Ohne ZFS gibt es eine Reihe von Fehlern, die zu Datenverfälschung/ Verlust führen können, ohne dass man es merkt. Mit ZFS gibt es eigentlich nur eine vermeidbare Ursache (sonstiger Hardwaredefekte mal aussen vor) für Fehler die ZFS nicht erkennt, nämlich RAM Fehler.
In der Mehrzahl der Fälle ist ECC RAM nicht so viel teurer wir RAM ohne Fehlerprüfung.
Es ist damit die ideale Ergänzung zu ZFS wenn man das wegen der Datensicherheit gewählt hat.
Wobei einem klar sein muss, dass RAM Fehler oft statistische Fehler sind, d.h. je mehr RAM desto
wahrscheinlicher sind Fehler. Viel Speicher ohne ECC ist ein größeres Problem als wenig RAM ohne ECC.
hoppel118
Neuling
- Mitglied seit
- 07.04.2012
- Beiträge
- 232
Auch ich habe mich für Proxmox entschieden. Bei Proxmox kannst du entscheiden, ob du KVM oder OpenVZ verwendest. Es gibt eine starke Community dahinter und du kannst das System selbständig um alle debian-Pakete erweitern. Es benötigt nicht wirklich Ressourcen und ist extrem einfach über ein schickes WebInterface zu administrieren.
Ich stand damals auch vor der Wahl esxi oder proxmox und finde es einfach cool von jedem Rechner aus Zugriff zu haben, ohne dafür eine Extra-Software (vsphere client) installieren zu müssen. Am besten einfach mal ausprobieren, die Installation war nach 15min abgeschlossen. Achtung, die entsprechende HDD wird komplett formatiert.
Mein Raid-Controller "Areca ARC-1231ML mit 12Ports" wurde ootb erkannt. Auf meinen 4Platten (4x 3TB Hitachi Deskstar 5K3000) habe ich ein Raid5-Array eingerichtet und darauf eine große LVM-Partition. In Proxmox habe ich dann über das WebInterface diese LVM-Partiition eingebunden. Mit LVM kann ich so meinen VMs völlig dynamisch Speicher zuweisen und diese auch relativ sicher auf dem Array betreiben. Die Performance ist der Oberhammer.
Als OS für die NAS-VM stand ich ebenfalls vor deiner Wahl. OpenIndiana, FreeNAS, openAttic oder openmediavault. Entschieden habe ich mich letztendlich für OMV (openmediavault), da auch hier debian zu Grunde liegt. Der Hauptentwickler der ursprünglich mal bei FreeNAS entwickelt hat, sich aber wegen "Unzulänglichkeiten" bei FreeNAS von der Distri distanziert, macht hier wirklich einen guten Job. Nachteil, wenn du es brauchst, es wird kein ZFS von OMV unterstützt. Bei Solaris hingegen werden die VirtIO-Treiber wohl nicht unterstützt, habe ich mal gelesen.
VT-d kann mein Board auch, habe ich mich aber bisher noch nicht damit beschäftigt. Zukünftig soll aber noch eine VDR-VM (VideoDiscRecorder) hinzukommen. Per VT-d will ich dann meine TV-Karten an den Gast durchreichen und an meine OMV-VM eine USB3-PCIe-Karte, um meine Daten direkt von einer ext. HDD kopieren zu können.
Proxmox ist auf jeden Fall einen Blick wert!
Gruß Hoppel
Zuletzt bearbeitet:
ludwinator
Enthusiast
- Mitglied seit
- 28.12.2006
- Beiträge
- 529
Nochmal zurück zu KVM, bei mir läuft KVM auch auf AMD (Opteron und N36L) problemlos.
Hier gibts die KVM-Version die Intel und AMD supported: https://github.com/jclulow/illumos-kvm
cu
Hier gibts die KVM-Version die Intel und AMD supported: https://github.com/jclulow/illumos-kvm
cu
ludwinator
Enthusiast
- Mitglied seit
- 28.12.2006
- Beiträge
- 529
oh, das ist bei deinen Systemen also anders? Keine Updates, Treiber, neue Versionen, Verbesserungen etc?
OK, ohne Fortschritt könnte das sogar klappen....
cu
OK, ohne Fortschritt könnte das sogar klappen....
cu
ludwinator
Enthusiast
- Mitglied seit
- 28.12.2006
- Beiträge
- 529
Ich schlage vor, das Urteil darüber, wer hier wobei welchen Punkt verfehlt, dem Threadopener zu überlassen.
Ich zeige hier lediglich Alternativen auf, wenn du die nicht hören willst, ist das dein Problem.
Wenn du eine Grundsatzdiskussion darüber willst, mach einen eigenen Thread auf.
Ich zeige hier lediglich Alternativen auf, wenn du die nicht hören willst, ist das dein Problem.
Wenn du eine Grundsatzdiskussion darüber willst, mach einen eigenen Thread auf.
Zuletzt bearbeitet:
Ja hatte ich. Im ESXI wird der onboard Controller auch erkannt. Ich habe mir ein kleinen SATA Controller besorgt, an dem ich die Systemplatte (ESXI und die VMs) drauf sollte. Ich habe es nicht geschaft, das System von diesem SATA Controller booten zu lassen. Bin dann direkt auf den IBM1015 umgestiegen.
---------- Post added at 13:46 ---------- Previous post was at 13:40 ----------
40 Watt verbraucht das System, wenn die 4x 5k3000 Hitachis im standby/sleep Modus befinden. Wenn diese hochfahren bzw. im Betrieb sind, geht der Verbrauch auf ca. 70 Watt hoch.
Da liegt ja LGA2011 gar nicht so schlecht. Auch 40W, allerdings ohne LSI-Controller.
antilope114
Enthusiast
Das lag aber dann daran, dass der ESX den Sata controller nicht unterstützt hat - weniger daran, dass es prinzipiell nicht möglich wäre.
Onboard durchgereicht und ESX vom 1015 booten sollte einwandfrei funktionieren, oder?
ESXi auf USB und davon booten. Onboard SATA durchreichen und dann? Wo knallst du dann die ganzen VMs drauf?
Ich verwende mein IBM M1015 als ZFS Storage. Da liegt keiner meiner VMs drauf. Es gibt eine Anleitung um den ZFS Storage dem ESXi bereit zu stellen, war aber nicht mein Vorhaben. www.napp-it.org/doc/downloads/all-in-one.pdf