Home-ESXi Server mit VT-d, ZFS und niedrigem Verbrauch

[sashXP]

Hallo,

ich möchte gerne meinen Home-Server aufrüsten und virtualisieren.
Ziel soll folgndes sein:

1 VM mit durchgereichten (VT-D) Festplatten mit ZFS als Fileserver. Die Performance sollte dann ja "nativ" sein, oder? OS wäre dann OpenIndiana oder so
--> Daten werden entsprechend mit integriertem SAMBA/AFP/NFS freigegeben
--> ESXi nutzt einen Share Share für die virtuellen Maschinen
--> Teilweise sollen die Daten auch verschlüsselt sein/werden
1 VM Ubuntu
1 Test-VM Ubuntu
1 Test-VM Win7/Win8 oder so

Was benötige ich genau um dies zu realisieren?

Ich dachte an folgende Hardware:

1 x Intel Core i5-3550, 4x 3.30GHz, boxed (BX80637I53550)
2 x Corsair Vengeance Low Profile weiß DIMM Kit 8GB PC3L-12800U CL9-9-9-24 (DDR3L-1600) (CML8GX3M2A1600C9W)
1 x Intel Media Series DQ77MK, Q77 (dual PC3-12800U DDR3) (BOXDQ77MK)

Den ESXi möchte ich vom USB Stick betreiben. Die VMs sollen auf einem freigegeben Verzeichnis liegen und

Würde das so passen? Habe ich das alles richtig bedacht? Gibt es Dinge, die ich noch berücksichtigen solte oder läuft das dann alles so? Ist der Stromverbrauch damit noch im Rahmen? Der Rechner zw. 12 und 24/h pro Tag.

Danke

Sascha

 

[Hummerman]

Du kannst nur einen Festplatten-Controller per VT-d durchreichen, keine einzelnen Festplatten. Ich habe jetzt auf die schnelle keine genauen Infos gefunden, aber ich gehe davon aus, da du auf dem Mainboard bloß einen Controller hast.

 

[sashXP]

Ja, ich meine auch, dass da nur ein Controller drauf ist. Wenn ich nun aber den einen Controller durchreiche, kann ich da drauf doch OI installieren und den Rest mittels NFS freigeben - oder nicht?

 

[Hummerman]

Worauf läuft die OI-VM? Auf dem USB-Stick sind keine VMs möglich.

 

[sashXP]

verstanden

welchen SATA Controller wäre empfehlenswert? Auch in Puncto Stromverbrauch. Zusätzlich sollten sich die Festplatten schlafen legen können. Vermutlich wöre es wohl am Besten einen "einfachen" RAID1 Controller zu nehmen, der dann die VMs hostet und den internen Controller an die OI VM durchzureichen, oder?

 

[underclocker2k4]

Die Frage ist, womit kann Oi umgehen, nur danach kann man eigentlich die HW auswählen.

Ohne jetzt nachgeschaut zu haben, gilt es zu prüfen, ob die CPU VT-D untersützt.

 

[fdsonne]

Die Frage ist, womit kann Oi umgehen, nur danach kann man eigentlich die HW auswählen.

Ohne jetzt nachgeschaut zu haben, gilt es zu prüfen, ob die CPU VT-D untersützt.

Ich denke es geht nicht um die OI VM, denn wenn du den Std. Intel OnBoard SATA Controller durchreist, kannst du die Platten dort dran dann in OI nutzen. Mit dem System kannst du auf unabhängig der Raidfunktionalitäten des Controllers die Platten im Verbund betreiben, soweit ich das verstanden habe.
Die Frage dürfte sich wohl dann eher darauf beziehen, einen günstigen Raid 1 Controller zu finden, wo man dann zwei HDDs/SSDs dran klemmt, welche die OI VM beherbergen. Und das wird denke ich schon mindestens nen hunderter kosten, wenn nicht gar mehr. Problem bleibt ja, das der ESXi den Controller Hardwareseitig unterstützen muss, damit Raid 1 funkt.

Optimalerweise müsste man die OI VM so bauen, das möglichst wenig HDD Zugriffe auf die root Partition stattfinden und könnte dann als Datenspeicher sogar irgendwie ne CF Card oder größere SD Card verwenden, das kost nix und ohne Schreibzugriffe geht sowas auch nicht kaputt.

Ich hab aber keine Ahnung von OI, ob das geht. Ein FreeNAS zum Beispiel kann man soweit ich weis direkt von CD Booten und dann das Configfile irgendwie mitgeben. Da wären dann nur RAM Disk Zugriffe schreibend, also ohne Belastung der HDD. -> würde den Raidcontroller sparen und man könnte irgend ne günstig 25€ SATA Pfeile nutzen, welche vom ESXi unterstützt wird.

 

[gea]

Hallo,

ich möchte gerne meinen Home-Server aufrüsten und virtualisieren.
Ziel soll folgndes sein:

1 VM mit durchgereichten (VT-D) Festplatten mit ZFS als Fileserver. Die Performance sollte dann ja "nativ" sein, oder? OS wäre dann OpenIndiana oder so
--> Daten werden entsprechend mit integriertem SAMBA/AFP/NFS freigegeben
--> ESXi nutzt einen Share Share für die virtuellen Maschinen
--> Teilweise sollen die Daten auch verschlüsselt sein/werden
1 VM Ubuntu
1 Test-VM Ubuntu
1 Test-VM Win7/Win8 oder so

Was benötige ich genau um dies zu realisieren?

Ich würde das momental so realisieren

- Ein Sandy Bridge Mainboard mit Intel Serverchipsatz z.B. SuperMicro X9.. ab ca 150,--
Super Micro Computer, Inc. - Products | Motherboards | Xeon

- 16 GB ECC RAM

- ein Stromspar Xeon (Dual) z.B. Xeon 1220 (bei V2 darauf achten, daß das Mainboard ein neues Bios 2.0 hat) Dual reicht, RAM is meist wichtiger, ca max 20W, ab ca 180,--

- Ein SAS Controller mit LSI 2008 chipset (Umflashen auf IT Firmware)
billigste Option: IBM 1015 von Ebay, ab ca 80,-- , kann auch Platten > 2 TB


ESXi + OI dann auf einer SATA Platte installieren (z.B. 40GB SSD) und die ZFS Platten dann an den SAS Controller via pass-through. Wenn beide Nics unter ESXi laufen sollen, dann das SuperMicro X9SCL+-F nehmen

 

[fdsonne]

@gea
wie sicherst du am besten den SSD Ausfall ab? Bzw. im Allgemeinen den Ausfall der Platte, wo die OI VM drauf liegt?

 

[gea]

@home: garnicht
Wenn die kaputtgeht, dann muss man eben ESXi und OI neu installieren und den ZFS Pool importieren.

Zeit dafür ca. 1 h. Es muss ja nichts besonderes konfiguriert werden (Netz, eventuell User).
Alles was wichtig ist liegt ja auf dem ZFS Pool inkl. der ganzen ZFS properties sowie der VM's


@work
da habe ich meist ein Raid-1 für ESXi und OpenIndiana im Einsatz
Ich hatte aber bisher noch keinen Ausfall einer Boot-SSD (Intel) aber schon mehrfach Boot Raid-Probleme.
Wenn die Qualität guter SSD's so bleibt, lasse ich das Boot-Raid zunehmend weg (Wobei ich 30-60 Min. downtime alle paar Jahre akzeptiere) bzw nutze das Boot-Raid nur noch zum Klonen der Disk so dass ich im Problemfall einen aktuellen Boot-Clone habe. Raid-1 (ohne ZFS) hat doch öfter das Problem, dass Lesefehler auf einer Platte nicht entdeckt werden und dann Probleme bereiten können.

 

[fdsonne]

besteht die Möglichkeit OI dahingehend umzubiegen, das es quasi allein in ner RAM Disk ausgeführt wird? Bei einem Boot der VM sollte logisch der Spaß dann auf die Platte wandern, sonst wäre ja alles weg. Aber irgendwelche Logfiles und Co. müssen in meinen Augen nicht alle Nase lang schreibend auf die Platte. Und wenn das Ding 24/7 rennt, würde sogar einmal am Tag die Kopie auf die HDD bzw. einmal in der Woche diese Kopie reichen...

Sowas wäre nämlich noch ne Option für mich Zuhause. Als DataStore dann ne 8GB CF Card, gern auch größer. Nur sollten halt die Schreibzugriffe so gering wie möglich sein, damit das Teil lange überlebt

 

[gea]

Es gibt die Distribution Eon https://sites.google.com/site/eonstorage/ die darauf ausgelegt ist aus dem Ram zu laufen. Das Projekt wird aber nur wenig gepflegt. Ich würde da viel eher auf OI setzen. Das braucht jedoch in jedem Fall eine schnelle Bootplatte. USB oder CF ist mit Solaris wie Rennen im Tiefschnee.

Die Bootplatte der Wahl ist dabei SSD (30-40 GB reichen). Die sind ja auch nicht teurer als USB Sticks oder CF. Man braucht halt einen zweiten Controller. Entweder einen billigen SIL für ESXi. Solange es aber den IBM 1015 so billig gibt, würde ich wegen der 8 Ports, 6Gb/s und Platten > 2TB immer den nehmen. (Wobei sich das rumspricht, früher lagen die bei 50 Euro)

 

[sashXP]

kann der IBM 1015 die Platten auch in den "Sleep" schicken?
Wie sieht es generell mit dem Stromverbrauch aus?

 

[Hummerman]

Den Vorschlag von gea verfolge ich auch gerade, jedoch mit einer i7-Mobile CPU, kostet zwar ein wenig mehr, verbraucht aber nochmals deutlich weniger. Nachteil kein ECC-Ram.

 

[gea]

Der LSI 9211, der dem IBM vom Chipsatz entspricht, ist mit 7W spezifiziert.

Da es sich bei diesen Controllern um "dumme" HBA Controller handelt, die lediglich Platten
bereitstellen, ist damit keine Extra Funktionalität eingebaut.

Sleep ist dann Aufgabe des Betriebssystems (OI unterstützt das)

---------- Post added at 16:03 ---------- Previous post was at 15:58 ----------
i7-Mobile CPU
Die neuen Ivy Bridge CPU's (Xeon12xx V2) sind vom Energisparen sicher besser,
ansonsten halte ich die Xeon-L (Low Voltage) Linie für unschlagbar. (z.B. Xeon 1220L V2, angekündigt mit max 17W unter Vollast)

 

[Hummerman]

i7-Mobile CPU
[/COLOR]Die neuen Ivy Bridge CPU's (Xeon12xx V2) sind vom Energisparen sicher besser,
ansonsten halte ich die Xeon-L (Low Voltage) Linie für unschlagbar. (z.B. Xeon 1220L V2, angekündigt mit max 17W unter Vollast)

Nimmt sich nicht sehr viel, größter Nachteil ist der benötigte unbuffered ECC-Ram.

Edit: Und erst mal ein Mainboard mit dem passenden Bios zu bekommen.

 

[underclocker2k4]

Es wird sich doch nen MB finden lassen, wo man die V2 Xeon versenken kann.....


@fdsonne
OI und ZFS sind leider wie Frauen, die gehen nicht mit jedem.

Das kommt schon auf den Controller an, wenn der Treibertechnisch nicht unterstützt wird, stehste im Dunkeln.

 

[fdsonne]

aber zumindest die gängigen Intel OnBoard Controller sollten doch gehen?

 

[LianenSchwinger]

... die meisten Motherboards für den Xeon E3 Version 1 werden durch ein Bios update Version 2 fähig.

siehe SUPERMICRO X9SCM-F, dank neuem Bios auch PCIe V3 und 1666MHz Ram.

 

[GrafikTreiber]

Ich möchte hier nochmal kurz einwerfen dass ESXi nicht wirklich stromsparend ist, die aktuellen Stromsparoptionen von CPUs und Mainboards werden teilweise gar nicht oder nur sehr rudimentär unterstützt, das System läuft unabhängig von der Auslastung fast immer mit vollem/voller Takt/Spannung. Eventuell ist Proxmox eine Alternative für dich, das basiert auf Debian und unterstützt daher auch Stromsparfunktionen vernünftig.

 

[antilope114]

... die meisten Motherboards für den Xeon E3 Version 1 werden durch ein Bios update Version 2 fähig.

siehe SUPERMICRO X9SCM-F, dank neuem Bios auch PCIe V3 und 1666MHz Ram.

Wobei hier noch anzumerken ist, dass man zum Upgrade erstmal eine v1 CPU braucht!

 

[GrafikTreiber]

Bist du dir da ganz sicher? Ich habe schon hunderte Mainboards mit einer "unsupported CPU" geflasht, die dann erst nach dem Update "supported" geworden sind. In der Regel steht dann da einfach "Unknown Intel CPU bla bla" und einige Funktionen sind nicht vorhanden sofern man das aktuelle Bios nicht drauf hat, ansonsten läuft alles ganz normal.

 

[antilope114]

Bist du dir da ganz sicher?

Falls du meinst, ob ich es selber getestet habe? Nein. Aber laut Aussage von Supermicro ist eine v1-CPU erforderlich.

First, boot the motherboard with an E3-1200 series (not E3-1200 V2)

Inwieweit das tatsächlich der Fall ist, oder ob es auch mit v2 funktioniert, kann ich nicht beurteilen.


Quelle: http://www.supermicro.com/products/nfo/BIOS_Upgrade_Instruction_E3-1200_V2.pdf

 

[RobertJ]

Ich habe es leider auch nicht probiert. Habe mir kurzeitig eine V1 CPU ausgeliehen,um dann das Board für meinen 1230 V2 upzudaten.
Daher kann ich es auch nicht sagen ob es direkt funktioniert hätte. Den Kühler für den Bios-Boot und Update hatte ich nur aufgelegt.

 

[Steggi]

Ich möchte hier nochmal kurz einwerfen dass ESXi nicht wirklich stromsparend ist, die aktuellen Stromsparoptionen von CPUs und Mainboards werden teilweise gar nicht oder nur sehr rudimentär unterstützt, das System läuft unabhängig von der Auslastung fast immer mit vollem/voller Takt/Spannung.

Also bei älten Systemen kann ich dir voll und ganz zustimmen, aber bei den aktuellen Boards und CPUs funzt das mit den Stromsparfunktionen schon sehr gut.
Mein 2011er ESXi braucht unter ESXi im Idle genau so wenig wie unter W2K8 oder Linux.

 

[gea]

Ich habe es leider auch nicht probiert. Habe mir kurzeitig eine V1 CPU ausgeliehen,um dann das Board für meinen 1230 V2 upzudaten.
Daher kann ich es auch nicht sagen ob es direkt funktioniert hätte. Den Kühler für den Bios-Boot und Update hatte ich nur aufgelegt.

Es wurde schon probiert.
Xeon V2 auf SuperMicro braucht zwingend ein neues Bios.

Supermicro Intel Xeon E3-1200 V2 Support and Lineup | ServeTheHome - Intel Xeon AMD Opteron RAID Controller Reviews

 

[ludwinator]

Das All-in-One Konzept ist ja ganz nett, aber ich halte es eigentlich für unnötig kompliziert (allein schon wegen dem RAID-Gedöns).
Habt ihr schon mal über OI+KVM nachgedacht? Ich fahre 151a4 mit KVM und da drunter W2k3, w2k8, XP etc problemlos, habe wahrscheinlich eher mehr Performance als mit ESX und trotzdem alle Vorteile von ZFS und Virtualisierung. Brauche aber überhaupt keinen RAID-Controller und kein VT-D, dafür hab ich aber funktionierendes Powermanagement.
Für die Puristen, die gerne vom Stick booten wäre dann noch SmartOS ne Alternative, damit kann man in nullkommanix alle denkbaren VMs hochziehen.


cu

 

[xrated]

Ich boote OI von USB Stick, dauert zwar etwas länger aber funktioniert bis jetzt problemlos.

Wie umfangreich ist eigentlich die Konfiguration von KVM unter Solaris?

 

[antilope114]

Ein Hypervisor-Vergleich wäre mal Interessant. Also ESXI vs Xen vs KVM beispielsweise.

Ich habe ESXi v.a. wegen der guten Dokumentation, man weiß genau, welche Hardware unterstützt wird und welche nicht und es ist ruck-zuck aufgesetzt und läuft rockstable. Das ist bei den anderen nunmal nicht gegeben - an das Gefrickel Xen unter Solaris ans Laufen zu bringen will ich lieber nicht zurückdenken ... abgesehen davon brauche ich für meine SAS_Platten ohnehin einen HBA. Die Zusatzkosten sind also lediglich in der höheren Stromrechnung zu finden.

Grüße

 

[ludwinator]

Hardwareunterstützung ist überhaupt kein Problem, siehe Community HCL - OpenIndiana - OpenIndiana Wiki
Einrichtung ist ebenfalls simpel: KVM - OpenIndiana - OpenIndiana Wiki
Und stabil ist das auf jeden Fall.

cu