Virtualisierungsserver vt-d?

[gdfan]

Hallo,

Ich möchte mir einen neuen Server zulegen. Als BS soll ESXi 4.1 laufen.
Da ich den Server auch als Fileserver nutzen möchte, denke ich darüber nach, dass ganze mit VT-D laufen zu lassen und die Platten direkt in die VM durchzureichen. Macht das Sinn so und funktioniert das überhaupt?

Ich verspreche mir davon eine Performance-Steigerung. Ich möchte die Platten mit Truecrypt verschlüsseln und kein Raid einrichten.

Liege ich da korrekt? Oder gibt es bessere Lösungen?

Desweiteren weiß ich nicht genau was für Hardware ich nehmen soll. Ich hätte gerne 8Gb Ram mit der Option auf 16 Gb. 5-6 Sata Ports
Der Rest ist eher egal

Viele Grüße

 

[underclocker2k4]

Naja, die Performance ist schon da und funktionieren wird das auch. Problem an der Sache ist, dass die vt-d Komponenten natürlich etwas teurer sind.
Man muß zwar nicht immer Serverkomponenten einsetzen, aber die entsprechenden Consumerteile kosten halt auch ihr Geld. Desweiteren muß man die Engstirnigkeit von ESX in Bezug auf HDD Controller und Netzwerkkarten beachten. (es bietet sich also an, dass man Serverkomponenten nimmt, auch wenn es nicht die ganz großen sein müssen)

Desweiteren solltest du dir einen entsprechenden HDD Controller besorgen (dazu gibt es im Moment mehrere Thread, was man da nehmen kann, bzw Posts).
Man kann nämlich keine Ports sondern eben nur Controller durchreichen und wenn du den MB Controller durchreichen solltest, dann fehlt der Controller für das OS, geht also nicht.

So nen Controller kostet dich ca 100EUR.

 

[gdfan]

Ok. Das wusste ich nicht mit den einzelnen Ports.
Damit hat sich das Thema VT-D erledigt

Als Netzwerkkarte habe ich noch eine Intel PT Server Karte rumliegen, dass sollte klappen

Hat jemand noch einen Vorschlag zur Platform? AM3 oder Intel 1156/55?

vielen Dank schon mal an underclocker2k4

 

[gea]

Ok. Das wusste ich nicht mit den einzelnen Ports.
Damit hat sich das Thema VT-D erledigt

Als Netzwerkkarte habe ich noch eine Intel PT Server Karte rumliegen, dass sollte klappen

Hat jemand noch einen Vorschlag zur Platform? AM3 oder Intel 1156/55?

vielen Dank schon mal an underclocker2k4

Es gäbe prinzipiell die Möglichkeit, von USB zu booten und den SATA Controller an das Storage-OS durchzureichen. Diese Möglichkeit will ich als nächstes testen. (Ich habe jetzt extra einen der neuen usb-3 sticks mit SLC Speicher und 80 MB/s Datenrate dazu bestellt)

Ansonsten ist es schon Klasse, auf einem Rechner einen Type-1 Hypervisor zu installieren, um dann bestmöglich verschiedene Betriebssysteme darauf laufen zu lassen. Bei Neukauf würde ich daher unbedingt auf vt-d achten.

Beim Mainboards würde ich das SuperMicro X8-SIL -F empfehlen, es ist eigentlich der momentane "Klassiker" für Virtualisierung und vt-d (ab ca 150,-- ). Darauf laufen i3 und Xeons, es hat 3x pci-e 8x slots und kann bis 32 GB RAM.

Für vt-d muss es aber ein Xeon sein.

Gea

 

[underclocker2k4]

Alternativ könnte man auch zusehen, dass Teil von IDE zu booten, sofern vorhanden.

Wie gea, denke ich auch, dass vt-d ein feature ist, was einem mehr Flexibilität bietet, gerade wenn man schon auf ESX setzt.
So hat man die Möglichkeit mehrere Sachen mit dem Server abzudecken.

zB Könnte man den Server, sofern er 24/7 ist zu einem Software Router mit zB pfsense nutzen, oder noch tausend andere Sachen drauf laufen, die man trennen möchte, oder muß, weil das OS es erfodert.
Der Vorteil wäre dann, dass man trotzdem ein getrennten Filer hat, der parallel zum Router oder anderen Anwendungen läuft.

Ist natürlich auch etwas ne Geldfrage.

Bezüglich AMD, da muß die CPU IOMMU bzw AMD-V supporten (das Gegenstück zu vt-d), dass kann man sicherlich in Erfahrung bringen. Denke aber, dass du aktuellen CPUs das unterstützen.

Bezügliche des angesprochenden X8-SIL-F, das gibt es auch ohne F für 30EUR weniger. -F ist aber schon ganz nett, da für den Server nie mehr, auch net zum installn, mit KVM anfahren muß.

Bezüglich AMD, da kann man sicherlich auch was zusammenbauen, das würde sich aber im Preis nicht großartig unterschieden. Da wiegt der Fakt der schicken s1156 SM Boards einfach zu sehr.

Kingston ValueRAM DIMM 4GB PC3-10667U CL9 (DDR3-1333) (KVR1333D3N9/4G) | Geizhals.at Deutschland
Intel Xeon UP X3430, 4x 2.40GHz, Sockel-1156, boxed (BX80605X3430) | Geizhals.at Deutschland
Supermicro X8SIL-F, i3420 (Sockel-1156, dual PC3-10667R DDR3) | Geizhals.at Deutschland
<400EUR

 

[Metzzo]

Es gäbe prinzipiell die Möglichkeit, von USB zu booten und den SATA Controller an das Storage-OS durchzureichen. Diese Möglichkeit will ich als nächstes testen. (Ich habe jetzt extra einen der neuen usb-3 sticks mit SLC Speicher und 80 MB/s Datenrate dazu bestellt)
Gea

Vollkommen richtig, allerdings tun es auch USB2.0 Sticks mit gewisser Zuverlässigkeit (also nicht unbedingt das 5€ Modell).
Nutzen wir auch produktiv.
Beim ESXi mit geringem footprint auf der "Platte", bei dem sich eh "alles" im RAM abspielt, reicht das auch.

Nur so als Tipp.

Grüße

 

[gea]

Noch eine Ergänzung zum X8-SIL (ohne F)
Das hat nur 4 x SATA und kein IPMI (Fernwartung, Remote Console, Remote Power-ON/OFF,
auch wenn Rechner im Keller steht, für 30 Euro Aufpreis - wenn man das mal hatte,
will man nicht mehr ohne sein)

mein Tipp: immer -F kaufen


Gea

---------- Beitrag hinzugefügt um 20:10 ---------- Vorheriger Beitrag war um 20:05 ----------

Vollkommen richtig, allerdings tun es auch USB2.0 Sticks mit gewisser Zuverlässigkeit (also nicht unbedingt das 5€ Modell).
Nutzen wir auch produktiv.
Beim ESXi mit geringem footprint auf der "Platte", bei dem sich eh "alles" im RAM abspielt, reicht das auch.

Nur so als Tipp.

Grüße

Das Problem dabei:
Wenn man Storage OS (z.B. einen ZFS-SAN-Server) mit vti-d darauf virtualisieren möchte, um dann ein NFS datastore für ESXi anzulegen, so muss der Stick etwas größer, schneller und auch zuverlässiger sein als wenn man nur ESXi drauf haben möchte. Es muss nämlich dann auch die Storage VM auf den lokalen datastore des Bootlaufwerks.


Gea

 

[underclocker2k4]

Bekommt man den ESXi auf zB einen SiL oder einen Marvell Controller installiert?

Das wäre dann eine günstige Möglichkeit das zu realisieren.

Nen 20EUR Controller ein, daran das ESXi Laufwerk und dann kann man den Onboardcontroller entspannt durchschieben.

 

[gea]

ich denke, der Trend wird zu USB3-Sticks mit SSD Technologie gehen.

Ich habe mir folgenden Stick bestellt.
Winkom USB-3.0 Pendrive 16 GB SLC-DDR - Artikeldetailansicht - WINKOM-Shop

weiss eigentlich jemand, ob ESXi schon USB3 unterstützt?

 

[fdsonne]

Bekommt man den ESXi auf zB einen SiL oder einen Marvell Controller installiert?

Das wäre dann eine günstige Möglichkeit das zu realisieren.

Nen 20EUR Controller ein, daran das ESXi Laufwerk und dann kann man den Onboardcontroller entspannt durchschieben.

Offiziel wohl nicht... Ich hab bei meinem Bastel ESXi 4.1 Zuhause arge Probleme gehabt. Der wollte nichtmal vom IDE CD LW installieren, weil er immer meinte, er finde das Quellmedium nicht.
Aber installieren vom USB Stick aus geht. Und das Einbinden nachträglich von Treibern geht auch, so kann ich nun auch den IDE Controller nutzen... Kommt zwar beim Boot ne unschöne Meldung, das keine Treibersignatur vorhanden ist, aber geht
Aber man kann natürlich auch gleich das ESXi Paket so verbiegen, das der Treiber schon vor der Installation vorhanden ist, somit ist eine Installation auch auf das IDE Laufwerk möglich.

Wichtig ist halt vorher zu schauen auf den gängigen Seiten, ob jemand ESX ready Treiber bereit stellt, das Einbinden ist dann quasi kein Problem mehr...

Ich wollt dazu immer mal ne Anleitung zusammen tippsen, bin aber noch net dazu gekommen

weiss eigentlich jemand, ob ESXi schon USB3 unterstützt?

ich glaub aktuell noch nicht... Wobei kann man die Teile nicht quasi in nem 2.0 Modus rennen lassen?
Wichtig wäre halt, das der ESX die Treiber für den Controller mitbringt. So recht standartisiert das das ja aktuell nicht mit der USB Geschichte...

 

[gdfan]

Vielen Dank für die tollen Beiträge

Ich denke ich werde die von underclocker2k4 gepostete Version nehmen. Das klingt alle sehr gut für mich Gibt eventuell noch eine Board Alternative? vllt auch in ATX?

Ich besitze noch eine dieser Karten: Hardwareluxx - Preisvergleich

Kann ich nicht an eine Platte daran ESXi installieren und den Chipsatz Sata Controller der Filer VM durchreichen?

Wenn ich nun USB durchreichen wollen würde, könnte ich dann einzelne Ports oder auch nur den ganzen Controller durchreichen? SInd das ein Controller für Interne und Externe USB Anschlüsse?

Vielen Dank für die tolle Hilfe

Edit: Gibt es eventuell einen CPU-Kühler der den Xeon passiv/mit 400 RPM Lüfter kühlen kann. Der Rechner muss leider in dem Zimmer stehen, wo ich auch schlafe

 

[underclocker2k4]

@Controller
Die Frage ist, was kann der ESX damit anstellen. ESX ist ne HW-Zicke vom Herrn.

@bezüglich USB Den Controller kannst du nicht durchreichen, dafür aber angeschlossene HW. Sprich zB einen USB Stick. Alternativ nen USB Controller für nen 10er kaufen.

ATX Board wäre
Super Micro Computer, Inc. - Products | Motherboards | Xeon Boards | X8SIA-F
kostet aber nen Fuffi mehr.

 

[fdsonne]

@bezüglich USB Den Controller kannst du nicht durchreichen, dafür aber angeschlossene HW. Sprich zB einen USB Stick. Alternativ nen USB Controller für nen 10er kaufen.

Doch das geht
Ich habe selbst auf nem Kundenserver den kompletten USB Controller des HP Servers an eine VM durchgereicht. Die externe HDD (für das Backup vom SBS 2008) allein durchreichen hat ihm hingegen nicht geschmeckt... Mit dem ganzen Controller ging es aber.
Nachteil ist aber, man kauft sich alle Einschränkungen durch das Passthrough mit ins Boot.
Wenn es rein um USB geht, scheint wohl auch die Möglichkeit zu geben, das ganze direkt als virtuelles USB Device an die VM zu geben. Sprich irgendwie erweitert der ESX selbst den physischen Controller um virtuelle Instanzen, die man dann in die VMs linken kann, ohne die leidigen Einschränkungen.

 

[underclocker2k4]

Ich kann meine USB Contis nicht durchreichen, stehen garnicht zu Auswahl.

Kann sein, dass er die Block, weil ich Geräte direkt durchschiebe. Das ist btw analog bei VMware WS möglich. Sprich man kann Geräte direkt in die VMs schieben, sollte auch mit HDDs/Sticks(oder auch Drucker/Scanner) gehen, bzw geht das bei mir.

HID gingen ab zB nicht, die Maus taucht nichma auf im Menü.

 

[fdsonne]

Dat sieht dann so aus:

Und im Passthrough Menü kann man noch ganz paar mehr USB Sachen anhaken...

EDIT:
der wird dann auch in der VM gemountet und kann in nem Windows zum Beispiel über die Hardware Entfernen (wie es bei USB Geräten sonst üblich ist) auch als Controller wieder rausgelöst werden. Es installieren sich auch direkt die Treiber für den Controller selbst.
Das angeschlossene Gerät daran kommt dann oben drauf...

 

[underclocker2k4]

Wie es aussehen muß weiß ich auch. Weiß grad nicht woran das liegt. Hab ja nur AMD Plattformen hier, müßte das mal mit ner nakten Installation testen.
Mir fehlt der schon direkt im Paththrough Menü.

 

[gdfan]

Abermals Danke für die hilfreichen Beiträge

Das mit dem Controller teste ich einfach die Woche mal. Ich werde berichten ob es geklappt hat

Vt-D funktioniert aber auch mit dem ATX Board oder?
Noch eine Idee für einen Kühler?
Für den Ram: Soll ich auf ECC setzen? An VMs wir ein Filer, ein Router, ein Exchange und ein DC laufen
Wie habe ich das mit dne 6 Rams Slots zu verstehen? Die lassen sich alle nutzen oder? Wieso kann ich dann "nur" 32 Gb nutzen? Das wären doch 4x 8Gb

 

[gea]

1156 boards sind sehr heikel

bitte beachten
Kingston Technology Company - Kingston Memory Search - Search Results for:

bzw
Super Micro Computer, Inc. - Products | Motherboards | Xeon Boards | X8SIA-F

ansonsten ecc kostet kaum mehr und bei serverboards ist es immer ecc
Speicher geht max 32 GB, bei 6 Slots also ein Mix.
(unbuffered max 16 GB in 4 Slots)

vt-d geht natürlich sofern ein Xeon vorhanden ist

 

[underclocker2k4]

vt-d ist nen Feature vom Chipset und er CPU, wenn die das auf ITX bannen würde, würde das auch gehen.

Alternative:
Mainboards/Intel Xeon Intel, Sockel-1156 | Geizhals.at Deutschland
Die GPLX Boards haben hier auch einige, einfach im Forum danach suchen. Die haben auch IPMI mit dabei.

Das mit den 32GB ist eine Grenze von der CPU her (hat ja IMC) in wie weit das bei 6x8GB noch geht, vermag ich nicht zu sagen.
Bei UDIMM kannst du nur 4 Slots belegen, da du nur 2 Module pro channel verwenden kannst. Bei RDIMM kannst du 3 Module pro Channel belegen.
Wie gesagt, ich vermute, dass die CPU bei 32GB zumacht, jedefalls sagen dass die SPECs der Xeon 3400er aus.

EDIT: Würde auch ECC setzen, kostet nicht viel mehr. RDIMMs kosten dafür aber ne gutes Ende mehr als UDIMMs.

 

[gdfan]

Ich denke ich nehme dann diesen Speicher(erstmal 2 Riegel später mehr):
Kingston ValueRAM DIMM 4GB PC3-10667E ECC CL9 (DDR3-1333) (KVR1333D3E9S/4G) | gh.de (geizhals.at) Deutschland

Ich könnte einfach 4 weitere 4GB Riegel kaufen oder würden nur noch 2 4GB riegel gehen? Wenn nicht 6 Riegel gehen könnte ich dann zwei 8Gb Rams kaufen und zu meinen 2x4Gb dazustecken?

Bei der CPU schwanke ich noch zwischen X3430 und X3440. Bringt mir Hyperthreading Vortiele beim Virtualisieren/lohnt sich dafür 20€ mehr?

Beim Board:
Eigentlich gefällt mir das Board am besten: Supermicro X8SIA-F, i3420 (Sockel-1156, triple PC3-10667U DDR3) | gh.de (geizhals.at) Deutschland
Ist aber leider schlecht zu bekommen
Gibts vllt noch eine drittes Board, was ich nehmen könnte?

Zum Netzteil:
Gibt es besondere Anforderungen ans NT? Wieviel Watt müsste ich nehmen bei der Obigen Konfig + 6-10 Platten?

Kühler:
Dort müsste alles für 1156 passen oder?

Danke für eure Hilfe

Edit: Ich sehe gerade, dass es nur reg. 8Gb Module gibt. Kann ich reg und nicht reg mischen? Ich denke nicht

 

[underclocker2k4]

Vom RAM her kannst du das natürlich zusammenstellen wie du willst.

Wichtig sind nur folgenden Sachen:
1. UDIMM maximal 4 Riegel, max 16GB, sprich 4x4GB, dann ist ende
2. RDIMM maximal 6 Riegel, max 32GB, sprich 4x 8GB, oder 4x4GB +2x8GB

Und nein, man kann UDIMM und RDIMM NICHT mischen.

Bezüglich der Verfügbarkeit, sowas kann man immer leicht umgehen.
Schneider consulting ist zB nen guter Laden, ansonnsten mal bei ICO vorbeischauen, wenn du da ne Mailadresse wegen Vertriebskontakt brauchst, ich hab da eine.

NT: Brauchen wird der Rechner unter 200W. Würde einfach zu einem kleinen Enermax greifen.
Enermax PRO82+ 425W ATX 2.3 (EPR425AWT) | Geizhals.at Deutschland
Das sollte das allen ganz entspannt schaffen. (aufpassen wegen dem Anlaufstrom der HDDs wenn kein staggered spinup.

Jop, s1156 Kühler passen hier.

HT bringt sicherlich was, wenn man mehre VMs hat die was machen, so kann man die Core besser ausnutzen, es liegt also weniger Leistung brach.

EDIT:
Der von die verlinkte RAM ist UDIMM, sprich du kannst dann nur noch 2 weitere Riegel selben Typs einbauen. -> siehe oben max 16GB.

 

[fdsonne]

Wie es aussehen muß weiß ich auch. Weiß grad nicht woran das liegt. Hab ja nur AMD Plattformen hier, müßte das mal mit ner nakten Installation testen.
Mir fehlt der schon direkt im Paththrough Menü.

Dazu habe ich leider keine Erfahrungen... Alle AMD Platformen die ich bis jetzt getestet hatte, haben mir den ESX versagt
Daher bin ich aktuell etwas auf Intel fixiert, was das Thema angeht...