Stromsparender ESXi 5 Server - VT-d - Fileserver - div.Mediadienste - Intel 82579LM

[gizz]

Projekt - Stromsparender ESXi Server - VT-d - Fileserver - div. Multimediadienste

Eins Vorweg: Das hier ist KEINE Produktivmaschine, es handelt sich hier nur um einen Homeserver!

Kurz und knackig:
Altes System: 2x1tb hdd, nen billigen atom330 mit 2gb ram+case etc.

Neues System:
CPU: intel i5 2400s
MB: intel dq67sw (revision 3 mit usb3 ports)
RAM: G.Skill PC1333 Arbeitsspeicher 8GB (1333 MHz, 240-polig, 2x 4GB) DDR3-RAM CL9 Kit
PSU: Antec EA-380 Netzteil (380 Watt, ATX) grün
HDD: 2,5" SAMSUNG_HM500LI
CASE:: Aerocool PGS Qs-200
OS: ESXi 4.1 kostenlose Lizenz
Hiermit komme auf durchschnittlich 28-30 Watt Verbrauch im idle / leichtes bedienen von VMs

Da das Board leider nur einen SATA Controller besitzt habe ich mir noch einen billigen gekauft und zu einer VM durchgeschleift.

Digitus SATA II COMBO Raid Card
+
Sharkoon 5 Bay Raid (mit 5x1TB HDDs bestückt)

Mit diesen 2 Komponenten steigt der IDLE Verbrauch dann auf ~42W (3VMs am Laufen)


Installation:
Ich hatte bereits im Internet gelesen, dass die Onboard NIC nicht offiziell supported wird, aber dennoch mit bestimmten Treibern laufen könnte.
Der einfachste Weg hierzu ist ein bash script um sich sein eigenes ISO file zu basteln.
Also erstmal hier: Customizing your ESXi install with oem.tgz
das oem.tar.gz herunterladen, in meinem Fall :
Adds Intel 82579LM support Chilly 2011/04/22


Dann folgendes Script benutzen: (Linux)
vm-help.com - View topic - Linux:Bash script to create a custom installation


ISO CD / USB einlegen, installen, fertig. (schnell noch die richtige IP eintragen und den Rest kann man mit dem Vsphere Client machen)

VMs
a) Windows VM
OS: Windows 7 x64
Aufgaben:
- Terminal-Server, VMware converter, vshpere client
- iTunes läuft dauerhaft so kann jederzeit mein iPad syncen

b) Linux VM
OS: Ubuntu LTS 10.04 x64
HDD Bay per VT-d an VM durchgereicht
Aufgaben:
- Fileserver (samba)
- DLNA Server
- Stream von Linux Satellitenreciever in Flash umwandeln

b) Windows VM
OS: Windows Server 2008 R2
- Testsystem aktuell

Anmerkung: Beim umstellen des Netzwerkadapters von E1000 auf VMXNET3 war eine deutliche Performancesteigerung spürbar.

EDIT:
17.11.
So seit gestern Abend läuft ESXi 5.0
Update hat super geklappt, selbes prinzip, iso runtergeladen, custom treiber rein und los gings.
Beim Update gehen bei richtiger Auswahl keine Daten oder einstellungen verloren -> SAU COOL!
Custom Image erstellen:
VMware Front Experience: ESXi-Customizer
Dank Chili gibts auch die Treiber für Intel 82579LM
vm-help.com - View topic - Intel 82578DC 8086:10f0 (on Intel motherboard DH55TC)
Das Update in Bildern:
VMware: Easy upgrade ESXi 4.1 to ESXi 5.0 | VMpros
USB 3.0 geht nun auch =)




wenn ich mal wieder Bock hab schreib ich mehr

 

[Steggi]

Moin,

Eine Ubuntu VM soll später die Hauptaufgaben übernehmen:

soll da später nur ne Ubuntu VM drauf laufen oder kommt da noch mehr?

- Samba Fileserver (4TB Momentan)

Für sowas ist der ESX eigentlich nicht ausgelegt. Zudem bist du bei 2TB pro virtueller Platte beschränkt. Du könntest dir zwar über VT-D nen zusätzlichen Controller in die VM durchreichen, allerdings kannst du das mit nem I3 vergessen, einige I5 unterstützen das aber. Zudem müsste das Board damit auch noch klar kommen.

Wenn du wirklich nur diese eine Maschine hast, dann installier die besser direkt auf die Hardware oder verschiebe dein Datengrauf auf den Atom

 

[gizz]

ja später kommt noch mehr drauf, nur die hier is die wichtigste.
die beschränkung von 2tb pro platte sollte eingentlich kein problem sein, hatte 4x1TB mounts vorgesehen

 

[Metzzo]

Die 2TB sind doch aber pro "LUN" und wenn ich mich recht entsinne, kann man VMFS Volumes 32 fach bis zu 64TB erweitern.
Wobei ich net im Kopf habe ob das evtl. noch Lizenz abhängig ist.

 

[fdsonne]

Die 2TB sind doch aber pro "LUN" und wenn ich mich recht entsinne, kann man VMFS Volumes 32 fach bis zu 64TB erweitern.
Wobei ich net im Kopf habe ob das evtl. noch Lizenz abhängig ist.

Ja pro LUN... Aber wenn ich ihn richtig verstehe will er 4x1TB Single HDDs in die Storage VM mounten. Das sollte schwerzfrei gehen

 

[gizz]

Keine Vorschläge?

 

[Ferengi]

das mit dem esxi würd ich mir nochmal überlegen, hatte ich zuerst auch vor, aber ein virtueller fileserver ???

hab mich dann dafür entschieden ubuntu direkt zu installieren (fileserver, ushare und ein paar andere dienste) und die vms laufen jetzt über kvm/qemu, und das funktioniert wunderbar.

Hardware:

Supermicro X9SCL-F
Xenon E3-1220
8GB Kingston ECC ram
8x 2 TB WD Green
1x 500 GB WD Blue 2,5"
300W 80+ NT
und ein 4port billig sata controller

komme zwar nicht ganz auf 20 W runter, dafür hat das ding aber auch richtig leistung wenn man sie braucht.

VMs laufen bis jetzt:
ubuntu server (privater wms und einige andere gis spielereien)
win2008r2 (zum testen, weis noch nicht ob der bleibt)
winxp (config software für eine sps)
ubuntu desktop

Christian

 

[gizz]

naja falls es mit der Performance nicht reichen sollte kommt wieder ubuntu drauf, würde es aber echt mal gerne mit esxi probieren

...zur konfiguration finde ich im Moment das hier mit dem x4 ziemlich interessant,vor allem weil auch viel billiger:
http://www.hardwareluxx.de/communit...erboard-ist-entscheidend-part-2-a-688890.html

Sent from my GT-I9100 using Tapatalk

 

[amdpc]

naja falls es mit der Performance nicht reichen sollte kommt wieder ubuntu drauf, würde es aber echt mal gerne mit esxi probieren

...zur konfiguration finde ich im Moment das hier mit dem x4 ziemlich interessant,vor allem weil auch viel billiger:
http://www.hardwareluxx.de/communit...erboard-ist-entscheidend-part-2-a-688890.html

Sent from my GT-I9100 using Tapatalk

Naja, was heisst Performance nicht reichen, ich möchte behaupten das ein ESX Server die HW Leistung recht gut durchreichen kann - was noch übrig bleibt ist die andere Sache.

Die Grundsätzliche Frage die sich mir hier stellt ist warum du überhaupt virtualisieren willst ? Kenne mich zwar unter Linux nicht so aus, aber erledigt deine Aufgabe nicht EIN Betriebssystem ?

Und selbst wenn ein 2. dazukommt, würde die Performance einer VM aus VM Ware WS/Player nicht reichen ? Grade für nen Fileserver, da habe ich mit Virtualbox beispielsweise auch 80MB/s durchbekommen...


Das würde mich an der Stelle interessieren...

Genauso wie du die 16 GB Ram vollbekommen möchtest ^^

Mit freundlichen Grüßen

amdpc

 

[gizz]

ich möchte mich hauptsächlich aus beruflichen gründen mehr mit esx auseinandersetzen....16gb ram sollten nur die Option sein,erst will ich 2x4 verbauen

Sent from my GT-I9100 using Tapatalk

 

[foxxx]

Ich hatte mit der Hardware (Server) siehe Sig bis gestern einen ESXi am laufen und primär war eine Debian 6.0 VM als Fileserver installiert.

Die Festplatten waren zwar per RAW-LUN durchgereicht, und HW-Virtualisierung mit AMD IOMMU auch aktiviert, sowie die Onboard Realtek Gbit Karte per PCI-Passthrough an diese VM durchgereicht, aber dennoch fehlte etwas Performance.
Vor allem die Festplattenleistung brach bei mehreren Zugriffen stärker ein, als bei einer nativen Installation.

Ich habe nun etwas rumprobiert und den ganzen Server neu aufgesetzt.
Host-OS ist nun Debian 6.0 x64 als native Installation und bringt somit wieder wie gewohnt volle Performance.
Dank der vorhandenen Möglichkeit der HW-Virtualisierung wollte ich diese natürlich auch nutzen und habe den x64 xen-4.0-Kernel und alle nötigen Tools installiert.
Die Boot-Parameter eingestellt und alles eingerichtet und nun läuft mein IPFire-Router (vorher Atom ITX Rechner) in einer xen-VM, in die ich eine Intel Dualport Gbit NIC durchgereicht hab (WAN + LAN).
Das Teil bringt ne top Performance und läuft supergeschmeidig, die DualNIC ist vom Host-OS versteckt und nur in dieser einen VM nutzbar.

Vor allem habe ich diesen Schritt wegen der Fileserver-Performance gemacht, außerdem plane ich einen SW-Raid5 anzufangen, wo ich befürchtete noch mehr Leistungseinbußen auf dem ESXi zu haben.

Sollte ich wieder Lust auf andere VMs bekommen, so kann ich diese auch wieder aufsetzen und nutzen, die Leistung sollte vergleichbar sein

Also: Fileserver am besten immer nativ installieren. Eine Ubuntu-Server Version sollte in den Repos auch xen-Kernel haben

mfg
foxxx

 

[gizz]

hmm dann werd ich mir mal überlegen ob der einsatz von esx hier sinnvoll ist...

 

[underclocker2k4]

ESXi ist im Moment die Virtualisierung, die der Markt einsetzt. Wenn du wirklich beruflich damit arbeiten willst, dann mache das.

Der ESXi bietet auch genügend Power um einen Filer zu hosten, ich mache das zB auch, mit dem unterschied, dass ich keine LUNs nutze, sondern direkt auch die HDDs zugreife.

Meine Empfehlung wäre auch eine Supermicro Lösung.
Wobei meine Hardwareempfehlung für foxxx auch für die Leute interessant ist, die wenig Geld ausgeben wollen. (Beispiel, standard DDR3 RAM ist schon für 23EUR/4GB zu bekommen. Das MB ist auch günstig, CPU, bei kleinen ebenfalls. Leider muß man sich mit der NIC@ESX auseinandersetzen. Da muß man dann entweder manuell nachpatchen, eigentlich ein nogo, oder eine Intel reinstecken. HP 7170 dual gibbet für 15EUR bei ibäh.

 

[gizz]

ESXi ist im Moment die Virtualisierung, die der Markt einsetzt. Wenn du wirklich beruflich damit arbeiten willst, dann mache das.

Der ESXi bietet auch genügend Power um einen Filer zu hosten, ich mache das zB auch, mit dem unterschied, dass ich keine LUNs nutze, sondern direkt auch die HDDs zugreife.

Meine Empfehlung wäre auch eine Supermicro Lösung.
Wobei meine Hardwareempfehlung für foxxx auch für die Leute interessant ist, die wenig Geld ausgeben wollen. (Beispiel, standard DDR3 RAM ist schon für 23EUR/4GB zu bekommen. Das MB ist auch günstig, CPU, bei kleinen ebenfalls. Leider muß man sich mit der NIC@ESX auseinandersetzen. Da muß man dann entweder manuell nachpatchen, eigentlich ein nogo, oder eine Intel reinstecken. HP 7170 dual gibbet für 15EUR bei ibäh.

kann man ner vm direkt die platten zuweisen? ohne dass die vm in solche vmdk dateien reinschreibt, sondern direkt in eine hdd?

 

[underclocker2k4]

Jain.

Die kannst einer VM eine SAN Device zuordnen. Was du sicherlich nicht haben wirst.
Sonst mußt du immer den Umweg über die VHDs gehen.

Alternative wäre, dass du einen Storagecontroller in die VM schiebst und so direkt auf die HDD zugreifst, da der Controller einig in der VM läuft und der ESX keine Kontroller mehr über die HDD hat.

 

[Steggi]

Wenn deine CPU VT-D kann, dann geht das wenn du den ganzen Controller an die VM durchreichst, und damit auch alle Platten die da dran hängen. Du kannst zwar auch übers RAW-Mapping versuchen eine einzelne Platte komplett an die VM zu binden, aber ich hatte hier mal gelesen, dass das schonmal gerne Probleme macht (meine das war im ZFS Thread oder so)

Edit: zu langsam

 

[gizz]

Okay dann werd ich mir noch nen Raid Controller besorgen den ich zu ner VM durchschleife.

Hier mal die AMD Variante, mit einem Board das IOMMU unterstützt...das andere von biostar soll ja laut meinem Lieblingsthread relativ sparsam sein
( http://www.hardwareluxx.de/communit...erboard-ist-entscheidend-part-2-a-688890.html)

RAM: Corsair Vengeance Arbeitsspeicher​ (PC1600, 8GB, CL9) DDR3-RAM Kit 73€
SSD: Corsair Force CSSD-F60GB2-BRK​T 60GB interne Festplatte (6,4 cm (2,5 Zoll), SSD) 112€
SATA CTL: INTEL SASUC8I RAID SAS Controller PCIe 8x 138€
NET: ggf Ntzwerkkarte wenn Onboard nicht geht ~30€
CPU: AMD Athlon II X4 640, AM3, (4x 3,0 GHz) 83€
PSU: Antec EA-380 Netzteil (380 Watt, ATX) grün 46€
BOARD: Biostar TA890FXE Mainboard Sockel AMD AM3 890FX 4 x DDR3 Speicher ATX 139€

Gesamt: 621€ (hab jetz einfach mal die amazon preise genommen)

Jemand Vorschläge für ein Intel System?
Dachte da an i5 2400? schlagt mal was vor für so 600€ rum....die einzige Komponente die ja gleich bleiben muss is der SATA raid controller...
niedriger idle wert wäre halt echt toll =)

Also intel/amd is mir echt voll egal, hauptsache verbrauch und kosten so gering wie möglich .

 

[underclocker2k4]

Wegen dem Board, ist das bestätigt, dass das Board das auch wirklich kann.

Der 890FX unterstützt zwar IOMMU, aber nicht jedes Board mit dem Chipsatz hat das implementiert.

SSD sehe ich hier nicht als Sinnvoll an.
Wenn du nicht all zu viel action auf den Storages hast, reicht euch einen normale HDD für 30EUR. (mache ich so für den ESX an sich)

@Intel
Super Micro Computer, Inc. - Products | Motherboards | Xeon

SeverMBs mit IPMI (-F), kannste aus der ferne warten etc. (an und aus auch)

Ansonnsten könnten noch Q67 MBs von Intel interessant werden.

 

[fdsonne]

Bei den Desktop Boards muss man halt schauen ob die NIC sowie der StorageController unterstützt wird... Das gilt sowohl für Intel als auch für AMD Boards...

 

[Gr3yh0und]

Beim Q67 wird der eingebaut Intel NIC nicht unterstützt, kann aber nachgepatcht werden. So rennts bei mir.
Auf den meisten AMD Board kommt eh der 0815 Realtek 8111X drauf, den kann man mit etwas Mühe auch nachpatchen. Wie zuverlässig das aber letztendlich wirklich funktioniert weiß ich nur aus Hörensagen von Kollegen...

@gizz: Was willst du mit dem Ram? Für den Preis kriegst du fast schon 16GB... Dann bei AMD lieber auf ECC setzen. Und nochmal wie underclocker meinte einige Threads checken, ob jemand die Kombi schon getestet und am Laufen hat. Bei sowas fällt man ganz schnell auf die Schnauze. VT-D unterstützen laut den Herstellern auch fast alle P67 Boards... Aber auf keinem rennts.

 

[gizz]

die Komponenten sind mir total egal,hauptsache preis und verbrauch stimmt....ich such schon wie verrückt nach laufenden Systemen welche ich dann einfach nachbauen könnte

Sent from my GT-I9100 using Tapatalk

 

[fdsonne]

Beim Q67 wird der eingebaut Intel NIC nicht unterstützt, kann aber nachgepatcht werden. So rennts bei mir.
Auf den meisten AMD Board kommt eh der 0815 Realtek 8111X drauf, den kann man mit etwas Mühe auch nachpatchen. Wie zuverlässig das aber letztendlich wirklich funktioniert weiß ich nur aus Hörensagen von Kollegen...

Also ich bin mit den 8111er Realteks nur auf die geflogen... Das lief nicht sauber auf Dauer... Anfänglich ja, aber teilweise Verbindungsabbrüche usw. Und ich glaub ich hab ausm VMWare Forum sogut wie jeden Custom Treiber für die NICs durch...

Das ist halt ein Grund, warum ich AMD hier nicht mit Desktopkomponenten kaufen würde...

 

[Gr3yh0und]

Auch da ist halt wieder die Frage der Professionalität der Aufhänger. Ich würds jetzt nicht verteufeln, denn für Management Interfaces o.ä. wird das schon auch ausreichen. Für nen reinen Filer wäre aber eine Intel NIC vermutlich doch die sauberste Wahl.

 

[fdsonne]

Grundsätzlich schon, aber halt nicht im ESX(i) Einsatz... Und um den gehts ja hier...
Speedtechnisch wären auch ein paar Prozente zu verschmerzen. Wenn aber das Mgmt auf der Realtek Karte liegt und ich bekomme alle Nase lang Verbindungsabbrüche und die Session fliegt zusammen, dann krieg ich nen Fön...

Daher tuckert bei mir ne Intel PCI Karte mit... Demnächst wohl getauscht durch zwei Intel Pro 1000 CT (PCIe) NICs.

 

[Gr3yh0und]

Also über Sessionzusammenbrüche hat sich noch keiner meiner Arbeitskollegen beschwert. Der eine fährt auf nem 770er AMD und der andere auf P55 Intel. Sind glaub ich beides 8111C/D. Aber wer weiß an was für Faktoren es da hängt, die beste Wahl ist es bestimmt nicht. Allerdings lässt das die Intel OEM Boards wieder günstiger dastehen, da man nicht noch +22€ für ne 1000er GT Intel NIC rechnen muss

 

[fdsonne]

Bei mir auf dem Asus P5Q-VM ist ne RTL8111C...
Man berichtet in diversen Foren über diese NIC mit Problemen und Fehlerchen
Hin und wieder hilft in der VM gewisse Parameter bei der NIC auszuknipsen, beispielsweise die Flusskontrolle oder ähnliches. Dennoch hilft mir das nix, wenn meine VI Client Session eben hin und wieder zusammen bricht.

Da investier ich lieber die 20-25€ für Intel NICs und gut ist...

 

[gizz]

so gerade ist mein messgerät von profitec gekommen....wäh mein kleiner atom schei**er verbaucht 40W idle (atom330/2gb/2x1TB WD/1x1TBviaUSB)

ich brauch definitiv was neues

 

[gizz]

uiui

Verwende Homeserver:
Core I5 2400s auf GA-H67N USB3 mit 2x4GB 1333er Corsair XMS 3 1.5V
Systemlaufwerk: SSD (Uralt JMICRON-Schrott)
Kühlung: Samuel17 mit 120er Alpenföhn@800 RPM
Stromversorgung: Lüfterloses 120W Steckernetzteil

Idle: 19W
Normale Last: zwischen 30 und 40W
Voll-Last: Nicht getestet

Storage:
Extern 3x Sharkoon 5 Bay Raid-Gehäuse

Bestückt mit 5x2TB WD EARS im Raid5. Keine zusätzliche Hardware im Rechner nötig außer einem eSATA (bevorzugt) oder einem USB3-Anschluss.
Datentransferrate Lesen/Schreiben um die 100MB/sec bei großen Dateien (unverschlüsselt natürlich, auch wenn mein i5 AES in Hardware könnte, aber ich sehe keinen Sinn in Verschlüsselung).

Idle: 15W
Last: 30W

Das Gehäuse schaltet sich (inkl. der Platten, Lüfter, Leds) nach kurzer Idle-Zeit komplett ab, so dass der Verbrauch des ganzen Systems sich wieder der 20W nähert.

http://www.hardwareluxx.de/communit...erformance-verbrauch-790987.html#post16686981

Ups, das wichtigste vergessen.

I5 2400s; mit der Vid könnte ich heute Nacht dienen wenn denn gewünscht, CPU-Z zeigt 1V im Leerlauf an.
Keine Bios-Optimierung, keine Onboard-Devices abgeschaltet (Soundkarte könnte mal aus, hab aber keinen Bock einen Monitor anzuschließen^^):
PSU die beim Silverstone-Gehäuse dabei ist. NoName SilverStone Petit PT-09 silber, 120W SFX, Mini-ITX | Geizhals.at Österreich
OS 2008 Server R2 x64.
Ich hab mit Ubuntu Server x64 gegengetestet, da komme ich im Idle nicht unter 30W. (Kenne mich aber mit den Stromspar-Mechanismen von Linux auch NULL aus).

http://www.hardwareluxx.de/community/f51/sharkoon-5-raid-bay-esata-usb3-804428.html



VT scheint mit dem Board auch zu funktionieren: vm-help.com - View topic - Gigabyte H67N-USB3-B3

also dann noch nen günstigen esata controller den man zu ner vm durchschleifen kann, dann hat mein virtueller Fileserver ne schöne 5Bay für sich alleine =)

 

[sashXP]

hast Du das System nun so gebaut? Ich bin nämlich auch auf der Suche nach so etwas ähnlichem....

 

[gizz]

Ich Habe was ähnliches gebaut, komme auf durchschnitt 28-30 watt verbrauch idle / leichtes bedienen von VMs

intel i5 2400s intel dq67sw (revision 3 mit usb3 ports)
G.Skill PC1333 Arbeitsspeicher 8GB (1333 MHz, 240-polig, 2x 4GB) DDR3-RAM CL9 Kit
Antec EA-380 Netzteil (380 Watt, ATX) grün
2,5" SAMSUNG_HM500LI
case: http://www.aerocoolaustralia.com.au/pgs/pgs-q/qs200.htm
OS: ESXi 4.1 kostenlose

jetz wart ich noch auf das sharkoon 5bay raid, wird umgetauscht weil das netzteil in einem hochfrequenten Ton gepfiffen hat.
Wenn die box da is werd ich mal mein gesamtes System vorstellen

Ah und nebenbei: das intel board unterstützt vt-d d.h. Ich werde den Usb3 controller, an dem des plattenbay hängt, direkt zu ner vm durchschleifen können


Sent from my GT-I9100 using Tapatalk