Neuer Server für ESXi bitte mal drüberschauen | Hardware ist da und schon Probleme

[jUsT]

Hi,

ich habe derzeit bei mir zuhause 2 Microserver NL40 im Einsatz die ich gerne gegen einen Server ersetzten möchte, der auch etwas performanter ist, da mich vor allem die Geschwindigkeit bei Truecrypt (AES-Twofish ~30MB/sec) richtig nervt.

Die NL40 haben folgende Hardwareausstattung:

Server1: 8GB RAM, 4x 6TB WD RED, 1x 500GB Boot, ILO, Host für 3 VMs
Server2: 4GB RAM, ILO, 500GB Boot, DD Cine S2 5.5 (2x SAT)

Derzeit sind die Aufgaben folgendermassen verteilt:

Server1: SMB, Plex PMS, Truecrypt, VM Server, und ein paar weitere Dienste
Server2: TVHeadend Server

Den neuen Server möchte ich als ESXi aufsetzen und dann 4 Virtuelle Maschienen laufen lassen

VM1: Storage mit durchgereichter Adaptec 5405 da dieser vorhanden ist (SMB, Plex, Truecrypt)
VM2: TVHeadend mit durchgereichter DD Cine S2
VM3: Windows 7 für Biet-O-Matic und solche Sachen ...
VM4: IPCop oder ähnliches.... mal sehen

Hier nun die Hardware die ich ausgesucht habe:

1 x Mach Xtreme Technology SATA vertikal MLC 4GB, SATA (MXSSD2MSLD4G-V) USB Stick genommen
1 x Intel Xeon E3-1230L v3, 4x 1.80GHz, Sockel 1150, tray (CM8064601467601) Xeon E3-1225 V3 gekauft
1 x Kingston ValueRAM DIMM Kit 16GB, DDR3-1333, CL9, ECC (KVR1333D3E9SK2/16G)
1 x Supermicro X10SLM-F retail (MBD-X10SLM-F-O) X10SLM-LN4F gekauft
1 x Intel Boxed, Sockel 1150/1155/1156 War bei CPU dabei
1 x Inter-Tech 4U-4310L, 4HE am 22.09. bei Mindfactory bestellt

vorhanden:

4 x 6TB WD Red
1 x Adaptec 5405
2 x 2TB
1 x BeQuiet PurePower 400W glaube L8

das wars eigentlich im groben ...

Vielleicht sieht hier ja jemand noch Verbesserungspotenzial.

 

[brunick]

das sieht mir eher nach einem Workstation-Board aus, und warum den Sata-Stick?
fürs gleiche Geld kannst du ein Supermicro X10SLL-F o.ä. bekommen, wenn du den Sata-Stick für ESXI willst,
warum kein usb Stick aufs MB? ist einfacher...
und kauf dir den Xeon doch lieber gleich boxed + eher gleich den E3-1231v3

Edit: seh grad das das der energiesparende ist...ich würd da eher den normalen nehmen
Edit2: das Gehäuse hab ich auch, ist recht nett, aber besorg dir auch gleich die 120mm Lüfter Halterung für die Mitte

 

[jUsT]

fürs gleiche Geld kannst du ein Supermicro X10SLL-F

Yep haste Recht ... Board gleich mal ausgetauscht.

warum kein usb Stick aufs MB? ist einfacher...

Hatte mal über diverse Probleme gelesen mit ESXi auf USB Stick, daher dachte ich an dieses SATA DOM ... wenn das aber kein Problem ist, nehm ich auch gerne einen USB Stick ... wobei ... welche Vorteile hat denn der USB Stick?

seh grad das das der energiesparende ist...ich würd da eher den normalen nehmen

Ich möchte den Server so Energieeffizient wie möglich ... daher der 1230L ... klar im IDLE machts vermutlich nicht viel aus? Warum würdest du den normalen nehmen?

120mm Lüfter schreib ich auf die Liste ... finde ich bei Geizhals nicht

Danke schon mal!

 

[brunick]

Hatte mal über diverse Probleme gelesen mit ESXi auf USB Stick, daher dachte ich an dieses SATA DOM ... wenn das aber kein Problem ist, nehm ich auch gerne einen USB Stick ... wobei ... welche Vorteile hat denn der USB Stick?

ehrlich gesagt hab ich esxi mit auf einer meiner hdds drauf,
würd sagen vorteil ist auf jeden fall das du auf dem Board eh einen usb3 Anschluss hast (direkt auf dem board neben den sata anschlüssen)
kannst die sata anschlüsse noch für günstiges rdm der festplatten nehmen, wenn du da kein hw-raid haben willst, sondern z.B. ZFS

Ich möchte den Server so Energieeffizient wie möglich ... daher der 1230L ... klar im IDLE machts vermutlich nicht viel aus? Warum würdest du den normalen nehmen?

wenn du was auf dem kleinen machst, wird der eher 100% ausgelastet sein die ganze zeit, der große wird eher rumidlen und runtertakten tut der große sich auch die ganze zeit
da du aber eh schreibst das du nen adaptec controller hast: ich weiß nicht ob bei dem die platten in standby gehen, aber bei meinem M1015 machen die es nicht, dann braucht man mit
10 platten locker mal 100W im idle...

120mm Lüfter schreib ich auf die Liste ... finde ich bei Geizhals nicht

Danke schon mal!

http://geizhals.de/191180528

 

[jUsT]

Ich nutze bei meinen Platten weder ZFS noch RAID ... da ich bei beiden schon schlecht Erfahrungen gemacht habe. Ich hab dazu nichts geschrieben weil ich keine Diskussion lostreten wollte, aber ich synchronisiere meine Platten Manuell mittels rsync Script. Das funktioniert zuverlässig und ich kann mir aussuchen was ich Redundant haben möchte. Der Adaptec ist also nur deshalb geplant, damit ich die Festplatten/Controller direkt an die VM durchreichen kann. Ich bin jetzt einfach mal davon ausgegangen, das ich den Onboard Controller nicht in die VM durchreichen kann.

 

[emperator]

Ich möchte den Server so Energieeffizient wie möglich ... daher der 1230L ... klar im IDLE machts vermutlich nicht viel aus? Warum würdest du den normalen nehmen?

Das ist einen falsche Schlussfolgerung, das die Modelle mit der geringeren TDP automatisch energiesparender sind. Da sie für die gleiche Arbeit viel länger brauchen, ist die Leistung pro Watt schlechter als bei den normalen Modellen, siehe Effizienz - Ivy Bridge im Effizienzcheck: Core i5-3570K, -3550, -3550S und -3570T
Der Sinn solcher CPUs mit niedriger TDP ist eher der Einsatz dort wo man nur begrenzte Kühlmöglichkeiten hat, wie z.b. SFF oder passive Systeme.

 

[jUsT]

Ok, ihr habt mich überzeugt. Ich habe eben günstig ein Supermicro X10SLM+-LN4F + CPU (E3-1225 v3 aus einem T20) erstanden ...

Danke für den Interessanten Artikel!

 

[AliManali]

Hi

Ich würde den ESXi aber trotzdem auf nen Stick installieren. So hast Du den Datastore getrennt vom Host OS. Machen eigentlich alle so,...

Auf den Stick würde im Betrieb nur dann zugegriffen, wenn Logs geschrieben würden. Der Host läuft also komplett im Speicher, Performance Nachteile wegen des Sticks hast Du also keine.

 

[jUsT]

Hi,

genau das sind ja meine Bedenken. Das die ständige Log Schreiberei den Stick in Null Komma Nix kaputt macht. Wie wir wissen vertragen ja Flash Speicher nur eine gewisse anzahl Schreib/Lesezugriffe. Ich kenne das eben nur von der Arbeit, wo bei den gelieferten Servern immer ein DOM installiert ist auf dem der ESXi liegt (Onboard Controller) und die Datastores liegen alle auf einem/mehreren Raid/Zusatz Controller.

Klar, im Prinzip ist so ein DOM ja auch nichts anderes als ein USB Stick mit Sata Adapter ... von daher habt ihr wahrscheinlich Recht. Ich kenne mich leider mit der Qualität von USB Sticks nicht aus. Gibt es irgendeinen den man hier empfehlen kann für ESXi/der sich bewährt hat?

Danke an alle!

EDIT: Mit Passthrough an eine Virtuelle Maschine von USB ist doch dann auch Essig oder?
EDIT2: Log Files werden gar nicht auf das USB Device geschrieben sondern auf Scratch (Root) und das kann man frei definieren (Default ist das erste VFAT > 4GB oder VMFS), das einzige was auf dem Bootdevice/USB Stick liegt ist die Host Konfiguration die wohl alle 10 Minuten gesichert wird.

 

[LichtiF]

jupp deswegen haben sogar Firmen öfters ihre ESXi auf USB Stick oder SD Karten laufen mein Stick ist sicher schon 3-4 Jahre alt und funktioniert immer noch erst mit ESXi 4.1 dann 5.0, 5.1, 5.5

 

[DeMixx]

Hallo,

VM2: TVHeadend mit durchgereichter DD Cine S2

ist das getestet, läuft das so in einer VM?

Gruß,
D.

 

[brunick]

das beste an der geschichte: ich bin selbst grad am zusammenstellen von einem esxi host mit ähnlichen komponenten, wollte aber 32G haben
ach ja, der sata-stick hat auch n flash speicher, da haste das selbe problem wie beim usb-stick wegen abnutzung und so

 

[jUsT]

ist das getestet, läuft das so in einer VM?

wüsste nicht warum es nicht funktionieren soll. Habe schon diverse Erfolgsstories gelesen auf jeden Fall. Ich werde berichten

das beste an der geschichte: ich bin selbst grad am zusammenstellen von einem esxi host mit ähnlichen komponenten, wollte aber 32G haben

Ja dann bin ich ja wenigstens nicht alleine mit meinen Abenteuern Kannst ja auch gerne berichten oder wie machen einen Aktuellen ESXi Thread auf? Wir bauen uns einen ESXi #2 oder so? Haben wollte ich auch gerne 32GB ... aber brauchen tu ich die glaub ich nicht. Würde ich ZFS benutzen, sähe die Sache evtl. schon wieder anders aus ...

Grüße und viel Erfolg

 

[brunick]

wüsste nicht warum es nicht funktionieren soll. Habe schon diverse Erfolgsstories gelesen auf jeden Fall. Ich werde berichten


Ja dann bin ich ja wenigstens nicht alleine mit meinen Abenteuern Kannst ja auch gerne berichten oder wie machen einen Aktuellen ESXi Thread auf? Wir bauen uns einen ESXi #2 oder so? Haben wollte ich auch gerne 32GB ... aber brauchen tu ich die glaub ich nicht. Würde ich ZFS benutzen, sähe die Sache evtl. schon wieder anders aus ...

Grüße und viel Erfolg

abenteuer würd ich das nicht so richtig nenne, hab hier in der firma 3 und zuhause auch schon 2 - will nur mal server grade zuhause haben ^^

 

[AliManali]

Hi

Falls der Stick wirklich mal kaputt geht, ist der Host schnell und unkomliziert neu aufgesetzt. Die Einstellungen zu den VM's werden zusammen mit den VM's gespeichert, welche sich mit einem Klick wieder "einhängen" lassen.

Und was meinst Du mit USB Passthrough? Willst Du einen ganzen USB Controller durchreichen? Ich würd die USB Geräte konventionell nutzen, also einfach den Controller samt Gerät der VM hinzufügen,... Falls Du tatsächlich den USB Controller per VT-d durchreichen möchtest, scheitert das meist daran, dass an der betreffenden PCIe Brücke noch weitere Geräte mit dran hängen. Vor allem beim 1150er Sockel. Das wird also nicht einfach so funktioneren, wie Du Dir das vorstellst.

Falls Du Dich für einen Stick für die Installation des Host's entscheidest, was ich Dir empfehle, würde ich einen USB 2.0 Stick an einem USB 2.0 Port verwenden. ESXi unterstützt kein USB 3.0 am Host, und mag auch die Controller und Geräte nicht. Bei mir sind alle USB Geräte (Host Stick, Tastatur für Konsole, USV sowie zwei RS-232 Adapter) an USB 2.0 Ports angehängt.

 

[dogma2k]

ESXi unterstützt kein USB 3.0 am Host, und mag auch die Controller und Geräte nicht. Bei mir sind alle USB Geräte (Host Stick, Tastatur für Konsole, USV sowie zwei RS-232 Adapter) an USB 2.0 Ports angehängt.

Das ESXi keine USB 3.0 Controller mag ist falsch. Ich betreibe seit ein ca. 7 Monaten einen USB 3.0 Controller (PEXUSB3S400)
Dieser hat auf anhieb funktioniert. Zudem kann man jeden der 4 UASP USB3.0 Ports einzeln an verschiedene VM durchreichen.

 

[AliManali]

k

http://kb.vmware.com/selfservice/mi...nguage=en_US&cmd=displayKC&externalId=1022290

USB 3.0 gibts danach wohl nur von client side, und das nur bei nicht Windows Gästen.

Edit:

Bei mir hat die Installation des ESXi auf den USB 3.0 Port definitiv nicht geklappt. Am USB 2.0 Port mit USB 3.0 Stick gings dann aber. Deshalb die Empfehlung.

Wieso hast Du eigentlich eine USB Karte drin? Echt zu wenig Ports ab Board? ^^

 

[dogma2k]

Wieso hast Du eigentlich eine USB Karte drin? Echt zu wenig Ports ab Board? ^^

Weil ich ESXi 5.5U1 nutze und diese Version probleme mit USB Passthrough hat, aber nicht mit PCI-Passthrough

 

[Hummerman]

Falls Du Dich für einen Stick für die Installation des Host's entscheidest, was ich Dir empfehle, würde ich einen USB 2.0 Stick an einem USB 2.0 Port verwenden. ESXi unterstützt kein USB 3.0 am Host, und mag auch die Controller und Geräte nicht.

Kann ich nicht bestätigen, habe das bei mehreren Servern so gemacht und es läuft einwandfrei.

 

[jUsT]

Gestern kam die Hardware (bis auf das Gehäuse) also natürlich gleich zusammengeschraubt. Jetzt hab ich direkt die ersten Probleme. Ich hab mir den ESXi Installer auf USB gezogen, davon gebooted und auf ein 2GB USB Stick installiert. Bei der Auswahl der Sprache, ist der Server jedoch plötzlich ausgegangen
Nezteil lief noch, aber Bild ist weg und CPU Lüfter geht aus.

Ok, dachte ich vielleicht hat der Stick ein Problem, von einer SD Karte probiert, selbes Problem, Stick auf den ich installieren möchte getauscht, selbes Problem. Hab dann erstmal Memtest86 drüber laufen lassen, lief ohne Probleme durch. Im Eventlog ist kein Eintrag und laut Healt Monitor im IPMI ist alles im Grünen Bereich (CPU 40° / sonstiges Sensoren ~25°)

Auffällig fand ich dann, das der Server immer erst abgestürzt ist, wenn ich eine Tastatureingabe vorgenommen habe. Ich war zwischendurch Essen da blieb er bei der Sprachauswahl 30 Minuten stehen, dannach gings dann weiter aber sobald ich ein paar Sprachen durchgescrollt habe .... aus. Darauf habe ich die Tastatur abgezogen, da ich dachte ... OK eine G15 ist vielleicht für einen Server nicht optimal, und hab rein übers IPMI die Eingaben vorgenommen, selbes Fehlerbild.

Alle Versuche bisher waren mit der Aktuellsten ESXi 5.5. Ich hab dann gestern noch die 5.1 U2 runtergeladen und den LAN Treiber integriert, bin aber weiter noch nicht gekommen, da es spät wurde.

Nun aber meine Frage: Hat jemand hier erfolgreich ein X10SLM mit ESXi 5.5 am laufen?

Danke euch schon mal!

jUsT - Traurig

 

[jUsT]

Update: Mit ESXi 5.1 U2 funktioniert die Installation. Durchreichen des 5405 hat auch geklappt. Meine Testweise eingsteckte Tevii S470 wurde allerdings nicht erkannt, die Cine S2 hab ich noch nicht probiert ... die braucht leider meine Freundin zum Fernseh schauen :/

 

[hominidae]

..was heisst "nicht erkannt"?
Die TV Karte muss nur in der Liste der PCIe Devices auftauchen...für die TV-Karten hat ESXi ja doch keine Treiber, also woher sollen die "erkannt" werden.
Meine Digital Devices waren immer "Multimedia-Controller"...ohne Namen und und ohne Modellbezeichnung...klappt aber trotzdem.

 

[jUsT]

Das heisst die Karte taucht nicht auf ...

EDIT: Ich hab auch im Moment keine Digital Devices drinne ... da die noch im N54L steckt ... zwecks Fernsehen ... im Moment steckt eine Tevii S470 im ESXi drinne.

 

[Hummerman]

Nun aber meine Frage: Hat jemand hier erfolgreich ein X10SLM mit ESXi 5.5 am laufen?

Ja, nicht nur eins. Läuft ohne Probleme, Installation verlief auch vollkommen problemlos aber per ISO über IPMI.

 

[jUsT]

Das war der entscheidende Tipp! Danke. Über IPMI läuft der Installer einwandfrei
Daran hatte ich gar nicht gedacht

Kann auch schon die erste Erfolgsmeldung geben. Passthrough vom LSI 9650SE-4LMPL hat einwandfrei funktioniert, nach einem Firmware Update beherrscht er auch +3TB Festplatten und JBOD geht auch...

EDIT: Der Server hat im Moment 4x4GB ECC RAM, 1 Raid Controller + 1 Sat Karte + 2 Festplatten (1x Red, 1x Green) + 2,5" Intel HDD + USB Stick und ein nicht gerade Sparsames 750W Netzteil. Stromverbrauch liegt mit den ganzen Geräten im IDLE bei ~50-55W. Finde ich sehr gut.

jUsT - Happy