Ich habe beschlossen mir einen neuen ESXi-Server in meinen Schrank zu setzen. Nach einiger Planung ist gerade folgende Bestellung rausgegangen:
Ich werde an dieser Stelle etwas vom Zusammenbau und etwaigen Problemen o.ä. berichten. Eventuell hat ja auch der ein oder andere die ein oder andere Frage zu der Hardware, welcher ich möglicherweise auf den Grund gehen könnte. Auch Feedback ist natürlich gerne erwünscht. Ich werde mich bemühen, auch einige Bilder einzustellen.
----
Nachdem ich glücklicherweise noch am Samstag die zweite Lieferung in Empfang nehmen konnte, ging es natürlich sofort zur Sache.
Als Gehäuse diente mir das IPC 4088. Als Netzteil habe ich ein be quiet! Pure Power BQT L7 300W verbaut, welches noch beinahe unbenutzt herumstand. Dieses verfügt allerdings über keinen 8-pin EPS Anschluss für das Motherboard, dazu später mehr.
Also erst einmal das X10SLH-F ausgepackt. Gut gepolstert lag es zusammen mit 6 SATA-Kabeln, der IO-Blende sowie einem kurzen "Quick Reference Guide" geschützt im Karton. Das Handbuch ist online verfügbar - ein Umstand, den ich nur gutheißen kann: ausgedruckte Handbücher haben aus meiner Sicht ausgedient. Das Online-Handbuch habe ich allerdings auch recht ausgiebig studiert: Das Motherboard unterscheidet sich in seinen Möglichkeiten doch einigermaßen deutlich von zum Beispiel dem in meinem Desktop-Rechner verbauten Asus P8Z77-I Deluxe. So lassen sich bspw. die beiden Intel-NICs einzeln per Jumper de-/aktivieren.
Nach dem Auspacken folgte das Bestücken mit dem Xeon E3-1230v3 sowie den beiden 8 GB Samsung ECC RAM-Riegeln. Das Motherboard verfügt über fünf 4-pin PWM Lüfter Header, von denen laut Handbuch drei rückwärtskompatibel zu 3-pin Lüftern sind - ausdrücklich empfohlen wird dennoch die Nutzung von PWM-Lüftern, um die Energiesparmöglichkeiten und die Regulierung per IPMI nutzen zu können. Als CPU-Kühler habe ich den mitgelieferten Intel boxed Lüfter verwendet. Nachdem das Motherboard soweit bestückt war, erfolgte die Anbringung der IO-Blende im Gehäuse und das Einsetzen und Festschrauben des Motherboards.
Durch Zufall fiel mir nachdem das Motherboard verschraubt war auf, dass an der IO-Blende die Öffnungen für zwei USB-Ports, den Management-NIC sowie einen der beiden Intel-NICs fehlte. Also das Board wieder losgeschraubt, aus dem Gehäuse geholt und erst einmal die fehlenden Öffnungen nachgearbeitet (Stanzungen waren vorhanden).
Nachdem das Problem gelöst war, konnte ich das Mainboard wieder im Gehäuse verbauen. Nun folgte der Anschluss des Netzteils an das Motherboard. An dieser Stelle stieß ich auf das Problem mit dem fehlenden 8-pin EPS Stecker meines Netzteils. Zwar verfügt das be quiet! PurePower L7 über den geforderten 24-pin Anschluss für die Stromversorgung des Mainboards, allerdings nur über einen 4-pin CPU Anschluss und nicht über einen wie im Handbuch gefordert einen 8-pin EPS Anschluss. Nach einiger Recherche entschied ich mich, auf die Anschaffung eines EPS-Fähigen Netzteils zu verzichten und einfach den 4-pin Anschluss zu nutzen, da der EPS Anschluss wohl insbesondere für Systeme mit mehreren oder sehr leistungshungrigen Prozessoren (Übertaktung) entworfen wurde. Beides ist bei mir nicht der Fall.
Dazu ist zu sagen, dass mein System bislang auch ohne den 8-pin EPS-Stecker stabil läuft. Ähnliches habe ich bei meiner Recherche an zahlreichen Stellen im Internet gelesen. Supermicro selber empfiehlt für einige ihrer Systeme dieses Vorgehen (*). Ich habe mir der Vollständigkeit halber dennoch einen 4-pin auf 8-pin EPS Adapter bestellt. Ein solcher Adapter kann die Systemstabilität bei Problemen natürlich nicht ändern, da ja nach wie vor lediglich eine Leitung des Netzteiles zu Verfügung steht.
Als die Stromversorgung im Gehäuse verkabelt war, folgten die Anschlüsse für die frontseitigen USB-Stecker sowie natürlich die Power- und Reset-Knöpfe und etwaige Status-LEDs. Auch der vordere Gehäuselüfter wurde angeschlossen. Danach sollte der erste Test starten: Läuft soweit alles? Drehen die Lüfter? Sind die Header (Power, Reset, LEDs, Front-IO) richtig angeschlossen? Meldet das Board Probleme mittels Beepcodes? Zufrieden durfte ich feststellen, dass alles nach meinen Wünschen lief. Daher folgte nun der Einbau der SSD in das Gehäuse samt Verkabelung.
Nun konnte der Einbau des Gehäuses in meinen Serverschrank folgen. Noch ein kurzer Test und ein Blick ins BIOS mit angeschlossenem Monitor und Tastatur: alles optimal. Der restlichen Einrichtung steht nichts im Wege. Diese erfolgt allerdings natürlich nicht im Stehen vor dem Server sondern gemütlich per IPMI in meinem Stuhl zwei Etagen höher.
Die oben verwendeten Bilder gibt es ebenfalls in hoher Auflösung: Download HQ-Images
----
Nachdem die Hardware soweit steht und läuft, geht es an die Einrichtung des Systems. Mit viel Vorfreude habe ich mich also in das IPMI-Interface des Boards begeben und dort nach einigem Stöbern den "Remote Desktop" gestartet. Dieser ist Java basiert und mein System wollte diesen anfänglich aufgrund von Sicherheitsbedenken (Zertifikat) nicht starten - nach einer Ausnahmeregelung in der Java Config (dass es die gibt, wusste ich vorher auch nicht) ließ sich der Client allerdings problemlos ausführen.
Ich habe also die ESXi .iso eingebunden und wie erwartet beschwerte sich das Setup nach kurzer Zeit über fehlende Netzwerkadapter. Mithilfe des ESXi Customizer ließen sich die Treiber für die Intel i210 Adapter allerdings problemlos einbinden und danach lief die Installation auch ohne Murren durch.
Seitdem läuft das System stabil und ohne Probleme. Die gesamte Hardware sowie ein 120 mm Gehäuseläufter verbrauchen im Idle nach dem Systemstart ohne eine aktive VM etwa 25 Watt. Ich habe auf einer Windows 7 VM mit dem Prime Benchmark einen Maximalbedarf von rund 85 Watt herauskitzeln können, mehr war bislang nicht drin. Ich habe den Benchmark nach etwa 20 Minuten beendet, als die CPU-Temperatur sich den 71 ° C annäherte. Für gewöhnlich pendelt diese zwischen 21 und 25 ° C. Ich habe nun noch zwei PWM-Lüfter für das Gehäuse bestellt und werde diese verbauen, um dann noch einmal zu schauen, wie sich die CPU-Temperatur entwickelt. Zur Not muss ich mich doch nach einem anderen CPU-Kühler umsehen. Auch wenn eine derartige Auslastung für gewöhnlich eher nicht eintritt. Ebenfalls erwähnenswert sind die 7 Watt, die das System im ausgeschalteten Zustand zieht. Ich denke dieser Umstand ist dem IPMI geschuldet. Da der Server bei mir allerdings ohnehin 24/7 laufen wird, ist das zu vernachlässigen. Anbei habe ich noch eine kleine Grafik erstellt, welche den Bedarfsverlauf vom ausgeschalteten Zustand bis hin zum ESXi im idle darstellt:
Alle Messungen wurden mit einem "Technoline Cost Control Energiekostenmessgerät" und keinem Profi-Equipment erstellt, Abweichungen und Ungenauigkeiten sind daher wahrscheinlich.
----
Nach nun gut einer Woche kann ich nichts negatives bezüglich Systeminstabilitäten o.ä. berichten. Die Gehäuselüfter habe ich wie geplant durch zwei PWM-Lüfter ersetzt. Diese lassen sich ebenfalls problemlos per IPMI-Webinterface auslesen. Einige Schwierigkeiten hatte ich mit meinem Intel PRO/1000 PT Quad Port Low Profile Server Adapter (82571EB). Dieser wurde auf keinem der vorhandenen PCIe Slots erkannt. Die Lösung bestand letztlich darin, im BIOS eine Anpassung zu machen. Ich musste "Detect Non-Compliance device" aktiveren, welches standardmäßig deaktiviert. Mit dieser Einstellung wurde die Karte sofort erkannt und im ESXi eingebunden.
Nicht ganz zufrieden bin ich mit der x264 Konvertierungen mit Handbrake in einer Win7 VM. Dort erreiche ich trotz garantierter 9500 MHz und 8 Threads nicht ganz die Werte, die ich erhofft hatte. Inwiefern das an der Virtualisierung liegt und ob sich dahingehend noch etwas optimieren lässt, kann ich aktuell nicht sagen.
- Motherboard: Supermicro X10SLH-F
- CPU: Intel Xeon E3-1230 v3
- RAM: 2 x Samsung DIMM 8GB - DDR3-1600 ECC
- SSD: Plextor M5 Pro 128GB
Ich werde an dieser Stelle etwas vom Zusammenbau und etwaigen Problemen o.ä. berichten. Eventuell hat ja auch der ein oder andere die ein oder andere Frage zu der Hardware, welcher ich möglicherweise auf den Grund gehen könnte. Auch Feedback ist natürlich gerne erwünscht. Ich werde mich bemühen, auch einige Bilder einzustellen.
----
Nachdem ich glücklicherweise noch am Samstag die zweite Lieferung in Empfang nehmen konnte, ging es natürlich sofort zur Sache.
Als Gehäuse diente mir das IPC 4088. Als Netzteil habe ich ein be quiet! Pure Power BQT L7 300W verbaut, welches noch beinahe unbenutzt herumstand. Dieses verfügt allerdings über keinen 8-pin EPS Anschluss für das Motherboard, dazu später mehr.
Also erst einmal das X10SLH-F ausgepackt. Gut gepolstert lag es zusammen mit 6 SATA-Kabeln, der IO-Blende sowie einem kurzen "Quick Reference Guide" geschützt im Karton. Das Handbuch ist online verfügbar - ein Umstand, den ich nur gutheißen kann: ausgedruckte Handbücher haben aus meiner Sicht ausgedient. Das Online-Handbuch habe ich allerdings auch recht ausgiebig studiert: Das Motherboard unterscheidet sich in seinen Möglichkeiten doch einigermaßen deutlich von zum Beispiel dem in meinem Desktop-Rechner verbauten Asus P8Z77-I Deluxe. So lassen sich bspw. die beiden Intel-NICs einzeln per Jumper de-/aktivieren.
Nach dem Auspacken folgte das Bestücken mit dem Xeon E3-1230v3 sowie den beiden 8 GB Samsung ECC RAM-Riegeln. Das Motherboard verfügt über fünf 4-pin PWM Lüfter Header, von denen laut Handbuch drei rückwärtskompatibel zu 3-pin Lüftern sind - ausdrücklich empfohlen wird dennoch die Nutzung von PWM-Lüftern, um die Energiesparmöglichkeiten und die Regulierung per IPMI nutzen zu können. Als CPU-Kühler habe ich den mitgelieferten Intel boxed Lüfter verwendet. Nachdem das Motherboard soweit bestückt war, erfolgte die Anbringung der IO-Blende im Gehäuse und das Einsetzen und Festschrauben des Motherboards.
Durch Zufall fiel mir nachdem das Motherboard verschraubt war auf, dass an der IO-Blende die Öffnungen für zwei USB-Ports, den Management-NIC sowie einen der beiden Intel-NICs fehlte. Also das Board wieder losgeschraubt, aus dem Gehäuse geholt und erst einmal die fehlenden Öffnungen nachgearbeitet (Stanzungen waren vorhanden).
Nachdem das Problem gelöst war, konnte ich das Mainboard wieder im Gehäuse verbauen. Nun folgte der Anschluss des Netzteils an das Motherboard. An dieser Stelle stieß ich auf das Problem mit dem fehlenden 8-pin EPS Stecker meines Netzteils. Zwar verfügt das be quiet! PurePower L7 über den geforderten 24-pin Anschluss für die Stromversorgung des Mainboards, allerdings nur über einen 4-pin CPU Anschluss und nicht über einen wie im Handbuch gefordert einen 8-pin EPS Anschluss. Nach einiger Recherche entschied ich mich, auf die Anschaffung eines EPS-Fähigen Netzteils zu verzichten und einfach den 4-pin Anschluss zu nutzen, da der EPS Anschluss wohl insbesondere für Systeme mit mehreren oder sehr leistungshungrigen Prozessoren (Übertaktung) entworfen wurde. Beides ist bei mir nicht der Fall.
Dazu ist zu sagen, dass mein System bislang auch ohne den 8-pin EPS-Stecker stabil läuft. Ähnliches habe ich bei meiner Recherche an zahlreichen Stellen im Internet gelesen. Supermicro selber empfiehlt für einige ihrer Systeme dieses Vorgehen (*). Ich habe mir der Vollständigkeit halber dennoch einen 4-pin auf 8-pin EPS Adapter bestellt. Ein solcher Adapter kann die Systemstabilität bei Problemen natürlich nicht ändern, da ja nach wie vor lediglich eine Leitung des Netzteiles zu Verfügung steht.
Als die Stromversorgung im Gehäuse verkabelt war, folgten die Anschlüsse für die frontseitigen USB-Stecker sowie natürlich die Power- und Reset-Knöpfe und etwaige Status-LEDs. Auch der vordere Gehäuselüfter wurde angeschlossen. Danach sollte der erste Test starten: Läuft soweit alles? Drehen die Lüfter? Sind die Header (Power, Reset, LEDs, Front-IO) richtig angeschlossen? Meldet das Board Probleme mittels Beepcodes? Zufrieden durfte ich feststellen, dass alles nach meinen Wünschen lief. Daher folgte nun der Einbau der SSD in das Gehäuse samt Verkabelung.
Nun konnte der Einbau des Gehäuses in meinen Serverschrank folgen. Noch ein kurzer Test und ein Blick ins BIOS mit angeschlossenem Monitor und Tastatur: alles optimal. Der restlichen Einrichtung steht nichts im Wege. Diese erfolgt allerdings natürlich nicht im Stehen vor dem Server sondern gemütlich per IPMI in meinem Stuhl zwei Etagen höher.
Die oben verwendeten Bilder gibt es ebenfalls in hoher Auflösung: Download HQ-Images
----
Nachdem die Hardware soweit steht und läuft, geht es an die Einrichtung des Systems. Mit viel Vorfreude habe ich mich also in das IPMI-Interface des Boards begeben und dort nach einigem Stöbern den "Remote Desktop" gestartet. Dieser ist Java basiert und mein System wollte diesen anfänglich aufgrund von Sicherheitsbedenken (Zertifikat) nicht starten - nach einer Ausnahmeregelung in der Java Config (dass es die gibt, wusste ich vorher auch nicht) ließ sich der Client allerdings problemlos ausführen.
Ich habe also die ESXi .iso eingebunden und wie erwartet beschwerte sich das Setup nach kurzer Zeit über fehlende Netzwerkadapter. Mithilfe des ESXi Customizer ließen sich die Treiber für die Intel i210 Adapter allerdings problemlos einbinden und danach lief die Installation auch ohne Murren durch.
Seitdem läuft das System stabil und ohne Probleme. Die gesamte Hardware sowie ein 120 mm Gehäuseläufter verbrauchen im Idle nach dem Systemstart ohne eine aktive VM etwa 25 Watt. Ich habe auf einer Windows 7 VM mit dem Prime Benchmark einen Maximalbedarf von rund 85 Watt herauskitzeln können, mehr war bislang nicht drin. Ich habe den Benchmark nach etwa 20 Minuten beendet, als die CPU-Temperatur sich den 71 ° C annäherte. Für gewöhnlich pendelt diese zwischen 21 und 25 ° C. Ich habe nun noch zwei PWM-Lüfter für das Gehäuse bestellt und werde diese verbauen, um dann noch einmal zu schauen, wie sich die CPU-Temperatur entwickelt. Zur Not muss ich mich doch nach einem anderen CPU-Kühler umsehen. Auch wenn eine derartige Auslastung für gewöhnlich eher nicht eintritt. Ebenfalls erwähnenswert sind die 7 Watt, die das System im ausgeschalteten Zustand zieht. Ich denke dieser Umstand ist dem IPMI geschuldet. Da der Server bei mir allerdings ohnehin 24/7 laufen wird, ist das zu vernachlässigen. Anbei habe ich noch eine kleine Grafik erstellt, welche den Bedarfsverlauf vom ausgeschalteten Zustand bis hin zum ESXi im idle darstellt:
Alle Messungen wurden mit einem "Technoline Cost Control Energiekostenmessgerät" und keinem Profi-Equipment erstellt, Abweichungen und Ungenauigkeiten sind daher wahrscheinlich.
----
Nach nun gut einer Woche kann ich nichts negatives bezüglich Systeminstabilitäten o.ä. berichten. Die Gehäuselüfter habe ich wie geplant durch zwei PWM-Lüfter ersetzt. Diese lassen sich ebenfalls problemlos per IPMI-Webinterface auslesen. Einige Schwierigkeiten hatte ich mit meinem Intel PRO/1000 PT Quad Port Low Profile Server Adapter (82571EB). Dieser wurde auf keinem der vorhandenen PCIe Slots erkannt. Die Lösung bestand letztlich darin, im BIOS eine Anpassung zu machen. Ich musste "Detect Non-Compliance device" aktiveren, welches standardmäßig deaktiviert. Mit dieser Einstellung wurde die Karte sofort erkannt und im ESXi eingebunden.
Nicht ganz zufrieden bin ich mit der x264 Konvertierungen mit Handbrake in einer Win7 VM. Dort erreiche ich trotz garantierter 9500 MHz und 8 Threads nicht ganz die Werte, die ich erhofft hatte. Inwiefern das an der Virtualisierung liegt und ob sich dahingehend noch etwas optimieren lässt, kann ich aktuell nicht sagen.
Zuletzt bearbeitet:
