[Kaufberatung] Server Umbau ESXi - Board mit IPMI, CPU und ECC RAM

[AliManali]

Hi

Ich habe seit 2011 einen ESXi auf Consumerhardware Basis mit Sechskern Sandy und 64 GB RAM. Den würde ich zu Weihnachten hin gerne ersetzen, bzw. Board, CPU und RAM. Ich brauch was mit IPMI (?), wo ich die vSphere Konsole habe, die Sensoren auslesen kann, und allenfalls mal was am BIOS machen kann. Wär auch schön, dass man über diese Schnittstelle allfällige ECC Fehler mitloggen könnte. Ob IPMI, ILO, was weiss ich: da habe ich keine Ahnung davon, und wär froh um weitere Infos dazu. Es soll einfach per Netzwerk konfigurierbar sein. Wenn möglich ohne Java am Client.

Verbaut werden sollen ein bis zwei Quad Port NIC (vorhanden) und per VT-d ein DELL PERC H310 (vorhanden). Ausserdem noch etwas USB Stuff, wie zwei USB Serial Adapter und ein Headset.

Folgende Laufwerke sind verbaut:

1x USB Stick für vSphere
1x DVD ROM
1x WD RE4 2 TB (Zwischenablage NAS an mehreren vSwitches)
2x WD Gold 6 TB als Storage am LAN
1x Sandisk 128 GB SSD für die beiden Filer
1x Samsung 850 EVO 2 TB SSD für die VM's per NFS am LAN.

Auf der Maschine laufen bis zu ca. 15 VM's gleichzeitig. Zwei nas4free, zwei Firewalls, ein VPN Gateway, ein paar Windows Gäste und ein bisschen was an Linux Servern. Unter anderem läuft das auf dem Server:

[User-Review] VPN Gateway Enigmabox - virtualisiert auf dem Prüfstand

Ob neu oder gebraucht bin ich mir unschlüssig. Falls jemand ein passendes Bundle hätte, würde ich das eventuell über den Marktplatz kaufen. Allerdings wohne ich in der Schweiz.

Das Board sollte in einen normalen Bigtower mit einem Consumernetzteil (Corsair AX760 Platinum) passen. Von der Leistung her was vergleichbares wie ich habe, eine Upgrademöglichkeit auf 128 GB RAM wäre aber wünschenswert. Bei der CPU stehen Takt gegenüber Kernen, was in meinem Anwendungsfall aber nicht wirklich was aus macht. Aber ich würde eher zu mehr Kernen bei niedrigem Takt tendieren. CPU Leistung war bisher nie ein Problem. Trotzdem wäre eine 10 Core CPU natürlich nice to have.

Budget? k.A. . Ich stelle jetzt Mal 600 Euro in den Raum. Allenfalls beginne ich bei 32 GB RAM, und stocke den dann nächstes Jahr mal auf. Oder ich nutze meine 64 GB DDR 3 RAM, bis ich Geld für den ECC RAM habe. Falls das geht.

 

[AliManali]

Hi

Wär das passend so:

Merkliste Warenkorb (14.11.2017) teilen - digitec


Oder kriege ich die selbe Leistung gebraucht deutlich günstiger (in die Schweiz)?

Was mir nicht so gefällt, sind die XEON E5 Prozessoren. Da schwanke ich zwischen Intel Xeon E5-2630 v3 (LGA 2011-v3, 8x 2.40GHz) und Intel Xeon E5-1650 V3 (LGA 2011-v3, 6x 3.50GHz). Von der Leistung her scheinen die sich ja nicht viel zu nehmen. Ich weiss aber nicht, was auf dem völlig überbuchten ESXi besser wäre. Hohe STP oder mehr Kerne. Aber viel mehr Leistung als mit meinem aktuellen 3930k ist bei meinem Budged wohl nicht drin. Ich dachte nicht, dass das so teuer ist. Da muss ich die Teile wohl etappenweise besorgen.

 

[underclocker2k4]

Warum setzt du auf einem Singleboard einen DualSocketprozessor ein?
Man kann sowas ganz einfach rechnen: 8x 2,4GHz = 19,2GHz vs 6x 3,5GHz = 21GHz. Also schonmal rein rechnerisch 10% Mehrleistung beim Singlesocketprossi.

Ich würde direkt den nehmen:
Intel Xeon E5-1650 v4 (LGA 2011-v3, 3.60GHz) - Prozessor - digitec

Macht eine Rohleistung von 21,6GHz, was 12,5% Mehrleistung entspricht.
Wenn der Turbo noch zuschlägt, dann ist beim 2630 aber ganz schnell das Licht aus.

Ob nun mehr Cores oder mehr Clock ist immer schwer zu sagen. Grundsätzlich ist es wohl so, dass ein VM-Server schon gut mit den Core skaliert, weil man quasi "jeder" VM einen Core zuweisen kann. (mal als Beispiel) Das reduziert den MGM-Overhead beim ständigen Umthreaden der VMs. Allerdings würde ich bei deiner Spielzeuganwendung auf sowas noch nicht wirklich achten.

Sicherlich mögen mehr Core ganz nice sein. Ich persönlich würde mir das nicht unbedingt als DAS Kaufkriterium setzen.
Ich persönlich fahre im Homebereich und normalen Anwendungen eher nach dem Thema Clock>Core.

Daher schaue ich mir gerade den Skylake-W an und nicht den -SP. Sobald man was Rechenintensives hat ohne Skalierung, zieht der highclock Xeon davon. Anders sieht es bei sehr skalierbaren Anwendungen aus. (und dazu zählen auch Masse-VMs, was bei dir ja nicht der Fall ist)

 

[AliManali]

Hi

Ja, danke!

+/- 12% ist mir völlig wumpe. Der Server soll einfach machen, was von ihm verlangt wird. Ob ich da ein paar Sekunden länger warte, bis eine VM aufgewacht ist, macht für mich keinen Unterschied. Am meisten CPU Leistung brauchte ich bislang für meine paravirtuellen Experimente. Der Server idelt mit 12-15 VM's so um 20-30% CPU Leistung. Wenn ich am arbeiten bin, liegen meist so um die 60-70% an.

Ich dachte, ich könne für ein paar Hunnis das doppelte an Leistung rausholen, was meine 6 Jahre alte Kiste macht. Aber CPU und Speicher scheinen da recht teuer zu sein.

Gebraucht kommt nicht in Frage? DDR 3 würd mir reichen. Dafür massig. Und wie gesagt, eine niedrig getaktete 10 Core CPU wär geil.

Und bei den Boards, gibts da noch irgendwelche Tipps von wem? Ich habe da mal ein x beliebiges von Supermicro gewählt. 10 Gbit/s Ethernet brauch ich glaub ich nicht. Und wenn man den Storagecontroller durchreichen könnte, das wär auch nicht schlecht.

 

[p4n0]

Ich würde auch zum E5-16xx greifen. Das sind meiner Meinung nach die CPU's to go fuer solche Projekte.
- Hoher Takt
- Genug Kerne
- Ram > 64GB Möglich
- Günstig

 

[fdsonne]

+/- 12% ist mir völlig wumpe. Der Server soll einfach machen, was von ihm verlangt wird. Ob ich da ein paar Sekunden länger warte, bis eine VM aufgewacht ist, macht für mich keinen Unterschied. Am meisten CPU Leistung brauchte ich bislang für meine paravirtuellen Experimente. Der Server idelt mit 12-15 VM's so um 20-30% CPU Leistung. Wenn ich am arbeiten bin, liegen meist so um die 60-70% an.

So "rechnet" man in Sachen Virtualisierung nicht. Der für dich relevante Parameter ist der Co-Stop ggf. noch der Ready Counter.
Schau dir diesen Wert an und vergiss die generelle Load. Wobei 60-70% Load schon sehr hoch ist! Hohe Ready/Co-Stop Values sind da ja schon fast vorprogrammiert...

Ich hatte die Tage erst einen Fall, wo ESXi Hosts mit schmalen Xeon E3 Quadcores bestückt wurden und sich der Kunde wunderte, warum die Performance so ultraschlecht ist/war. Man hatte damals alte Dual S771 Quadcore Systeme ggü. E3 Xeons getauscht, genau wegen so ner Milchmädchenrechnung. Was kam raus? Er hat für 1-2 Hände voll VMs pro Host jeweils 4x vCPUs zugewiesen. Und immer wenn eine der VMs mal ein paar Ressourcen punktuell angefragt hat, ist der Spaß eingeschlafen. Die Proxys liefen ins Leere, weil die DNS Server keine Anfragen mehr beantwortet haben und der ganze Spaß schaukelte sich schön hoch. CPU Load war im Schnitt jeweils bei unter 10% pro Host! Aber wenn der Host keine Ressourcen zuweisen kann, weil wenige VMs alle vorhandenen Ressourcen zeitgleich zugewiesen bekommen hatten, dann schaut der Rest halt in die Röhre.


Die Wahl nach einem 8C Modell anstatt einem 6C Modell _kann_ also durchaus sinnig sein. Takt * Cores als Milchmädchen Rechnung geht in dem Fall dann nicht auf. So kann man rechnen, wenn es um reine Leistungsskalierung von einer Anwendung geht und Takt und Coreskalierung auf dem Papier annähernd perfekt ausfallen. Im Virtualisierungsumfeld ist das aber nicht wirklich brauchbar.
Am Besten prüfst du einfach ob die Co-Stop Counter der VMs durch die Decke gehen oder nicht und entscheidest dann. Mit deinem 6C Modell sind die Werte ja sogar ziemlich realistisch... Hast du dabei hohe Wartezeiten, dann bringt dir mehr Takt nämlich genau Null Punkte. Selbst eine Takt Verdopplung ändert nix, auch wenn nach dem Milchmädchen doppelte Performance stehen würde...


VMware schreibt dazu übrigens folgendes:
"The %CSTP value represents the amount of time a virtual machine with multiple virtual CPUs is waiting to be scheduled on multiple cores on the physical host. The higher the value, the longer it waits and the worse its performance. Lowering the number of vCPUs reduces the scheduling wait time."
-> entweder vCPU Counter verringern (weniger VMs/weniger vCPUs bei den VMs) oder eben mehr Threads auf der Hostseite. Kommt aufs gleiche raus.
Determining if multiple virtual CPUs are causing performance issues (1005362)


Was die konkrete Konfig angeht, wenn gebraucht, schau dich einfach nach E5 Xeons v1 oder v2 um. Gibts von 6-12C für um die 100€ das Stück. Dazu ein Dual CPU Brett, wenn du sparen willst, tuts auch ne ausrangierte Workstation oder ein alter Server von der Stange. RAM mit 8GB DDR3 Reg. ECC Riegeln bekommst du für recht humane Preise. Willst du mehr wie 128GB, kommst du wahrscheinlich mit ausrangierten Fertig-Teilen besser weg, da sind dann oftmals mehr RAM Slots drin (0815 Standard Dual-CPU Brett = 8x pro CPU). Bei Sandy/Ivy sind das idR 12 pro Socket. Also 3x4 pro CPU = 24*8GB = 192GB. 16GB Reg. ECC DDR3 sind dann oftmals aber preislich wieder teurer...
Noch günstiger wäre Dual S1366, macht für dich aber einen Rückschritt bei der CPU Architektur und fliegt früher oder später aus der ESXi HCL -> Nehalem, also die 45nm Versionen sind schon nicht mehr supportet bzw. es kommen Hinweise, dass es in den nächsten Releases rausfliegt. Westmere wird wohl früher oder später folgen.

Single Socket geht natürlich auch, neuer ebenso, aber es wird halt teurer. Und nicht schneller! Vorteil, Garantie gibts halt dazu... Technisch könnte man sich dann aber auch für nen 100er so nen 2699v2 E5 Xeon bei Ebay schießen und in irgend ne HP Z-irgendwas Workstation tackern... Deine NICs + Controller noch dazu, RAM bisschen rein und ab dafür.

 

[AliManali]

Hi

Danke für Deinen ausführlichen Post. Ich habe mir daraufhin diesen Artikel angesehen:

CPU READY% %CSTP |VMware Communities
https://www.vmware.com/pdf/esx2_using_esxtop.pdf

Aber die beiden Werte co-stop und ready counter werden bei mir nicht angezeigt. Bei mir sieht das so aus:



Hier habe ich eine Last am laufen, die sonst nicht üblich ist. Aber das läuft so alles flüssig bislang.

Dann habe ich noch eine andere Frage: wär ein Threadripper Setup denkbar? Aber wie gesagt, ich will die Sensoren auslesen können im Betrieb, ECC Fehler erkennen können, und ich brauche Zugriff auf die vSphere Konsole und BIOS, ohne GPU. Wär das mit AMD eine Option?

 

[underclocker2k4]

Zu dem co-stop counter hatte ich ja schon etwas gesagt. Ich denke nicht, dass du bei der aktuellen VM-Anzahl da massiv in ein Problem rennst. Du hast eine nahezu 1:1 Zuordnung, was die Threads angeht.
Fakt ist, wenn du zuviele VMs hast, dann bricht sich der scheduler einen Ast ab und irgendwann gehts garnicht mehr. Das ist auch der Grund, warum die nonWS-CPUs alle so nen hohen Core counter bei relativ geringem Takt haben.

Und diese Core*Takt Rechnung kann man bei deiner Situation sehr gut als groben Vergleich der Performance nehmen. Je mehr aber Multithreadanwendungen da sind (VM-Anzahl ist nichts anderes), dann tritt oben bekanntes Problem ein und die lowCore-CPU wird ineffektiver.
Da man idR @home eher sowas wie du hast, was die VMs angeht, halte ich den lowcore-highclock Xeon für im Vorteil.
Daher bleibe ich auch für den Anwendungsfall auch bei der sogannten Milchmädchenrechnung, mehr als einen Multithreadanwendung ist das in dem Fall nämlich auch nicht.
Anders sieht es im Enterpriseumfeld aus. Hier sollte man eigentlich eher versuchen jeder vCPU auch einen Core respektive einen HT-Kern zuzuweisen.

Threadripper sehe ich ehrlich gesagt als schwierig. TR ist eine reine GamingCPU/Plattform, dementsprechend sieht auch die MB-Landschaft aus.
Sensoren auslesen ist eine Frage der Integration in den ESX, bzw. ob er den Sensorkontroller kennt und damit umgehen kann.
Concole geht dort nur mittels TFT, da die Teile natürlich kein IPMI oder sowas haben. vPro als lightIPMI-Variante haben die schon garnicht, da Inteltechnologie.
Bei AMD muss man daher, wenn es was ernstes sein soll, eigentlich auf SP3 gehen. Dort bekommt man einen 16C/32T Opteron für 666EUR. (die Zahl des Teufels )
Die sind dann auch dualtauglich, womit man dann also schonmal für ein DualCPU-Setup vorbereiten kann, aber evtl nur einen am Anfang einbaut. (hier aber aufpassen, wie die PCIe-CPU Zuordnung ist, idR ist das MB auf beide CPU verteilt, ergo es geht am Anfang nur die Hälfte)
SingleMBs sind mir spontan nicht bekannt. Evtl. mal schauen.
Mit dem Opteron haste dann aber auch genug Cores/Thread, so dass du jeder VM dann sogar 2vCPUs geben kannst. (für den Anfang)
Nach oben ist beim Opteron aktuell auch kaum eine Grenzen, wenn man die nötigen Taler hat.

Die Idee von Sonne mit dem Gebrauchtkauf kann auch Sinn machen, gerade weil sich die DDR4-Preise wohl am Bitcoin-Kurs orientieren.
Da auf eine veraltete Plattform mit DDR3 zu setzen, wo man die Riegel relativ günstig bekommt, hat daher schon seinen Scharm.
Es gibt beim S2011-0/3 auch MBs mit 24 DIMMs, was den Einsatz kleinerer Module erleichtert um dennoch eine stattliche Gesamtgröße zu erreichen.
Gibt es auch mit 10GBE...
Intel Xeon mit RAM: 24x DDR3 DIMM Preisvergleich Geizhals Deutschland
Aber aufpassen, die MBs sind etwas breiter, so dass es das Case auch supporten kann. (am IO-Shield orientieren)
Ansonsten das, was Sonne sagt, relativ günstig zu bekommen, Stromverbrauch aber etwas erhöht. Muss man mit leben.
Schluss ist beim 2011-0 bei 24C/48T bei einem Dual Setup.

 

[fdsonne]

Zieh mal das Fenster breiter Die Spalte kommt, wenn das Fenster breit genug ist. Andernfalls, weis die Taste nicht aus dem Kopf, mit "h" kommst du in die Hilfe, da zeigts dir an, wie man die Ansicht ändert...



AMD ist aus meiner Sicht im Moment nur bedingt zu empfehlen. Es gibt schlicht keine Geräte. Erst ab Epyc, also der aktuellsten Generation schaut das wieder brauchbar aus und da sind Geräte im Moment quasi Fehlanzeige. Ne Hand voll, teils spärlich lieferbar und dann halt auch weit über Budget -> wäre also eher raus.
Die Idee mit gebrauchten Xeons zielt halt darauf, die Dinger gibts wie Sand am Meer, werden reihenweise aussortiert nach ihren 3-5 Jahren Nutzungszeit und landen dann auf einschlägigen Portalen zum Verkauf für nen schmalen Taler. Wie auch der Part mit dem RAM. Vor nicht all zu langer Zeit hat sich keiner nach 8GB DDR3 Reg. ECC mehr umgedreht. Entsprechend "billig" die Preise.

Was ich aber absolut gar nicht einschätzen kann, ich weis nicht wie das in der Schweiz ausschaut...

Im Endeffekt ist es jedem seine Entscheidung und man muss abwägen, ob ein Gebrauchtkauf in Frage kommt oder nicht. Es kann auch einfach mal so aus heiterem Himmel (so hier schon geschehen) das Mainboard sterben -> bei mir war das ein Fujitsu RX200 Blech mit Sandy-8C Xeons drauf. Von jetzt auf gleich, ohne irgend eine Vorankündigung, Bumm aus und Tod. Nicht mehr einschaltbar. Neues Board = knapp 1000€, weil eben Fujitsu Ersatzteil.

 

[-INU-]

Willst du den alten Kram eigentlich nicht verkaufen ?
Je nach Riegelkapazität ist der Gebrauchtwert von normalem DDR3 bis zu drei mal so hoch wie von Reg ECC.
Macht 128GB für lau und für 600€ lässt sich sicher noch ein passendes DS Board samt CPUs aus der Bucht fischen.
Und wenn es kein Komplett/Produktivsystem ist, muss im Fall der Fälle auch kein identischer Ersatz her.

 

[AliManali]

Hi

Danke für Euere Mühe!

Also mehr Last wie hier gibts eigentlich nicht. Hier läuft aber kein paravirtueller Krempel. :



Mehr Leistung wie ich schon habe, brauche ich halt nicht. Die Dual CPU Boards kommen schon deshalb nicht in Frage, weil die wohl nicht in meinen Tower gehen. Neues Netzteil wär dann allenfalls auch fällig.

Die CPU Leistung eines hochtaktenden Sechskerner würde da wohl auch in Zukunft ausreichen.

Für die alten Teile habe ich schon Verwendung. Ich würd die nie für 2-300 weg geben Aber wieder auf Sandy/Ivy möchte ich halt auch nicht gehen beim Wechsel.

Wahrscheinlich kaufe ich mir mal ein neues Brett. CPU gibts irgendwann, und Speicher dann, wenn er sich mal normalisiert hat. Habe ja keinen Stress. Der Server läuft soweit zuverlässig. Ich habe einfach das Problem, dass wenn ich was mit 300 GB aufs Storage kopiere, dass es kommen kann, dass der komplette Server einfriert. Ich hatte erst die Southbridge in Verdacht, aber nachdem ich jetzt einen HBA per VT-d habe, und der Fehler immer noch auftritt, scheidet das auch aus. Mit IPMI und ECC hätte ich halt mehr Möglichkeiten, solche Probleme einzugrenzen und zu untersuchen.

Ja, bei mir sterben auch immer die Mainboards. Hatte ich schon 3x. Darum sind die auch immer so teuer für eine alte Plattform.

 

[p4n0]

Fuer mich sieht das eher so aus, als haette deine Storage zu wenig wumms, daher hohe waits, darum friert die Moehre auch relativ schnell ein wenn deine FreeNas etwas roedelt..

 

[AliManali]

Hi

Also ich habe jetzt den vm's 0 Ressourcen zugeteilt und habe den Server jetzt stundenlang gequält und überwacht. Das läuft jetzt super, sogar mit dem ganzen paravirtuellen Stuff mit u.a. einem Windows Gast. Unglaublich.

Naja, ich teste weiter.

Habe mir aber trotzdem ein neues C612 Board gekauft. Da komme ich auch Mal von den 64 GB weg