[Sammelthread] HPE ProLiant MicroServer Gen10 Plus G5420/E-2224

[48 Kerne]

Wegen dem RAID Controller.
Bisher habe ich keinen kompatiblen, schnellen gefunden. Ich könnte zwar den aus meinem alten Gen 8 probieren, aber dann muss ich alles auseinanderreisen und wenn es dann nicht klappt wieder zurück :/
Am liebsten wäre mir wenn ich alles, parallel aufbauen könnte, migrieren und dann den Gen 8 verkaufen.

@All
Hat die Kiste jemand mit Proxmox und ZFS laufen? Ich kenne mich null damit aus aber es klingt interessant

Edit:
So ich habe die Kiste nun bestellt. Demnächst kann ich euch sagen ob mein Hardwarecontroller erkannt wird

 

[lordmaxey]

So, Xeon E-2234 ist verbaut. Habe die Thermal Grizzly Kryonaut verwendet.
Sieht so aus als ob das ILO die CPU Temperatur nicht wirklich misst? Zeigt mir - wie beim G5420 - 40°C an. Glaub nicht dass das passen kann.
Der Lüfter des Gen10+ läuft wie beim G5420 mit 8% - d.h. das gute Stück ist mit der neuen CPU schonmal nicht pauschal lauter.

Lt. USV-Messung benötige ich im Idle vll. 5Watt mehr, sobald gearbeitet wird knapp 30W, nach den ersten Feststellungen.
Werde das die nächsten Tage beobachten.

 

[eadrax]

So, Xeon E-2234 ist verbaut. Habe die Thermal Grizzly Kryonaut verwendet.
Sieht so aus als ob das ILO die CPU Temperatur nicht wirklich misst? Zeigt mir - wie beim G5420 - 40°C an. Glaub nicht dass das passen kann.
Der Lüfter des Gen10+ läuft wie beim G5420 mit 8% - d.h. das gute Stück ist mit der neuen CPU schonmal nicht pauschal lauter.

Hast du das iLO Enablement Kit?
Ich hab es nicht und bei mir zeigt iLO für den G5420 auch dauerhaft 40C an, daher hab ich mich gewundert, ob man dafür eine Lizenz braucht?

Die Temperaturen direkt aus der CPU ausgelesen sind jedenfalls je nach Auslastung deutlich anders.

 

[lordmaxey]

Ja, ich hab das ILO Kit, mit aktivierter Lizenz, zeigt trotzdem nur 40°C an.
Mit welchem Tool hast du die Temperaturen aus der CPU ausgelesen?

 

[48 Kerne]

So Jungs und Mädels, ich habe das mal Ruck Zuck umgebaut und ....................... tadaa nein RAID Controller P420 1 GB wird problemlos im provisioning Manager erkannt
Also Controller umgebaut. Platten gesteckt. ESXi 7 installiert. Aufs Datastore geschaut alle Maschinen neu registriert und fertig ist die Migration. Wenn nur alles so glatt laufen würde...

Sagt mal brauch man für die Platten Halterungen!? Irgendwie schließen die Bündig ab, aber sind trotzdem irgendwie wackelig eingebaut. Ich vermute schon, denn das einschieben ohne Caddys war schon ein Kampf....

Wenn ja, kann mir jemand eine Bezugsquelle nennen?

Danke.

Ps. Ich lade noch Bilder hoch damit man sieht das der Controller funktioniert. Schreiben kann ja jeder viel

Okay.... ich habe es mittlerweile selbst gerafft, dass die Schrauben in der Front als Rails dienen

 

[lordmaxey]

So Jungs und Mädels, ich habe das mal Ruck Zuck umgebaut und ....................... tadaa nein RAID Controller P420 1 GB wird problemlos im provisioning Manager erkannt

Sehr schön, vielen Dank für's Feedback!
Mich würden nun auch deine Schreib- und Leseraten interessieren!

Ich hab heute mal die IdleTemp der CPU (mit CoreTemp) so beim "dahindümpeln" des Servers mit 4 VMs am laufen und gut 50% verwendeter RAM (von meinen 64GB) beobachtet.
schwanke zwischen 33 und 36 Grad.

Ebenso habe ich aktuell das Gefühl, mit dem Xeon E 2234 tendentiell etwas weniger Strom zu verbrauchen, als mit dem Pentium G5420, solange keine Last anliegt.

 

[48 Kerne]

Hi,

die Schreib- und Leseraten kann ich gerne auslesen. Musst mir nur sagen "wie" damit wir vergleichbare Werte haben.
Ich erreiche im Netzwerk ~99% Auslastung also ~112MB/s. Laufen habe ich 7 Linux und eine Windows VM als RAID0. Über die Performance konnte ich mich noch nie beklagen.

Aber Vorsicht!! Der P420 ist ein Hitzkopf! Der erreicht im idle schon an die 70°
Ich habe gestern den Fehler gemacht kurz an den Kühlkörper zu fassen *autsch*

Das Lüfterprofil habe ich auf enhanced, maximum habe ich auch probiert aber da dachte ich die Bude hebt ab

Und ja, den Controller den du mir per PN gesendet hat scheint der richtige zu sein
Ich habe meinen auch noch fotografiert, das Foto kann ich später hochladen.

 

[eadrax]

Mit welchem Tool hast du die Temperaturen aus der CPU ausgelesen?

Ich habe das unter Linux mit "sensors" gemacht:

user@host:~$ sensors
coretemp-isa-0000
Adapter: ISA adapter
Package id 0: +34.0°C (high = +78.0°C, crit = +100.0°C)
Core 0: +34.0°C (high = +78.0°C, crit = +100.0°C)
Core 1: +34.0°C (high = +78.0°C, crit = +100.0°C)

i350bb-pci-0200
Adapter: PCI adapter
loc1: +63.0°C (high = +120.0°C, crit = +110.0°C)

pch_cannonlake-virtual-0
Adapter: Virtual device
temp1: +56.0°C

Die Core-Temperaturen liegen also im gleichen Rahmen, wie bei deiner Messung. Ich versteh bloß noch nicht, was iLO da ausgibt.

Lt. USV-Messung benötige ich im Idle vll. 5Watt mehr, sobald gearbeitet wird knapp 30W, nach den ersten Feststellungen.

Ebenso habe ich aktuell das Gefühl, mit dem Xeon E 2234 tendentiell etwas weniger Strom zu verbrauchen, als mit dem Pentium G5420, solange keine Last anliegt.

Also doch keine 5W mehr? Das ist jedenfalls gut zu wissen. Ich denke, dass der Xeon keine Grafikeinheit und 0,2 GHz weniger Basistakt hat, könnte den Unterschied ausmachen.

 

[lordmaxey]

Also doch keine 5W mehr? Das ist jedenfalls gut zu wissen. Ich denke, dass der Xeon keine Grafikeinheit und 0,2 GHz weniger Basistakt hat, könnte den Unterschied ausmachen.

Ja, aktuell habe ich mich lt. USV-Software bei 104W eingependelt (für alles, was an der USV hängt, nicht nur der Gen10+).
Beim G5420 waren es ca. 108 - 115W (die Anzeige schwangte mehr als jetzt beim Xeon).

Naja, jedenfalls darf ich wohl den Gen10+ nochmal aufmachen und die WLP kontrollieren oder ggf. neu auftragen.
Hab heute mal einen Stresstest mit Prime95 gemacht - huiuiui - die CPU glüht ja

Prime95 Torture Test:
8 torture threads, Small FFTs (tests L1/L2/L3 Caches, high power/heat/CPU stress).
Top Werte der Cores: 94°, 91°, 92°, 91°.
Der Lüfter des gen10+ wird dann zum Düsenjet.
Stromverbrauch mal eben zusätzliche 104W lt. USV . (also von 101W auf 205W)

Hab nach ein paar Sekunden wieder aus gemacht. Das sah ungesund aus.

 

[Ceiber3]

Macht der CPU nichts.

 

[48 Kerne]

Mich würden nun auch deine Schreib- und Leseraten interessieren!

Hi ,da von dir nichts mehr kommt, habe ich einfach mal stumpf CDM in meiner Win 10 VM laufen lassen.
Das ist das Ergebnis

 

[lordmaxey]

Hi ,da von dir nichts mehr kommt, habe ich einfach mal stumpf CDM in meiner Win 10 VM laufen lassen.

Hoppla, ich dachte die Antwort war, dass du per Gigabit konstant mit 112 MB/s kopieren kannst.
Aber vielen Dank für deinen erneuten Test!
Ich hatte bisher das Problem, dass ich vor allem beim Migrieren meiner alten VMs, also beim Kopiervorgang von USB3 Platte auf SSD Raid5 nach einigen GB die Geschwindigkeit Rapide eingebrochen ist. Von 500MB/s z.B. auf 40MB/s...
Ich hab es auf den fehlen Cache des Controllers geschoben.
Hattest du einen Einbruch der Geschwindigkeit bei Großen Datenmengen festgestellt?
Wobei der hitzige P420 schon recht knapp im Gen10+ sitzt.
Hast du eine BBU an deinem P420?

 

[48 Kerne]

Hattest du einen Einbruch der Geschwindigkeit bei Großen Datenmengen festgestellt?

Also ich habe schon mehrere 100 GB am Stück übers Netzwerk kopiert. Unter ~110MB/s fällt es nie.

Wobei der hitzige P420 schon recht knapp im Gen10+ sitzt.

Joar, aber ich denke nicht dass, das bedenklich ist. Die Wärme die der Lüfter hinten abführt ist angenehm lau

Hast du eine BBU an deinem P420?

Nein, ich habe keine BBU. Habe beim Umbau gesehen dass sie schon im alten nicht angeschlossen war und im 10+ sowieso der Platz recht begrenzt ist.

 

[lordmaxey]

So, heute wurde mein P420 mit 2GB Cache und BBU geliefert. Mal sehen wie ich die BBU unterbekomme.
Aber eine viel wichtigere Frage:
Erkennt der P420 das RAID-5 Array vom S100i?
Oder ist es eher wahrscheinlich, dass ich das Array neu definieren muss, da der P420 4 unkonfigurierte Platten erkennt?
Würde bedeuten ich muss vorher nochmal alle Daten sichern und dann den HyperV-Server neu installieren...
Einfach umstecken und freuen wäre natürlich die beste Option...

 

[48 Kerne]

Normal erkennt ein RAID Controller die Konfiguration auf den Platten. Ich hatte letztens einen RAID Controller gegen ein anderes Model getauscht und bein Booten hat er gefragt ob er die Konfiguration übernehmen soll. Waren allerdings beides HW Controller. Wie es sich bei SW -> HW verhält kann ich dir nicht sagen. Ich denke aber schon, dass es klappt.

Allerdings ist ein Backup NIE verkehrt

Viel Erfolg!

 

[lordmaxey]

Satz mit X... Hat nicht geklappt.
Hab den Controller eingebaut, BBU oberhalb des ILO-Kits verstaut (siehe Bilder), aber der P420 wird nicht im StorageManager erkannt.
Hab ihn wieder ausgebaut, und die HDDs wieder am S100i angesteckt - der Server bootet zwar wieder, jedoch führt der S100i jetzt einen Rebuild durch - keine Ahnung warum.

Wurde der P420 bei dir von allein erkannt oder habe ich ggf. irgendwo eine Einstellung übersehen?
Sonst würde ich vermuten, dass mein Controller defekt ist.

 

[48 Kerne]

Nein, wurde direkt erkannt. Kann sein, dass es noch die Einstellungen aus dem Gen 8 sind die dir fehlen? Wenn du magst, kann ich morgen mal alles herunterfahren und meine Einstellungen so gut es geht dokumentieren. Aber Wenn er im Provisioning Manager gar nicht erkannt wird

Hast du alle Kabel vom Mainboard abgezogen? Ich habe nur das dicke schwarze umgesteckt. Die anderen habe ich auf dem MB gelassen.

 

[lordmaxey]

Alles gut, danke dir für's Angebot - ich glaube aber dass das Mühe umsonst wäre. Wenn die Hardware gar nicht erkannt wird, ist in meinen Augen was defekt. Wäre was anderes wenn der Controller zwar erkannt wird, dieser aber keine Platten erkennt etc.
Aber das ist hier ja leider nicht der Fall. Ich werde morgen oder so einfach nochmal umbauen und den Controller nochmal einbauen und sehen.
MIr hilft es schon, dass er bei dir direkt erkannt wurde. Das macht den Defekt des Controllers wahrscheinlicher.

Danke dir für's Engagement!

Und jap, ich hab nur "das schwarze Kabel" vom Mainboard abgezogen, also den SFF-8087 (glaub der isses).

 

[hppmsfan]

Solange der P420 nicht mindestens Firmware 8.32 hat, sag ich nix dazu ...

 

[lordmaxey]

Es sind neue Firmware-Updates verfügbar:
HPE Driver & Updates

Ich habe folgende installiert:
- BIOS Update auf Version 2.16_05-25-2020(8 Jun 2020)
- Server Platform Services auf Version 05.01.04.113(8 Jun 2020)
- ILO5 Update auf Version 2.16

 

[lordmaxey]

Solange der P420 nicht mindestens Firmware 8.32 hat, sag ich nix dazu ...

Danke für den Wink mit dem Zaunpfahl
Ich habe jetzt das Cache-Modul im Verdacht. Hab den Controller nochmal eingebaut und am Hypervisor (Server 2016) explizit die Treiber geprüft und gemäß HP-Homepage installiert.
Ergebnis: Controller wird im Geräte-Manager zwar erkannt, jedoch als "defekt".

Ebenso konnte ich die FW des Controllers nicht updaten, das Setup-Programm meldete "kein Controller vorhanden".
Im ILO wurde der Controller auch nur als "unknown device" erkannt.


Dann habe ich das Cache-Model entfernt und erneut gestartet. Nun wurde der Controller im GeräteManager erkannt und ich konnte die Firmware von 6.34 auf 8.32 aktualisieren.
Dennoch bleibt der Controller "unknown" im ILO.

Nach Wiedereinsetzen des Cache-Moduls wieder selbiges Spiel - Controller als "defekt" im Geräte-Manager.
ILO unverändert - "unknown" trotz aktuellster Firmware.

 

[derferd1]

Hat jemand von euch alle Bays belegt?
Benutze meinen Microserver Gen 10 mit XPEnology.
Ich habe am SATA5 eine 32GB mSATA SSD per Adapter angeschlossen und bisher in SATA1 und SATA2 eine WD Red 4TB bzw. eine HGST NAS 4TB.
Jetzt wollte ich günstig noch zwei WD White WD80EZAZ einbauen. Wenn nur eine verbaut ist, läuft anscheinend noch alles.
Sobald jedoch die zweite Festplatte kommt und der Server somit voll ist, zeigt Synology recht schnell einen Absturz mindestens einer Festplatte an.
Habe jetzt nur die beiden WD White + SATA5 drin und das läuft noch.
Kann es also sein, dass mein Netzteil nicht 4 LFF und eine SSD schafft? Ansonsten ist noch eine 4TB Externe mit eigenem Netzteil dran.

Werde mal demnächst das BIOS updaten, wenn das klappt.

 

[fard dwalling]

Wenn ich das richtig lese, sind deine WD80EZAZ SMR Platten. Hatte ich auch nur Probleme mit in meiner DS.

 

[derferd1]

Wenn ich das richtig lese, sind deine WD80EZAZ SMR Platten. Hatte ich auch nur Probleme mit in meiner DS.

Danke für deine schnelle Antwort.
Das erklärt doch aber nicht, weshalb sie ohne die anderen beiden Platten funktionieren?
Und wo hast du die Information her, dass auch die 8TB WD White SMR haben? Ich habe schon vor ein paar Monaten das gleiche mit WD White 10TB WD100EMAZ erlebt und sie zurückgeschickt.

 

[Ceiber3]

Soweit ich weiß, hat die EZAZ 8 TB kein SMR. Und die 100EMAZ hat auch kein SMR.

 

[fard dwalling]

Hatte nur etwas quer gegoogelt:

Golem.de: IT-News für Profis

 

[48 Kerne]

Hey,

wer ein günstiges ILO Modul sucht

HPE MicroServer Gen10+ iLO Enablement Kit, enthält iLo5

HPE MicroServer Gen10+ iLO Enablement Kit, enthält iLo5 Managerment-Board mit dediziertem RJ45 iLo Port und voraktivierter iLo5 Essentials Lizenz mit…

www.klarsicht-it.de

Ich kann den Laden nur empfehlen

 

[p4n0]

Sehe ich das richtig, dass die Schweine von HPE fuer n Stueck PCB und nem RJ45 Jack n haufen Geld wollen?
Und das ganze ILO geraffel ist eigentlich schon auf dem Board verbaut?
Sauerei..

 

[eadrax]

Ich habe gerade mal ESXi 7.0 ausprobiert.

Hat es jemand hinbekommen, den onboard SATA-Controller (Cannon Lake AHCI) per Passthrough an VMs weiterzureichen? Bei mir ist der Controller in der ESXi-Liste ausgegraut.

Eigentlich wollte ich die 4 Laufwerke direkt an FreeNAS durchreichen, und dann noch 1-2 M.2 SSDs in einen PCI-Express Adapter stecken und als Datastores verwenden. Das wird dann wohl nichts, wenn der PCIe-Slot für einen HBA draufgeht...

EDIT: Ich habe jetzt in /etc/vmware/passthrough.map folgendes angefügt:

# Intel Cannon Lake PCH-H Controller [AHCI mode]
8086  a352  d3d0     false

Damit lässt sich nun Passthrough aktivieren:

 

[CommanderBond]

Hat der Server jetzt ECC? Denn an vielen Stellen wird nicht damit geworben.