HP ProLiant ML10 Gen9 + HP Smart Array + Proxmox
Hallo zusammen,
da ich mit der Kiste sehr viel Ärger hatte möchte ich euch meine gesammelten Erfahrungen zukommen lassen, ich hoffe das ist nicht zu umfangreich. Ich komme zwar aus dem IT-Bereich, allerdings mit sehr wenig Hypervisor / Hardware Erfahrung. Falls etwas falsch / unklar sein sollte bitte also gerne korrigieren, vielleicht habe ich auch einige Anfänger-Fehler gemacht, welche anderen auch passieren.
Hardware Setup
HP ProLiant ML10 Gen9 Server
Intel Xeon E3-1225 v5 3,30GHz
8 GB ECC DDR4 2100 RAM (Standard)
Drevo X1 SSD 60GB
-> Für HyperVisor
Als RAID Verbund (sind kompatibel):
-> 1 TB HDD (Seagate ST1000DM003)
-> 1 TB HDD (WD RED WD10EFRX)
Als RAID 1 an einem gebrauchten HP Smart Array P410 ohne Batterie (Read Cache Only)
Hardware Probleme/Inkompatibilitäten
Folgender RAID Controller wollte gar nicht funktionieren (war aber gebraucht, vielleicht defekt?)
-> Adaptec Raid Controller ASR-5405
Es ist ein AKTIVER DisplayPort Adapter notwendig, sollte man keinen DisplayPort Monitor haben (Folgender ist lauffähig):
-> DeLOCK DisplayPort /HDMI - HDMI (W) bis DisplayPort (M) [EAN: 4043619655731]
An den HP SmartArray P410 nur reine SAS Datenkabel anschließen, die Platten werden nicht vom Controller mit Strom versorgt (HDD's direkt ans Netzteil anschließen).
Die Standard-Lüfter sind Müll und selbst im Leerlauf viel zu laut - Auf jeden Fall gegen die genannten be Quiet Lüfter tauschen!
Die weißen Kunststoff-Nasen auf dem Mainboard (Lüfteranschlusshalter) sind aus Billigplastik, beim leichten Anheben des Gehäuse-Lüfter-Anschlusses mit meinem Fingernagel ist diese Nase gebrochen - ist mir zuvor noch nie passiert.
Hinweis zu HP RAID Controller & opROM
opROM (Initialisierung des Controllers beim OS-Boot) des ML10 Gen9 arbeitet nicht mit dem genannten HP Controller zusammen (Boot-Loop), daher muss diese Funktion im Bios (bei ausgebautem Controller) ggfs. deaktiviert werden. Das HP Smart Array P410 funktioniert also im HP ML10 Gen9, insofern man nicht vorhat den HyperVisor auf die RAID-Partitionen zu installieren - hier lieber einen USB Stick oder eine SSD direkt auf dem Mainboard nutzen. Auf dem RAID Plattenverbund liegen nur meine virtuellen Maschinen, der Hypervisor liegt auf einer SSD.
Der interne Raid Controller ist Fake-Raid-Schrott und wird nur von Windows-Systemen sofort erkannt (z.B. HyperV). Ich hatte damit sehr viel ärger, also hab ich mir für etwa 25€ ein gebrauchtes HP Smart Array P410 besorgt, welches in Stromverbrauch und Wärmeentwicklung ganz gut abschneidet (maximal 12W unter Voll-Last, erreiche ich aber niemals ansatzweise bei 2 HDD's, wird nicht zusätzlich gekühlt, Airflow des Servers reicht aus.)
Am Mainboard direkt hängt eine No-Name SSD, auf welche die Hypervisor (schlussendlich Proxmox) installiert wurden. Nachfolgend meine Erfahrungen mit den diversen Umgebungen:
ProxMox VE ISO / Baremetal
-> Kostenlos
-> Pausiert beim Starten möglicherweise bei zu langsamen USB-Datenspeicher, dann muss ein root-delay in die /etc/default/grub eingetragen werden.
-> Erkennt das interne ML10 Gen9 Software Raid nicht, RAID müsste also mit Linux Methoden erstellt werden (in meinem Fall durch echten RAID-Controller gelöst)
-> Installation auf USB Stick problematisch(er) als bei VMWARE - Die Geschwindigkeit des Sticks ist sehr wichtig. Proxmox lädt beim Arbeiten auf der Weboberfläche recht viel vom Stick, die Installation dauert sehr lange. Ist der Stick zu langsam, kommt es zu Timeouts.
-> Kompatibilität zu HP RAID Controllern ist gegeben / das vorab erstellte Volume wird automatisch erkannt und kann eingebunden werden.
Wichtig bei den virtuellen LinuxVM's bei einer Proxmox Installation auf dem Server ist, dass das “RAM Minimum” der Virtuellen Maschine sinnvoll gesetzt wird (mindestens 64mb).
Wenn bei einem reboot/Restart des ganzen Servers alle Maschinen zeitgleich hoch kommen, erleiden diese sonst Kernel Panics und/oder hängen sich auf. Keine Ahnung ob das an meinem Setting, oder an Proxmox generell liegt.
ESXi 6.5 auf dem HP ML10 Gen9
-> Wichtig: Spezielles HP Custom Image verwenden, welches die Treiber integriert hat
-> Erkennt ML10 Gen9 Software Raid nicht auf Anhieb, auf OS Ebene erstellen ist Bastelwerk und vermutlich nicht Update/Upgrade sicher.
EDIT: Hinweis für VMWARE von Elioth: Den SATA Controller kann man ohne Handanlegen nicht durchreichen. Das geht aber, indem man in der Konsole /etc/vmware/passthru.map editiert. Hinweise dazu findet man bei VMWARE.
-> Verhältnismäßig sehr viel RAM für den Hypervisor notwendig (1,5GB ohne Systeme, Proxmox braucht weniger als 1GB inkl. Overhead von 3 Servern).
-> Mit VCenter empfehlenswert, frisst mir dann zu viele Ressourcen. (Meines Wissens sind ohne VCenter z.B. Snapshots problematisch).
-> Hat in 6.5 keine Kompatibilität zum Controller (siehe weiter unten)
HyperV auf HP ML10 Gen9 (Nicht ausführlich getestet)
-> Erkennt ML10 Software Raid als einziges System zuverlässig von alleine (schon während der Installation).
-> Die Installation des Hypervisors auf einen USB Stick ist nicht möglich bzw. gestaltet sich unbeschreiblich schwierig und unzuverlässig. Ich habe darin sehr viel Zeit verschwendet und würde dies nicht empfehlen.
-> Sehr Ressourcen-Fressend im Vergleich zu Proxmox
Citrix XenServer
-> Erkennt software Raid nicht auf Anhieb, daher habe ich meine Versuche sofort abgebrochen, da ich die Schnauze voll hatte.
_______________________________
HP Smart Array spezifische Tipps:
HP Smart Array und Debian / Proxmox
Der HP P410 RAID Controller funktioniert sehr gut mit ProxMox 3.x und 4.x. (Nicht nur der, auch viele andere).
HP SmaryArray controllers können über das CLI TOOL (hpssacli), verfügbar direkt von HP verwaltet werden:
HP Smart Array und Vmware 6.5
Die HP-Tools unter VMWare funktionierten bei mir gar nicht. Als Vendor wird "HP" erwartet, wurde durchs System aber "HPE" (HP Enterprise) ausgegeben. hpssacli lies sich dann nach manuellem ändern des Installationspakets (Löschen der Vendor-Voraussetzungen/Prüfungen) zwar irgendwann installieren, erkannte aber den Controller nicht.
Stromverbrauch meines Settings
Wie beschrieben stecken in meinem HP ProLiant ML10 Gen9 Server 2xHDD's, 1xSSD, 1 HP Raid controller, 8GB ECC HP Ram, als Hypervisor läuft Proxmox.
Dieses Setting verbraucht im Idle Modus laut meinem "revolt Digitalen Energiekostenmesser" ziemlich genau 30-30,2 Watt. Laufen 3 virtuelle Maschinen mit durchschnittlich 2-3% CPU Last (Nachtrag: Des gesamten Hostsystems, nicht pro VM) liegt der Verbrauch bei 31,7 bis 33,5 Watt.
Langzeit-Erfahrung
Der Server läuft bei mir nun seit knapp 2 Monaten 24/7 absolut fehlerfrei als Multimedia-Gaming-Teamspeak-Website-AllInOne-Datenkrake mit 3 VM's.
Fazit: Keine Abstürze, keine Crashes, keine Fehler, kein Datenverlust. Wenn's läuft, dann läuft's. Einzige Ausnahme: Der Intenso Micro Line USB Stick auf dem mein Hypervisor lief hat sich am Anfang 2 Mal zerrissen, dann habe ich eine SSD eingebaut. Mein HyperVisor läuft im No-Logging-Modus, wenn ich administrativ nichts mache werden keine/kaum Daten/Logs auf die SSD geschrieben, um sie nicht unnötig zu belasten.
Ich hoffe ich kann Interessenten / Problemsuchern damit weiterhelfen.