Proxmox VE Host mit <3 Watt Idle-Verbrauch

[oelsi]

Ein gutes Jahr lang hatte ich einen Beelink P2 Mini-PC im HDMI Stick-Format als HTPC im Einsatz. Da dieser nun durch neue Hardware abgelöst wurde, habe ich mich gefragt, was man mit dem Ding noch so anstellen kann. Die Hardware-Basis besteht aus einem Intel Atom Z3735F SOC (Baytrail), 2GB DDR3L-Ram und 32GB eMMC Flash Speicher. Da der Atom ein waschechter Quadcore ist und VT-x unterstützt, habe ich den HDMI-Stick jetzt in einen Proxmox-VE Host umgewandelt.

tl;wr: Nach frickeliger Installation von Proxmox VE auf dem Beelink HDMI-Stick laufen sowohl LXC Container als auch KVM-VMs überraschend performant. Und das bei einer Leistungsaufnahme von weniger als 3W Idle und 5W unter Volllast.

Da der Beelink-Stick thermisch, sagen wir, sub-optimal designed ist, hatte ich ihn damals schon seiner Hülle beraubt und zwei Strangkühlkörper aus der Grabbelkiste mit Wärmeleitkleber befestigt. So bleibt er auch unter Last kühl genug, um nicht zu throtteln.

An den USB-Port ist ein USB 3.0 Gigabit Ethernet Adapter angeschlossen. Das im SOC integrierte WLAN nutze ich nicht.

Um Proxmox zu installieren, sind einige Klimmzüge notwendig. Intel hat die Baytrail-Atoms ausschliesslich für Low-Cost Windows- und Android-Tablets vorgesehen, die trotz 64bit CPU nur mit 32bit UEFI ohne Kompatibilitätsmodus ausgeliefert werden. Eine direkte Proxmox-Installation fällt somit flach. Der Umweg geht also über eine Installation von Debian Jessie, das in der multi-arch Version direkt 32bit und 64bit EFI Bootloader mitbringt und die Installation von 64bit Debian auf einem 32bit UEFI unterstützt.

Die Installation vom USB-Stick (-> Rufus) lief auch problemlos durch.

Leider hängte sich der Stick nach Reboot beim Laden der initrd reproduzierbar auf. Da das Problem bei einem testweise installierten Debian Stretch (testing) mit 4.6er Kernel nicht auftrat, habe ich den 3.16er Jessie Kernel dann nach Booten von einer Ubuntu Live CD in einer chroot-Umgebung gegen den aktuellen 4.6er Backports-Kernel getauscht. Danach bootete auch die Vanilla Debian Jessie Installation.

EDIT: Die Abstürze hingen wohl damit zusammen, dass ich die Root-Partition auf einem LVM-Volume installiert hatte. Liegt diese jedoch auf einer normalen Partition, bootet der Rechner auch mit den Standard Debian- und Proxmox-Kerneln.

Die folgende Installation von Proxmox VE nach Anleitung lief ohne Komplikationen durch. Leider wollte der Stick dann auch mit dem 4.4er PVE-Kernel nicht starten. Deshalb verwende ich weiter den 4.6er Debian-Kernel, der noch ein paar Modifikationen der Grub-Kommandozeile benötigte, um die richtigen cgroup-Parameter zu setzen. Ohne diese lassen sich sonst keine LXC-Container starten.

Da das Atom-SOC ja eigentlich für Mobilgeräte gedacht ist und somit auf maximales Stromsparen optimiert wurde, liegt die Leistungsaufnahme des Sticks im Headless-Betrieb bei gerade mal knapp 3W Idle. Auch unter Volllast habe ich noch nicht mehr als 5W gemessen. Damit liegt man klar in RasPi-Territorium, behält dabei aber trotzdem die Vorteile der x86-Plattform.

 

[GrayDeath]

geile Sache ! Respekt !

 

[Opticum]

Das ist eine ganz nette Concept Sache, aber was willst du mit 2 GB Ram groß machen? Wenn man zumindest USB 3.0 oder S-ATA hätte, das wäre interessant als Mini-Dateiserver... Gibts da evtl. Möglichkeiten?

 

[GrayDeath]

für FHEM reicht das schon mal

 

[besterino]

Hmmmm... Da muss ich doch gleich mal beim Lattepanda schauen wie das mit Virtualisierung ausschaut!

 

[oelsi]

Auf dem Lattepanda läuft doch ein 64bit Windows? Da müsste sich doch eigentlich Hyper-V aktivieren lassen?

...was willst du mit 2 GB Ram groß machen? ...

Vor ein paar Jahren gestellt, würde die Antwort auf die Frage lauten: Alles. Abseits vom vorherrschenden Tunnelblick auf verschlüsselten Multi-Terabyte-Storage und Plex-Transcoding gibt es tatsächlich viele weitere, auch im Heimbereich nützliche, Server-Dienste, die gar keine grossen Anforderungen an RAM, CPU und Netzwerkdurchsatz stellen. FHEM wurde ja bereits genannt, aber auch Dienste wie Web-Server, Owncloud, Ad-Blocking/Komprimierungsproxy, DLNA für die Mediensammlung, Torrent-Downloader, etc., laufen auf so einem Kleinstcomputer problemlos. Sogar ein simpler Minecraft-Server läuft, laut meinem Sohn, einwandfrei Auch eine Windows-XP VM findet in den 2GB RAM dicke Platz. Du siehst, mit ein wenig Fantasie und der Erkenntnis, dass selbst aktuelle Lowest-End Hardware für viele Alltagsaufgaben vollkommen ausreichend ist, kann man auch aus so einem Spielzeug noch viel realen Nutzen herauskitzeln. Obwohl ich natürlich zugebe, dass ich das Projekt eigentlich nur aus Spass am Basteln gestartet habe...

 

[Opticum]

oelsi: hoffe du hast mich nicht falsch verstanden Der Bastler in mir sagt "geiles Projekt", der Typ mit den zwei kleinen HP Servern sagt das ist nix für mich ;-)
In ein paar Jahren sieht die Welt bestimmt anders aus. SoC wird leistungsfähiger, daheim ist 10GBit glaub ich noch weit weg und Flash immer billiger.

Grundsätzlich finde ich die Idee vom Kleinstrechner mit wenig Stromverbrauch super, nach dem Motto "nur soviel wie nötig", ich würde allerdings hier vielleicht noch als Alternative einen Intel NUC vorschlagen mit 16 GB Ram. Der Verbraucht 5-10 Watt (je nach Modell) und da hast noch einiges Reserve.

 

[oelsi]

Klar, mehr geht immer und Reserven zu haben ist nie schlecht, zumal man das Stromverbrauchsthema auch nicht überbewerten sollte. Da ich aber ehrlich überrascht bin, wie gut Proxmox auf dem Teil läuft, bin ich ernsthaft am überlegen, ob ich nicht mal testhalber meinen bisherigen 24/7 AiO auf on-demand-only umstelle und die wenigen von uns genutzten 24/7 Dienste auf den Beelink Stick auslagere.

 

[besterino]

LOL... Danke für den Tipp Oelsi, es geht tatsächlich:

So'n 100 Euro Hyper-V Host hat schon was... sogar mit 4GB RAM! LUXXUS!

 

[oelsi]

 

[Opticum]

Ich werde am Wochenende einen kleinen Intel NUC den ich gebraucht geschossen habe als kleinen esxi oder Proxmox aufsetzen. Stromverbrauch soll um die 5 Watt liegen. Ich werde Fotos und Screenshots posten

 

[testm]

@oelsi: Interessantes Projekt, wenn auch nicht wirklich was für mich.
@Opticum: Das geht durchaus und leistet gute Arbeit.

 

[oelsi]

@Opticum: Bin schon auf den Bericht gespannt. Welche NUC hast Du denn?

 

[p4n0]

Darf ich fragen welchen Sinn das macht auf solch schwachbruestiger Hardware nen Hypervisor zu realisieren?

 

[sweetchuck]

Auf dem Lattepanda läuft doch ein 64bit Windows? Da müsste sich doch eigentlich Hyper-V aktivieren lassen?



Vor ein paar Jahren gestellt, würde die Antwort auf die Frage lauten: Alles. Abseits vom vorherrschenden Tunnelblick auf verschlüsselten Multi-Terabyte-Storage und Plex-Transcoding gibt es tatsächlich viele weitere, auch im Heimbereich nützliche, Server-Dienste, die gar keine grossen Anforderungen an RAM, CPU und Netzwerkdurchsatz stellen. FHEM wurde ja bereits genannt, aber auch Dienste wie Web-Server, Owncloud, Ad-Blocking/Komprimierungsproxy, DLNA für die Mediensammlung, Torrent-Downloader, etc., laufen auf so einem Kleinstcomputer problemlos. Sogar ein simpler Minecraft-Server läuft, laut meinem Sohn, einwandfrei Auch eine Windows-XP VM findet in den 2GB RAM dicke Platz. Du siehst, mit ein wenig Fantasie und der Erkenntnis, dass selbst aktuelle Lowest-End Hardware für viele Alltagsaufgaben vollkommen ausreichend ist, kann man auch aus so einem Spielzeug noch viel realen Nutzen herauskitzeln. Obwohl ich natürlich zugebe, dass ich das Projekt eigentlich nur aus Spass am Basteln gestartet habe...

Da ist was dran, aber meist sind solche Miniatur-PCs für das, was sie bieten, deutlich zu teuer (z.B. Intel Compute Stick). Komponenten wie in einem billigen Tablet, aber teurer und ohne Bildschirm - was soll das? Für 120 Euro (zzgl. Gehäuse und USB-Stick, wenn man das nicht rumfliegen hat) kann man sich einen ausgewachsenen PC mit Desktop-Komponenten zusammenstellen (z.B. https://www.mindfactory.de/shopping...221ad2e9998149407f33dd8e8e6f5462065f72622a670), wer will da noch mit Atoms anfangen? Ausnahmen würde ich mal bei Raspberry Pi und Co. sehen, die preislich deutlich niedriger liegen.

 

[oelsi]

Darf ich fragen welchen Sinn das macht auf solch schwachbruestiger Hardware nen Hypervisor zu realisieren?

Den gleichen wie bei der Realisierung auf einem HPC. Nicht vergessen: Der Hypervisor an sich hat per Design einen minimalen Hardware-Footprint.

[...] meist sind solche Miniatur-PCs für das, was sie bieten, deutlich zu teuer [...] wer will da noch mit Atoms anfangen?

Ich zum Beispiel Du vergisst in deiner Betrachtung die Faktoren Grösse, Lautstärke, Stromverbrauch. Nicht immer bestimmt die reine Rechenleistung den "Leistungs"-Teil im Preis/Leistungsverhältnis.

Ausnahmen würde ich mal bei Raspberry Pi und Co. sehen, die preislich deutlich niedriger liegen.

PC-Sticks wie meinen Beelink gibt's für unter 80 Euro - viel billiger kommt man mit RasPi & Co auch nicht weg.

 

[Opticum]

Komme zwar nicht auf die <3 Watt, aber hier mein NUC mit 4 GB Ram und 32GB SSD unter Proxmox mit laufender Ubuntu Installation...

 

[besterino]

Da muss ich nachher mal meinen Panda checken...

 

[besterino]

Nice: Win10pro mit Hyper-V Rolle bei 4,5W idle

Übrigens inklusive USB-Gbit-Ethernet-Adapter/Hub und Sender/Empfänger für Funk-Keyboard/Maus.

 

[Elmario]

Danke für deinen Bericht!
Habe schon lange nach einer minimalitischen (vor allem sparsamen) Plattform mit Virtualisierungsfeatures gesucht. Da kann ich wohl mal meinen alten Tomato-Router um einige Features entlasten

PS:
Deinem Post täten noch ein paar anfängliche Details ganz gut, z.B. welche CPU genau da drin steckt, mit welchem Takt, evtl. Übertaktbarkeit usw.
PPS: Sah das gerade auf dem Screenshot. Hat halt mit der Volltextsuche nicht funktioniert

 

[Opticum]

So mein 7.5 Watt FreeNAS Backup MiniPC kommt morgen an die Holzwand (Vesa Adapter sei dank!) neben die Fritzboxen bei der Verwandtschaft Witzigerweise schafft der N2820 ca. 400-450 Mbit AES schreibend auf die externe 3.0 Festplatte, das reicht für WAN Backup mehr als aus.

 

[oelsi]

Was würde man als PC-Bastler nur ohne Kabelbinder machen ...
Hat die HDD denn keinen Platz in der NUC? FreeNAS lässt sich doch vom USB Stick betreiben.

 

[Opticum]

oelsi: usb 3.0 reicht völlig aus, die Festplatte selbst ist wegen der Verschlüsselung eh auf 45MB/sec begrenzt. Intern ist eine 32 GB SSD drin die ich noch rumfliegen hatte, da ist auch der SWAP für Freenas mit drauf. Vorteil bei der ganzen Sache ist, ich kann die externe Festplatte ohne Probleme auswechseln und hab sie transportabel. Upgrade auf 2 TB ist auch geplant damit der Rest noch mit weggesichert werden kann

 

[oelsi]

Alles klar, ergibt Sinn.

Ich habe gerade nachgesehen, das Z3735F SOC unterstützt AES-NI. Ich werde die Tage dann mal ausprobieren, welcher Durchsatz sich real über die USB 2.0-Schnittstelle bei Verschlüsselung auf dem Beelink realisieren lässt.

EDIT: Hier die Ergebnisse der Durchsatzmessung. ZFS Send vom Fileserver zum Beelink PVE-Host über den USB 3.0 Gigabit Ethernet Adapter. Speichern auf USB 3.0 SSD, am zweiten (Micro-) USB-Port des Beelink-Sticks angeschlossen. Alle VMs/Container gestoppt.

Ohne Verschlüsselung:


Mit AES-256 Verschlüsselung


In beiden Fällen liegt der Durchsatz bei etwa 40 Mib/s und somit nahe am praktischen Maximum der USB 2.0 Schnittstelle. Die CPU-Last schwankt etwa zwischen 10-17% ohne Verschlüsselung. Mit Verschlüsselung auf dem PVE-Host sind es etwa 5-10% mehr. Die AES-NI Extensions im SOC zahlen sich also aus.