ESXi Server und das auch noch einigermaßen Stromsparend

[server247]

Kurzes Update:
Non-ECC Ram läuft. habe gerade einen einzelnen 4GB SAMSUNG Riegel reingesteckt ECC RAM raus und der Fujitsu startet bis ins ESXI
NVME Adapter im PCIe Slot läuft ebenfalls und wird unter ESXI erkannt.

Der Dell T30 braucht mit 4 gestarteten VMs unter ESXI 6.5 37W da wird der Fujitsu hoffentlich drunter liegen.

 

[ITnetX]

Danke für die Info.. dann werd ich mir mal so ein Barebone holen und Probieren…

 

[solfolango]

Kurzes Update:
Non-ECC Ram läuft. habe gerade einen einzelnen 4GB SAMSUNG Riegel reingesteckt ECC RAM raus und der Fujitsu startet bis ins ESXI
NVME Adapter im PCIe Slot läuft ebenfalls und wird unter ESXI erkannt.

Der Dell T30 braucht mit 4 gestarteten VMs unter ESXI 6.5 37W da wird der Fujitsu hoffentlich drunter liegen.

Wie zufrieden bist du mit deinem Kistchen nach den paar Tagen? Ich suche auch gerade nach einer ESX Plattform

 

[hs_warez]

vielen Dank für eure Antworten und sorry für die späte Rückmeldung.

Ich habe in der Zwischenzeit einen Fujitsu TX1320 M3 mit 8GB ECC Ram und einem Pentium G4560 gekauft. Das schöne an dem Gerät: ESXI 7 läuft out of the Box und ist auch in der Compatibility List. Stromverbrauch liegt bei ca. 11W im Idle unter ESXI 7 ohne eine aktive Maschine. Da lag der Dell T30 schon deutlich höher (meine bei 30W). Der Fujitsu wird nun erstmal die Ablösung für die Futro S920 Firewall. Bin aber zuversichtlich auch den Dell durch einen Fujitsu abzulösen. Ob es der TX1320 M3 oder M4 wird, weiß ich noch nicht. Der M3 kann leider auch nur 64GB RAM, der M4 128GB, beides UDIMM.

Ich halte euch auf dem Laufenden

Beste Grüße

Hm, sehr interessant!

Der TX1320 M3 hat wirklich einen so niedrigen Stromverbrauch?

Bin gerade beim Aufbau einer Firewall mit Futro S930 - wenn ich den obigen Verbrauch sehe, dann schwenke ich ev. auch nochmals um - dann könnte ich auch ein paar Dinge virtuell darauf betreiben.


LG

 

[Dj-Crasher]

Hallo Zusammen,
wir würden gerne einen ESXI-Server zusammen Stellen.
Doch leider habe ich keine erfahrungen mit der Hardware für einen ESXI-Server.
Da bin ich auf dieses Forum gestoßen, und habe mich gefragt ob Ihr mir helfen könnt.
mal zu den Eck-Daten:
Server Dell oder HP
Wieviel RAM
Wieviel HDD

es sollen ca. 30 VMs ( win10pro) installiert werden, davon werden rund 15 eingeschaltet.
weiterhin sollen 6 Server (ab 2016) installiert werden, davon würden 3 -4 eingeschaltet.

Die Win10pro VMs haben keine große aufgabe, sie stellen nur eine VPN verbindung her.
Die Server werden zum Testen von neuerungen und eigenen tests gebraucht.

Im ganzen sollte der Server mit 15 VM-PCs und 3 VM-Server die gleich zeitig laufen zurecht kommen.

Also ich hoffe auf eure Hilfe.

Mit freundlichen Grüßen
Dj-Crasher

 

[asche77]

--> Systemhaus.

 

[Dj-Crasher]

Hallo,
das habe ich angefragt. Doch leider wollten die mir kein Angebot ohne bezahlung geben.
Daher dachte ich das hier schon mal jemand etwas in der Große gemacht hat.
So damit ich eine Vorstellung bekomme was der Server für hardware vorraussetzung braucht.

Da ein ESXI-Server für mich neuland ist. :-(

 

[gea]

Prinzipiell als Pi mal Daumen Regel:

Kritisch bei ESXi ist die Netzwerkkarte und der Plattenkontroller.
Wenig Probleme machen meist Intel Nics und 12G BroadCom LSI HBA/Raid Controller.
Alte Hardware und allerneueste Hardware meiden

CPU
ab 8 Core, Intel oder AMD, für Top Performance gerne das Doppelte

RAM
Ich würde Speicher überbuchen vermeiden. Win 10 sollte min 4 GB RAM haben, Win Server min 8GB
Mindestram ist damit ca 64GB RAM, gut wäre das doppelte, ECC RAM sehr empfehlenswert.

Lokale Platte: Speicherbedarf je Windows min ca 30 GB, also min 1GB, gerne das Doppelte
Als Speicher würde ich 12G Enterprise SAS (WD SS530/540 oder Seagate Nytro) oder NVMe nehmen, sehr gut wäre etwas mit Powerloss Protection (Datacenter Platten)

alternativ: ESXi All in One (mit virtualisiertem ZFS SAN und NFS Storage) vgl mein Howto https://napp-it.org/doc/downloads/napp-in-one.pdf
Bringt bessere Datensicherheit und Performance bei ausreichend RAM sowie einfaches Snapshotten und Backup per ZFS Replikation

 

[Hipiman]

Hm, sehr interessant!

Der TX1320 M3 hat wirklich einen so niedrigen Stromverbrauch?

Bin gerade beim Aufbau einer Firewall mit Futro S930 - wenn ich den obigen Verbrauch sehe, dann schwenke ich ev. auch nochmals um - dann könnte ich auch ein paar Dinge virtuell darauf betreiben.


LG

Ich habe gerade den Fujitsu TX1320 M3 mit 8GB DDR4 ECC, Intel G4560 und 500er SSD Samsung getestet.
Mit Opnsense Baremetal 22.7 komm ich auf 17Watt im IDLE.
PowerD hat fast nichts gebracht.

*neue Infos

mit C-State C3 wird der Stromverbrauch auf 14Watt im IDLE reduziert:
sysctl dev.cpu.0.cx_lowest=C3
sysctl dev.cpu.1.cx_lowest=C3
sysctl dev.cpu.2.cx_lowest=C3
sysctl dev.cpu.3.cx_lowest=C3

Ob es Einschränkungen dadurch gibt, habe ich noch nicht getestet.
Nach einem Neustart sind die Einstellungen wieder weg.


Ich installiere morgen mal Proxmox, TrueNAS Scale und vielleicht auch ESXi.

11Watt könnte mit ESXi möglich sein.

 

[Reflexion]

Kann hier auch nochmal mein Text reinkopieren, habe 2* TX1320 M3, den dritte habe ich dann heute bestellt, werden für 29€ verkloppt. fairer Preis m.M.n.
Falls es um ECC geht und eine dedizierte (oder die "VGA compatible controller: Matrox Electronics Systems Ltd. MGA G200e") langt, kann ich noch die Kiste empfehlen, sofern M.2/ 2,5" Laufwerke angepeilt werden, bei 3,5" würde ich eher das Mainboard&Nt&Kühler&Lüfter ausschlachten und in ein separates Blade verfrachten, für ~29 € versandkostenfrei Dank der ECC/non ECC Erkennung des C236 nicht verkehrt.

Wenn man bissl bock auf basteln hat.
Oder ne Lösung für Virtualisierung benötigt.. ebay.de/itm/294205416795

In meinem Fall, mit einem G4560&2x16GB DDR4 ECC /uReg&2x 500GB SSDs (
Crucial MX500) und 3x 1TB WD Blue SN570 1TB__1 mit unRAID/aktiven Powertop und VGA&IPMI auf 22Watt Idle. Wobei smb Übertragung bezogen auf die Leistungsaufnahme kaum etwas ändert (NVMe array 1Parity u. 2Daten)..

Eine Sache noch, ist Fernwartung aktiv, dann darf man sich über 4Watt Dauerlast im ausgeschalteten Zustand freuen, ich kann aber beruhigen...ich kenn andere Systeme die gerne 10Watt fressen....und Dockingstation die auch noch mehr verputzen Grüße gehen raus an Dell WD16 (TB).

 

[Ceiber3]

Fernwartung braucht doch bei Fujitsu IRMC immer ne extra Lizens.

 

[Reflexion]

Fernwartung braucht doch bei Fujitsu IRMC immer ne extra Lizens.

.....ja für preiswerte 300€ und mehr ^^ allerdings sind Grundfunktionen wie Updates, Statusabfrage, Temps, Lüfterdrehzahl..ect. reboot, .. auch so vorhanden, vKVM ist nicht mit dabei so oder so ist man aber deutlich besser bedient mit einem PiKVM.

 

[Gohst_oc]

Hat der TX1320 M3 eigentlich eine integrierte Grafikkarte im iRMC? Also könnte man z.B einen sehr günstigen e3 1220 v6 verwenden (der hat keine iGPU).

 

[Hipiman]

Hat der TX1320 M3 eigentlich eine integrierte Grafikkarte im iRMC? Also könnte man z.B einen sehr günstigen e3 1220 v6 verwenden (der hat keine iGPU).

Ja die Matrox G200E vom iRMC wird verwendet.
Ein VGA Port ist an Board.

Noch als Info:

Windows 10 im IDLE 13 Watt.
TrueNas Scale 14 Watt.

Bist jetzt bin ich nicht unter 13 Watt gekommen.

ESXi mit 11 Watt ist also so nicht möglich.

13-15 Watt sind realistisch.

Hab 10 Stück bestellt gehabt und 8x war eine Blende dabei.

Kein iRMC war mit einer Lizenz aktiviert.

Damit ist das iRMC natürlich sehr eingeschränkt nutzbar.

Fast alle Server hatten eine Laufzeit von bisschen mehr als 2 Jahren.

Damit sollte die Hardware eigentlich noch 3-6 Jahre laufen.

OPNsense Setup
TX1320 M3 29 Euro
8GB ECC RAM 25 Euro
250GB SSD 30 Euro
G4560 15 Euro
I350-t4 35 Euro
IDLE 18 Watt


134 Euro für eine sehr stabile und Performante Firewall finde ich sehr gut.

 

[Gohst_oc]

Spannend, nen 1220 v6 kriegt man bei Aliexpress für unter 40€ - da läge sogar ein gutes Setup für den schmalen Taler drin.

Konkurrenz für den Dell T20/30 ?

 

[Hipiman]

Windows 10 mit LSI 3008 \ H330 verbraucht 26 Watt im IDLE.
Das sind 13 Watt Energieverbrauch nur für den HBA.

Da kann ich einen zweiten TX1320 M3 betreiben........

Dachte eher an 7-9 Watt.

 

[hs_warez]

Dann messe ich meinen „Server“ lieber nicht.

Ja, so um die 10 Watt kursierten immer schon für einen Dell H330 - der produziert ja auch ordentlich Wärme und die muss auch wo herkommen.

LG

 

[asche77]

Spannend, nen 1220 v6 kriegt man bei Aliexpress für unter 40€ -

Mir zeigt AliExpress dazu keinen einzigen Treffer (!) - was mache ich falsch?

 

[Reflexion]

So, das 29 € Dingen ist angekommen, gut verpackt und mit wenig Staub, gibt demnach nix zu meckern von meiner Seite aus, sogar mit halber Fratze und einem Schlüssel. Meine Werte, nachdem ich alles nur mögliche im BIOS abgeschaltet habe was nicht zwingend erforderlich ist (iRMC/CSM/ CPU Versetzung auf c7 usw..) liegt mit einem 32GB Riegel (kein ECC Modul), Windows 10 Pro USB Boot mSATA, und einem G4560 Pentium mit angeschlossener VGA auf HDMI 2*USB Sticks (einmal für die Spannungsversorgung des VGA HDMI Converters ) bei schwankend ~15Watt, muss mal schauen wie ich das noch runter geprügelt bekomme, BIOS und auch Netzwerk...iRMC wurden zuvor auf den aktuellen Stand gebracht. Ich vermute mal, dass hier der C Chipsatz wie auch Grafikeinheit nicht die effizienteste ist. In Anbetracht des Preises und der PCIe Schnittstellen( offene!) ist das alles tolerierbar.

 

[Hipiman]

So, das 29 € Dingen ist angekommen, gut verpackt und mit wenig Staub, gibt demnach nix zu meckern von meiner Seite aus, sogar mit halber Fratze und einem Schlüssel. Meine Werte, nachdem ich alles nur mögliche im BIOS abgeschaltet habe was nicht zwingend erforderlich ist (iRMC/CSM/ CPU Versetzung auf c7 usw..) liegt mit einem 32GB Riegel (kein ECC Modul), Windows 10 Pro USB Boot mSATA, und einem G4560 Pentium mit angeschlossener VGA auf HDMI 2*USB Sticks (einmal für die Spannungsversorgung des VGA HDMI Converters ) bei schwankend ~15Watt, muss mal schauen wie ich das noch runter geprügelt bekomme, BIOS und auch Netzwerk...iRMC wurden zuvor auf den aktuellen Stand gebracht. Ich vermute mal, dass hier der C Chipsatz wie auch Grafikeinheit nicht die effizienteste ist. In Anbetracht des Preises und der PCIe Schnittstellen( offene!) ist das alles tolerierbar.

1x 32GB DDR4 ?

Also ich habe alles aktualisiert und es kommt mit 32GB Sticks ECC auf jedenfall zu Fehlern.

Ohne ECC habe ich nicht ausprobiert.

Es dauert einen Augenblick und dann geht nichts mehr bis zum Austausch.

Kannst ja weiter berichten…

3-4 Watt sind dauerhaft das iRMC

Also grob 9-11 Watt verbraucht der Server ohne iRMC.

 

[Reflexion]

1x 32GB DDR4 ?

Also ich habe alles aktualisiert und es kommt mit 32GB Sticks ECC auf jedenfall zu Fehlern.

Ohne ECC habe ich nicht ausprobiert.

Es dauert einen Augenblick und dann geht nichts mehr bis zum Austausch.

Kannst ja weiter berichten…

Jaja, das Feature kenn ich von meinem Asus P10S-i Intel C232 LGA 1151 Mini-ITX, hat wunderbar mit einem 32GB ECC uREG Riegel mitsamt unRAID harmoniert, sobald aber mehrere GB auf die Kiste via SMB liefen, kam es zu Aussetzer im Netzwerk und erreichbarkeit.. Das Ganze fing sich irgendwann wieder, war dann kurze Zeit aber erneut kaum erreichbar, Riegel durch 16GB ECC uREG getauscht und alles lief wunderbar, auch wenn er unbedingt die 3200MHz Version fressen wollte 2666MHz (alles Kingston ECC uREG Reihe) wollte er nicht, auch wenn eh nur 2400MHZ dabei herumkamen...muss man alles nicht verstehen, offiziell ist aber auch pro Slot max 16GB angegeben, muss man fairerweise sagen. Der TX1320 M3 zickt „noch nicht“ herum egal bei welchen ECC uREG oder non RAM.

Vllt noch eine Sache am Rande,...
Ich hatte gehofft, auch wenn kein DP Ausgang vorhanden ist, dass durch den c23(6!) Chipsatz die iGPU sich durchziehen lässt, in unRAID wollte ich so auf Jellyfin mittels Vaapi iGPU Transkodierung ermögliche, es wird aber lediglich die G200e durchgezogen, schlaue Menschen bekommen das vielleicht gedreht, ich werde das Mainboard nach Jumpern absuchen, im BIOS_uEFI fand sich kein Eintrag zur Deaktivierung der aufgelöteten Matrox Graka.

 

[snow4l]

Weiß jemand wie die sata Platten an Strom kommen wenn ich das TX1320 M3 aus dem Gehäuse ausbaue und das Netzteil wiederverwenden möchte ?

gibt es eine art 8 pin zu Sata Strom Adapter oder muss ich zwingend das backplane verwenden ? Danke

 

[Reflexion]

..es gibt an dem Netzteil ein freien Molex Anschluss wie auch die Anbindung für ein Disc Laufwerk (Adapter für 2,5"&M.2 Einbettung in 5. 25″ Slim Laufwerk gibt es ja ebenfalls), an dem Du dann weitere Adapter anhängen kannst. Bei der 29€ Kiste war eine
"Fujitsu Backplane for TX1320 M3 4x 2.5" HDDs A3C40176097
mit SFF-8643 SATA / SAS 36-pin Interface" dabei, mit dem entsprechenden Kabel welches am Mainboard aufgesteckt wird, alternativ an ein HardwareRAID Controller, wenn dieser sich geleistet wird.

 

[warchild]

Ich hatte gehofft, auch wenn kein DP Ausgang vorhanden ist, dass durch den c23(6!) Chipsatz die iGPU sich durchziehen lässt, in unRAID wollte ich so auf Jellyfin mittels Vaapi iGPU Transkodierung ermögliche, es wird aber lediglich die G200e durchgezogen,

Wird die IGPU denn in UNRAID erkannt? Intel GPU Treiber sind initialisiert? Was sagt gputop?

 

[Reflexion]

....jap alles da, installiert, es wird die G200e erkannt. HW seitig wie auch im Handbuch habe ich nichts zum Thema gpu passthrough bisher nichts ausfindig gemacht. Generell ist es recht einfach und ich kenne auch die plugins, habe so einige Notebook Platinen zur HW dec. damit treiben können. in diesem fall bleibt wenn Software basteln nichts bringt nur ne P400 nachrüsten, gibt's ab und an auch günstig. GPUtop brachte keine Erkenntnis glaube es kam nur ne Fehlermeldung als Ausgabe. Genaueres reiche ich ggf. nach.

 

[27k1]

Noch als Info:

Windows 10 im IDLE 13 Watt.
TrueNas Scale 14 Watt.

Bist jetzt bin ich nicht unter 13 Watt gekommen.

ESXi mit 11 Watt ist also so nicht möglich.

13-15 Watt sind realistisch.

Powertop unter Truenas Scale genutzt?

In irgendeinem Thread hatte mal jemand ESXi mit Proxmox hinsichtlich Stromverbrauch verglichen. In dem Vergleich war Proxmox erheblich stromsparender (wenn ich das nicht falsch in Erinnerung habe).

 

[server247]

ESXi mit 11 Watt ist also so nicht möglich.

3-4 Watt sind dauerhaft das iRMC

Also grob 9-11 Watt verbraucht der Server ohne iRMC.

bei mir ist im Bios alles deaktiviert, was ich nicht benötige. Dazu gehört auch iRMC mangels Lizenz. Ebenfalls ist der Monitor abgestöpselt und auch eine Tastatur ist nicht angeschlossen. Das bringt nochmal 2-3W

Nach der langen Zeit melde ich mich zurück:
Die beiden Fujitsus laufen bisher ohne Probleme.
Auch die Wärme im Obergeschoss macht den beiden nichts aus. Keinerlei Abstürze o.Ä. Geräuschkulisse ist absolut ok (Abstellraum)

bin sehr begeistert und angetan von den Geräten. Für jemanden, der eine Alternative zu den Dell Geräten sucht, findet hier genau das richtige.

Beste Grüße