[Kaufberatung] ESXi Server - gebrauchte Profi Server Hardware oder neue Hardware?

[systemctl]

Hey,

meine Frage an die Runde hier: Würdet ihr euch für euren ersten ESXi Server (mit 4-6 VMs) einen gebrauchten Profi Server kaufen oder einen neuen Server selbst zusammenbauen?

Was mir wichtig ist: Performance, Lautstärke, Stromverbrauch.

Ich tendiere bisher selbst zu einem Neubau, jedoch schwanke ich zwischen normalen Mainboard oder Serverboard. Welches Mainboard genau (Hersteller/Modell) kann man empfehlen? i7, Ryzen oder doch ein Xeon? Wie viel RAM? 32 GB oder doch 64GB? Netzteil? HDDs? ESXi auf einer SSD installieren?

Für eure Tipps und Ratschläge wäre ich euch sehr dankbar!

 

[MicroCane]

Was für VMs sind das denn?

Da ergeben sich folgende Fragen:
Wieviel Ram wird benötigt?
Wieviel CPU Leistung wird benötigt?
Wieviel Speicherkapazität wird benötigt?
Wieviele IOPS (SSD oder HDD) werden benötigt?
Ausfallsicherheit wichtig?

ESXi sollte man auf eine SD-Karte installieren.

 

[systemctl]

1. Was für VMs sind das denn?

Da ergeben sich folgende Fragen:
2. Wieviel Ram wird benötigt?
3. Wieviel CPU Leistung wird benötigt?
4. Wieviel Speicherkapazität wird benötigt?
5. Wieviel IOS (SSD oder HDD) wird benötigt?
6. Ausfallsicherheit wichtig?

ESXi sollte man auf eine SD-Karte installieren.

1. Windows Server 2016, Ubuntu Server 16.04 LTS, mehrere Windows Maschinen (7/10), verschiedene Linux Distros (Ubuntu, openSuse), testweise andere Systeme
2. Ich denke 16 GB wäre minimum, 32 GB wären schon gut. (Aufrüstbarkeit bis zu 64 GB sollte drin sein oder?')
3. Das meiste werden die Windows Maschinen benötigen. Es werden die meisten VMs parallel laufen.
4. und 5. Ich denke 1-2 SSDs von 256 GB oder 500 GB + 1x 2 TB WD Red? Will noch einen HP MicroServer anschaffen und ihn als Datenkiste betreiben.
6. Ist nicht wichtig, da es eher als Homelab laufen soll. Testen, ausprobieren und lernen wird hier im Vordergrund stehen.

Danke dir für deinen Tipp, ich denke USB Installation wäre ideal oder nicht? Dann bräuchte ich keinen SD Karten Reader.

 

[MicroCane]

Die meisten Server haben einen SD-Kartenleser intern. Wenn nicht tut es aber ein USB-Stick genauso.

Man kann mit wenig CPU-Leistung recht viele VMs betreiben, solange diese die meiste Zeit nur idlen.
Müssen die Maschinen denn alle zeitgleich laufen? Falls nicht würden vermutlich schon 16GB problemlos reichen.

Schau dir mal den Dell T20 an, der bietet gute Performance mit ECC für wenig Geld.

 

[systemctl]

Müssen die Maschinen denn alle zeitgleich laufen? Falls nicht würden vermutlich schon 16GB problemlos reichen.

Schau dir mal den Dell T20 an, der bietet gute Performance mit ECC für wenig Geld.

In der Regel werden die meisten VMs im idle sein, solange ich an 1-2 Systemen aktiv arbeite.

Leider ist der T20 ausverkauft und lässt sich über DELL nicht konfigurieren. Andere Alternativen? Selbst bauen?

 

[Trambahner]

Ryzen läuft noch nicht mit ESXI. Bis 6.5.0 stürzt es einfach mit Purple Screen ab.

 

[MicroCane]

Selbstbau wäre natürlich auch eine Möglichkeit. Leider sind die Kosten meist höher.
Würde so Richtung Xeon E3 v5 (4c 8t) mit ECC Ram gehen.

Alternativ:
Dell PowerEdge T30, Xeon E3-1225 v5, 8GB RAM, 1TB HDD (30-0265) Preisvergleich Geizhals Deutschland
HP ProLiant ML10 Gen9, Xeon E3-1225 v5, 8GB RAM, 1TB HDD Preisvergleich Geizhals Deutschland

 

[systemctl]

@Trambahner: Danke dir für die Info! Lohnt sich das Warten darauf, dass ESXi mit dem Ryzen kompatibel ist, was Performance angeht?

@MicroCane: Ich schau mir das mal an.

 

[Trambahner]

Ich denke, VMware wird da sicher dran arbeiten, da man ja auch den Naples-Prozessor für Datacenter seitens AMD bringt. Wird also ne Frage der Zeit sein.

Für Homelab wäre der Ryzen mit 8c sicher hoch interessant auf nem ECC-fähigen Board.
Aber Server/Workstation Boards gibts ja auch noch nicht dafür. Is ja alles auf Gamer derzeit ausgerichtet.

 

[MicroCane]

die Ryzen CPUs sind aber auch nicht wirklich Workstation/Server CPUs. Ich vermute die erscheinen dann auch zu Naples.

 

[Trambahner]

Yup. Preis-/Leistung wird man dann auch sehen. Vorher ist für uns Käuferseite eh Glaskugel.

Durch die Ausrichtung auf Gamer würde ich auch nicht viel bzgl Kompatibilität mit Servergrade-Steckkarten erwarten, genug PCIe-Lanes hat es ja auch nicht wirklich und RAM ist auch so ne Sache wenn man alle 4 Slots befüllen will.

Da muss man wirklich abwarten.

 

[AliManali]

Hi

Ich habe seit 2011 einen LGA 2011 "Server" auf Consumerhardware-Basis. Würd ich nie wieder machen!

Pflicht wäre für mich heute:

• IPMI für den Remote Zugriff, da ich im Moment eine GPU nur für die Konsole benötige.
• ECC Speicher, obwohl kein Storage an dem Server hängt.
• VT-d

Weiter wäre schön:

• Wenn das Teil auf der HCL von vmware stehen würde.

Mit 32 GB RAM kommst Du relativ weit. Ich hatte mal auf 64 GB aufgerüstet mit der Zeit. Und die VM's würde ich alle auf SSD's packen, sonst machts auch nicht wirklich Spass. Mit der Installation auf einen USB Stick hatte ich nie Probleme. Kannst Du problemlos anstatt der SD Karte nehmen.

Und die WD RED, für was brauchst Du die? Die sind grottenlangsam bei mir. Ich habe uralte WD RE und WD RE4 drin, da ist's etwas besser. Meine VM's sind ähnlich gestrickt wie Dein Vorhaben. Ich muss aber dauernd wieder VM's löschen oder auf HDD verschieben, weil ich mit 2 TB SSD nicht hinkomme. Ich reservier die virtual Disks immer flat.

 

[systemctl]

Ich habe seit 2011 einen LGA 2011 "Server" auf Consumerhardware-Basis. Würd ich nie wieder machen!

Warum nicht?

Pflicht wäre für mich heute:

• IPMI für den Remote Zugriff, da ich im Moment eine GPU nur für die Konsole benötige.
• ECC Speicher, obwohl kein Storage an dem Server hängt.
• VT-d

Weiter wäre schön:

• Wenn das Teil auf der HCL von vmware stehen würde.

Kannst du ein Serverboard empfehlen?

Und die WD RED, für was brauchst Du die? Die sind grottenlangsam bei mir. Ich habe uralte WD RE und WD RE4 drin, da ist's etwas besser. Meine VM's sind ähnlich gestrickt wie Dein Vorhaben. Ich muss aber dauernd wieder VM's löschen oder auf HDD verschieben, weil ich mit 2 TB SSD nicht hinkomme. Ich reservier die virtual Disks immer flat.

Wollte mal ein FreeNAS virtuell laufen lassen oder keine gute Idee?

 

[MSN]

Kannst du ein Serverboard empfehlen?

Ich würde mich mal hier umsehen:

UP Xeon Motherboards | Motherboards | Products - Super Micro Computer, Inc.

auf jeden fall darauf achten, dass die Bezeichnung mit -F endet, das heißt IPMI!

Gruß,

Marc

 

[Liturgis]

1. Windows Server 2016, Ubuntu Server 16.04 LTS, mehrere Windows Maschinen (7/10), verschiedene Linux Distros (Ubuntu, openSuse), testweise andere Systeme
2. Ich denke 16 GB wäre minimum, 32 GB wären schon gut. (Aufrüstbarkeit bis zu 64 GB sollte drin sein oder?')
3. Das meiste werden die Windows Maschinen benötigen. Es werden die meisten VMs parallel laufen.
4. und 5. Ich denke 1-2 SSDs von 256 GB oder 500 GB + 1x 2 TB WD Red? Will noch einen HP MicroServer anschaffen und ihn als Datenkiste betreiben.
6. Ist nicht wichtig, da es eher als Homelab laufen soll. Testen, ausprobieren und lernen wird hier im Vordergrund stehen.

Danke dir für deinen Tipp, ich denke USB Installation wäre ideal oder nicht? Dann bräuchte ich keinen SD Karten Reader.

Ich würde dir auch in Richtung Dell PowerEdge T30 / HP ProLiant ML10 Gen9 raten die dürften als Spielwiese ausreichend sein. Ram dazu besorgen und es dürfte ausreichend performant sein. Du kannst dich diesbezüglich auch hier Dell PowerEdge T30 bzw. hier HP ProLiant ML10 Gen9 im Board einlesen und Fragen stellen.

Hi

Ich habe seit 2011 einen LGA 2011 "Server" auf Consumerhardware-Basis. Würd ich nie wieder machen!

Pflicht wäre für mich heute:

• IPMI für den Remote Zugriff, da ich im Moment eine GPU nur für die Konsole benötige.
• ECC Speicher, obwohl kein Storage an dem Server hängt.
• VT-d

Weiter wäre schön:

• Wenn das Teil auf der HCL von vmware stehen würde.

Mit 32 GB RAM kommst Du relativ weit. Ich hatte mal auf 64 GB aufgerüstet mit der Zeit. Und die VM's würde ich alle auf SSD's packen, sonst machts auch nicht wirklich Spass. Mit der Installation auf einen USB Stick hatte ich nie Probleme. Kannst Du problemlos anstatt der SD Karte nehmen.

Und die WD RED, für was brauchst Du die? Die sind grottenlangsam bei mir. Ich habe uralte WD RE und WD RE4 drin, da ist's etwas besser. Meine VM's sind ähnlich gestrickt wie Dein Vorhaben. Ich muss aber dauernd wieder VM's löschen oder auf HDD verschieben, weil ich mit 2 TB SSD nicht hinkomme. Ich reservier die virtual Disks immer flat.

Hier würde mich das "Warum nicht" aber auch mal brennend interessieren ich habe mit meiner Maschine aus der Signatur keinerlei Probleme und erfülle alle von dir genannten Kriterien.

Ok "Consumer"hardware habe ich gescheit überlesen, mein Fehler, tut mir leid. Ein passendes Mainboard ist für solch ein Unterfangen natürlich Voraussetzung.

 

[AliManali]

Hi

Naja, ich würde das mit der Consumerhardware nicht mehr machen, weil mir da die oben genannten Features fehlen.

Wenn Du noch etwas Gelduld hast, kaufst Du Dir am besten erst den Microserver, und experimentierst etwas da drauf. Bis Du da weiter bist, ist wohl auch die neue AMD Serverplattform draussen. Wenn es da nähere Infos dazu gibt, kannst Du Dich ja immer noch entscheiden, ob Intel oder AMD. Und den Microserver kannst Du dann wie vorgesehen als Datengrab nutzen.

Erfahrungen mit Storage auf dem ESXi habe ich keine, bzw. schlechte. Die meisten die das machen reichen wohl einen ganzen dedizierten Controller durch. Das geht nur mit ganz wenigen onboard Controllern, und wenn, dann mit speziellen Boards. Mit dem Chipsatz- bzw. ASmedia-Controller mit normalen vmdk auf den Platten hatte ich wie gesagt sehr miese Performance, obwohl die VM's auf anderen (SSD) Datastores liegen. Und da ich kein ECC RAM habe, verlasse ich mich bislang nicht auf das Storage. Wenn man dem überhaupt Storage sagen kann.

Serverboards kann ich keine empfehlen, da ich wie gesagt selber keins habe. Ich würd mich erst mal entscheiden, ob Du Dual oder Quadchannel willst. Und was Du für Erweiterungskarten planst, bzw. ob noch was durchgereicht werden soll.

Budged wär auch noch interessant zu wissen. Dann braucht so ein 24/7 Server in der Grösse reichlich Strom. Das läppert sich auch zusammen mit der Zeit.

Mit Consumerhardware meine ich z.B. die aktuellen Ryzen oder i7 aus #1. Ich persönlich würde da auch zu einem Supermicroboard, XEON Prozessor und ECC greifen. Aber da können die Anderen besser Auskunft geben.

 

[suchmich1983]

Ich habe zu Hause im Keller nen Microserver Gen8. Darauf laufen nen Ubuntu Server, ne Sophos UTM und ein Windows 2012 R2 mit AD, Exchange und Fileserver. Alles virtualisiert auf esxi.

RAM sind 16GB installiert. 1x SSD mit 256GB als Storage für die VMs und 2x 4TB WD RED als Datenloch.
1-2 zusätzliche VMs wären sicher kein Problem. Ausser vlt irgendwann der knapper werdende RAM.

Selbst mit dem Basis Celeron liefen diese VMs, einmal gebootet, wirklich ok.
Ich betreibe den Server aktuell mit einem XEON E3 1260L und Verbauch liegt so im Schnitt zwischen 38 und 42 Watt.

Für den Preis unschlagbar.

 

[the_pi_man]

Merksatz: Kein Server ohne IPMI! Habe auch den ersten Server mit IPMI im Aufbau und frage mich immer wie ich bisher ohne ausgekommen bin.

 

[konfetti]

ich habe nen DL360 G7 laufen, 2x Xeon L5630 und 144GB RAM - 4x 300GB SAS HDD im R5 am onboard Controller mit BBU - braucht mit zusätzlicher 4-Port NIC und noch 4GB FC-Karte um die 120W - die extra NIC und FC-Karte fliegen raus und demnächst kommen 4 SSDs rein - mit Thin Provisioning reicht der Storage auch dicke.

laufen tut darauf ein ESXi 6.5 der aber irgendwie mit dem Passthrough probleme hat - wollte eigentlich die NIC in ne pfsense VM durchreichen, da zickt der aber rum. - die virtuellen NICS schaffen leider kein GBIT durchsatz in der FW - mehr Tuning ist hier aber auch fast nicht möglich.
Großteil sind VMs als Spielwiese, testen verschiedener Systeme und Deployments - von den 8XX GB verfügbaren Speicher sind noch 500GB frei, bei überbuchung von knapp 2 TB derzeit.

iLO möchte ich auch nicht mehr missen, wobei ich erst 2 mal auf der iLO drauf war - vorher hatte ich kleinere Systeme im Einsatz, die sind jetzt alle weggefallen.

 

[suchmich1983]

ich habe nen DL360 G7 laufen, 2x Xeon L5630 und 144GB RAM - 4x 300GB SAS HDD im R5 am onboard Controller mit BBU - braucht mit zusätzlicher 4-Port NIC und noch 4GB FC-Karte um die 120W - die extra NIC und FC-Karte fliegen raus und demnächst kommen 4 SSDs rein - mit Thin Provisioning reicht der Storage auch dicke.

laufen tut darauf ein ESXi 6.5 der aber irgendwie mit dem Passthrough probleme hat - wollte eigentlich die NIC in ne pfsense VM durchreichen, da zickt der aber rum. - die virtuellen NICS schaffen leider kein GBIT durchsatz in der FW - mehr Tuning ist hier aber auch fast nicht möglich.
Großteil sind VMs als Spielwiese, testen verschiedener Systeme und Deployments - von den 8XX GB verfügbaren Speicher sind noch 500GB frei, bei überbuchung von knapp 2 TB derzeit.

iLO möchte ich auch nicht mehr missen, wobei ich erst 2 mal auf der iLO drauf war - vorher hatte ich kleinere Systeme im Einsatz, die sind jetzt alle weggefallen.

120 Watt ist aber schon mal ne Ansage. Läuft der 24/7?

 

[systemctl]

Hallo Leute! Sorry für die Abwesenheit, war bisschen offline beschäftigt.

Danke erstmal für eure Ratschläge, mittlerweile denke ich mir auch ohne IPMI, macht es keinen Sinn.

@suchmich1983: Wirklich ein hp microserver gen8 als vmserver? Was frisst der süße eigentlich an Strom mit deiner Konfiguration und läuft der bei dir 24/7?

 

[butcher1de]

Klar warum auch nicht. Der Würfel oder der größére ML10-V2 oder neuere haben doch alles was man braucht. Siehe meine unbeantwortete PN da noch SSD und Platten rein und fertig ist die Laube.

 

[konfetti]

natürlich läuft der 24/7 - da is das externe Storage noch nicht dabei
kommt halt immer drauf an, was man damit macht - vermutlich würden statt der 18*8GB RAM Riegel auch die Hälfte reichen <- ergo weniger verbrauch, aber solange das ganze System noch nicht final läuft bleibt es erstmal so.

Langfristig wird das ganze aber etwas umgebaut, ein Server für die Dinge, die 24/7 wirklich laufen müssen und einer, der bei Bedarf dann eingeschaltet wird.

Nen Microserver mag ja schön und gut sein, aber n Server, ist halt n Server und kein Stromsparwunder, wobei die aktuellen Systeme da echt gut sind. - der DL380 G5 braucht im Idle ohne das er was tut schon an die 200W bei einem Bruchteil der Leistung...

 

[suchmich1983]

Nen Microserver mag ja schön und gut sein, aber n Server, ist halt n Server und kein Stromsparwunder, wobei die aktuellen Systeme da echt gut sind. - der DL380 G5 braucht im Idle ohne das er was tut schon an die 200W bei einem Bruchteil der Leistung...

Na von Stromsparwunder spricht ja keiner. Aber bei dir is ja n Stromverbauchs-Wunder. Über 1000KW im Jahr wäre mir persönlich bißchen viel.

Aber klar, jeder hat andere Anforderungen etc...

 

[Steggi]

der DL380 G5 braucht im Idle ohne das er was tut schon an die 200W bei einem Bruchteil der Leistung

Wobei bei dem ja vor allem die FB-DIMMs an dem hohen Verbrauch Schuld sind. 10W pro Riegel! waren da leider noch üblich.

aber n Server, ist halt n Server und kein Stromsparwunder, wobei die aktuellen Systeme da echt gut sind.

So ist es. Hinzu kommt bei Serverhardware auch noch der höhere Verbrauch im ausgeschalteten Zustand, da IPMI und BMC permanent Saft ziehen.
An sich macht der TE mit einem aktuellen Xeon E3 nichts verkehrt. Leider fehlt mir noch die Info, ob die Kiste dann 24/7 laufen soll, oder eben nur bei Bedarf.

Wenn letzteres, dann tuts auch ein günstiger gebrauchter. Der zieht dann vielleicht etwas mehr Strom, ist dafür aber in der Anschaffung günstiger. Und das ältere Systeme generell Stromfresser sind, würd ich nicht direkt sagen.
Vor der Aufrüstung auf zwei CPUs kam ich mit einem E5-1620v1 auf einem Supermicro Brett auf unter 50W runter