Hypervisor Home Server

[bigtank]

Hallo

Ich überleg mir ein super hypervisor zu bauen. Ich dachte da an proxmox image für KVM und OpenVZ (für container). Ich habe so einige board von Supermicro gesehen die neben SATA auch SAS zur Verfügung stellen. Im Moment habe ich ein Asrock Fatal1ty Z77 Pro MB mit 32GB Patriot RAM (no ECC) und einen i7 quad core CPU von Intel drin.
Für ein paar Linux und einen M$ Server reicht das völlig aus aber wenn ich dann noch weitere guests wie ADC Systeme mit jeweils 12GB RAM miteinbinde, dann sind die 32 GB schnell ausgeschöpft.

Daher der Gedanke, ein richtiges System mit Ausbaufähigkeit bis bspw. 512GB (ECC) RAM (Supermicro können das).

CPU
Neben RAM muss die CPU auch gut gewählt werden. Ist ein 10-Core überdimmensioniert oder auf was ist bei einem solchen Hypervisor bzgl. CPU zu achten? Gibt es sowas wie eine Faustregel zu RAM/CPU Dimmensionierung?

Disk
Gibt es allenfalls eine Empfehlung in diesem Umfeld nicht nur SATA, sondern auch gelich SAS zu verwenden?

Mein Plan ist, dass ganze in ein "HAF X" Gehäuse zu bauen (daher ATX standard).

Merci für euer Feedback
bt

 

[Eye-Q]

10 Cores haben wir teilweise noch nicht mal bei Kunden für Hosts mit Terminal- und Datenbankservern...

Faustregeln gibt es eigentlich nicht, es kommt immer darauf an, wie viele Benutzer über welche Anwendungen auf das System zugreifen und wie performant das alles sein soll. Manche Anwendungen brauchen mehr CPU-Power, andere so gut wie gar keine, dann gibt es wieder Anwendungen, die viel RAM benötigen, andere eben sehr wenig. Deswegen kann man mit so einer pauschalen Beschreibung keine echte Empfehlung geben.

 

[bigtank]

... und wie ist das mit DISK I/O?

Was für DISK's können für ein solches setup empfohlen werden?
Das SupermicroBoard unterstützt sowohl SATA wie auch SAS: Supermicro | Products | Motherboards | Xeon® Boards | X10SRH-CLN4F

Wird SSD auch für die KVM Guests verwendet oder doch eher andere HDD Typen?

 

[Eye-Q]

Sag mal, schreibe ich chinesisch? Bei so pauschalen Beschreibungen kann man keine Empfehlungen geben, in Hinblick auf alles, außerdem hast Du überhaupt nicht geschrieben, was Du für ein Budget hast. Wenn Du also detailliert deine Anforderungen und dein Budget aufschreibst, kann dir auch geholfen werden, in dieser Form aber nicht.

Prinzipiell kann man natürlich so viel Hardware da hin stellen, dass die vollkommen überdimensioniert ist (10 Kerne, 256 GB RAM, 8 SSDs im Hardware-RAID 10 mit Cache und BBU) und somit alles extrem schnell läuft, aber ob das in dein Budget passt, ist wieder eine andere Sache.

 

[pumuckel]

Sag mal, schreibe ich chinesisch?

reg 2015 und 4 Beiträge --- und nein du schreibst nicht Chinesisch

 

[GrayDeath]

Die SAS Platten aber nur als Backup ... für die VMs kommen nur Business Grade SSDs (INTEL) in Frage.

 

[olqs80]

Ich würde ja zu einem Cisco C240 M4 tendieren, da kommt man mit den 64GB Modulen auf 1536 GB Ram auf 2U ;-)

 

[NiclasM]

 

[pumuckel]

nu haut nicht auf ihm rum : 25.11.15 20:13 zuletzt aktiv ..... der wehrt sich nicht

 

[bigtank]

Hi Alle

Ich möchte an dieser Stelle das Thema nochmal aufgreifen. @Eye-Q: Nein, sprichst kein chinesisch. Ist nur nicht mein Gebiet .

Ich habe mich mal umgesehen und habe folgende Komponeten gesehen:

MB: Supermicro Mainboard X10SRH-CLN4F (ATX)
RAM: Kingston DDR4 Memory ECC Reg. 128GB 4-Kit 2133MHz
CPU: Intel CPU Xeon E5-2630 v3 2.4 GHz (8 Core, 16 Threads, vermutlich überdimmensioniert)
CASE: Cooler Master PC Gehäuse HAF X (XL-ATX)
Kosten soweit 2'600.- und will mit HD's, PS etc. 3000.- nicht überschreiten.

Ich habe einige Linux Guests und ein Windows Server (DNS, AD, IIS für Testzwecke) am laufen.
Ein paar Linux Guests komsummieren in Zukunft 6x12gb RAM, daher mein Sizing fr 128gb RAM Total (mit Ausbau bis 256gb).

Harddisk setup Frage:
Ich habe noch keine Ahnung was für und wieviele HD's ich verwenden soll in diesem Setup.
Daher, keine Ahnung was für ein RAID Sinn macht. Habt Ihr da einen Vorschlag?

Ich habe bspw. ein paar Webserver welche von einem Data Server die DB (MySQL) und Webdaten via NFS konsummieren.
(Ich lade/mounte bspw. die Apache konfig für die Webserver von dem Data Server via NFS)
Soll das alles auf SSD Disk betrieben werden oder macht es sinn, DB und Daten auf einem anderen HD Typ zu betreiben.

Power Supply Frage:
Beim PS habe ich auch immer meine Krämpfe um ein passendes PS auszuwählen. Wie macht Ihr das? Einfach mal 1000Watt PS einbauen fertig oder gibts da noch etwas zu beachten?

Wie schon erwähnt ich bin kein Crack was HW angeht und daher frage ich Euch um Hilfe an.
Falls Ihr noch mehr Infos braucht um nicht mit mir "chinesisch" sprechen zu müssen einfach melden ;-).
Und Falls Ihr noch etwas sieht was ich zu diesem Setup benötigen würde bitte erwähnen.

Vielen Dank für Eure HILFE!
bt

 

[konfetti]

Ganz ehrlich, in dem Preissegment macht man eigentlich keine Bastellösungen, sondern setzt auf Dedizierte Server-Hardware.
Beim Storage kommt es auch wieder darauf an, wie viel Deine Software benötigt. - vlt. ist eine Mischung aus SAS-HDD und SSD ja etwas für Dich?

Ich habe bei mir daheim z.B. Diskless ESX-Server laufen, die von einem Storage mit mittlerweile SAS/SATA/SSDs mit Storage versorgt wird.
Applikationen, bei denen der Diskspeed egal ist (W2K8 AD - bootet sehr selten, idlet sonst nur rum z.B.) liegen auf nem SATA-Storagebereich
DB-Applikationen auf dem SSD-Bereich und alles was sonst noch öfter bootet im SAS-Bereich.

Verbrauch der VMs liegt momentan bei ca. 1TB (Ohne Snapshots und Backup)

 

[bigghost]

Hatte mal gelesen das man 50 IOPS pro VM auf dem Imagepool haben sollte.
Rechnen wir jetzt mal mit 10 VM´s sollte der Diskpool ca.500 IOPS flott sein.
Mit SSD natürlich flott abgedeckt. Bei SATA wären dafür mal schnell 10 Drives 7k im RAID5 nötig.

Wenn Budget ok und nicht XXX TB´s benötigt wird einfach SSD´s einsetzen und gut ist.

 

[fdsonne]

Auch die Frage nach dem Storage kann man so nicht beantworten...

Es kommt irgendwann der Punkt, da kauft man HDDs rein wegen der IO-Durchsatzerhöhung und nicht wegen dem Platz, zumeist kommt man dann mit SSDs billiger/besser weg.
Auch muss man bedenken, ein shared Storage bedeutet idR. auch, eine VM kann den kompletten Speed nutzen und alle VMs müssen sich den kompletten Speed teilen.
Bei mehreren VMs die zur selben Zeit gebootet oder geupdatet werden oder wo zeitgleich installiert wird, geht sehr schnell einem Disk-Storage die Puste aus. Das Problem liegt einfach an der physik, Kopfbewegungen kosten Zeit, um so mehr davon stattfinden, desto mehr Zeit geht für "sinnfreies" Warten drauf. Um dem entgegen zu wirken, kann man schnelle Caches nutzen, bspw. eine Storage Appliance mit viel viel viel RAM, der sowohl read, als auch write wirkt/greift.

Auch fehlt hier der Preis für sinnige Empfehlungen, wenn du "nur" ~400€ für "HD's, PS etc." frei hast, kann so viel nicht drin sein. Weder bekommst du damit einen brauchbaren Storage Server gebaut, noch extravagante Flash-Speicherlösungen.
Bin mir nun nicht ganz sicher, wie das KVM/Promox macht, aber bei anderen Lösungen brauch es allein für Swap/RAM Abbilder der VMs schon mal den Platz in der Größe des Host-RAMs. Bei dir nun 128GB, später vllt 256GB... mit 2x256GB SSDs im Softwareraid 1 biste aber schon fast 200€ los, ohne überhaupt Platz für Daten zu haben, 2x1TB 7,2k SATA Disks kosten dich auch über 100€, wenn auch mehr Platz vorhanden -> dafür bei geschätzten 10+ VMs aber auch wohl unzureichenden Speed. Du könntest beides kombinieren, 2x256GB SSDs + 2x1TB 7,2k Platten je im Software Raid 1, kostet dann keine Ahnung irgendwas von 250-300€ und es bleiben 100€ für den Rest wie das Netzteil und "etc", also Kabel, CPU Kühler, Lüfter whatever...
Viel mehr wird es aber nicht für den Preis


Ich sag dir aber eins, vor allem in Testumgebungen, also wo man mehr oder weniger aktiv Zeit dran verbringt, wirst du ohne SSDs schnell die Lust verlieren, vor allem dann, wenn dein(e) Client(s) länger schon Flashstorage nutzen und du durch tagtägliche Nutzung dessen/derer SSD Speed gewohnt bist.


übrigens, was spricht denn gegen ein gebrauchtes System?
Bspw. gibts S1366 und teils auch die erste S2011 Gen. mittlerweile für sehr günstig... heist viel CPU Power für wenig Geld, Boards sind neu zwar schweine teuer, aber ausgemusterte Stangenserver gibts wie Sand am Meer... 8GB Reg. ECC DDR3 "will" heute auch keiner mehr, bei 2x CPUs bekommst oft 18-24 Riegel rein um entsprechende Mengen zu erhalten.
Das bringt dir bei gleichem oder gar deutlich mehr Speed deutlich weniger Kosten für die Basis, selbst alte Westmere Xeons sind alles andere als langsam, vor allem ggü. so ner stino 2,xGHz Mittelklasse E5 CPU.
Das Einzige, was dagegen spricht wäre A) oftmals recht laut, B) eben alt/gebraucht, kann also morgen auseinander fallen und C) geringere Energieeffizienz... dafür bleibt eben mehr über für Storage virtualisierung lebt in erster Linie von RAM (Menge) und Diskperformance, CPU Speed meist/oft eher untergeordnet...

Aber Finger weg von S771 -> die saufen Strom ohne Ende!!

 

[bigtank]

@fdsonne
Danke für Dein Feedback!

Ich habe von @basterino folgenden Eintrag gelesen: [Guide] NAS/Server Hardwareguide 2018
und unter seinem "Spoiler" die Main-Server konfig studiert. Sieht aus nach einem Eigenbau. Soviel Erfahrung habe ich mit Server Systemen nicht aber sowas in der Art wäre der Hammer. Damit könnte ich vieles machen ohne gleich an Engpässe zu stossen.

Oder hast die ein Standard-Server in der Art schon gesehen den es fix fertig zu kaufen gibt?

Mein Ziel:
- All-in-one System
- Hypervisor (bei einem Neubau ist mir Egal welcher, einfach einer der taugt. Mit ESXi bin ich sonst immer gut gefahren.)
- NAS für die ganze Familie


Danke für Dein Feedback!
bt

 

[flxmmr]

Ist das jetzt dein ernst ?

 

[butcher1de]

Der Typ ist schon Geil... alle 2 Jahre eine Antwort und immer noch nicht sein Server fertig ^^ Das ist bestimmt der Neuland Berater der noch Kanzlerin

 

[RcTomcat]

@fdsonne
Danke für Dein Feedback!

Ich habe von @basterino folgenden Eintrag gelesen: [Guide] NAS/Server Hardwareguide 2018
und unter seinem "Spoiler" die Main-Server konfig studiert. Sieht aus nach einem Eigenbau. Soviel Erfahrung habe ich mit Server Systemen nicht aber sowas in der Art wäre der Hammer. Damit könnte ich vieles machen ohne gleich an Engpässe zu stossen.

Oder hast die ein Standard-Server in der Art schon gesehen den es fix fertig zu kaufen gibt?

Mein Ziel:
- All-in-one System
- Hypervisor (bei einem Neubau ist mir Egal welcher, einfach einer der taugt. Mit ESXi bin ich sonst immer gut gefahren.)
- NAS für die ganze Familie


Danke für Dein Feedback!
bt

Nimm einen Standard 19 Zoll Server. Einen gebrauchten Dell 720XD oder dergleichen, installiere da ESXi, Proxmox oder Hyper-V drauf und dann dein NAS etc als VM.
Da kommt es auch zu keinen Engpässen sofern du RAM etc richtig dimensionierst. Falls IO fehlt ein paar SSDs nachkaufen.

Edit: Zum Beispiel sowas:
2x Google Search Appliance - GSA - Dell PowerEdge R720xd G100 | eBay
- Intel Xeon Processor, 6 Cores E5-2640 2.50GHz Processor
- System RAM 96GB/1333Mhz
- QUAD Gigabit Ethernet FM487
- PERC H710P 1GB Mini Mono RAID Controller 6Gb/s TY8F9
- 2 x 1100W Power Supplies NTCWP
- 8x 1 TB 7.2k SAS
- 1x 100 GB SSD
Und das ganze gleich 2 mal . Damit kannst du dann sogar einen Cluster erstellen (Proxmox, ESXi benötigt eine Lizenz)

 

[Firebl]

Bei 3000€ Budget könnte man auch einen schönen DELL Poweredge T440 mit zwei Xeon Silver nehmen, dann brauch er dahiem kein 19" Rack. Langt auch als NAS und Testumgebung wenn die Familie mal größer ist.

 

[butcher1de]

Leute rafft Ihr nicht das der TE wieder für 2 Jahre verschwindet ? Spart euch die ganze Mühe.... Einfach mal die Daten der Fragen und Antworten anschauen...

 

[bigtank]

Leute rafft Ihr nicht das der TE wieder für 2 Jahre verschwindet ? Spart euch die ganze Mühe.... Einfach mal die Daten der Fragen und Antworten anschauen...

mit den 2 Jahren hättest Du fast recht gehabt ;-) aber nur fast um es genau zu nehmen.

 

[Psycho85]

mit den 2 Jahren hättest Du fast recht gehabt ;-) aber nur fast um es genau zu nehmen.

Hast du den mittlerweile ein System am laufen ? 😂