[Kaufberatung] Proxmox Hardware

[naadar]

Hallo,

meine beide Synology NAS müssen aus Altersgründen raus. Bin jetzt auf der Suche nach einem HomeBuild Server für

-> Ablöse der NAS-Funktion der Synology (mind. 6 HDDs)
-> Virtualisierung von dzt. 6 VMs (2x Win, 4x Linux)
-> bei Möglichkeit Aufbau eines HomeLabs mit weiteren 10 VMs
-> Proxmos als OS
-> Emby Server/Plex Server, Webserver, SFTP

Was ich derzeit habe
-> 19" Rack (600x600)
-> 4U Gehäuse (geschenkt und leer)

Hab von Server-Bau bisher keine Erfahrung. Die Threads hier im Forum hab ich großteils gelesen, schlauer bin ich trotzdem nicht
Weitere Infos hab ich mir hier geholt www.serverbuilds.net aber da gehts ja hauptsächlich um den Bau von "reinen" NAS-Lösungen.
Das einzige was mir den Einstieg erleichtern hat, war

Faustregel: Für zu Hause reicht 1151 für fast alles

Weitergebraucht hats mich aber nicht

Könnt ihr mir Tipps bzw. Hardware-Empfehlungen geben? Gibts einen Xeon, welcher unbedingt sein muss?...

 

[Haithabu84]

Die Frage ist doch wohl eher: Wieviel bist du bereit auszugeben?

Nach oben sind bekanntlich keine Grenzen. Bei deinen Anforderungen sind viele Kerne von Vorteil und ausreichend Arbeitsspeicher. Linux würde ich dann LXC-Container verwenden, die man sehr gut skalieren kann, aber dazu noch 2 Qemu-VMs? Da wird es selbst mit einem Quad-Core Xeon mit HT knapp. Danach kommt es drauf an, wie ausfallsicher es sein darf: Soll es eine Redundanz der Daten geben? Soll das OS ebenfalls redundant sein? Raid1, Raid10 oder mit Parität?

Wenn es extra ausfallsicher sein muss, kommst du an ZFS nicht vorbei. Was bei der Hardware-Anforderung eine ganze Schippe drauf legt. Da muss dann mindestens ECC-Ram verwendet werden und ausreichend schnelle Festplatten/SSD.

Fragen über Fragen.

 

[Trambahner]

Und es kommt drauf an: was tun diese VMs. Wenn die nur vor sich hin idlen, kann ich viel mehr über Überbuchung nachdenken, als wenn die Kerne dauernd feuern müssen.

 

[naadar]

Danke für eure Antworten...hab mir schon beim Schreiben des Posts gedacht, dass ich mehr Info liefern muss!

2 Win-VM dienen als Entwicklungsumgebungen für .net bzw. Java Projekte. Die VMs liegen derzeit auf meinem PC, wo sie bei Bedarf gestartet werden - was derzeit täglich passiert.
4 Linux-VMs dienen jeweils als Server-VMs für SFTP, Emby/Plex und Webserver. Da ist aber die Idee, diese durch Docker Container abzulösen

ZFS muss sein - dass ich dafür ECC RAM brauche weiß ich. Proxmox als OS muss nicht ausfallssicher sein.

Was ich gestern noch gefunden habe, gebraucht, ist folgendes:
HP ProLiant DL380p Gen8
2x Xeon E5-2620
48GB RAM
um ~600 Euro
SAS/SATA Platten müsste ich noch nachrüsten

Ist das für meine Anforderungen genug oder bin ich da komplett daneben? Hab überhaupt keinen blassen Schimmer, wie groß ich die CPU bzw. den RAM definieren muss.

 

[Haithabu84]

Was ich gestern noch gefunden habe, gebraucht, ist folgendes:
HP ProLiant DL380p Gen8
2x Xeon E5-2620
48GB RAM
um ~600 Euro
SAS/SATA Platten müsste ich noch nachrüsten

Ist das für meine Anforderungen genug oder bin ich da komplett daneben? Hab überhaupt keinen blassen Schimmer, wie groß ich die CPU bzw. den RAM definieren muss.

Also der sollte mehr als ausreichend sein. Habe den 2620 selbst hier und in der Routine stößt der bisher kaum an seine Grenzen. Bisschen mehr Ram kann man dann später immer noch nachrüsten. Aber die CPUs sind eine gute Basis. Bei den Gen8 würde ich aber schauen wie die Festplatten angeschlossen werden, wenn es ein Onboard-Raidcontroller ist, würde ich da gleich schauen das du einen zusätzlichen HBA-Extender-Karte gleich nachbestellst. Die machen wohl sehr oft Probleme in Verbindung mit ZFS. Auch bei einer HP-Zusatzkarte wäre ich vorsichtig, die müssen meist noch in den IT-Mode geflasht werden, damit die mit ZFS kompatibel sind. ZFS unterstützt keine Hardware-Raidcontroller!

Für Proxmox würde dann eine 0815-SSD reichen, am besten installiert mit ext4 und lvm. Danach separaten ZFS Pool aus beliebiger Kombination aus SSD oder HDD für Daten/VM. Da kommt es dann wiederum drauf an, wieviel Geld du ausgeben willst und wie wichtig deine Daten sind und welchen Durchsatz im Lesen/Schreiben du haben willst.

 

[naadar]

Also der sollte mehr als ausreichend sein. Habe den 2620 selbst hier und in der Routine stößt der bisher kaum an seine Grenzen. Bisschen mehr Ram kann man dann später immer noch nachrüsten.

Ah, gut zu wissen, dass ich wenigstens bei der CPU und RAM zumindest in der richtigen Range unterwegs bin

wenn es ein Onboard-Raidcontroller ist, würde ich da gleich schauen das du einen zusätzlichen HBA-Extender-Karte gleich nachbestellst. Die machen wohl sehr oft Probleme in Verbindung mit ZFS. Auch bei einer HP-Zusatzkarte wäre ich vorsichtig, die müssen meist noch in den IT-Mode geflasht werden, damit die mit ZFS kompatibel sind

Wäre ich da nicht besser dran, mir die Teile gleich einzeln zusammenzustellen?

 

[martingo]

Ich konnte einen ML350p gen8 abstauben ehe er in die Presse gegangen wäre. Dürfte bis auf die Form nahezu identisch zum DL380p gen8 sein.
Nettes Teil, aber ist natürlich schon durstiger als ein Microserver. Habe mit Proxmox im idle ca. 95W (1x E5-1230v2, 12x 8GB RAM, 2x 146GB SAS, 6x 1TB SAS).

In der Regel dürfte ein P420i RAID Controller verbaut sein, den man auf HBA umstellen kann und dann auch Vollzugriff auf jede einzelne Disk hat. Zu beachten ist jedoch, dass dieser kein BIOS hat, man davon also nicht booten kann. Es ist jedoch sehr einfach, die Boot Partition auf eine kleine 1GB SD-Karte oder einen internen USB Stick zu verschieben.
HBA-Mode aktivieren: HBA Modus auf HP P420 aktivieren – Busche.org (hpssacli war bei meiner Version des SPP in PATH schon enthalten, der Wechsel in das (nicht existente) Verzeichnis /opt/hp/ entfiel)
Boot-Partition Proxmox verschieben: Proxmox+ZFS installed on Hp DL360p : homelab

Ich denke, dass Du für 600€ die Features _und_ Leistung beim Selbstbau nicht erreichen wirst.

Nachtrag: Dedizierte HBA für Gen8 sind H200/H210/H220.

 

[Opticum]

Habe auch durch Zufall einen ml350p ergattert, überlege meinen ml310e damit zu ersetzen, nur fehlt mir dafür ein LFF Rahmen mit Backplane :-/ Bei den HP Servern ist unter Proxmox das Problem mit dem Durchreichen der Hardware. Man kann dies aber wohl irgendwie umgehen. IOMMU ist wohl das Zauberwort: PCI Passthrough not working on HP ML310e Gen8 | Proxmox Support Forum

Es gibt mittlerweile wohl eine Möglichkeit das ganze für bestimmte PCI Slots zu deaktivieren um pass-through zu ermöglichen: HP Proliant Microserver Gen8 - RaidController HP P410 - Passthrough Probleme | Proxmox Support Forum und hier das HP Advisory dazu: HPE Support document - HPE Support Center

 

[naadar]

Habe auch durch Zufall einen ml350p ergattert, überlege meinen ml310e damit zu ersetzen, nur fehlt mir dafür ein LFF Rahmen mit Backplane :-/ Bei den HP Servern ist unter Proxmox das Problem mit dem Durchreichen der Hardware. Man kann dies aber wohl irgendwie umgehen. IOMMU ist wohl das Zauberwort: PCI Passthrough not working on HP ML310e Gen8 | Proxmox Support Forum

Es gibt mittlerweile wohl eine Möglichkeit das ganze für bestimmte PCI Slots zu deaktivieren um pass-through zu ermöglichen: HP Proliant Microserver Gen8 - RaidController HP P410 - Passthrough Probleme | Proxmox Support Forum und hier das HP Advisory dazu: HPE Support document - HPE Support Center

Danke für die wichtige Info!

- - - Updated - - -

Ich konnte einen ML350p gen8 abstauben ehe er in die Presse gegangen wäre. Dürfte bis auf die Form nahezu identisch zum DL380p gen8 sein.
Nettes Teil, aber ist natürlich schon durstiger als ein Microserver. Habe mit Proxmox im idle ca. 95W (1x E5-1230v2, 12x 8GB RAM, 2x 146GB SAS, 6x 1TB SAS).

In der Regel dürfte ein P420i RAID Controller verbaut sein, den man auf HBA umstellen kann und dann auch Vollzugriff auf jede einzelne Disk hat. Zu beachten ist jedoch, dass dieser kein BIOS hat, man davon also nicht booten kann. Es ist jedoch sehr einfach, die Boot Partition auf eine kleine 1GB SD-Karte oder einen internen USB Stick zu verschieben.
HBA-Mode aktivieren: HBA Modus auf HP P420 aktivieren – Busche.org (hpssacli war bei meiner Version des SPP in PATH schon enthalten, der Wechsel in das (nicht existente) Verzeichnis /opt/hp/ entfiel)
Boot-Partition Proxmox verschieben: Proxmox+ZFS installed on Hp DL360p : homelab

Ich denke, dass Du für 600€ die Features _und_ Leistung beim Selbstbau nicht erreichen wirst.

Nachtrag: Dedizierte HBA für Gen8 sind H200/H210/H220.

Ja, habs mir grob durchgerechnet...die 600€ würd ich beiweitem überschreiten.

Die Infoartikel sind super, danke dafür.
Den Proxmox Stammtisch-Artikel hier am Board hab ich angefangen zu lesen, ist aber sehr viel Info darin versteckt.

 

[naadar]

Welchen würdet ihr eher nehmen?

HP ProLiant DL380p Gen8
2x Xeon E5-2620
48GB RAM
450GB HDD
~600 Euro

Dell PowerEdge R730
2x XEON E5-2630 2.40Ghz
64GB RAM
6 x 600GB SAS 10K
~800 Euro

 

[martingo]

Auch wenn ich HP Fan bin: wenn Du die Platten nutzen kannst/willst, spricht alles für den Dell.

 

[Opticum]

finde beides relativ teuer ehrlich gesagt. Die HDDs wirst du sicher eh gegen SSDs tauschen wollen. 64 GB Ram (4x16 Module) kosten auf ebay ca. 100-120 €
Da ich nur HP Geräte kenne (natürlich auch deren "Verhalten") würde ich eher zu dem ProLiant greifen. Das die 19" Varianten laut sind, ist dir ja bestimmt bekannt.

Ein 600er Schrank ist allerdings zu kurz für die beiden Server.

 

[martingo]

Ach, stimmt. Er schreibt ja 600er Rack. Da dürfte fast kein größerer HP/Dell reinpassen. Die haben ja schon eine Nettolänge von fast 70cm. Da ist ein 800er schon zu klein.

 

[naadar]

Ein 600er Schrank ist allerdings zu kurz für die beiden Server.

Oh, daran hab ich noch gar nicht gedacht...sh***
Welche Server-Type würden denn in mein Rack passen???

 

[martingo]

Supermicro oder doch selbst bauen.

 

[Haithabu84]

Bei Supermicro bekommst du unterschiedlich lange Rackschienen für fast jedes Chassis. Da kann man dann sogar Chassis verwenden, die prinzipiell für das Rack zu tief sind, aber die hängen hinten dann einfach über. Dell und auch HP wüsste ich leider nicht das die soetwas im Portfolio haben.

 

[martingo]

Die Rackschienen sind bei HP verstellbar. Die würden vielleicht auch in ein 60er noch passen. Außerdem könnte man jeden Server auch auf einen Boden oder Schönen legen.
Aber Server hinten raus schauen lassen???

 

[Haithabu84]

Die Rackschienen sind bei HP verstellbar. Die würden vielleicht auch in ein 60er noch passen. Außerdem könnte man jeden Server auch auf einen Boden oder Schönen legen.
Aber Server hinten raus schauen lassen???

Bei Supermicro gibt es meistens für jedes Chassis mindestens zwei Rackschienen-Versionen. Beispiel: Für das Chassis 825TQC gibt es die Standard-Rail und die Short-Rail MCP-290-00058-0N

Kommt halt drauf an, wie sehr einem Ästhetik am Herzen liegt. Wenn es nur ein 0815-Gestell ist, warum nicht? Bei einem richtigen Schrank, kommt es dann eben auf die Maße der Außenwände an... da würde bei einem 600er tatsächlich nicht passen.

 

[naadar]

Supermicro oder doch selbst bauen.

Selber bauen ist dann doch wieder zuviel für mich...hab keine Ahnung welches Mainboard, welche zusätzlichen Komponenten wie Raid-Controller uä.
Dann noch das passende Gehäuse für 60er Schrank...

 

[Haithabu84]

Selber bauen ist dann doch wieder zuviel für mich...hab keine Ahnung welches Mainboard, welche zusätzlichen Komponenten wie Raid-Controller uä.
Dann noch das passende Gehäuse für 60er Schrank...

Man kann es auch wieder komplizierter machen als es ist...

Man nehme Geizhals und klicke sich durch die Kategorien.

Über das Gehäuse habe ich gutes gelesen und war auch mal mein Favorit:

Fantec SRC-2080X07 ab Preisvergleich Geizhals Deutschland

Ansonsten hat Supermicro im 1HE-Bereich viel bezahlbares, was Gehäuse angeht die weniger als 600mm Tiefe haben.

Dann weiter: Mainboard.

Beim Mainboard im Serverbereich kommst du nicht an Supermicro vorbei. Der größte Profit kommt mit der hohen Kompatibilität. Ein Mainboard von HP, Dell oder Fujitsu zicken bei Fremd-Hardware gerne mal rum. Hat man das Mainboard, schaut man quer noch zu den CPUs und was man sich für Leistung verspricht. Da kann ich generell zwei Websites dafür empfehlen:

Intel® Product Specifications

PassMark - CPU Benchmarks - List of Benchmarked CPUs

Intel Ark um zu schauen ob die CPU die gewünschten Features hat und CPU Passmark kann man Prozessoren in der Leistung vergleichen. Hat man CPU+Mainboard, hat man prinzipiell auch schon Arbeitsspeicher. Danach noch SSD und HDD Combo wählen.

Zum Beispiel:

Obengenanntes Gehäuse, hat schon Backplane für die HDD-Einschübe
Mainboard, mit SAS3008 kann man direkt an die Backplane hängen:Supermicro X10SRH-CLN4F retail ab Preisvergleich Geizhals Deutschland
CPU: Intel Xeon E5-2620 v3, 6x 2.40GHz, tray ab Preisvergleich Geizhals Deutschland
RAM:Samsung RDIMM 16GB, DDR4-2666, CL19-19-19, reg ECC (M393A2K40CB2-CTD) ab Preisvergleich Geizhals Deutschland

Die Teile solltest du bei Ebay gebraucht auch zu einem deutlich günstigeren Kurs bekommen. Muss ja nicht unbedingt die Config sein, aber so kann es aussehen. Das CLN4F ist ein ziemlich geiles Board, habe ich oft verwendet, weil es alles bietet was man braucht. Dazu dann noch einen Kühler und ein Netzteil mit EPS12-Stecker... fertig.

 

[Haithabu84]

Oder mal noch einfacher...

Im Forum bietet einer die hier an: Forum de Luxx

Dazu ein Board wie das hier: Supermicro X11SSL-nF retail ab Preisvergleich Geizhals Deutschland

Unterstützt zwar nur UDIMM, aber immerhin ECC. Der E-2176G hat auch fast ein drittel mehr Leistung als der von mir erst genannte 2620.

 

[naadar]

Mein Schrank steht im Keller, Design und Geräuschpegel sind mir egal
würde sich sowas anbieten? ja, das Teil würde hinten rausstehen - aber das wäre ja kein Problem oder?

Mainboard: Supermicro X9DRI-F
2x CPU: Intel Xeon E5-2620 6x2Ghz
48GB DDR3-ECC RAM (6x8GB) - es sind viele Slots frei
6x2TB HDD (es sind 2 Slots frei) - Raid Controller LSI 9260-8i
redundantes Netzteil
19" Gehäuse mit 4HE
32GB SSD
~500 Euro

- - - Updated - - -

Man kann es auch wieder komplizierter machen als es ist...

Man nehme Geizhals und klicke sich durch die Kategorien.

Das hab ich ja gemacht, nur mit wenig Server Wissen kommt man da nicht weit
Brauch ich überhaupt ein Dual-Xeon-Board mit 2x E2600 oder reicht da ein Single CPU MB?

Zum Beispiel:

Obengenanntes Gehäuse, hat schon Backplane für die HDD-Einschübe
Mainboard, mit SAS3008 kann man direkt an die Backplane hängen:Supermicro X10SRH-CLN4F retail ab Preisvergleich Geizhals Deutschland
CPU: Intel Xeon E5-2620 v3, 6x 2.40GHz, tray ab Preisvergleich Geizhals Deutschland
RAM:Samsung RDIMM 16GB, DDR4-2666, CL19-19-19, reg ECC (M393A2K40CB2-CTD) ab Preisvergleich Geizhals Deutschland

Mit solchen Infos kann ich arbeiten, da hab ich jetzt was, wonach ich in Ebay suchen kann bzw. mir was "zusammenstellen". Danke!

Obengenanntes Gehäuse, hat schon Backplane für die HDD-Einschübe
Die Teile solltest du bei Ebay gebraucht auch zu einem deutlich günstigeren Kurs bekommen. Muss ja nicht unbedingt die Config sein, aber so kann es aussehen. Das CLN4F ist ein ziemlich geiles Board, habe ich oft verwendet, weil es alles bietet was man braucht. Dazu dann noch einen Kühler und ein Netzteil mit EPS12-Stecker... fertig.

[/QUOTE]
Das sind eben solchen Wissen, das ich nicht habe...ein Netzteil muss einen EPS12-Stecker haben, die Backplane für HDDs ist dabei....
Da hätt ich mir leichter getan, wenn ich einen gebrauchten, fertig zusammengestellten Server gekauft hätte.

Aber naja, ohne Arbeit kein Vergnügen
Ich mach mich mal an die Recherche, jetzt da ich zumindest einiges an Infos von dir/euch bekommen habe!!

 

[Haithabu84]

Du musst halt schauen, was du an Leistung benötigst. Du kannst natürlich dir auch DUAL-CPU-System bauen. Ist ebenfalls ohne Probleme machbar und entsprechende Teile solltest du ebenfalls auf Ebay gebraucht finden.

Aber nicht denken, dass zwei CPU gleich doppelte Leistung bedeuten. Meist hat man 60-70% der Rohleistung übrig, der größte Vorteil ist halt - mehr Kerne.

Ich würde schon Richtung 6-Kerner mit HT gehen. Die Linuxe in Container und zwei Windows KVM, sollte das gehen. Vorausgesetzt das die meiste Zeit im Idle betrieben werden. Kommt auf deinen Workload an.

 

[naadar]

So, hab mich mit den obigen Informationen was zusammengestellt:

Gehäuse: Fantec SRC-2080X07, 2HE (1670)
Mainboard: Supermicro X11SSL-CF retail (MBD-X11SSL-CF-O)
CPU: Intel Xeon E-2176G, 6x 3.70GHz, tray (CM8068403380018)
RAM: Samsung DIMM 16GB, DDR4-2666, CL19-19-19, ECC (M391A2K43BB1-CTD)
Netzteil: EVGA SuperNOVA GS 650 650W ATX 2.3 (220-GS-0650-V2) --> passt nicht ins Gehäuse
Netzteil: Seasonic 400W, EPS12V, 2HE Servernetzteil (SS-400L2U)
Reicht denn da das 400W Teil??
CPU Kühler: Thermaltake Gravity i2 (CLP0556-D)
Gehäuselüfter: 4x Arctic F8 PWM PST CO, 80mm (AFACO-080PC-GBA01)

HDDs für ZFS Verbund (NAS-Ersatz) entweder
Seagate Exos E 7E8 4TB, 512e, SAS 12Gb/s (ST4000NM0125)
oder
Seagate Constellation ES.3 4TB, SAS 6Gb/s (ST4000NM0023)

Die SSDs dienen als Speicher für die Windows-VMs
Silicon Power Ace A55 256GB, SATA (SP256GBSS3A55S25)
Silicon Power Ace A55 512GB, SATA (SP512GBSS3A55S25)

Fragen hab ich zu den Kabeln:
Diese SAS8087 Verbindungskabel brauche ich 2x, oder? Damit verbinde ich das Mainboard mit den Backplanes des Gehäuses? Gewinkelt müssen sie sein, da ansonsten im obigen Gehäuse ein Gehäuselüfter nicht dreht, da er beim Kabel ansteht.

Weiters welche Kabeln für die Verbindung der SAS-Drives mit der Backplane? Blicke mich da nicht ganz durch. Brauche ich da Break-Through Kabeln oder andere SAS-Verbindungskabeln?

Danke!

 

[fleischkarussel]

Hallo Leute,

falls es nicht unbedingt neue Hardware sein muss, ich schau gerade selbst nach was besserem.

Refurbished Servers, PCs, Workstations Parts | Bargain Hardware

Mein Favorit ist der hier, leider gerade out-of-stock.
SuperMicro CSE-815 X9DRi-LN4F+ E5-2600 V2 1U 4x 3.5 (LFF)

 

[Trambahner]

Das X11SSL hat keine SFF 8087, sondern SFF 8643.
Diese SSDs sind aus der Ultravalue-Einsteigerklasse und haben keinen Dram-Cache und laufen damit Gefahr, sehr schnell sehr langsam zu werden. Solche SSDs vertragen keine Last. IMO eine schlechte Wahl.