[Kaufberatung] Proxmox - welche oder wieviel Grafikkarten

[Ashampoo]

Hallo Zusammen,

ich stelle gerade einen Proxmox-Server zusammen. Die Frage ist ob ich GPUs brauche oder nicht.

Die Prämisse:
Für ein Kuka-Roboter-Labor soll aus mehreren unterschiedlichen Workstation (WS) eine "dicke" gemacht werden. Zentralisierung der Schnittstellen zur SPS, Robots und Kameras. Die Programmierung läuft unter 2x Win7-10 und 2x Ubuntu. Jedes OS braucht ca. 30-100 Gb Storage. NAS wird nach Umzug auf den anderen Campus vorhanden sein.

Budget ~5k€
Liefertermin: Mitte März

Nun habe ich bei Thomas-Krenn mal angefangen etwas zusammenzustellen:

Spoiler: Thomas-Krenn-Warenkorb

	1	2.741,10 €	2.741,10 €
2HE AMD Dual-CPU RA2208 Server *	1	1.578,20 €	1.578,20 €
Einsatzzweck: Proxmox 6.x	1
Supermicro Mainboard H11DSi (Rev. 2.0)	1	0,00 €	0,00 €
10x SATA-3 + 2x NVMe + 1x M.2	1	0,00 €	0,00 €
2x 1GBit/s on Board LAN	1	0,00 €	0,00 €
Full Remote Management (KVM over LAN, IPMI 2.0) inkl. Managementsoftware, DHCP Konfiguration	1	0,00 €	0,00 €
1x AMD EPYC 7252 (3,10 GHz, 8-Core, 64 MB)	1	0,00 €	0,00 €
64 GB (4x 16GB) ECC Reg ATP DDR4 3200 RAM (Premium)	1	370,00 €	370,00 €
Supermicro Kabel IPASS 0,5m (SFF8087 / 4x SATA)	1	10,40 €	10,40 €
Mini-SAS HD x4 Kabel (gewinkelt/gerade) 0,8m (SFF-8643 / 4x SATA)	1	26,50 €	26,50 €
Broadcom (LSI/Avago) MegaRAID 9361-4i SAS3 4x intern	1	371,00 €	371,00 €
Supermicro 10 Gigabit X550T RJ45 Dual Port Netzwerkkarte	1	265,00 €	265,00 €
2x 740 Watt redundantes Hot Swap Netzteil (80plus Platinum)	1	0,00 €	0,00 €
Ausziehbare Montageschienen	1	0,00 €	0,00 €
Schroff Kabelgelenkträger (inkl. Rackschrauben)	1	120,00 €	120,00 €
kein Front USB Kit	1	0,00 €	0,00 €
Keine Windows Vorinstallation	1	0,00 €	0,00 €
Essential-Paket (D): 24 Monate	1	0,00 €	0,00 €

Die Frage ist nun ob ich GPUs einsetzen sollte. An Software kommt eigentlich eher wenig Grafikintensives ins Spiel. Aber falls mal was sein sollte (CAD oder Deep Learning.. ) dann wäre es doch gut eine zu haben, oder?

Fehlt mir sonst noch etwas? Ich würde noch vier mal SSDs bestellen (SM833 480gib) für die VMs und eine M2 für Proxmox..

 

[l0n]

Mal eine Frage dazu:
Wieviel Overcommitment willst du bei den CPUs fahren?
Sich da eine FirePro reinzupacken aber dann mit zwei vCPUs zu arbeiten finde ich eher unpraktisch.

Zumindest verstehe ich deinen Warenkorb so?

 

[Ashampoo]

Mal eine Frage dazu:
Wieviel Overcommitment willst du bei den CPUs fahren?
Sich da eine FirePro reinzupacken aber dann mit zwei vCPUs zu arbeiten finde ich eher unpraktisch.

Zumindest verstehe ich deinen Warenkorb so?

Bin noch Anfänger, aber ich versuche deine Frage mal zu verstehen.
Du meinst, dass durch meine VMs die CPU nicht ausgelastet wird und dann eine FirePRO eigentlich nicht viel zu tun hätte?

 

[p4n0]

Gut gemeinter Rat:
Finger weg von Bastelloesungen.
Systemhaus beauftragen, was dann auch dafuer verantwortung uebernimmt wenn sich er Kuka mal ne Auszeit genehmigt..
Ist besser fuer die Zukunft deines Arbeitsplatzes

 

[Ashampoo]

Gut gemeinter Rat:
Finger weg von Bastelloesungen.
Systemhaus beauftragen, was dann auch dafuer verantwortung uebernimmt wenn sich er Kuka mal ne Auszeit genehmigt..
Ist besser fuer die Zukunft deines Arbeitsplatzes

Würde ich bei Firmen auch so machen, aber mein Arbeitgeber ist das Land BaWü und der Platz eine Uni hier Das System dient zum Lernen und probieren..

 

[p4n0]

Wenns so ist:
Proxmox rauswerfen, vmware rein, nvidia grid nutzen und damit laufen lernen.
Da kannste auch ne billige Quadro reinstecken, wird von vielen unterstuetzt.

 

[Ashampoo]

Das ist auch ne top idee! Sieht sehr interessant aus. Was wäre die Alternative wenn die Uni frei von laufenden Lizenzgebühren (Vmware und Grid) bleiben möchte? Proxmox ist kostenlos und somit anziehender...

 

[Stueckchen]

Ich weiß ja nicht wie viel CPU Power wirklich gebraucht wird, falls sich das in grenzenden hält und du GPU Beschleunigung brauchst: Intel E3 / I7 mit iGPU. Hier kannst du gvtg nutzen und die iGPU in virtuelle aufteilen und dann an VMs durchreichen. Das wird mittlerweile auch von PVE unterstützt.
Edit.: ob das die nun kommenden Intel Xe PCIe Karten auch können ist leider noch nicht bekannt, fals ja wäre das hier echt ein Einsatzzweck für die komischen Dinger.

 

[p4n0]

Wenn PVE virtuelle GPUs unterstuetzt, dann muss das sicher keine iGPU aus der CPU sein.

Bin leider nicht(mehr) fit in Proxmox. Daher mein Rat zu esxi.

@TE: Vllt ist im Homeserverthread jemand der Proxmox einsetzt und dir da helfen kann.

 

[l0n]

Eher umgekehrt, viele vCPUs auf wenigen physischen CPUs, da wird eine VM auf die andere Warten müssen bis da Rechenzeit frei ist.

 

[Ashampoo]

Wenn PVE virtuelle GPUs unterstuetzt, dann muss das sicher keine iGPU aus der CPU sein.

Bin leider nicht(mehr) fit in Proxmox. Daher mein Rat zu esxi.

@TE: Vllt ist im Homeserverthread jemand der Proxmox einsetzt und dir da helfen kann.

Also seit der 5.3 soll das gehen:

vGPU/MDev and PCI passthrough. GUI for configuring PCI passthrough and also enables the use of vGPUs (aka mediated devices) like Intel KVMGT (aka GVT-g) or Nvidias vGPUS.

Vielleicht ist Proxmox tatsächlich nicht das optimum und ein horizon advanced wäre besser? Ich lese mich nochmal ein und halte mal Rücksprache mit den Kollegen.

Ich weiß ja nicht wie viel CPU Power wirklich gebraucht wird, falls sich das in grenzenden hält und du GPU Beschleunigung brauchst: Intel E3 / I7 mit iGPU. Hier kannst du gvtg nutzen und die iGPU in virtuelle aufteilen und dann an VMs durchreichen. Das wird mittlerweile auch von PVE unterstützt.
Edit.: ob das die nun kommenden Intel Xe PCIe Karten auch können ist leider noch nicht bekannt, fals ja wäre das hier echt ein Einsatzzweck für die komischen Dinger.

Die CPU Power wird sich sicherlich in Grenzen halten. Falls ich mehr Leistung brauche, dann kann ich noch die bw-cloud nutzen (DataScience und co.. ).

Eher umgekehrt, viele vCPUs auf wenigen physischen CPUs, da wird eine VM auf die andere Warten müssen bis da Rechenzeit frei ist.

Na, das Verhätlnis wird eher cpu:vcpu 1:1 oder 1:0.9 sein. "Overcommiten" muss/will ich, glaube ich, nicht.

 

[l0n]

[...Na, das Verhätlnis wird eher cpu:vcpu 1:1 oder 1:0.9 sein. "Overcommiten" muss/will ich, glaube ich, nicht...]

Also maximal 8-10 VMs mit jeweils einer vCPU?
Bitte nicht falsch verstehen, aber riesige Leistungssprünge würde ich mir dann irgendwie nicht erwarten.

 

[danielmayer]

Ich kann lediglich berichten, dass eine AMD 7850 problemlos per passthrough unter Proxmox 6.0 seinerzeit an eine Win10-VM durchgereicht werden konnte, also "1:1". vGPU ging mit i3-7100 ganz gut unter Ubuntu Server 19.04.

 

[Stueckchen]

Wenn PVE virtuelle GPUs unterstuetzt, dann muss das sicher keine iGPU aus der CPU sein.

Bin leider nicht(mehr) fit in Proxmox. Daher mein Rat zu esxi.

@TE: Vllt ist im Homeserverthread jemand der Proxmox einsetzt und dir da helfen kann.

Nein natürlich nicht, aber eine Nvidia Quadro die pro GPU mehr vGPUs kann sprengt doch hier massiv das Budget. Oder gibt es mitlerweile halbwegs erschwinglich? Also nicht alla Tesla MXX für 2000€+ (von den Grid Lizenen noch nicht gesprochen). Was AMD da kann und Kostet weis ich nicht, aber teils sind da halt die Treiberschnittstellen eher mau.

Bei Intel gibt es das ganze halt auf nahezu jeder iGPU von Broadwell bis Comet Lake, Je nach Ausbau gehen da 2-4 oder sogar 8 vGPUs pro iGPU und wenn es nur um einfache Hardwarebeschläunigung für CAD (nicht Rendern) oder so geht, warum nicht, va kostet es nicht wirklich was extra.
Und CPU bekommst du bei Intel 2XXXG auch 8C/16T

@TE warum nicht einfach mal an der Uni schauen ob du ne alte Workstation bekommst und schau dir an wie das mit PVE läuft und ob das was sein kann.
Sonst kann du auch mit PVE einen kleinen 2 Node Cluster machen: z.B: 1x Schnittstelle 1x Programmierung oder so.

 

[p4n0]

Es gibt doch auch die kleinen Quadros, welche GRID koennen?
Muss ja keine aktuelle TESLA sein?

Soweit ich verstanden habe koennen das auch die Standard-Dinger um ~300€.

Grueße

 

[Stueckchen]

Es gibt doch auch die kleinen Quadros, welche GRID koennen?
Muss ja keine aktuelle TESLA sein?

Das ist mir neu, bis jetzt wusste ich nur das man die kleinen Quadros zwar einzeln 1:1 durchreichen kann, aber nicht eine GPU an mehrere VMs gleichzeitig.
OffTopic: Ab welcher geht das denn? Habe da nämlich immer nur Tesla+Grid gefunden.
Edit.: OK eine RTX6000 scheint auch zu gehen, nur klein ist halt was anderes. (gpus-supported-by-vgpu)

 

[Ashampoo]

Vielen Dank für die schöne Diskussion. Hier meine Antworten:

Nein natürlich nicht, aber eine Nvidia Quadro die pro GPU mehr vGPUs kann sprengt doch hier massiv das Budget. Oder gibt es mitlerweile halbwegs erschwinglich? Also nicht alla Tesla MXX für 2000€+ (von den Grid Lizenen noch nicht gesprochen). Was AMD da kann und Kostet weis ich nicht, aber teils sind da halt die Treiberschnittstellen eher mau.

Bei Intel gibt es das ganze halt auf nahezu jeder iGPU von Broadwell bis Comet Lake, Je nach Ausbau gehen da 2-4 oder sogar 8 vGPUs pro iGPU und wenn es nur um einfache Hardwarebeschläunigung für CAD (nicht Rendern) oder so geht, warum nicht, va kostet es nicht wirklich was extra.
Und CPU bekommst du bei Intel 2XXXG auch 8C/16T

@TE warum nicht einfach mal an der Uni schauen ob du ne alte Workstation bekommst und schau dir an wie das mit PVE läuft und ob das was sein kann.
Sonst kann du auch mit PVE einen kleinen 2 Node Cluster machen: z.B: 1x Schnittstelle 1x Programmierung oder so.

Klar könnte ich das - aber wir haben auch ein nettes Budget und wir wollen bissel mit Kanonen auf Spatzen schießen. Zudem freunde ich mich gerade auf einem meiner privaten Server (ausgedienter i5 mit 8gb ram) mit Proxmox an. Aber du hast schon recht, dass ich diesen Usecase erstmal testen sollte. Ich schau mal und berichte nächste Woche.

Prinzipiell: Wenn ich ne VM mit GPU-Hardwarebeschleunigung (CAD, ordentliches RemoteDesktop.. ) dann am besten auf Intel CPUs.. Ok wäre ja kein Problem..

Sagen wir mal die 4-5k€ gelten nur für die Hardware ohne GPU.. Mit guten Argumenten könnt ich da nochmal 5-10k€ rausholen.
Dann will ich aber eine ordentliche Karte mit Passtrough für Machine Learning, vGPU und dann aber auch Augmented Reality - aber da wird wohl eine dedizierte Workstation mehr Sinn machen als eine VM.. Auch wenn mir die Radeon Pro V520 und die Instinct MI100 sehr gefällt.. Interessant ist auch die Intel XE Karte.. Grid klingt auch cool, aber laufende Lizenzgebühren und 5k€ für die VMWare Horizon Advanced Lizenz...

Ich kann lediglich berichten, dass eine AMD 7850 problemlos per passthrough unter Proxmox 6.0 seinerzeit an eine Win10-VM durchgereicht werden konnte, also "1:1". vGPU ging mit i3-7100 ganz gut unter Ubuntu Server 19.04.

Sehr schön - Motiviert zu hören, dass es doch klappt.

Also maximal 8-10 VMs mit jeweils einer vCPU?
Bitte nicht falsch verstehen, aber riesige Leistungssprünge würde ich mir dann irgendwie nicht erwarten.

Ich hab acht Kerne, dann will ich damit 6 VMs + ein paar Container bedienen. Mehr brauch ich eigtl nicht. Wenn ich mehr brauch, dann hau ich die zweite CPU rein.

 

[danielmayer]

CAD ist mit iGPU und den meisten Consumer-GPUs nix. Wenn das ein Use-Case ist, dann eine ältere Quadro o.ä. GPU beschaffen und per Passthrough durchreichen, damit das Gastsystem vernünftige Treiber installieren kann. Diese professionellen Karten haben dann auch ggf SRIOV- bzw ähnliche Funktionen ähnlich der Intel iGPU.

 

[Stueckchen]

Diese professionellen Karten haben dann auch ggf SRIOV- bzw ähnliche Funktionen ähnlich der Intel iGPU.

Kannst du das bitte erläuteren welche Karten denn dafür in Frage kommen? Meines Wissens geht es da mit Karten wie einer K1 oder AMD 7150 los und die fangen selbst gebraucht bei 1000€+ an, sind alt und gebraucht ist im Uni Feld immer schwer.

Das man mit der iGPU nicht große Sprünge machen kann ist klar, aber ohne geht was 3D angeht zumindest in Windows Gästen auf KVM/PVE sehr wenig, Linux auf Linux ist da schon besser.
Daher ist teils das durchreichen von einer iGPU häufig schon ein Segen.

 

[danielmayer]

Ich hatte solche Karten nicht, kann schon höheres Preissegment sein. Der TE hat aber kein Geldproblemin den Vordergrund gestellt sondern will in VMs CAD laufen lassen. Da ist ein durchgereichte consumer oder vGPU i3/i5 keine Freude.

 

[Ashampoo]

Wir reden hier von Kuka SIM und ein bissel Grafik. Nicht hardcore CAD Design mit 100000000 Kanten pro cm2

 

[Ashampoo]

Hallo Leute,

danke für eure Beiträge. Heute Vormittag war wieder ein Meeting zu dem Thema. Nach reiflicher Überlegung ist eine Workstation, mit nativen Win10 Enterprise/Pro und einem Hypervisor ala VMWare/Virtualbox/HyperV sinnvoller. Es wird wohl in die Richtung Threadripper mit dem ASRock TRX40 Board und min. 64gib RAM gehen.
Die VMs sollen dann auf diesem Host laufen. Kleinere ThinClients sollen dann auf diese per RDP zugreifen. GraKa intensive Anwendungen nativ an der Workstation.

3000er Threadripper ist wohl ein bisschen Overkill, reicht ein 2000er?
Passt die Zusammenstellung der Hardware?
Mit welchem hypervisor würdet ihr die VMs managen?
Welche Tipps und Fragen habt ihr?

 

[fdiskc2000]

Falscher RAM, das Board braucht UDIMM, Du hast RDIMM ausgewählt.

 

[Ashampoo]

Okay, habe auf der ASrock.com gesucht und die unregistered ausgesucht.
Würdet ihr eher das Rack oder Taichi nehmen? Oder lieber ein anderes Board?

 

[Ashampoo]

Hallo,

also ich hab nnochmal nachgedacht. Ich nehme jetzt alle neue Infos erstmal, erstelle ein ordentliches Pflichten-/Lastenheft und melde mich mit einem neuem Thread nochmal.

 

[Sandman2k]

Auf Wunsch