Proxmox: 2 oder 3 Note HA Cluster

[bc_nero]

Hallo!

Für unsere Firma suchen wir nach einem Proxmox Server, das soll drauf laufen:

- 5-6 x Win10 VM's für normale Office Anwendungen
- 1 x Windows 2022 Server mit einer Firebird SQL und einer ERP Warenwirtschaft, die braucht laut Hersteller ca 4 Kerne die mindestens 3 GHz tackten, je mehr, desto besser
- 1 x Truenas mit einem Firmen Speicher von ca 10TB (gesamt netto)
- 1 x Wireguard
- 1 x Pihole
- 1 x 3CX Telefonanlage
... plus ein wenig Luft, wenn noch kleinere Anwendungen dazu kommen

Netzwerk liegt überall mit 2,5 GBit, zwischen den Switchen liegt Glasfaser zu einem Unifi USW-PRO-AGGREGATION, was 4 x 25GBit und und 28 x 10 GBit kann.

Mir wurden die folgenden Systeme als Angebotsgrundlage gesendet, wie findet ihr für den obigen Zweck die Ausstattung (was ist gut, was geht besser). An einen 2 Note Cluster hatte ich schon gedacht, bei einem 3 Note mit Ceph weiß ich nicht ob das für uns ein "Overkill" wäre. bei einem 2 Note Cluster weiß ich jedoch nicht wie das mit der 15 Minuten Sicherung der Datenbank wäre (ob die im laufenden Betrieb so einfach gesichert werden könnte)

3-Node Proxmox/CEPH HA Cluster (All NVMe, CPU: AMD Gen. „GENOA“)

2 Node Proxmox/ZFS Cluster (NVMe + SATA HDD, CPU AMD Gen. “Milan”)

2 Node Proxmox/ZFS Cluster (NVMe + SATA HDD, CPU AMD Gen. “GENOA”)

Würde mich sehr freuen, wenn ich Input bekommen könnte! DANKE!!!!

 

[maxblank]

Domäne vorhanden und wird Active Directory eingesetzt? Wie viele Mitarbeiter?

CPU würde ich auf die vierte Epyc-Generation, also Genoa, gehen.

Wenn die einzelnen Hosts jeweils die komplette Last stemmen können, reichen 2 Nodes.
Das macht auch die Wartung von den beiden Hosts angenehmer und überschaubarer.

 

[bc_nero]

"Mitarbeiter" 4 Rechner im Büro, 2 Rechner im Versand, vielleicht 1 Kasse (kann aber wegen der TSE sein, dass der Rechner nicht virtualisiert wird), also 6 normale Mitarbeiter plus mir, der etwas ausgefallenere Aufgaben macht

"Domäne vorhanden und wird Active Directory eingesetzt?" ---> wäre wohl eine gute Sache, mit dem Thema kenne ich mich von der Einrichtung leider noch nicht aus.

Zum Hintergrund: Wir starten nach einer Naturkatastrophe von Null aus neu, es gibt keinen alte Struktur mehr, die einbezogen werden muss. Wir planen also für den "Restart"

"Das macht auch die Wartung von den beiden Hosts angenehmer und überschaubarer." => Hört sich gut an, ich suche nach einem System was man gut warten kann, aber trotzdem Ausfallsicherheit hat. Ohne Ceph war mir nur nicht klar, wie die Datenbank beim 15 Min Backup reagiert. Das Angebot hatte immer 16 Kerne gehabt, keine Ahnung ob das bei 2 Notes ausreichend ist. Die Datenbank und Warenwirtschaft sollen wohl auf einer Windows 2022 Server VM laufen, wenn ich z.B. 4 Kerne gebe, die CPU aber 24 Kerne hat, wie ist denn das mit der Windows 2022 Server Lizenz (Limit 16 Kerne) richtet die sich nach der VM oder der Host CPU?

 

[underclocker2k4]

Die Datenbank und Warenwirtschaft sollen wohl auf einer Windows 2022 Server VM laufen, wenn ich z.B. 4 Kerne gebe, die CPU aber 24 Kerne hat, wie ist denn das mit der Windows 2022 Server Lizenz (Limit 16 Kerne) richtet die sich nach der VM oder der Host CPU?

Hier ist dringend anzuraten, sich mit einem Lizenzspezialisten zu unterhalten.
Es gibt neben verschiedenen Server Versionen auch unterschiedliche Lizenzmodelle.
Per Host oder per vCore, (un)limitierte Anzahl an VMs
Anzahl min. Lizenzen pro Host/VM
Lizenzmodelle wie SA usw.
Workloadverschiebung im Cluster
auch nicht zu vergessen ist das Thema CAL.

Wenn man sich damit nicht auskennt, hat man idR eigentlich immer Lizenzverstöße.

Ansonsten stelle ich mir die Frage, was ihr mit so massiver Rechenpower anfangen wollt?
Werden die Kosten extern durch ne Versicherung gedeckt?

Grundsätzlich denke ich, dass sowas auch locker nen entry Server als Rocket Lake mit 6-8C.
Das einzige, was nen bisschen Bums braucht, wäre der WS/ERP Kram.
Im Zweifel auf nen single Socket EPYC/Xeon scale gehen. (da gibt es dann auch entsprechende SP CPUs)
Im Zweifel würde ich auch auf NVMe SSDs verzichten und auf SAS gehen, wenn das notwendig sein sollte.
Ggf. ein Hybridsystem.

Weiterhin würde ich mir überlegen, ob man Storage nicht vom Hypervisor trennt. Denn noch async Dualsite, dann kann man den auch als Backupstorage fürs Proxmox einsetzen. NAS mit ZFS gibt es entsprechend, hier wäre dann beim Kauf auf ECC RAM inkl. zu achten.

Beim ERP ist das Thema DSGVO für alle Daten (auch cold) zu beachten.

EDIT:
Je nach gewähltem Lizenzmodel kann der EPYC auch größer (Cores) dimensioniert werden.
Diese lassen sich teilweise gestuft deaktivieren. Was einem ermöglicht in bestimmten Situation eine Skalierung zu realisieren. Das hängt vom Mainboard ab. Gerade bei einer Infrastruktur, wo man genau weiß, dass diese noch wächst, kann das, zumindest am Anfang, Geld sparen.

 

[bc_nero]

"Ansonsten stelle ich mir die Frage, was ihr mit so massiver Rechenpower anfangen wollt?" Das ist eben die Frage, was ich da genau brauche, ist das Angebot zu groß oder für die Aufgaben zu klein ... ? Ich hatte noch ein anderes Angebot, was mit 2 CPU auf 32 Kernen war. eine dritte Anfrage ging in Richtung 2 x 48 Kerne. Nur was ist richtig ...

"Werden die Kosten extern durch ne Versicherung gedeckt?" Wir sind versichert, haben aber noch keine genaue Summe genannt bekommen, aber in erster Linie suche ich ein passendes System, was mich die nächsten Jahre treu begleitet.

Grundsätzlich denke ich, dass sowas auch locker nen entry Server als Rocket Lake mit 6-8C.
Das einzige, was nen bisschen Bums braucht, wäre der WS/ERP Kram.
Im Zweifel auf nen single Socket EPYC/Xeon scale gehen.
Im Zweifel würde ich ach auf NVMe SSDs verzichten und auf SAS gehen, wenn das notwendig sein sollte.
Ggf. ein Hybridsystem.

Weiterhin würde ich mir überlegen, ob man Storage nicht vom Hypervisor trennt. Denn noch async Dualsite, dann kann man den auch als Backupstorage fürs Proxmox einsetzen. NAS mit ZFS gibt es entsprechend, hier wäre dann beim Kauf auf ECC RAM inkl. zu achten.

Hättest du hier genauere Angaben, was ich besser nehmen sollte?

Je nach gewähltem Lizenzmodel kann der EPYC auch größer (Cores) dimensioniert werden.
Diese lassen sich teilweise gestuft deaktivieren. Was einem ermöglicht in bestimmten Situation eine Skalierung zu realisieren. Das hängt vom Mainboard ab. Gerade bei einer Infrastruktur, wo man genau weiß, dass diese noch wächst, kann das, zumindest am Anfang, Geld sparen.

Ist das denn sinnvoll, eine größere CPU zu kaufen und die dann zu deaktivieren? Geht "Windows Server 2022" nicht doch von denen Kernen der VM aus und wenn die unter 16 sind, dann ist alles OK?

 

[maxblank]

Lasst euch das von einem Systemhaus sizen, planen, umsetzen und auch betreuen, so was ist kein Spaziergang - vor allem hängen da auch Existenzen dran.

 

[bc_nero]

... die 3 Kombinationen waren ja von einem Systemhaus gewesen ... ist nur die Frage welcher Weg und ob wir die erste Konfiguration richtig geplant hatten ...

 

[butcher1de]

kann aber wegen der TSE sein, dass der Rechner nicht virtualisiert wird

Ist überhaupt kein Problem (zumindest unter ESXI). Unter Proxmox auch nicht.

SYNETEC - Proxmox USB durchschleifen (USB Passthrough)

Proxmox bietet die Möglichkeit, USB-Geräte vom eigentlichen Server an die virtuelle Maschine weiterzureichen bzw. durchschleifen.

www.synetec.de

Das wird dir aber das Systemhaus oder deine IT umsetzen.

 

[underclocker2k4]

z.B.

2HE AMD Single-CPU RA1208-AIEPN Server | Thomas-Krenn.AG

Konfigurieren Sie jetzt ihren 2HE AMD Single-CPU Server inkl. AMD EPYC 7232P und 16 GB RAM, aufrüstbar bis zu 2 TB RAM.

www.thomas-krenn.com

+
7443P
Rest dann analog bzw. ähnlich.
+ggf, hinten nochmal 2,5" hot swap für ProxmoxOS. (läuft Proxmox 100% im RAM?)

Da spart man allein bei der CPU schon ~0,8k pro Server, beim Chassi+MB nochmal ~0,8k. Sind also grob 1,5k weniger. Was bald 20% vom Server sind.


Ansonsten ist das Hauptproblem ja weiterhin das Thema Lizenzmodel.
HW und SW muss aufeinander abgestimmt sein. Sonst kommen zu den 7,5k Server nochmal schnell 3k Lizenzkosten dazu. (zum Glück kein VMware)
Das sollte einem das Systemhaus schon aufdröseln.

An sich sind die Konfigs nicht schlecht. Aber wenn man in Summe 3k sparen kann, sollte man da nochmal drüber nachdenken.

EDIT:
TPM Dongle würde ich mir nochmal überlegen. Kostet 50EUR.

 

[bc_nero]

Wie ist denn der Vergleich zwischen Milan (also hier 7443P) und Genoa (9174F), ich lese aktuell was ich bekommen kann, viele meinen, die vierte Generation hat massiv mehr Power als die dritte Generation.

 

[underclocker2k4]

Im Single Core ist der 4er ca. 20% schneller als der 3er, während das im Multicore wegen 1,5x Cores genau anders rum aussieht.

Nur ist der Plattformpreis eine GANZ andere Dimension.

Das, was ihr da vorhabt, würde man wohl noch auf einem entry Server locker gestemmt bekommen.
Ist ja nicht so, als wenn ihr da nen Spezialfall seid. Seit 20 Jahren gibt es Buden wie euch und seit 20 Jahren tun es entry Server.
Nen EPYC an sich, ist schon weit drüber. Da ist nen 4er schon 2x drüber.

Ist halt die Frage, wie ihr finanziell dasteht. Wenn ihr ne Marge von 100% auf euren Waren habt, da kann man schonmal soviel Ergebnis haben, dass 10k für Server nicht auffallen. Ansonsten sollte man eher kleinere Brötchen backen.
Hinzu kommt, dass Server eine begrenzte Lebenszeit haben, also, wenn business critical, eh regelmäßig getauscht gehören. Und die Jahre vergehen schneller als man schauen kann.

Ich betreue mehrere VM Cluster. Und aktuell ist es so, dass man merkt, wie die Zeit verfliegt, wenn man sich den life cycle der Systeme ansieht. Biste hinten fertig, fängste vorne wieder an. Getreu dem Film, täglich grüßt das Murmeltier.

 

[bc_nero]

Danke für die klaren Worte, darum frage ich ja hier im Forum, da ich hier sehr viel Know-How sehe.

Deine Empfehlung wäre also wie hier geschrieben: (und laut dir noch eher overkill...)

z.B.

2HE AMD Single-CPU RA1208-AIEPN Server | Thomas-Krenn.AG

Konfigurieren Sie jetzt ihren 2HE AMD Single-CPU Server inkl. AMD EPYC 7232P und 16 GB RAM, aufrüstbar bis zu 2 TB RAM.

www.thomas-krenn.com

+
7443P
Rest dann analog bzw. ähnlich.
+ggf, hinten nochmal 2,5" hot swap für ProxmoxOS. (läuft Proxmox 100% im RAM?)

Da spart man allein bei der CPU schon ~0,8k pro Server, beim Chassi+MB nochmal ~0,8k. Sind also grob 1,5k weniger. Was bald 20% vom Server sind.


Ansonsten ist das Hauptproblem ja weiterhin das Thema Lizenzmodel.
HW und SW muss aufeinander abgestimmt sein. Sonst kommen zu den 7,5k Server nochmal schnell 3k Lizenzkosten dazu. (zum Glück kein VMware)
Das sollte einem das Systemhaus schon aufdröseln.

An sich sind die Konfigs nicht schlecht. Aber wenn man in Summe 3k sparen kann, sollte man da nochmal drüber nachdenken.

EDIT:
TPM Dongle würde ich mir nochmal überlegen. Kostet 50EUR.

Wozu brauche ich den TPM Dongle und du hattest noch das hier geschrieben:

Weiterhin würde ich mir überlegen, ob man Storage nicht vom Hypervisor trennt. Denn noch async Dualsite, dann kann man den auch als Backupstorage fürs Proxmox einsetzen. NAS mit ZFS gibt es entsprechend, hier wäre dann beim Kauf auf ECC RAM inkl. zu achten.

- ECC ist fest gesetzt! Verstehe ich das richtig "TrueNAS" und "Proxmox Backup" zusammen auf einer kleinen Kiste, wie geht das?


- Hast du Erfahrung wie 2 Note HA Cluster bei dem 15 Minuten Backup mit Datenbanken funktionieren, das wusste das Systemhaus auch nicht auf Anhieb ...


Sorry, wenn ich hier vermeintlich dumme Fragen stelle, aber wenn ich was nicht weiß, dann frage ich halt.

In den letzten 2.5 Jahren habe ich gezwungenermaßen eine "(Grund-)Ausbildung" in den Gewerken Rohbau, Elektrik, Sanitär, Heizung, Zimmermann, Fensterbau und Schlosser gemacht, da ich jeden Tag mit den Handwerkern gearbeitet habe und Fragen gestellt habe ... und nur so hab ich halt SEHR viel lernen können.

 

[p4n0]

Bei so ner Bude wuerde ich gar nicht anfangen selbst irgend nen Kram aufzubauen.
Einfach nen Azure Tenant und fertig ist die Laube. Alles dabei, flexibel und von den Kosten her gut planbar und ueberschaubar.

 

[Supaman]

Wenn ich mir das so ansehe, ist der Kostentreiber der SSD Storage. Dazu folgende Anmerkung: es gibt unterschiedliche Arten von Storage, und man kann virtuelle Disks je nach Typ unterschidlich provisionieren.

Storage - Proxmox VE

pve.proxmox.com

Auf RBD Devices wie z.B. Ceph Storage wird vollautomatisch nur das belegt, was wirklich Inhalte hat, d.h. wenn man paar hundert GB provisioniert, aber nur 50 Gb verwendet sind, wird auch nur 50GB belegt. Und man kann auch Kompression aktivieren. Je nach Datenart könnte daduch deutlich weniger physikalischer Storage benötigt werden, als an Datenmenge vorhanden ist.
Und das spart halt richtig Geld, da z.B. bei Ceph immer alles x3, bzw bei 2 Node x2 vorgehalten werden muss.

Das Proxmox Backup ist seeehr schnell, da nach der initalien Vollsicherung nur noch geänderte Datenblöcke weggesichert werden.
Das 15 Min. Backup würde ich lokal laufen lassen, mit max. schnellem m2/u2/u3 Speicher.

Was ich nicht so ganz verstehe, warum so Netzwerk Infrastruktur mit bis zu 25 GB? Normalerweise setzt man einen Windows Terminal Server auf, da Arbeiten die Leute dann per Thinclient drauf und der gesamte Datenverkehr zur Warenwirtschaft etc findet innerhalb des Clusters / HA-Verbundes statt. Da braucht man eigentlich nur eine schnelle Anbindung für den Backup Server.