[Kaufberatung] Server für Proxmox und TrueNAS und Backup-Server

[bc_nero]

Hallo!

Vielleicht erst mal zum Hintergrund. Wir wurden mit unserem Unternehmen und Gebäuden vom Hochwasser im Ahrtal 2021 komplett zerstört, alles war weg und nach 3 Jahren "unbürokratischer & schneller" Hilfe durch Verwaltung, Versicherungen und fehlenden Handwerkern wollen wir im Juli 2024 wieder eröffnen. Das einzige was super funktionierte, waren die unzähligen helfenden Engel der ersten Monate ...

Ich suche nun seit Wochen nach einer neuen IT Infrastruktur! Videoüberwachung, Musik, Netzwerk, Alarmanlage, KNX habe ich, beim Hauptserver, der die Arbeitsplätze der Mitarbeiter, die Plattform der Warenwirtschaft, (vielleicht) TrueNAS visualisieren soll, wurde mir von einem Freund eine leistungsstarke "Fertiglösung" mit AMD Epyc 9004 empfohlen.

Nun brauche ich aber noch "kleine" Brüder für einen Proxmox Cluster und für das Backup.

Bei den 2 kleinen Cluster Rechnern dachte ich an einen Ryzen aus der 7000 oder 8000er Serie, 10 Gbit Lan und volle ECC Unterstützung wären mir hier sehr wichtig.

Der Backup-Server sollte eine kleine Maschine sein, die auch 10Gbit und ECC kann, aber einen geringeren Stromverbrauch hat.

Jeden Tag stehen wir auf den Baustellen und haben hier viele Gewerke parallel zu koordinieren. alle 10 Minuten klingelt das Telefon und in der verbleibenden Zeit suche ich mich in verschiedenen IT-Foren "blöd" und komme aber zu keinem Ergebnis. Hier bei euch sehe ich das größte know-how und versuche es mal mit einer Bitte um Hilfe ...

DANKE!

 

[Supaman]

Technisch gesehen kannst Du für Proxmox alles verwenden, was Linux kompatibel ist, also so ziemlich alles.

Wenn wir über einen HA Cluster mit shared CEPH Storage reden, damit auch mal ein Knoten ausfallen kann und die Party trotdem weiter geht, sollten die Knoten mindestens 6/12 Kerne mit ausreichend ECC Ram haben, Boot SSDs als BTRFS Raid-1, und Datastore SSDs als u2. Dazu halt paar 10GbE NICs, je nach dem wieviele vLANS man für die Clusterkommunikation konfiguriert. Dazu eine ähnliche Hardware Güteklasse für den Proxmox Backup Server, und am besten nochmal ein 2ten Server als Backup Spiegel.

Das kann man aus vernünftigen Komponten selber zusammen stellen (Sermainboard von Supermicro oder ASrock), für den gewerblichen Einsatz wäre ein fertiger Server der bekannten Hersteller (Dell, Fujitsu etc) empfehlenswerter.

Und man muss jemanden haben der den Cluster installiert und wartet. Wenn der was drauf hat, weis der welche Komponenten man verwendet.

 

[bc_nero]

Ja, an einen HA Cluster hatte ich gedacht, der Hauptserver wird fertig kommen, die beiden Knoten als Fertigsystem zu kaufen wir wohl (so schätze ich) leider den Rahmen sprengen. Was ich so an neuen Systemen gesehen habe, lag immer zwischen 8 und 15 TEuro. Wenn ich da was bis 3 TEuro übersehen habe, dann nehme ich auch hier gerne Hinweise an...

Wegen den Kosten der Fertigsysteme hatte ich an einen Eigenbau gedacht, weiß aber nicht welche genaue Kombination aus CPU, Motherboard und ECC Ram funktionieren wird. Ich hab sehr viel gelesen, aber nichts eindeutiges gefunden.

 

[Supaman]

Ich glaube Du hast das Prinzip eines Clusters nicht so ganz verstanden. Ein HA Verbund hat mindestens 2 gleichstarke Knoten + 1x Witness, dieser entscheidet über die aktive und gültige Instanz.

Besser und Leistungsfähiger ist ein Cluster mit mindestens 3 Knoten. Das ganz muss so dimensioniert sein, das ALLES mit etwas Reserve auf 2 Knoten läuft. Da man sich nicht ausuchen kann, welcher Knoten ausfallen wird, sollten die 3 Knoten identisch sein - ist auch einfacher bei Ersatzteilen und Konfiguration.

Das ich damit sagen möchte: mit nur einem "Hauptserver" kann die Archtiktur nicht vernünftig sein.

Die reinen Server sind im Entry Bereich nicht so teuer, es kommt halt drauf an wieviel Ram und Massenspeicher benötigt wird - multipliziert sich halt alles mit x 3.

Und damit kommen wir zur eigentlichen Frage: welche Anwendungen sollen auf dem Cluster laufen. wieviele VMs, wieviel Massenspeicher.

 

[bc_nero]

HA Cluster hatte ich mir schon einiges angesehen, viele Systeme auf Youtube bestanden aus unterschiedlichen Systemen, daher kam meine Idee. Aber deine Info macht natürlich Sinn!

Es soll eine VM mit der Warenwirtschaft und der entsprechenden Datenbank (auf Windows Basis), dann 5 VM's für die Mitarbeiter im Büro (Windows 11 & Office), Wireguard, TrueNAS, Xibo etc (nichts wildes)
Speicher wäre mit 12-15 TB wohl ausreichend, da wir die Videoüberwachung mit einem eigenen System machen werden ...

 

[Supaman]

Wenn Du das schlank aufsetzen willst:

3x Server mit 6/12 Kerner, 64GB, und 2 - 4TB u2 SSD. Servermainboard von Supermicro oder ASrock, mit IPMI, 10GB mit 4 Ports Netzwerkkarte dazu.
Das lässt sich für ~1.500 pro Knoten bauen.

Für die Videoüberwachung nimmst Du entweder einen eigenen Server, oder ein NAS, und dann 2x SSD fürs OS und 2x 16TB HDD für die Daten.
Ich denke mal das muss nicht redundant sein, wenn man auf das Budget schaut.

Fürs Backup dann 2x einfacher Server.

Alternativ: Entry-Level Fertig Server.

Fehlt nur noch 1x (besser 2x) 10GB Switch, und dann steht das für vergleichsweise kleines Geld.

Das größere Problem ist: das muss man auch installieren und warten können, oder jemand an der Hand haben der da trittsicher ist.
Wenn das erstmal aufgesetzt ist, läuft das sehr stabil, und ist nicht soo wartungsintensiv. Aber da muss man erstmal hinkommen.

 

[bc_nero]

Für die Videoüberwachung nimmst Du entweder einen eigenen Server, oder ein NAS, und dann 2x SSD fürs OS und 2x 16TB HDD für die Daten.
Ich denke mal das muss nicht redundant sein, wenn man auf das Budget schaut.

Das hab ich über einen NVR vom Hersteller gemacht, das sollte kein Problem mehr sein, alle Cam's laufen über ein Switch

Fehlt nur noch 1x (besser 2x) 10GB Switch, und dann steht das für vergleichsweise kleines Geld.

Die verschiedenen Punkte im Unternehmen wurden neu mit Glasfaser verbunden und ich hab nur 48er 2,5GB + 4x10GB Switche die gekauft, dazu noch ein 28 x 10GB Switch als zentraler Knoten, da können die Server immer direkt dran.

Das größere Problem ist: das muss man auch installieren und warten können, oder jemand an der Hand haben der da trittsicher ist.
Wenn das erstmal aufgesetzt ist, läuft das sehr stabil, und ist nicht soo wartungsintensiv. Aber da muss man erstmal hinkommen.

Ich denke, das bekommen wir hin, da hätte ich euch noch jemanden der helfen könnte. Im Bereich Software bin ich recht fit, wir hatten vor dem Hochwasser ca 15 Jahre einen gut laufenden Online-Shop den ich zu 90% selbst gemanaged habe und unter Linux bin ich auch fit. Bis jetzt hatte ich halt alles auf Desktop-Hardware, das lief, war nicht optimal, aber im laufenden Betrieb wollte ich da nie ran, da jeder Kunde den sofortigen Versand seiner Bestellung gefordert hatte.

3x Server mit 6/12 Kerner, 64GB, und 2 - 4TB u2 SSD. Servermainboard von Supermicro oder ASrock, mit IPMI, 10GB mit 4 Ports Netzwerkkarte dazu.
Das lässt sich für ~1.500 pro Knoten bauen.

Bei Desktop Hardware kenne ich mich super aus, bei den verschiedenen Intel / AMD Server CPU leider nicht bzw wo die Unterschiede der verschieden Server Hersteller und deren Modellen sind. Habe viel positives über Epyc gelesen, hier im Forum sind viele mit Ryzen 7850 oder 5600 etc inkl. ECC unterwegs, leider kann ich nicht erkennen welche genauen Bauteile die genommen haben. Die Knoten können pro Knoten auch bis zu 3-4TEuro kosten, es soll was vernünftiges sein, damit ich in 1-2 Jahren nicht am Limit bin und wieder von vorne anfange

 

[Supaman]

Ist nicht soo schwer, wie gesagt: Supermicro oder AsrockRack Mainboard mit IPMI, CPU ab 6/12 Kerne, und je nach Speicherhunger der VMs 64-128GB Ram dazu. AMD Epic oder Ryzen ist günstiger, und dem Preoxmox ist das egal.

Die Knoten können pro Knoten auch bis zu 3-4TEuro kosten, es soll was vernünftiges sein, damit ich in 1-2 Jahren nicht am Limit bin und wieder von vorne anfange

Das ist ja das schöne bei einem Cluster: da nimmst Du einen weiteren neuen Server in den Verbund auf, änderst die Regeln, wo die VMs beheimatet sein sollen, und dann schaltest Du einen der alten Knoten ab und trägst den aus. Und das wiederholst Du ggf mit weiteren Knoten. Das geht im laufenden Betrieb ohne das es jemand merkt.

 

[pwnbert]

Spannend da mitzulesen, in meinem Umfeld ist son 3er Knoten auch in Überlegung.
DDR5 UDimm ECC ist momentan halt leider "arschteuer" (im Vergleich zu DDR4 Udimm und dem ausgesonderten alten DDR4 RDIMM Enterprise-Abfällen), bei so ~130€ pro 32gb Riegel. Macht 520-540€ für 128gb Vollbestückung (AM5 könnte mehr, gibt aber keine größeren UDIMM ECC Riegel).

Bei den Kosten für den UDIMM ECC und dem IPMI Mainboard (also etwa 1100€), braucht man dann bei der CPU auch nimmer rumzueiern, sprich ein 7900X für 400€ klingt nicht verkehrt.
Braucht man DMTF Dash eigentlich für irgendwas? https://geizhals.at/?cmp=2970913&cmp=2801226&active=1

 

[Supaman]

Es muss nicht immer 5 Sterne Deluxe Hardware der neusten Generation sein, z.B. ein ASRock Rack X470D4U mit DDR-4 ECC wäre für viele Settings völlig ausreichend und trotzdem Serverboard mit IPMI.

Nicht vergessen, die meisten VMs ideln nur vor sich hin und werden im Cluster auch auf 3 Knoten verteilt, d.h. 3 VMs mit Last haben die CPU zu 80% für sich alleine.

 

[pwnbert]

Naja, ich betreib da ja selbst mein Truenas mit VM am AM4, welcher dafür mehr als genug Leistung hat. Mein Desktop Idle-Zock-Workstation ist auch AM4 und wird das noch länger bleiben, trotzdem merkt man halt, dass die Entwicklung nicht stehen bleibt. Ich mag dir da im Grund gar nicht dagegenreden, das stimmt natürlich.

Is halt die Frage, was der Installationsaufwand "kostet", ob das unter Hobby fällt, oder ob da interne oder externe Arbeitszeit gerechnet wird.
Ich hab keine Ahnung wie man so eine 3-Way-Cluster aufsetzt, aber wenn du schon sagst, dorthin muss man erstmal kommen, klingt das für mich nach einem ganzen Haufen Mannstunden. Ob dann die 1000€ / Node zwischen "Sparlösung" und

Aber wenn man schon 10gbit Hardware etc. braucht...
Man könnte natürlich das <100€ Gigabyte ausm Forum hier nehmen, mit 64-128 DDR4 UDIMM und einem 5600. Das X470D4U hat ja auch kein 10g und ist sonst auch kein Schnittstellenwunder, die große Ersparnis ist das dann auch nicht, gesetzt die Onboard 10g wären ausreichend.

Dann fängt aber das Theater (jetzt fürs Gigabyte beschrieben, aber allgemein so ein Thema im Moment) mit den 2 PCIe Slots an, wenn man dort dann anständiges LAN reinstecken will (2x10g/25g) bist mal den 16er Slot los und dir bleibt noch der eine 4er für ein nvme oder U.2.
Dann is schon nix mit Mirror, dann bleiben einem eigentlich nur SATA SSDs (Kingston 600 z.B.), was vielleicht auch ausreichend und gar nicht mal so schlecht ist.
SATA spielt halt gegenüber M.2/U.2 schon in einer anderen Liga, auch bezüglich IOPS und so, was ich so beobachten durfte im Vergleich M.2

Genau für den Zweck hab ich mir jetzt auf Ebay aus China son Riser-Adapter bestellt, der macht wohl aus PCIe x16 "normal" einen PCIe x8 "low profile" Slot und hat oben und unten je eine M.2 Aufnahme.
Inwiefern dieser Kram aus der Kategorie Gadget jetzt zuverlässig läuft, ob man das mit gutem Gewissen da einbauen möchte? PCIe 3.0 wsl. noch eher, PCIe 4.0 wird spannend, was ich so gelesen hab.


m.2 Firecuda 530 4tb:

SATA Samsung 870 Evo 4tb:

Ist jetzt nicht soo schlecht, reicht bestimmt auch um das geforderte zu leisten.


Schwer zu sagen AM4 ist halt günstig und bestimmt ausreichend (und wohl auch sparsamer in unterschiedlicher Hinsicht).
Mit AM5 hat man halt das modernere schnellere System.

 

[Supaman]

Is halt die Frage, was der Installationsaufwand "kostet", ob das unter Hobby fällt, oder ob da interne oder externe Arbeitszeit gerechnet wird.

Wenn man einen externen Experten hat, der klickt das fix zusammen. Es werden erst die Nodes installiert, dann das Netzwerk konfiguriert, dann die Nodes ins Datacenter aufgenommen, dann das CEPH durcgeklickt. fertig. Wenn man bei 0 anfängt, erscheint es aufwändiger, als es in der Praxis ist. Mit soliden Grundkenntnissen im Bereich virtualisierung und Linux ist das gut zu schaffen, einfach machen!

Dann fängt aber das Theater (jetzt fürs Gigabyte beschrieben, aber allgemein so ein Thema im Moment) mit den 2 PCIe Slots an, wenn man dort dann anständiges LAN reinstecken will (2x10g/25g) bist mal den 16er Slot los und dir bleibt noch der eine 4er für ein nvme oder U.2.
Dann is schon nix mit Mirror, dann bleiben einem eigentlich nur SATA SSDs (Kingston 600 z.B.), was vielleicht auch ausreichend und gar nicht mal so schlecht ist.

Ich habe X470D4Uin Betrieb mit
1x 10GBE Intel x570 als 4 Port
1x Steckkarte mit 2x u2 SSD
1x Asus Hyper-V für 4x m2 SSD

Zusätzlich stehen Onboard zur Verfügung:
2x m.2 + 6x SATA-3

Ganz wichtig: für den CEPH Pool solltest Du zwingend m.2 oder u2 SSDs mit echter Powerloss Protection verwenden (Mircon, Samung Datacenter etc), ansonsten geht die Latenz durch die Decke. Der Unterscheid ist folgender: die PLP SSDs geben direkt nach Dateneingang die Rückmeldung "Ist alles geschrieben", weil wenn Strom weg, hat das Ding ja noch Saft um die Daten wegzuschreiben. NON-PLP haben da eine größe Latenz.

 

[pwnbert]

Blöde Frage, aber wie genau machst du das?

https://www.asrockrack.com/general/productdetail.asp?Model=X470D4U#Specifications

Du hast doch "nur" 16 Lanes für die 2 großen Slots sowie 4 Lanes im 8er Slot, wenn ich richtig lese?

Versteh ich da was falsch?

 

[Supaman]

https://www.amazon.de/gp/product/B09F9XBZ8W?psc=1

läuft auf PCIe 8x

Intel x710-4
läuft im PCIe 4x Slot, da nur 2 Ports in Verwendung

Asus Hyper-V
im 16er per bifucatrion als 4/4/4/4

 

[BobbyD]

@Supaman möchte unbedingt hyper-v nutzen.

 

[Supaman]

Auf gar keinen Fall. Die richtige bezeichnung ist Asus Hyper m2.

ASUS Hyper M.2 ab € 39,50 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für ASUS Hyper M.2 ✔ Bewertungen ✔ Produktinfo ⇒ Wandlung: PCIe -> M.2 PCIe • Host: 1x PCIe 5.0 x16 (male) • Ziel: 4x M.2/M-Key (PCIe 5.0 x4, 22110/2280/2… ✔ Adapter/Konverter ✔ Testberichte ✔ Günstig kaufen

geizhals.de

 

[bc_nero]

Erst mal Danke für den tollen Input!

pwnbert hatte auf den "AMD Ryzen 9 PRO 7945" und den "AMD Ryzen 9 7900X" verwiesen, wenn ich auf 16 Kerne gehen, dann komme ich auf den "AMD Ryzen 9 7950X" https://geizhals.de/?cat=cpuamdam4&xf=16686_Ryzen+7000%7E25_16%7E5_ECC-Unterst%FCtzung

Wenn ich bei den Motherboards bzw beim Ram filtere komme ich auf diese Boards / Ram:

https://geizhals.de/?cat=mbam5&xf=1...ck%7E544_ASUS%7E544_GIGABYTE%7E544_Supermicro
https://geizhals.de/?cat=ramddr3&xf=1454_32768~1454_65536~15903_DDR5~15903_mitECC

Beim DDR5 ist ja nun immer ECC an Board, aber leider wohl nur die "ECC-lite" Version, mit welcher Kombination aus CPU / RAM / MB bekomme ich für ZFS denn die volle ECC Unterstützung?

 

[wddn]

7950X
Asrock Rack D650D4U
Kingston DDR5 ECC

Sollte ein netter Server werden

 

[bc_nero]

Danke

Wenn ich auf dem Motherboard 2 bis 4 -> 10 GBit Lan und 4 (+x) x M2 haben möchte, ist das Motherboard dann nicht von den Anschlüssen zu klein?

... also die Kombination von Supaman:

https://www.amazon.de/gp/product/B09F9XBZ8W?psc=1
läuft auf PCIe 8x

Intel x710-4
läuft im PCIe 4x Slot, da nur 2 Ports in Verwendung

Asus Hyper-V
im 16er per bifucatrion als 4/4/4/4

 

[wddn]

Dafür zu klein… Wofür brauchst du die Dual U.2 Karte?

Option 1: https://www.asrockrack.com/general/productdetail.asp?Model=B650D4U-2T/BCM
MIT 2x 10Gbit auf dem Mainboard

Option 2:
Asus Hyper in x16
NIC in x4
Optional: PCIe 4.0 SSD in den x1 slot (max 2GB/s)

 

[Supaman]

Dafür zu klein… Wofür brauchst du die Dual U.2 Karte?

Um 2x Datacenter u2 SSD anzuschliessen.

 

[bc_nero]

Noch eine Frage im Bezug auf die Auswahl der CPU, auf einem anderen Server soll die Datenbank der Warenwirtschaft und die Software der Warenwirtschaft laufen, Datenbanken profitieren ja von hohen Taktfrequenzen, jetzt stehe ich vor de Frage: viele Kerne und niedrigere Frequenz oder weniger Kerne mit höherer Frequenz. Aber was macht hier Proxmox draus, ist das hier auch noch relevant oder gleicht Proxmox fehlende Frequenz mit der Auslastung von mehr Kernen aus?

 

[Trambahner]

Taktfrequenz kannst Du nie ausgleichen. Mehrere "Kerne kombinieren" für 1 Thread geht nicht.

Was eine Datenbank braucht, hängt von der Architektur und der Art ab, wie z.B. Zugriffe programmiert sind. Die großen Datenbanken erstellen pro Client-Verbindung eigene Threads (deaktivierbar).
Und dann braucht eine SQL-Datenbank ja auch noch viele andere interne Prozesse . Allerdings wollen Dinge wie Oracle, SQL-Server dann für CPU-Sockel oder Kerne lizensiert werden...das wird seeeeeehr schnell sehr teuer.
Manche Dinge können aber halt nicht parallelisiert werden und hängen dann an der Frequenz/IPC.

=> Deine Frage (mehr Singlethread-Leistung oder mehr Kerne) lässt sich daher nicht pauschal beantworten.

 

[Senator Wurstbein]

... Und viel RAM. So nen mssql frisst ja an RAM, was er kriegen kann.

 

[Supaman]

Noch eine Frage im Bezug auf die Auswahl der CPU, auf einem anderen Server soll die Datenbank der Warenwirtschaft und die Software der Warenwirtschaft laufen, Datenbanken profitieren ja von hohen Taktfrequenzen, jetzt stehe ich vor de Frage: viele Kerne und niedrigere Frequenz oder weniger Kerne mit höherer Frequenz. Aber was macht hier Proxmox draus, ist das hier auch noch relevant oder gleicht Proxmox fehlende Frequenz mit der Auslastung von mehr Kernen aus?

Ich bevorzuge weniger Kerne bei höherem Takt. Die Virtualisierer "verteilen" die CPU Power auf die verschiedenen VMs und Tasks, d.h. wenn ein Task schneller fertig ist, wird der Kern frei für die nächste VM, aber wie schon erwähnt, es gibt keine Kern Bündelung.

Für maximale Datenbank Power würde ich eine CPU neuerer Generation mit hohem Takt verwedendan, dazu ordentlich Ram und natürlich auch eine PCIe 5 SSD, die mindestens 5.000 mb schafft. Wenn die Anzahl der Kerne für den Rest nicht reichen sollte, Dual Sockel Board oder 2ten Virtualisierer.

 

[pwnbert]

Beim DDR5 ist ja nun immer ECC an Board, aber leider wohl nur die "ECC-lite" Version, mit welcher Kombination aus CPU / RAM / MB bekomme ich für ZFS denn die volle ECC Unterstützung?

Unbuffered bzw. unreg musst noch auswählen, dann bekommst Pipi in den Augen bei den Preisen.

Arbeitsspeicher (RAM) Speicher mit Typen: DDR5/mit ECC/Unbuffered Memory, Einzelmodulgröße: 32GB/64GB Preisvergleich Geizhals Deutschland

Preisvergleich und Bewertungen für Arbeitsspeicher (RAM) Speicher mit Typen: DDR5/mit ECC/Unbuffered Memory, Einzelmodulgröße: 32GB/64GB

geizhals.de

7950X
Asrock Rack D650D4U
Kingston DDR5 ECC

Sollte ein netter Server werden

Ja, die Anschlüsse sind halt so eine Sache. 4x SATA wären mir zu wenig. Die 2 M.2 sind ja nett (lange passen da wohl keine).
Mitm 10 GbE muss man dann auskommen, für ne extra Karte (SFP?) ist eigentlich kein Platz - gut, gibt schlimmeres, als mit 2x 10 GbE leben zu müssen ...
Man kann sich dann überlegen, ob man in den x16 Slot einen SATA/SAS HBA oder eine M.2 / U.2 Adapter-Karte steckt, beides geht eigentlich nicht.
Wohl könnte man einen ASM1166 in den PCIe 5.0 x4 stecken, welcher PCIe 3.0 x2 braucht, Perlen vor die Säue, aber immerhin.

Gut, nüchtern betrachtet hat man dann 6x M.2 (wenn Bifurication x4x4x4x4 geht), 10x SATA (mit einem ASM1166) und 2x 10 GbE, realistsich reicht das wohl.
Blöd vermutlich nur, dass man auf PCIe 4.0 oder kleiner (geht das überhaupt?) stellen muss, damit die Adapter funktionieren, was ich so gelesen hab, tun sich die meisten Adapter mit PCIe 4.0 ja schon schwer.

Der ASM2600 soll deutlich sparsamer als der ASM2500 sein, was ich so gelesen hab, obs stimmt?
DDR5 UDIMM ECC ist leider so teuer im Moment... dazu kommt, dass es "nur" 32er Module gibt. Weiter unterstützt das Board (angeblich) nur DDR5 3600 bei Vollbestückung, wenn ich das richtig rauslese, wahrscheinlich schafft man eh mehr (am B550 hab ich 3200 geschafft, anstatt der angeblichen 2666, 3600 gingen am X570 nicht mit 4 32er Modulen, dazwischen hab ich nix getestet).
Is halt die Frage, ob man langsamere Module mit besserer Latenz kauft, wenn man 128gb will, kein Plan, was da sinnvoll ist.



Was aber interessant ist, die 7003er Epyc (Zen 3) Boards und CPUs gibts recht "günstig"... dann hat man wenigstens wieder ein richtiges Mainboard mit nutzbaren Erweiterungsslots. Braucht halt schon mehr Strom auch. Dafür kann man billigen DDR4 RDIMM drin versenken.
PCIe Slots und andere Schnittstellen hat man dann ausreichend.
Hab natürlich schon geliebäugelt und Recherche betrieben, statt meinen 50W low-Load mit dem 5750G würde ich dann wsl. bei ca. 100W landen... dafür, dass ichs nicht wirklich brauch, bin ich dann doch zu vernünftig.

tl,dr:
Ich seh den AM5 im Moment vom P/L her noch nicht vorm AM4... doch recht viel Aufpreis dafür, dass sehr wenig mehr (nutzbares) rausschaut.

 

[bc_nero]

Für die Warenwirtschaft wird es wohl ein AM5 System werden, eure Ideen habe ich im folgenden Warenkorb zusammengefasst, hoffe das alles passt und ECC sauber funktioniert.

Warenkorb: LINK

Mein Problem ist nur das Mainboard:

• ASRock Rack B650D4U-2L2T/BCM (Kompromiss 10GBit onboard und 4 x M2 über PCI x16) das finde ich in keinem Shop, nur über Amazon USA und hier ist die Lieferzeit ein Problem
• Supermicro H13SAE-MF retail, (das hat PCI x16 und PCI x8, damit würde SFP28 und 4 x M2 über PCI wohl gehen) hat aber leider ähnliche Liefersituation (Habe mehrere Shops nach dem realen Lagerbestand angeschrieben => Ups, haben wir doch nicht am Lager)

Jetzt hab ich nochmals nach einer Alternative gesucht, und das "ASUS ProArt X670E-Creator WIFI" gefunden, das hat 10GBit onboard und wohl ein PCI 16 + 8 + 4. Damit könnte ich dann ja auch SFP28 über PCI x8 und 4 x M2 über PCI x16 realisieren. Wäre das Asus auch eine Möglichkeit und genügt es den "Server" Ansprüchen, oder ist das nichts bzw habt ihr noch eine andere Idee?

 

[pwnbert]

Behalte dir deine Rechtsberatung für den Offline-Raum.

 

[bc_nero]

Für die Warenwirtschaft wird es wohl ein AM5 System werden, eure Ideen habe ich im folgenden Warenkorb zusammengefasst, hoffe das alles passt und ECC sauber funktioniert.

Warenkorb: LINK

Mein Problem ist nur das Mainboard:

• ASRock Rack B650D4U-2L2T/BCM (Kompromiss 10GBit onboard und 4 x M2 über PCI x16) das finde ich in keinem Shop, nur über Amazon USA und hier ist die Lieferzeit ein Problem
• Supermicro H13SAE-MF retail, (das hat PCI x16 und PCI x8, damit würde SFP28 und 4 x M2 über PCI wohl gehen) hat aber leider ähnliche Liefersituation (Habe mehrere Shops nach dem realen Lagerbestand angeschrieben => Ups, haben wir doch nicht am Lager)

Jetzt hab ich nochmals nach einer Alternative gesucht, und das "ASUS ProArt X670E-Creator WIFI" gefunden, das hat 10GBit onboard und wohl ein PCI 16 + 8 + 4. Damit könnte ich dann ja auch SFP28 über PCI x8 und 4 x M2 über PCI x16 realisieren. Wäre das Asus auch eine Möglichkeit und genügt es den "Server" Ansprüchen, oder ist das nichts bzw habt ihr noch eine andere Idee?

OK, wenn ich das Manual und die Erklärung zum X670E Chipsatz nun richtig verstanden habe, dann bekomme ich beim "ASUS ProArt X670E-Creator WIFI" nicht PCI 16x + PCI x8, sondern nur PCI x16 + nichts oder PCI x8 und PCI x8. Somit geht dann wohl nicht 2 x SFP28 über PCI und 4 x M2 über PCI, ECC wäre bei dem Board wohl gegangen ... habe ich das richtig verstanden?

Mir rennt leider langsam echt die Zeit weg, so ein Mist ...

 

[pwnbert]

ECC wäre bei dem Board wohl gegangen ... habe ich das richtig verstanden?

Jein.
ECC auf AM5 ist momentan "so eine Sache". Ich hab keine belastbaren Infos dafür oder dagegen.
Müsste mal jemand real testen.


Was sicher geht und verfügbar ist:
1) AM4... Asrock Rack (gibt welche mit 10 GbE), 128gb RAM, CPU 5600-5900x je nach Bedarf
Mit den PCIe Slots issts halt knapp...

2) Epyc Milan 7003 (Zen 3)...
Das Zeug bekommt man verhältnismäßig sehr billig, braucht halt bissl mehr Strom, aber das sollte Gewerblich doch egal sein?
CPUs beginnen bei unter 400€ für 8 Cores: https://geizhals.at/?cat=cpuamdam4&xf=16686_Epyc+7003 (z.B. 7313, 16C/32T, 3.00-3.70GHz)
Mainboards liegen so bei 500-700€, wobei die AsRock Rack AM4/AM5 auch nicht viel billiger sind: https://geizhals.at/?cat=mbsp3&xf=16791_EPYC7003

Bei den Eypc kenn ich mich nicht so aus (Bifurication etc.)... man hätte aber zumindest schon Onboard einen ganzen Haufen Schnittstellen... entweder man kauft gleich mit 2x 10GbE onboard oder billiger ohne, und steckt einfach ne Karte rein... genug Slots wären es ja.

Die Sache ist halt... du musst wissen, was du willst.
Das Problem an den Desktop-Systemen sind die wenigen PCIe Lanes. Wenn du sfp28 willst und dann noch mehrere PCIe Datenträger, wirds damit einfach eng mit den Lanes.
Wirklich gut ist die hohe Singlethread-Leistung der Desktop-Systeme.


Alternative Idee:

Kauf dir um unter 1000€ so ne abgerockte Xeon-Schlampe, wie sie haufenweise billig rausgeworfen werden (um 500€ gehts los mit 128gb RAM und 2 CPUs). Da bekommst viele Cores und viel GB RAM sowie günstige gebrauchte NICs um schmales Geld.
Die sind zwar nicht sparsam, sucken im Singlethread, dafür hast du schnell funktionierende Hardware um wenig Geld.
Dann kommst du im Zeitplan nicht in Verzug, kannst das alles mal installieren und in Betrieb nehmen.
Du wirst dann ja sehen, was dich stört, was du noch zusätzlich brauchst, was du eigentlich gar nicht gebraucht hätetst etc...
... neue vernünftige Hardware kannst dir dann immer noch kaufen.

Klar ist das nicht optimal, die sind knappe 10 Jahre alt, ich bin absolut kein Freund von so Lösungen. Aber immerhin bekommst mal ein funktionierendes System, ohne, dass du groß nachdenken musst.
Gegen was schlankeres eleganteres ersetzen kannst dus dann ja später, ich denke, bei AM5 wirds noch etwas Zeit brauchen, bis es hier attraktie Lösungen gibt, man wird sehen, was die nächste Chipsatz-Generation bringt.