suche einen günstigen server mit viele kerne und lanes :)

easy1991

Enthusiast
Thread Starter
Mitglied seit
20.03.2012
Beiträge
3.021
Hey, ich hab eine Anwendung die einfach nur kerne und Lanes brauch, was wäre so ein passendes günstiges System dafür ? IPC bringt mir da nicht viel, da der Flaschenhals woanders liegt.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Lanes braucht normalerweise keine Anwendung. Ansonsten: Wie viele Kerne? Wie viele Lanes? Budget?

Ich vermute mal, dass das jeweilig mögliche Maximum sowohl bei Intel (Xeon Platinum max. 40/80 C/T, max. Dual-Sockel = 80/160 C/T) als auch bei AMD (Epyc max 64/128 C/T, max. Dual-Sockel = 128C/256T) eher nicht ins Budget passen bzw. nicht mehr in die Definition von "günstig" fällt? Epyc bietet jedenfalls mit dem Maximum an Kernen auch das Maximum an PCIe-Lanes (max 2x128) und ist in dieser Hinsicht meist Preis-Leistungs-Sieger.

Eine andere Lösung mit weniger Lanes ist dann ein Threadripper - welcher genau am besten passt, hängt dann davon ab, was wichtig ist: Kerne? Pcie 3 oder 4? Die 1000er Threadripper bekommt man inzwischen durchaus bezahlbar (aktuell für etwas über 170 Euro) - der kleinste bietet dann halt nur 8 Kerne / 16 Threads aber immerhin schon 64 Gen3 Lanes. Der größte in Form des 3995X dann halt 64/128 C/T aber auch "nur" 64 Lanes... mehr Lanes ist aber unterhalb Epyc und Dual-CPU nicht drin.

Bei Intel könnte man auch nochmal ins 2011-3-Regal für eine Dual-CPU Lösung schauen. Da ließe sich auch was mit >40/80 C/T bauen und einigen PCIe3 Lanes...

Was will ich sagen: so kann Dir keiner was empfehlen. Die Auswahl unterhalb des theoretischen Maximums ist groß und da etwas herauszupicken, was auch nur ansatzweise zu den nicht genannten Anforderungen und Budget passt, ist unmöglich.
 
Der Server ist nur für Chia coins da, wir haben momentan einen Threadripper 3970x, nur da sind wir am Limit mit den kernen. pro 250gb SSD speicher brauchen wir 1 kern und 2 GB RAM, die Leistung des Kerns ist egal, deshalb such ich was älteres mit genug lanes und kerne, vielleicht auch was was nicht ganz so teuer ist
 
Xeon 8000er Serie, z.B. von IBM oder HP. Dürftest aber nicht der Einzige sein, der auf sowas scharf ist.
Ich dachte Chia lohnt sich nicht für Normalos, weil man gar nicht genügend Platz zusammen bekommt um überhaupt einen Coin zu bekommen ?
 
Xeon 8000er Serie, z.B. von IBM oder HP. Dürftest aber nicht der Einzige sein, der auf sowas scharf ist.
Ich dachte Chia lohnt sich nicht für Normalos, weil man gar nicht genügend Platz zusammen bekommt um überhaupt einen Coin zu bekommen
ich hab mit 2 kollegen für 20000€ platten und ssds vor den boom gekauft ^^
und zu teure hardware
 
Wäre da nicht das günstigste, irgendwelche 3000er Ryzen zu nehmen, da hast du 24 Lanes für relativ schmales Geld?
 
Epyc bietet jedenfalls mit dem Maximum an Kernen auch das Maximum an PCIe-Lanes (max 2x128)
Nicht unbedingt:
Da wohl kein Boardhersteller auf die BMC verzichten und nur diese eine PCIe 4.0 Lanes zu Verbindung der beiden CPUs nutzen dürfte, sind 2x128 Lanes wohl kaum realistisch, aber vielleicht findet man ein Mainboard bei dem statt der früher üblichen 64 nur 32 Lanes für die Verbindung der beide Sockel genutzt und die übrigen damit verfügbar sind, was dann wirklich mehr als ein Dual 3rd Gen Xeon (Ice Lake-SP) Board wäre. Da hatjede CPU 64 PCIe 4.0 Lanes und die Verbindung der beiden CPUS erfolgt über UPI Links, die zusätzlich vorhanden sind und keine PCIe Lanes beanspruchen.
 
Grundsätzlich wird das echt schwer mit 2x 128 Lanes, da die CPUs ja nicht isoliert für sich laufen.

Es gibt aber Implementierungen, von Dell z.B., die nutzen nur 48 Lanes als Interconnect. Demnach bleiben 160 Lanes in total für externe Anbindungen über.
Das macht an der Stelle gerade bei PCIe 4.0 Sinn da man dort die Bandbreite verdoppelt hat und gegenüber dem PCIe 3.0 auch bei reduzierten Lanes mehr Bandbreite hat.

Im Standard sind das 64 Lanes als Interconnect, was in 128 Lanes extern mündet.
 
Zuletzt bearbeitet:
ich brauche nicht so viele lanes, sollten schon Minimum 64 lanes bei einen 64 Kerner sein, pci-e 3.0 reicht auch vollkommen

Wichtiger sind viele kerne, da eine 2 tb nvme 8 kerne verbraucht.
 
Das macht an der Stelle gerade bei PCIe 4.0 Sinn da man dort die Bandbreite verdoppelt hat und gegenüber dem PCIe 3.0 auch bei reduzierten Lanes mehr Bandbreite hat.
Das stimmt zwar, nutzt aber praktisch meist wenig, da man ja eine PCIe 3.0 x4 SSD nicht an nur zwei PCIe 4.0 Lanes voll anbinden kann, da diese Lanes dann einfach nur mit PCIe 3.0 Geschwindigkeit laufen und damit hat man dann doch nur eine PCIe 3.0 x2 Anbindung damit nur die Hälfte der Bandbreite, wohl die SSD und die PCIe Lanes mehr könnten. Die könnte man PCIe Lane Switches (aka PLX Chips) überwinden, aber die Kosten einiges an Geld, gerade die mit PCIe 4.0, brauchen Platz, Strom und erzeugen auch einiges an Wärme. Deshalb kommen sie eben auch nur selten zum Einsatz.

Praktisch bietet PCIe 4.0 zwar die doppelte Bandbreite, ist aber für die Anbindung von Hardware weit weniger praktisch nutzbar als doppelt so viele PCIe 3.0 Lanes es wären, zumindest bisher, wo es nur PCIe 4.0 x4 SSDs gibt: "PCIe 4.0 x4(83) PCIe 3.1 x4(47) PCIe 3.0 x4(392) PCIe 3.0 x2(26) PCIe 2.0 x4(1) PCIe 2.0 x2(1) unbekannt(3)" und mir wäre auch kein Mainboard mit einem M.2 Slot bekannt, der nur 2 PCIe 4.0 Lanes hat und welches dafür mehr M.2 Slots hätte. Dies wird bei PCIe 5.0 nicht anderes werden, die SSD Hersteller werden dies dazu nehmen um mit PCIe 5.0 x4 dann noch höhere maximale Transferraten zu erreichen und damit werben zu können, denn viele Kunden schauen nur da drauf, ohne sich bewusst zu sein wie wenig aussagekräftig diese Angabe im Alltag ist.
 
Naja, so lange du nicht bei Friday for Future-Demos mitläufst und dich von den Grünen fernhälst und vor Allem nicht über SUVs und Feuerwerke schimpfst, ist alles OK, ansonsten wäre das Schizophren :-)
 
Das stimmt zwar, nutzt aber praktisch meist wenig, da man ja eine PCIe 3.0 x4 SSD nicht an nur zwei PCIe 4.0 Lanes voll anbinden kann, da diese Lanes dann einfach nur mit PCIe 3.0 Geschwindigkeit laufen und damit hat man dann doch nur eine PCIe 3.0 x2 Anbindung damit nur die Hälfte der Bandbreite, wohl die SSD und die PCIe Lanes mehr könnten.
Am CPU Interconnect hängen keine PCIe SSDs.
Der PCIe Interconnect ist nur für die Verbindung der (beider) CPUs da .
Und von daher macht die Bandbreitenverdopplung mehr als nur Sinn, bzw. ist das der Grund, warum man die Lanes reduzieren kann. Und ja, das tut man auch, ganz offensichtlich. Das sieht man auch, wenn man dieses besagte DELL-System aufschraubt.
Von daher ist der praktische Nutzen sehr groß, da man durch trotz der Reduktion von 64 auf 48 Lanes mehr Bandbreite hat.
Von PCIe SSD habe ich da überhaupt nicht gesprochen, wo ist da der Bezug?

Und wenn man das auf PCIe SSDs anwenden mag, ist auch da der praktische Nutzen enorm.
Mit 160 externen PCIe Lanes kannst du neben 24x PCIe SSDs im 2,5" Format (U.2/U.3) oder bei 1U Server im 24x E1-Format mit voller Bandbreite anbinden und kannst die restlichen 64 Lanes für PCIe Slots verwenden. Das wiederum sind 8x PCIe x8 (was das Maximum in 2U ist), welche bei PCIe 4.0 die selbe Bandbreite habe wie x16 PCIe 3.0 haben und sind daher sehr gut geeignet um 100GBE oder bei ausgeführten x16 200GBE anzubinden.

Der Einsatz von PLX-Chips ist nicht zielführend, weil die im Server nichts bringen. Und was sollen die auch bringen? Mehr als 24SSDs bringst du nicht unter und mehr Bandbreite generierst du im Server dadurch auch nicht.

Komm mal weg von deinen M.2 SSDs und deinen "Gaming"-Mainboards. In der Serverwelt sieht das alles deutlich anders aus.
Und da bringt PCIe 4.0 schon einen ordentliche Performancevorteil und durch die große Anzahl LAnes einer DualEPYC-Plattform kann man so einen Standard 1U/2U Server als high performance Storage ausführen. (Intel kann sowas nämlich nicht, 24x PCIe SSDs und normale Slots geht da tatsächlich nur mit PLX und das will keiner)
Im Server verwendet man nur mehr als ungerne PLX-Chips, weil die Geld kosten, Latenz erhöhen, Designaufwand (da ist eh schon kaum Platz) und vor allem die Fehlerwahrscheinlichkeit erhöhen.
PLX-Chips braucht man immer dann, wenn die Verwendung/Belastung der PCIe Lanes nicht deterministisch ist und der Gleichzeitigkeitsfaktor nicht sehr groß ist. Im Server ist sowas aber sehr deterministisch und oft auch gleichzeitig, weil da nämlich keine DAUs mit arbeiten, sondern so ein Server, gerade mit solch speziellen Anforderungen, von Leuten designt wird, die wissen was sie tun und dann die User auch ordentlich Performance haben wollen.
Und letzten Endes ist PCIe 4.0 in den richtigen Anwendungen immer noch zu langsam. Daher schielt man schon sehr stark in Richtung PCIe 5.0, da man so noch mehr Performance hätte, für z.B. 400GBE und das ganz ohne Spezialslots, wie man es heute machen müsste. Und auch da bringt nen PLX-Chips nichts.
Für solche Hardcoreanwendungen, primär aus dem Cloud-Umfeld, ist alles zu langsam und die Entwicklungen geht denen nicht schnell genug.
Das steht im völligen Gegensatz zu der Welt, in der du dich scheinbar bewegst, mit all ihren tollen M.2 und PCIe 3.0 und 4.0 SSDs.

Bringt dem Kollegen hier aber auch nichts, da sowas deutlich im 5-stelligen Bereich liegt.
 
Zuletzt bearbeitet:
Am CPU Interconnect hängen keine PCIe SSDs.
Der PCIe Interconnect ist nur für die Verbindung der (beider) CPUs da .
Was habe ich dazu geschrieben:
Wie wäre es mit Lesen, Verstehen und weniger Mist schreiben, vielleicht einen Kaffee zwischen Aufstehen und Antworten trinken, damit der Schlaf überwunden wird?
Komm mal weg von deinen M.2 SSD und deinen "Gaming"-Mainboards.
Von "Gaming"-Mainboards habe ich doch gar nicht gesprochen.
 
Ich beziehe mich in dem Post ausschließlich auf den CPU Interconnect. (und erwähne nur beiläufig, was man mit den gewonnen PCIe Lanes anstellt, nämlich extern zur Verfügung zu stellen, völlig frei von Geräten). Und auch der von dir zitiert Part zielt nur auf die Reduktion der PCIe Lanes im Interconnect ab.
Das stimmt zwar, nutzt aber praktisch meist wenig, da man ja eine PCIe 3.0 x4 SSD nicht an nur zwei PCIe 4.0 Lanes voll anbinden kann,
Dann hast hast du das geschrieben.
Dass heißt, dass es keinen praktischen Nutzen für PCIe 4.0 im Interconnect (denn um nichts anderes geht es in dem Post) gibt.
Und dann fängst du an, irgendwas von PCIe SSDs zu sprechen und einer angeblichen Reduktion der Lanes bei denen. Dass die SSDs in solchen Systemen immer mit x4 angebunden werden, ist dir scheinbar auch gar nicht bekannt. Denn sonst würde man einen solchen Schluss auch gar nicht bringen.
Des Weiteren gibt es in Servern auch deutlich mehr als nur SSDs. Und da hat x16 PCIe 3.0 zu x8 PCIe 4.0 wieder einen ganz praktischen Nutzen, neben dem im Interconnect.

Du bist scheinbar viel zu sehr in der Consumerwelt (und das meine ich mit "Gaming"-Mainboards) mit seinen ganzen, tollen und bunten SSDs gefangen, dass du PCIe nur auf diese Applikation reduzierst und daher jede Diskussion in diese Richtung immer mit den Geräten, die eher Mittel zum Zweck sind, gleichsetzt.

Und danke, ich brauche keinen Kaffee, in war da nämlich schon 1h wach.
Viel mehr würde ich dir gerne den Tipp geben, dass du SSDs mal ein klein wenig zu Seite legst und, insbesondere in dem Feld, in dem wir uns hier bewegen, Server!, mal ein wenig weiter denkst, was PCIe angeht und den Gewinn den ein erhöhter Lanespeed bringt, sprich also auch einen ganz praktikablen Nutzen. Wäre der nicht da, würden die Hersteller, allen voran AMD, solch einen Aufwand nicht treiben und keine Systeme mit genau dieser Ausprägung designen.
 
Zuletzt bearbeitet:
Also im Hinblick auf Topic und Einsatzzweck ist m.E. ein TR-System gar nicht so verkehrt: mit einem TRX40 Taichi kann man 10-14 (mit std. GPU 10, ohne GPU bzw. x1-GPU 14) NVME mit x4 PCIe4 unterbringen. Das Board kann in allen Slots bifurcation mit 4/4/4/4 und bringt passenderweise eine 4xm2 Adapterkarte schon mit, eine zweite und dritte müsste man halt ggf. nachkaufen.

Dazu dann zur Not einen 3990X und ab dafür. Der günstigste Epyc mit 64 Kernen ist mit 3832 Euro nicht viel günstiger zu den 3999 für den TR.

Plattformkosten mit bissi RAM unter 5.000.

Alternativ halt ein Epyc mit entsprechendem Brett und m2-Adapaterkarten - wird preislich vermutlich nicht viel teurer, mit RDIMMs ggf. sogar etwas günstiger.

Dafür gäbs da so ein pornöses Brett von Asrock mit 7x x16 PCIE4 = 28 m.2 SSDs wenn das Ding auf allen Slots 4/4/4/4 Bifurcation kann (mal in Specs / Manual schauen oder Support Anfragen): https://geizhals.de/asrock-rack-romed8-2t-a2284480.html?hloc=at&hloc=de&v=e
 
Zuletzt bearbeitet:
Der Preis vom Asrockboard hat sich in den letzten 3 Wochen um >50% erhöht und keiner außer dem großen A will es scheinbar verkaufen.
Was ist denn da los?

EDIT:
Halbwegs vergleichbar wäre sowas:
Preislich ist man da also in der selben Liga.
Dafür hat man dann nochmal 2x x16 mehr als beim EPYC und hätte 72C, die schon langsamer sind als der EPYC.
Dafür ist das Ding schon ein paar Monde alt, wiegt etwas und zieht auch Strom, ein echtes Ungetüm.

Man muss also genau schauen was man will.
Wenn man also bei rund 4k ist, hat man ein paar Optionen.

Ältere Systeme sind da seltener geeignet, weil oftmals weniger PCIe Lanes in der CPU existent.
Gehen würde ggf.
ggf. auch 2x. (dann hat man wieder genug Lanes)
NVMe dürfte gehen, Bifi, müsste man nochmal prüfen.

Nen schmales aktuelles EPYC hat aber auch so seine Vorteile...
 
Zuletzt bearbeitet:
evtl. kann man ja auch noch überlegen, nen NVME-HBA einzusetzen. Weiss aber nicht, ob das nen Flaschenhals für Minnig gibt. Auch machen dann andere/teurere SSDs ggf. Sinn oder man muss mit Adaptern hantieren - möglicherw auch wieder blöd.
 
Also mit NVMe HBA wirds dann echt ne Bastelaktion. Weil man dann wieder von SFF-8643/SlimSAS auf M.2 oder über U.2 auf M.2 kommen muss. (ich nehme mal an, dass der TE M.2 SSDs hat)

Was dann ggf. noch Sinn macht, wäre sowas:
Das ist nen nonBifu Riser mit PLX drauf.
Wie gut der dann geht und ob da Performanceeinbußen sind weiß ich nicht.
Aber wenn man davon ein paar holt, ist man schon wieder bei 1-2k EUR an Risern...

Das Geld kann man dann in einen EPYC investieren und muss nicht mit so einem Monster hantieren.

@DL580
Ich kenn jetzt nur von den Gen10 Servern eine Bifu-Option im BIOS. Ob und wie die Älteren das machen, weiß ich nicht.
 
Der Server ist nur für Chia coins da, wir haben momentan einen Threadripper 3970x, nur da sind wir am Limit mit den kernen. pro 250gb SSD speicher brauchen wir 1 kern und 2 GB RAM, die Leistung des Kerns ist egal, deshalb such ich was älteres mit genug lanes und kerne, vielleicht auch was was nicht ganz so teuer ist
LGA 1356 ist immer gut, hab 1 LGA 1356 + 2x 2011 Plotter.

Zu erwähnen:
Die wurden alle irgendwo entsorgt, Investition 0.-
Die Systeme kriegst du eigentlich immer irgendwo gebraucht Gratis her.
G7-G8 Server von HP solltest du eigentlich auch 4 Free irgendwo bekommen.
 
Günstig mit "vielen Kernen" und Lanes erfüllt immernoch S2011-3
 
Halt auch nur bedingt.
2011-3 macht bei 22C Schluss. Dual Socket sind wir dann bei 44C.
Und diese muss man dann auch erstmal bekommen. Massenware waren die ja nicht.
Der TE kommt von 32C.
Frage ist also, wo will er hin, was wäre hinreichend?

Daher auch die Idee mit den Quad Socket Maschinen, die ja auch auf dem 2011-3/-1 aufsetzen.
So könnte man kleine CPUs einsetzen, die man ggf. einfacher bekommt und hat dann auf jeden Fall von allem genug, hoffentlich.
Wenn er in Richtung 100C gehen will, wird es dann halt auch wieder schwierig.
 
Haben uns schon auf ein Threadripper 64c geeinigt, da wir halt schon die basic für alles haben
 
Vielleicht lohnt sich auch nochmal ein Blick auf den https://www.gigabyte.com/Enterprise/Rack-Server/R272-Z32-rev-A00, was einer der wenigen Singesocket systeme ohne PLX mit 24 U2 ports ist, die alle mit 4x angebunden sind. Gibt es auch in einer älteren ausführung für 7000 und 7001er AMDs. Dadurch sollte viel Verkablung wegfallen können und mir fällt kein TR40/80er Board ein, welches wirklich alle Lanes als 4er Paar ausleiten könnte.
1623393428809.png


Der R272-Z33 bringt alle Lanes mit Gen 4 ans Frontpanel, ist aber schwer zu finden...
 
Zuletzt bearbeitet:
Das soll es angeblich auch können: https://www.asrockrack.com/general/productdetail.asp?Model=TRX40D8-2N2T#Specifications

Habe aber auch nur gesehen, dass Bifurcation geht - nicht ob auch genau 4/4/4/4 funktioniert. Da ist Asrock(Rack) aber sonst eher vorbildlich: hab 2 Boards (TRX40 Taichi / X399D8A) von denen und die können es beide auf allen CPU-16x-Slots.

Das TRX40D8 liegt hier übrigens auch schon, ich bin nur noch nicht dazu gekommen bzw. habe gerade keine Lust/Anlass, alles umzubauen. Ich hoffe auf einen TR5000 dieses Jahr, der auch noch auf TRX40 läuft. Dann wandert der 3960X auf das TRX40D8 und wird mein neuer Mainserver. :d
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh