Deep Mini-ITX und SP3: Das ASRock Rack ROMED4ID-2T im Test

[HWL News Bot]

Nachdem wir uns nun zahlreiche Workstation- und Server-Mainboards für Intel-Prozessoren angeschaut haben, folgt mit dem ASRock Rack ROMED4ID-2T nun ein Modell, welche EPYC-Prozessoren von AMD aufnimmt. Die 128 PCI-Express-Lanes eines EPYC-Prozessors eigenen sich natürlich zur Anbindung möglichst vieler externer Komponenten. In diesem Falle geht es aber nicht um GPU-Beschleuniger oder dergleichen, sondern um die Bereitstellung möglichst vieler Massenspeicher.
... weiterlesen

 

[Richard88]

das ding sieht so süss aus.

wie eine rpg loli die knuffig ist aber faustdick lvl99 ist.

 

[warchild]

Als SSD haben wir auf eine Corsair MP600 Pro gesetzt. Dabei handelt es sich um eine PCIe-4.0-SSD, die in diesem Fall ihr Interface allerdings nicht ausspielen kann, da beide M.2-Anschlüsse nur über den Chipsatz und damit per PCIe 3.0 angebunden sind.

Der M.2-Steckplatz ist direkt über die CPU angebunden und bietet vier PCI-Express-4.0-Lanes. Wir haben eine Corsair MP600 Pro mit einer Kapazität von 1 TB eingesetzt und durch die Benchmarks gejagt.

Da passt was nicht...

 

[Don]

Den Satz habe ich korrigiert. Danke für den Hinweis!

 

[Viper63]

Über die PCIe-4.0-Lanes des Prozessors werden gleich sechs SlimSAS-Anschlüsse zur Verfügung gestellt. Jeder dieser Anschlüsse ist über acht PCIe.4-0-Lanes angebunden und dementsprechend kommen hier insgesamt 48 Lanes zum Einsatz. Die EPYC-Prozessoren bieten aber bis zu 128 Lanes, sodass hier noch weiterer Spielraum geblieben wäre. An jeden SlimSAS können bis zu vier Laufwerke angeschlossen werden. Dies können jeweils vier SAS/SATA-Laufwerke sein oder aber auch ein SFF-8643 für entsprechende SSDs. Bis zu 24 Laufwerke können direkt an die beiden Prozessoren angebunden werden.

CPU: 2x SlimSAS (17x SATA 6Gb/s)
CPU: 1x M.2 2280/22110 (PCIe 4.0 x4 oder SATA 6 GBit/s)
CPU: 4x SlimSAS (2x PCIe 4.0 x8)
CPU: 2x SlimSAS (2x PCIe 4.0 x8 oder 8x SATA 6 GBit/s)

Vielleicht steh ich da grad auf dem Schlauch, aber woher kommen die beiden zusätzlichen SlimSAS-Anschlüsse an die 17 SATA-Laufwerke angeschlossen werden können? Und von welchen "beiden" Prozessoren ist hier die Rede?

 

[v3nom]

2x8 = 16 SATA müssten es sein per SlimSAS.

 

[Viper63]

2x8 = 16 SATA müssten es sein per SlimSAS.

Sicher? Mir sind bis jetzt immer nur 1xSlimSAS -> 4xSATA über den Weg gelaufen, das deckt sich auch mit den restlichen Angaben bezüglich der Anschlüsse.

 

[v3nom]

Da jeder Slimline mit x8 Lanes angebunden ist können auch 8x SATA angebunden werden. Es gibt entsprechende Kabel, diese sind aber wohl eher Niesche: https://www.jacob.de/produkte/supermicro-slimline-sas-cbl-sast-0827-artnr-6075994.html

 

[BadBigBen]

Setzen wir die beiden EPYC 7343 unter Last, verbraucht das gesamte System 252,7 W.

Zwei? oder sind die "ie beid" Buchstaben ein Extra, ergo Draufgabe? (die beiden = den)

 

[MisterY]

Im Idle jetzt nicht wirklich sparsam. Klar, der hat mehr Dampf als meine beiden E5-2630 V2, aber da die eh die meiste Zeit im Idle sind, ist eine Investition (vor der Partnerin) nicht zu rechtfertigen.

 

[mgutt]

Ja der Leerlauf geht gar nicht. Jede VM kommt ja noch oben drauf.

 

[Holt]

Vielleicht steh ich da grad auf dem Schlauch, aber woher kommen die beiden zusätzlichen SlimSAS-Anschlüsse an die 17 SATA-Laufwerke angeschlossen werden können?

SAS Laufwerke gehen nicht, nur NVMe oder SATA und 17 SATA Laufwerke kommen wohl von den beiden Anschlüssen die je maximal 8 SATA oder PCIe 4.0 x8 bieten:

2 SlimSAS (PCIe4.0 x8 or 8 SATA 6Gb/s)

Der 17. ist dann wohl der M.2 Slot der ja auch SATA ermöglicht, da ich keinen normalen SATA Anschluss finden konnte.

M.2 1 M-key (PCIe4.0 x4/SATA); Form factor: 2280

Wobei die EPAC meines Wissens nach bis zu 32 SATA Ports (im Tausch gegen PCIe Lanes) bieten:

Alternatively, 32 of these lanes could be converted to
dedicated SATA ports using EPYC’s on-chip SATA controller, resulting in 32 SATA drives without any extra controllers

Die Anschlüsse nennen sich zwar SlimSAS weil sie auch für SAS verwendet und wahrscheinlich für SAS eingeführt wurden, aber SAS Laufwerke wird man an denen nicht betreiben können! Die sind nur halt für den Anschluss von PCIe Laufwerken genommen wurden, weil es sie schon gab, sie sehr kompakt sind und sie für die hohen Frequenzen von PCIe geeignet sind. Der Name täuscht aber, denn ich kenne keinen Chipsatz (oder SoC, aber das ist ja nur eine CPU mit integriertem Chipsatz) in der x86 Welt welcher SAS Ports bieten würde. Es wäre also sinnvoller SFF-8654 statt SlimSAS zu schreiben und Missverständnisse zu vermeiden. Seit "U.2" geht da leider viel durcheinander, auch wenn die snia.org die Bezeichnung U.2 erst später eingeführt hat, welches nur für die SFF-8639 verwendet werden darf, die auch PCIe Lanes bieten:

The 2.5-inch form factor is the most common deployment of an SSD, and is offered with PCIe (with NVMe), SAS or SATA interfaces. It is typically used in desktops, servers and storage systems built around hard disk drives (HDD). This form factor is commonly associated with the term U.2 and is sometimes referred to as the U.2 form factor. U.2 is defined as compliance with the PCI Express SFF-8639 Module specification, and no longer typically references SAS or SATA SSDs.

Beitrag automatisch zusammengeführt: 11.12.2021

Hier übrigens noch ein Fehler:

Das ASRock Rack ROMED4ID-2T kommt somit auf einen Idle-Wert von 78,5 W. Setzen wir die beiden EPYC 7343 unter Last, verbraucht das gesamte System 252,7 W.

Die beiden ist bei einem Board mit nur einem Sockel wohl schwer. Aber 78,5W im Idle sind echt viel, so viel braucht mein Xeon-D 1541 Board ja nicht einmal unter Last!

 

[mgutt]

Den Satz habe ich korrigiert. Danke für den Hinweis!

Kann es sein, dass auch hier die Radeon beim Stromverbrauch mitgemessen wurde?

 

[Holt]

Was für eine Radeon? Unter Seite 3: Die weiteren Komponenten wird keine erwähnt. Außerdem passt der Wert doch gut, das Chiplet Design ist bzgl. der Idle Leistungsaufnahme leider sehr schlecht, weshalb AMD bei den (mobilen) APUs ja auch darauf verzichtet und monolithische Dies dafür einsetzt.

Der EPYC 7343 hat zwar nur 16 Kerne, aber 128MB L3 Cache und da jedes Chiplet 32MB L3 hat, muss er also 4 Chiplets haben. Anandtech hat hier für den 3970X, der ja auch 4 Chiplets hat, eine Idle Package Power von 52W ermittelt, von denen nur 1W auf die Kerne entfiel. Für den 3990X mit seinen 8 Chiplets sind es sogar 71W im Idle von denen 3W auf die Kerne entfallen. Die IF um die Chiplets anzubinden scheint im Idle keine Energiesparzustände einzunehmen und mit Zen3 hat sich daran offenbar nichts geändert, wie die Werte des 5000er RYZEN (5600X:11W, 1W Kerne, 5800X 12W-1W, 5900X 23W-3W, 5950X 16W-2W) zeigen.

Mehr Chiplets erhöhen die Idle Leistungsaufnahme deutlich, wenn schon ein Chiplet+I/O Die im Idle über 10W ziehen sollte klar sein wieso AMD bei den vor allem für den mobilen Einsatz entwickelten APUs einen anderen Weg gegangen ist, aber bei Server CPUs spielt die Idle Leistungsaufnahme eigentlich auch keine so große Rolle, da Server normaler Geld verdienen müssen und dies nicht tun, wenn sie Idle sind. Für Heimanwender sieht die Sache natürlich etwas anderes aus, da der Heimserver sehr wohl oft Idle ist, aber wenn einem die Idle Leistungsaufnahme wichtig ist, dann nimmt man keinen EYPC 7000 und wenn, dann einen mit möglichst wenig Chiplets also wenig L3 Cache.

 

[mgutt]

Was für eine Radeon? Unter Seite 3: Die weiteren Komponenten wird keine erwähnt. Außerdem passt der Wert doch gut, das Chiplet Design ist bzgl. der Idle Leistungsaufnahme leider sehr schlecht, weshalb AMD bei den (mobilen) APUs ja auch darauf verzichtet und monolithische Dies dafür einsetzt.

Auf Seite 5 sieht man es unten im Screenshot vom Task Manager, dass eine RX550 verbaut wurde.

Und von einem ITX Board erwarte ich einfach einen etwas geringeren Verbrauch als von einem >ATX Board. Gut, das hier hat kein 10G, aber das alleine macht ja keine 30W aus:

Supermicro H12SSL-i, H12SSL-C, H12SSL-NT, H12SSL-CT boards - notes, experiences

So far I have my fair share of experience with those boards overall and in-depth with the H12SSL-NT. Some notes are imho in order: Overall Those boards are fast. From my (our) tests they are among the fastest you can run EPYC on. There were no compatibility issues under Windows or...

forums.servethehome.com

H12SSL-i ... Idle consumption is cca 40-45W with Epyc 7313p 16c 3.0GHz (SMT OFF) - measured by HWInfo / CoreTemp - quiet a lot, but yeah - who wants server CPU in a workstation than needs to respect this idle consumption.

Auch hier wirkt es als sei eine GPU verbaut gewesen zu sein und dazu sogar 3 SSDs:

Deep mini-ITX mit langem DIMMs: ASRock Rack E3C256D4ID-2T im Test

Mit dem E3C256D4ID-2T setzen wir heute die Reihe der Tests einiger Server-Mainboards von ASRock Rack fort. Nun bereits zum dritten Mal schauen wir uns dabei eine Platine für den Sockel LGA1200 an. Intels Plattform bietet sich für vielerlei Anwendungsbereiche in diesem Segment an: seien es...

www.hardwareluxx.de

 

[Holt]

Und von einem ITX Board erwarte ich einfach einen etwas geringeren Verbrauch als von einem >ATX Board.

Naja, man spart ein paar Redriver und Muxer für die PCIe Lanes, aber alleine der ASPEED AST2500 dürfte ein paar Watt ziehen, auch wenn Aspeed selbst dazu keine Angaben auf der Produktseite macht.

Gut, das hier hat kein 10G, aber das alleine macht ja keine 30W aus:

Nein 10G machen sicher keine 30W aus, siehe auch die im untersten Zitat verlinkte Seite, aber Du vergleichst Äpfel mit Birnen. Meines Wissens misst HL nämlich die Leistungsaufnahme an der Steckdose, aber der Schreiber im Servethehome Forum mit HWInfo / CoreTemp gemessen, womit man bekanntlich nur die (Core und) Package Power ermitteln kann, nicht aber die Leistungsaufnahme des Komplettsystems, wie sie im Review ermittelt wurde.

Zwar ich glaube auch nicht alles was irgendjemand den ich nicht kenne und von dem ich vorher nie was gelesen habe, irgendwo im Internet schreibt, aber der 7313P hat ja auch 128MB L3 Cache und damit 4 Chiplets und wenn Anandtech für eine 3970X mit 4 Chiplets schon 52W Package Power im Idle ermittelt hat, sind 40 bis 45W nicht so weit weg. Zumal es ja offenbar bei verschiedenen Modelle trotz gleiche Anzahl an Chiplets sehr wohl Unterschied gibt, wie beim Vergleich zwischen dem 5900X und 5950X sieht, die ja beide zwei Chiplets haben und trotzdem mit 23W bzw. 16W gemessen wurden.

Auch hier wirkt es als sei eine GPU verbaut gewesen zu sein und dazu sogar 3 SSDs:

3 SSDs?

Im Idle-Betrieb haben wir mit einer verbauten M.2-SSD und einer SATA-SSD einen Verbrauch von 46,8 W gemessen.

Ich sehe da nur 2 SSDs, eine M.2 und eine SATA SSD. Aber die 46,8W scheinen mit trotzdem zu hoch für einen i5-11400F, wenn man dies liest:

Dies allerdings nur für 28 s, denn dann reduziert das Mainboard die Leistungsaufnahme des Prozessors auf 65 W und somit sinkt auch der Verbrauch des Systems auf 91 W.

Anders als die Consumer Mainboard stellen die Enterprise Mainboard in aller Regel die Werte für PL1, PL2 und Tau meist genau nach den Vorgaben des CPU Herstellers ein und dies sieht man ja auch hier. Aber 91W - 65W = 26W, unter Volllast hat also das Mainboard inkl. der Verluste des Netzteils dann nur noch 26W gebraucht und Idle sollen es 20,8W mehr gewesen sein?

Hat ein 11400F mehr als 20W Idle Package Power? Leider findet google keine wirklich gute Antwort darauf, aber hier bei guru3d sieht man einen Screenshot mit HWInfo64 Sensores wo die Package Power Minimum 17,696W zu sehen ist, allerdings ist da der Core Clock Minimum auch 3GHz, obwohl die CPU Usage Minimum bei 0% gelegen haben soll. Dafür scheinen mit 3GHz Takt dann aber viel zu sein, aber wer weiß was da im BIOS eingestellt war.

Das Mainboard und die BIOS Einstellungen machen bei der Idle Leistungsaufnahme eben viel aus und bei den 7000er EPYC eben auch die Anzahl der Chiplets, aber wer eine geringe Idle Leistungsaufnahme will, der ist mit einem EPYC 7000 eben sowieso nicht gut bedient und generell muss man bei den leistungsstarken Serverplattformen Abstriche bei der Idle Leistungsaufnahme machen, die sind einfach nicht darauf sondern auf viel Leistung optimiert und sollte im Alltag auch nicht oft Idle sein, einfach weil sie dann kein Geld verdienen. Dafür gibt es zumindest von Intel eben besser Plattformen, wie die Server Atoms oder Xeon-D, schau einfach mal auf die Seite die hinter diesem Zitat verlinkt ist:

The server based upon the ASUS P9D-MH is the most feature rich board in our comparison. The C2750 measurements show how much difference a certain board can make - the Asrock C2750D4I which targets the storage market needs 31 W, and by comparison the m300 micro server inside the HP Moonshot needs only 11 W. The last measurement does not include the losses of the PSUs, but it still shows how much difference, even in idle, the board makes.

 

[mgutt]

auch wenn Aspeed selbst dazu keine Angaben auf der Produktseite macht.

Die habe ich in der Vergangenheit mal per E-Mail gefragt und die meinen unter 2W. Keine Ahnung woher der sonstige Verbrauch auf den Boards kommt:

aber der Schreiber im Servethehome Forum mit HWInfo / CoreTemp gemessen

Mist, übersehen, obwohl zitiert 🙈 Ok, dann wird es sicher deutlich mehr sein.

Ich sehe da nur 2 SSDs, eine M.2 und eine SATA SSD

Dafür gibt es zumindest von Intel eben besser Plattformen, wie die Server Atoms oder Xeon-D, schau einfach mal auf die Seite die hinter diesem Zitat verlinkt ist:

Naja, der Artikel ist schon alt und dementsprechend hoch sind die Verbräuche. In unserem <30W Thread gibt es deutlich bessere Setups.

Ich habe die Tage ein Supermicro X12SCA-F mit einem W-1290P gemessen. Im Leerlauf 12W. Das nenn ich bezogen auf die mögliche Maximalleistung und IPMI sparsam. Vor meinem aktuellen Setup hatte ich das Supermicro A2SDi-8C+-HLN4F (Atom). Damit kam ich nicht unter 22W. Und das Asrock J5005 bekam ich auch nicht unter 15W. Meine jetzigen Xeon Workstation Boards (C246 und W480) liegen alle bei unter 10W, aber die haben auch kein IPMI. Daher verstehe ich auch nicht warum das Asrock Rack C256 so dermaßen viel verbrauchen soll. Wie soll das denn erst mit den Xeon W685 Boards und PCIe 5.0 werden.

 

[Holt]

Mist, übersehen, obwohl zitiert 🙈 Ok, dann wird es sicher deutlich mehr sein.

Mach Dir nichts draus, dies kann jedem mal passieren, irren ist menschlich und nur wer nichts tut, macht auch keine Fehler.

Anhang anzeigen 711158

Ok, da sollte man beim Reviewer wirklich nochmal genau nachfragen und HL bitten da etwas mehr Sorgfalt bei den Reviews an den Tag zu legen. siehe auch den letzten Abschnitt in Post #12.

Naja, der Artikel ist schon alt und dementsprechend hoch sind die Verbräuche.

Ja, aber er war vor allem dazu gedacht den Einfluss des Mainboards zu zeigen.

Ich habe die Tage ein Supermicro X12SCA-F mit einem W-1290P gemessen. Im Leerlauf 12W. Das nenn ich bezogen auf die mögliche Maximalleistung und IPMI sparsam.

Allerdings, da kann man nicht meckern, aber ist das @Stock an der Steckdose oder wurden in BIOS von Hand auf die Idle Leistungsaufnahme hin optimiert?

Meine jetzigen Xeon Workstation Boards (C246 und W480) liegen alle bei unter 10W, aber die haben auch kein IPMI. Daher verstehe ich auch nicht warum das Asrock Rack C256 so dermaßen viel verbrauchen soll. Wie soll das denn erst mit den Xeon W685 Boards und PCIe 5.0 werden.

Womit sich wieder die Frage nach den BIOS Einstellungen und der genauen Beschreibung des Systems während eben genau dieses Tests der Idle Leistungsaufnahme stellt. Die schnelleren Schnittstellen wie PCIe 5.0 brauchen natürlich mehr Leistung, aber auch für PCIe gibt es Energiesparmaßnahmen, eben ASPM (Active-state power management). Es wäre natürlich wünschenswert und würde den Wert der Reviews für Heimanwender seigern, wenn die Reviewer gerade bei solche Serverboards die auch für Heimanwender interessant sein könnten, in den Reviews mehr auf dieses Thema eingehen würden und eben ggf. auch die Idle Leistungsaufnahme mit aktivieren Energiespareinstellungen ermitteln würden, sollten diese im Default nicht aktiviert sein.

Gerade bei den leistungsstärkeren Serverplattformen ist ja eben das Problem, genau wie bei Enterprise SSDs auch, dass diese eben nicht auf Energiesparen sondern Höchstleistung optimiert sind und Energiesparzustände immer Leistung kosten, weil es immer eine Zeit dauert, um diese wieder zu deaktivieren und Produktivsysteme eben kaum mal Idle sind. Daher könnte ich mir vorstellen, dass sich da durchaus noch was rauszuholen ist, aber eben vielleicht nicht bei jedem Boad und genau dies wäre dann für Heimanwender interessant zu wissen. Privat nutze ich sowas aber nicht, mein Heimserver ist auf Xeon-D 1541 Basis und die beruflich genutzten Server sind kaum Idle und selbst wenn, interessiert mich da die Leistungsaufnahme nicht, zumal ich sie sowieso nicht beeinflussen kann.

Beitrag automatisch zusammengeführt: 05.01.2022

PS: mgutt, Du scheinst ja sehr aktiv im Bereich Heimserverplattformen zu sein und auch Wert auf ECC RAM zu legen. Hast Du irgendwas zu dem On-Die-ECC von DDR5 im Vergleich zum klassischen ECC im RAM Controller bzgl. der Möglichkeiten der Fehlerkorrektur gefunden? Natürlich gibt es da auch bisher schon Unterschied, von dem einfachsten Level nur Singlebitfehler korrigieren zu können bis zur kompletten Spiegelung der RAM Inhalte, aber kommt die On-Die-ECC wenigstens an ersteres ran? Mir ist klar, dass die klassische ECC im RAM Controller natürlich auch Übertragungsfehler korrigieren kann, während sie bei DDR5 (bzw. schon seit DDR4) nur per CRC erkannt werden können, die fehlerhafte Übertragung dann aber wiederholt werden muss bis sie klappt. Aber für einen Heimserver wäre dies ja wohl noch zu verschmerzen, zumal man da die RAM ja auch nicht an die Kotzgrenze übertakten wird.

Würdest Du Alder Lake mit DDR5 mit On-Die-ECC (bisher habe ich aber noch keine Riegel ohne gesehen) für einem Heimserver als Alternative zu einem Xeon-E/W ansehen? Da bin ich auch wegen der schlechten Verfügbarkeit der Xeons (mit entsprechenden Folgen für die Preise) echt am Überlegen, denn im Prinzip sollte man damit schon einen gewissen (wie guten?) Schutz einmal vor gekippten Bits im RAM haben und zum anderen eben vor Übertragungsfehlern, auch wenn man wohl nie erfährt, wenn ein solcher Fehler auftritt, zumindest was die gekippten Bits im RAM angeht.

 

[emissary42]

DDR5 mit On-Die-ECC (bisher habe ich aber noch keine Riegel ohne gesehen)

Weil On-Die-ECC ein offizielles Feature des DDR5 Standards ist.

Was und wie dies funktioniert, kannst du im JEDEC DDR5 Standard (paywalled) oder Micron DDR5 Core Data Sheet (Free Download, ab S132) nachlesen.

 

[Holt]

Danke für den Hinweis, also 8 Bit ECC auf 128 Datenbit, also doppelt so viele Datenbit wie die 64 bei DDR4 und bei DDR5 sind es ja nun wegen der beiden Subchannels sogar 8 Bit ECC auf nur 32 Bit Daten.

 

[mgutt]

Allerdings, da kann man nicht meckern, aber ist das @Stock an der Steckdose oder wurden in BIOS von Hand auf die Idle Leistungsaufnahme hin optimiert?

Klassisch C-States und ASPM aktiviert. Das mache ich grundsätzlich bei allen Systemen, daher sind die Messungen auch halbwegs vergleichbar.

Du scheinst ja sehr aktiv im Bereich Heimserverplattformen zu sein und auch Wert auf ECC RAM zu legen. Hast Du irgendwas zu dem On-Die-ECC von DDR5 im Vergleich zum klassischen ECC im RAM Controller bzgl. der Möglichkeiten der Fehlerkorrektur gefunden?

Habe ich mich noch gar nicht mit auseinander gesetzt. Wenn ich das aber richtig verstanden habe, werden bei DDR5 ECC Korrekturen keine mce logs ausgelöst. Wenn das so ist, erfährt der Nutzer also nicht von der Häufigkeit der Korrekten und evtl sterbendem RAM. Damit hielte sich also auch der Mehrwert in Grenzen. Informiert zu sein ist ja gerade der Vorteil von ECC RAM, wie es ja auch bei Datenträgern und deren SMART der Fall ist oder AER Fehlern bei PCIe Verbindungen.

 

[Holt]

Das mache ich grundsätzlich bei allen Systemen, daher sind die Messungen auch halbwegs vergleichbar.

Wenn man das bei allen Boards macht, dann sind die Messungen natürlich halbwegs vergleichbar, aber in den Reviews dürfte dies wohl leider nicht gemacht worden sein und daher hängt es dann davon ab was das BIOS da per Default eingestellt hat.

Informiert zu sein ist ja gerade der Vorteil von ECC RAM

Also ich sehe als größten Vorteil von ECC RAM den Schutz vor RAM Fehlern an, erst danach kommt dann die Information darüber.