Ryzen 3700X mit ASRock X470D4U als ESXi-Virtualisierungshost

[besterino]

Guck' mal bei sona.de - nach meiner Erfahrung ein guter ASRockRack und Supermicro Shop, aber leider nicht (mehr) bei geizhals gelistet. Geben auch gute telefonische Auskünfte.

 

[Phantomias88]

Hallo zusammen,
da seit gestern das X470D4U endlich wieder verfügbar ist , habe ich direkt zugeschlagen. Nun rätsel ich gerade rum, welche CPU ich jetzt besorgen soll . . .
Vorhaben:
- ESXi 6.7 (evtl. 7.0)
- 4x32GB ECC RAM
- CPU ? (max 65W TDP)

Laut Asrock wird ECC ja nur von Pro-Ryzens untestützt. Wenn ich das hier aber alles richtig verstehe, funktioniert ECC auch mit nicht-Pro-Modellen (ist halt nur nicht offiziell supportet)

1) Ich dachte daher an den AMD Ryzen 7 3700X, würde das klappen? Wie ist denn da jetzt so der Stand?
2) Laut Asrock käme für meine Zwecke nur ein Speicher in Frage (M391A4G43MB1-CTDQ). Gibt es hier Erfahrungen mit anderen Modellen, die genauso laufen?
3) Hat schon jemand Erfahrung mit ESXi 7.0?

Hi, der 3700X sollte mit ECC Umgehen können, meine letzten Infos nach geht das auch mit den normalen Gaming Mainboards von ASRock.
Dort meldet Windows auch mit einem Ryzen 1700X Multi-Bit ECC, was Advanced ECC entspricht:

wmic memphysical get memoryerrorcorrection

Quelle: https://superuser.com/questions/893560/how-do-i-tell-if-my-memory-is-ecc-or-non-ecc

Bei deinem ASRock X470D4U wird nur Angegeben, dass die APUs ECC nur in der Pro Version unterstützen.

 

[Brokk]

So kleines Update:

Hab den M1015 nun gegen einen LSI 9201-16i getauscht und siehe da das Board bootet auch mit dem Contr. im unteren PCIe Port. Ich denke mal das ist ne Eigenheit des M1015 das der darin nicht booten mag :/

Dofe Frage aber seit kurzem piept der Server immer sobald ich den runterfahre. Ist ein normaler shutdown nichts besonderes.

Hat das wer und Weiss wer wo man das im BIOS aus bekommt?

Und WOL kann das Board auch oder?

Ich will den Server abends runterfahren und morgens wieder hochfahren. Ich am besten automatisch. Ich schlafe nachts also brauch ich den da nicht..... Hat jemand irgendwelche Erfahrungen damit?

 

[callahan78]

Hallo zusammen,
da seit gestern das X470D4U endlich wieder verfügbar ist , habe ich direkt zugeschlagen. Nun rätsel ich gerade rum, welche CPU ich jetzt besorgen soll . . .
Vorhaben:
- ESXi 6.7 (evtl. 7.0)
- 4x32GB ECC RAM
- CPU ? (max 65W TDP)

Laut Asrock wird ECC ja nur von Pro-Ryzens untestützt. Wenn ich das hier aber alles richtig verstehe, funktioniert ECC auch mit nicht-Pro-Modellen (ist halt nur nicht offiziell supportet)

1) Ich dachte daher an den AMD Ryzen 7 3700X, würde das klappen? Wie ist denn da jetzt so der Stand?
2) Laut Asrock käme für meine Zwecke nur ein Speicher in Frage (M391A4G43MB1-CTDQ). Gibt es hier Erfahrungen mit anderen Modellen, die genauso laufen?
3) Hat schon jemand Erfahrung mit ESXi 7.0?

Für diejenigen, die sich ähnliche Fragen stellen . . . ich habe es nun ausprobiert und möchte das Ergebnis mit Euch teilen:

- Asrock Rack X470D4U
- Mellanox connectx-3 Dual-10G
- 2x 32GB Siemens M391A4G43MB1-CTDQ (ECC)
- AMD Ryzen 7 3700X

Ergebnis:
- Multibit ECC läuft
- ESXi 7.0 läuft (installiert auf einer NVMe Disk)

Also alles bestens, kann man so machen

 

[Sightus]

Was ECC betrifft ==> gerade zum Ende des Threads gibts reichlich Infos. ECC Suport ja, aber es wird wohl nicht richtig durchgereicht. [Link]

 

[Brokk]

Was ECC betrifft ==> gerade zum Ende des Threads gibts reichlich Infos. ECC Suport ja, aber es wird wohl nicht richtig durchgereicht. [Link]

Ist ja Interressant. Können ryzen CPUS das nicht ans Slog weiterleiten ?

Wer sagt das das überhaupt funktioniert (ohne pro CPU)?

Ist das dann falsches Marketing seitens AMD oder ASROCK Rack?

 

[Sightus]

Das kann ich Dir nicht sagen, ich weiß es nicht. Ich habe etliche Ryzen-Systeme mit ECC-Speicher...besser haben als brauchen, aber ein schlechtes Gefühl bleibt.

 

[callahan78]

Und wenn mir dmidecode in Ubuntu ganz klar anzeigt, daß ECC aktiv ist, ist das nicht zuverlässig?

 

[Brokk]

Nur weil da n FLAG gesetzt ist heißt das nicht das das ECC seine Arbeit tut. Das versuchen die ja in dem Thread herauszufinden indem sie den Speicher under oder Overvolten und mit memtest Fehler in den Speicher bringen (DRAM Error Injection)

 

[Summerbreeze]

Hallo. da ihr euch gerade über das AMD ECC Drama unterhaltet, wollte ich mal etwas beitragen

Wer sagt das das überhaupt funktioniert (ohne pro CPU)?

Bei mir sagt das zumindest die AMD Abteilung auf Taiwan. Die 1Bit Fehlerkorrektur sollte funktionieren, wird aber für die Desktop Matisse nicht garantiert. Die Desktop APUs funktionieren gar nicht.

Nur weil da n FLAG gesetzt ist heißt das nicht das das ECC seine Arbeit tut. Das versuchen die ja in dem Thread herauszufinden indem sie den Speicher under oder Overvolten und mit memtest Fehler in den Speicher bringen (DRAM Error Injection)

Ich habe das gerade für mich durch.
Den Speicher schrittweise extrem Undervolted und langsam bis auf sehr scharfe Timings runter.
Das Spiel ging so lange, bis ich auf 1,08 Volt und 15-15-15-39 runter war. Dann gab es unter Prime "endlich" eine Reaktion. Leider nicht die Erwünschte. Blackout!
Danach habe ich Memtest86 (Free) laufen lassen. in einem Speicherbereich meldete er immer wieder korrigierte ECC Fehler. Bei Normalspannung und cl16. Muss also jede Menge korrigierte Fehler gegeben haben.
Einmal mit cl16
Mit cl18 läuft er fehlerfrei durch
ECC funktioniert also - irgendwie. Aber nicht wie gewünscht bzw erwartet.
Weder mit Linux noch Win Pro gab es irgendeine Meldung dazu.
Jetzt ist mir gestern auf Planet 3dnow ein Beitrag zu den Agesas aufgefallen.
Ab Agesa 1004 soll AMD eine WHEA Meldung ID 17 abgeschaltet haben. Ist das ein korrigierter Hardwarefehler? Wenn dem so wäre müsste man das vielleicht mal irgendwann mit einem Brett und Agesa 1003 gegentesten. Das hat doch nichts damit zu tun . Event 17 ist ein fehler auf dem PCI Bus.

Das AMD das auf den Desktop CPUs nicht richtig unterstützen will, kann ich noch ein Stück weit verstehen. Das aber keinerlei Pro CPUs in den Freien Handel gelangen, finde ich eine echte Sauerei. Es will sich schließlich nicht jeder einen Epyc in die Ecke stellen.
Was für mich das Fass dann noch etwas überlaufen lässt, ist die Tatsache, das zur Zeit eines Dirk Meyer auf AM3 ECC in sehr vorbildlicher Art und Weise unterstützt wurde. Und Heute?
Seit dem WE ist AMD für mich erst einmal für alles ernsthafte nicht mehr relevant. Schade und einfach nur unnötig.

 

[ludwinator]

Mich würde ja im Vergleich dazu interessieren, wie sich ein Xeon bei einem vergleichbaren Test verhält und was der hier meldet.
Hat das auch mal jemand gemacht?

 

[BloqueNegro]

@Summerbreeze ich hab hier noch das 3.30 BIOS, kann ich dir da aushelfen?

An den Rest der Truppe:
Lt. REST API sollte das Board Redfish unterstützen:

curl -k https://192.168.1.220/redfish/v1/
{"@odata.context":"/redfish/v1/$metadata#ServiceRoot","@odata.etag":"W/\"1590423919\"","@odata.id":"/redfish/v1/","@odata.type":"#ServiceRoot.v1_0_2.ServiceRoot","AccountService":{"@odata.id":"/redfish/v1/AccountService"},"Chassis":{"@odata.id":"/redfish/v1/Chassis"},"EventService":{"@odata.id":"/redfish/v1/EventService"},"Id":"RootService","JsonSchemas":{"@odata.id":"/redfish/v1/JsonSchemas"},"Links":{"Sessions":{"@odata.id":"/redfish/v1/SessionService/Sessions"}},"Managers":{"@odata.id":"/redfish/v1/Managers"},"Name":"Root Service","Oem":{"Ami":{"Configurations":{"@odata.id":"/redfish/v1/configurations"}}},"RedfishVersion":"1.0.2","Registries":{"@odata.id":"/redfish/v1/Registries"},"SessionService":{"@odata.id":"/redfish/v1/SessionService"},"Systems":{"@odata.id":"/redfish/v1/Systems"},"Tasks":{"@odata.id":"/redfish/v1/TaskService"},"UUID":"d05099e3-44dc-ad03-0010-d21d00825219"}%

Allerdings krieg ich ums verrecken keinen Login hin, stattdessen immer eine wrong-credentials Exception

import redfish
import json

username = 'redfish'
password = 'SECRET'
url = 'https://192.168.1.220'

REDFISH_OBJ = redfish.redfish_client(base_url=url, username=username, password=password, default_prefix='/redfish/v1')

REDFISH_OBJ.login(auth="session")

response = REDFISH_OBJ.get("/redfish/v1/systems/1", None)

resp_json = json.loads(response.text)
print(json.dumps(resp_json, ident=2))

REDFISH_OBJ.logout()

Der Redfish-User hat sowohl einen Public SSH Key als auch ein Passwort. Via SSH akzeptiert er zwar den PublicKey, allerdings bleibt er dann bei folgendem hängen:
client_input_global_request: rtype hostkeys-00@openssh.com want_reply 0

Ebenfalls interessant:
Mit einem Ryzen 1700 hatte ich im Abstand von 3-4 Tagen immer Freezes, bei denen das OS gar nicht mehr reagiert hat. Mit dem Ryzen 3700X ist das komplett weg.

 

[Brokk]

Jo meine Kaufentscheidung wurde eher durch die ipmi beeinflusst als durch das ECC Feature...

Brauch ich ECC ...nö glaub nicht. Ist es ein schöner Nebeneffekt...jawohl

Ich hab ne 2400GE Pro CPU hier aber mich sträubt der Umbau und die Fummelei mit dem BIOS da grade alles so gut läuft ....

Imo läuft da ja ein R5 2600 im Board....

Noch ein Board kaufen ich weiß nicht. Da kauf ich eher einen Embedded Epic

Warum man keine PRO CPUs im Handel ( klar ....nicht im Endkunden Markt ala MM oder S) bekommt verstehe ich auch nicht so wirklich

Ich hatte mal ne Anfrage im EGIS gestellt aber da kam nur der Kommentar " PRO was wie wer wo" oder nur Grosse System Provider zurück

Den 2400 GE PRO hab ich dann na ihr wisst schon wo erstanden

AMD schießt sich hier selbst ins Bein

 

[b99]

dem kann ich nur beisteuern... mein Anschaffungsgrund war eher, die Remote-Management Geschichte, als ECC. Ich hoffe nur, das ich diese Funktion nie brauchen werde. Ansonsten ist die Kiste nicht im Produktiv-Einsatz. Einfach nur meine private Spielwiese

 

[Brokk]

Jo ich überlege mir 2x ob diese Kombi auch bei uns zum Kunden gelangt .... Schade eigentlich; hätte man empfehlen können !

 

[ludwinator]

Ich verwende es produktiv bei Kunden und ich kann das ECC Thema nicht nachvollziehen. Auch im o.g. Thread habe ich keine Hinweise gefunden, das hier irgendwas nicht so ist wie es sein soll.
Für den Preis in Kombi mit einem Ryzen 3x gibts nichts besseres.
Kein Mensch braucht die PRO CPUS

 

[Brokk]

Na Wenn's drauf steht sollte es auch drinnen sein...

Sonst wäre das falsche Werbung oder ?

 

[Knogle]

Hat jemand von euch mal OpenBMC probiert? Die ASPEED Chips werden super supportet.
Werde das morgen probieren.

 

[b99]

gute Idee.. noch gar nicht auf die Idee gekommen, dort eine andere Firmware laufen zu lassen

 

[Brokk]

mir hat Asrock aus den Niederlanden gerade bzgl ECC Support Ryzen und AM4 geantworet:

1. AM4 support ECC function
2. AM4 does not support ECC error reporting function

Here is the conclusion:

AM4 platform CPU (Ryzen 1000,2000,3000 series) can all support ECC correction, but not ECC report function



So if you run the test and do not get the relevant results, it is because of this.

Also ist es so wie bereits festgestellt. ECC läuft aber man bekommt nicht mit das das auch funktioniert....

Ich finde soetwas sollte auf der Packung stehen damit man weiß was man kauft. Wenn da ECC Support steht heist das für mich --> "Vollsupport" und nicht --> "Es funktioniert ....irgendwie halt ...."

Wie bereits gesagt ECC ist ein nettes Feature aber nicht ausschlagebend für den Kauf des Boards gewesen.

 

[b99]

danke für die Info.. für mich war IPMI auschlaggebend... deswegen habe ich mir das Brett zugelegt. ECC-Ram nutze ich zwar, aber für mich geht es nur ums reine Basteln... also nix Produktives oder lebenswichtige Daten.. Dabei wird es auch bleiben.. erstmal

 

[Brokk]

Also Asrock hat mir noch geschrieben das die mit AMD sprechen werden und mir eine Mail schreiben wenn es neues gibt.... Vielleicht ein klein wenig Hoffnung das das Irgendwann geht :P

und ja das gilt auch für die PRO CPUs. die können das ebenfalls (lt. Asrock) nicht "nach oben" weiterleiten. Heißt BIOS und OS bekommen nichts von der Fehlerkorrektur mit

Warum sollte das nicht gehen? Ich komm doch auch mit CPUZ auf die CPU ebene und kann Sensoren abfragen....?

 

[Knogle]

Hat jemand es von euch mal geschafft SSH Zugang herzustellen zum IPMI interface?

 

[Brokk]

Ne noch nicht gehts ads so einfach oder muss man da etwas freischalten (im BIOS oder in der IPMI)?

 

[Knogle]

Eigentlich nicht, sollte via PuttY gehen, bekomme aber nach erfolgreicher Authentifizierung keinen Output mehr. Buggt vermutlich auch.
Freue mich wenn ich das Ding die nächsten Tage durch OpenBMC ersetzen kann.

 

[Brokk]

nö bei mir geht das auch nicht. nach dem Passwort kommt nichts mehr

 

[b99]

bei mir auch nicht... aber schaut mal unter den Benutzer-Einstellungen. Da gibt es "Serial Privilege". Diese sind auf None eingestellt. Wollte das auf Administrator umändern, aber der übernimmt das nicht.

 

[Knogle]

Genau. Das Problem hatte ich auch. Hmm.

 

[Brokk]

Kann OpenBMC denn mehr oder weniger das was die IPMI kann oder sind da einige Features nicht implementiert? Zudem wie schwer ist der flash Vorgang und kann man wieder zurück zur Stock IPMI?

 

[Knogle]

Das kann im Prinzip genau soviel, wobei man OpenBMC auch erweitern kann um Funktionen, ist eine Linux Distro im Prinzip.
Flashvorgang erfolgt mit einem SOIC 8 Clip, und CH341A.
D.h. man macht vorher einen Dump vom BMC, und im Zweifel kann man den einfach wieder zurueckschreiben.

Also hinter OpenBMC stecken grosse Firmen wie Microsoft IBM Facebook Google und andere.