Ryzen 3700X mit ASRock X470D4U als ESXi-Virtualisierungshost

[Desiderius]

Das blöde ist das wohl einer der beiden M.2 Slots nur PCIe 2.0 ist und der andere auch nur PCIe 3.0 x2. Ich habe das für meinen Gameserver jetzt so gelöst das ich die Boot Platte ne 970 EVO Plus 500GB im PCIe 3.0 x2 M.2 Slot genommen habe und für die Gameserver ne 2TB Samsung 970 EVO Plus auf ner M.2 Adapter Karte. Wollte wirklich die volle Performance sequentiell haben.

Ja ISO Image über IPMI/BMC ist schon ziemlich langsam aber man macht das in der Regel ja nur einmal beim neuinstallieren danach braucht man es ja meist nicht mehr. Ich glaub das ist dann über ne SMB Freigabe auch nicht wirklich viel schneller. Und bevor ich ne Stunde nach Frankfurt ins RZ fahre lasse ich das lieber rödeln

Gruß
Desiderius

 

[Sightus]

Moin,

hat schonmal jemand diese RAM-Disk-Geschichte zum Laufen bekommen?

Gruß

 

[Brokk]

Controller soll aber im IT Mode betrieben werden und wurde auch schon dahingehend geflasht? Aktuellste Firmware drauf? Eigenartig ist ja, dass einige Platten formatiert werden können, andere nicht. Mal über Kreuz die Kabel getauscht und probiert, ob es an denen liegt?

Ja der ist im IT Mode, ich guck zuhaue mal nach ner neuen Firmware... Irgentwie komisch das ganze.


Warum funktioniert der letzte PCIE nicht?

 

[biasx31]

@biasx31Hatte dich schon verstanden, mit RAID1 sollte zumindest das Lesen immer noch beschleunigt werden.

Jagut aber das war ja nicht die Frage. Um Speed geht es hier nur Sekundär. Ich kann es halt nicht gebrauchen das mir der Rechner wegen einer defekten SSD still steht und ich erst nen Backup zurückspielen muss. Ich kann ihn aber durchaus kurzzeitig mal runterfahren um eine Platte zu wechseln.

Ich will ehrlich gesagt nicht darauf vertrauen, dass die SSD länger hält als das Soft-Raid. Oder gibts hier bessere Alternativen?

 

[Brokk]

Also mir sind nur in 1 speziellem Fall SSDs abgeraucht .... Alte OCZ Vertex (Brauner Sticker) hatten mal einen Bug der die nach x Jahren kaputtgehel ließ .

NVME SSDs hab ich noch nicht kaputt bekommen (24/7)

 

[Trambahner]

OT:
2 SSDs sind mir privat bislang kaputtgegangen. Eine 64GB mit Indilinx-Controller (Supertalent UltraDrive xyz, komplett hin) und eine SM863 960GB ( hier die Caps für die powerloss protection, damit schreibt die SSD nur noch 40 MB/s).
Im Büro vor langer Zeit ein Revodrive X2 (4*60GB Sandforce1, Defekt von 2 der 4 60GB aufgelöteten SSDs).

 

[b99]

OT... icke... mehrfach.. Raid-5 mit Promise-Controller.. während des Rebuild die nächste Platte weggeflogen. Das wars dann für mich... ZFS ist etwas zuversichtlicher, weil im Rebuild nur die Daten und nicht die Sektoren neu geschrieben werden... Aber wie sage ich immer so schön: Datensicherung ist das A und O... A!oh

 

[fdsonne]

Ich will ehrlich gesagt nicht darauf vertrauen, dass die SSD länger hält als das Soft-Raid. Oder gibts hier bessere Alternativen?

Kommt drauf an - es gibt zumindest für SATA "Gehäuse", die zwei Slots intern haben und völlig transparent einen Mirror Mode fahren. Ob sowas für PCIe SSDs auch geht, kein Plan, möglich sicher, günstig dürfte das aber nicht sein.
Alternativ, je nach verwendetem OS kann man auf reines Software Raid gehen. Also MDM per Linux oder ähnlichem in anderen Betriebssystemen. In der Headline wird ESXi erwähnt - der kann sowas aber definitiv nicht!

Btw. laut dem Handbuch hängen die beiden M.2 Slots beide am Chipsatz, der eine Slot mit PCIe 2.0 x4 ist halt dann real praktisch genau so schnell wie der PCIe 3.0 x2 Slot.
EDIT: im Bios gibts nen NVMe Raid schalter! Sollte also definitiv funktionieren mit dem Raid. Aber da das nicht Hardware gestützt ist, wird ein ESXi da wohl dennoch nicht supporten.



Was den unteren PCIe Slot angeht, der teilt sich die Lanes mit dem oberen. Steckt ne Karte nur oben, gehen elektrisch 16x zum oberen Slot. Steckt was oben und unten, dann gehen 8x/8x jeweils geteilt.
Im Handbuch dazu steht btw. auch:
"For Matisse CPU users, if you want to use the PCIE4 slot, please first switch the PCIe x16 slot to [2x8] in the BIOS settings: Go to “Advanced” > “AMD PBS” > “PCIe x16/2x8/4x4 Switch” > select “[2x8]” and press F10 to save and exit. For more information, please see Chapter 3.3.9 AMD PBS."
PCIE4 meint den unteren Slot. Sprich bei 3000er Ryzen CPUs muss für die Nutzung des unteren Slots im Bios auf 2x8 Mode geschalten werden, sonst kommt offenbar da im unteren Slot nix bei rum. Warum das nicht automatisch passiert bzw. ob das automatisch passiert, wenn man nicht 3000er Ryzens nutzt, kein Plan!

 

[Brokk]

Danke fdsonne genau das hab ich gesucht Kann es sein das der untere Slot bei Ryzen 2400Pro (mit GPU) nicht geschaltet werden kann da dem PCIe Lanes fehlen?

 

[fdsonne]

Hat der 2400G (den meist du wahrscheinlich???) nicht nur 8x PCIe Lanes??? -> weil wenn ja, dann dürfte das der Grund sein!
Ich kann es selbst nicht austesten, gehe aber davon aus, bei nur 8x vorhandenen Lanes wird der hintere Teil gar nicht bedient. Das heist dann wohl, dass der untere Slot schlicht komplett brach liegt, egal was du da eindrehst an Einstellungen.

Aber ist eine APU überhaupt "sinnvoll" auf dem Board? Führt er denn wenigstens die GPU hinten an den Grafikoutput? Oder wird lediglich die OnBoard Geschichte verwendet und die APU interne GPU liegt komplett brach?

 

[Brokk]

Laut wikichip hat er 12x PCie

1x8+1x4, 2x4+1x4

Wird wohl daran liegen.... :P

 

[fdsonne]

Jaa stimmt, den 4x hab ich unterschlagen, das ist die Anbindung für den M.2 Slot auf den Consumer Boards - AsRockRack nutzt diese vier Lanes für den mittleren PCIe Slot auf dem Board. Der ist ja mechanisch 8x, stopf doch mal den Controller dort rein für nen Test? Wenn er im Bios auftaucht, ist die Anbindung wohl oder übel 8x für den Slot 1 + 4x für den Slot 2 und gar nix für Slot 3. (nebst den 4x für den Chipsatz, die eh vorhanden sind)

 

[Brokk]

Jo geht im mittleren Slot .... beide NVME Slots gehen auch. Dann muss ich wohl irgendwann auf einen 3000 gehen. Das wird wahrscheinlich das selbe Spiel mit den 3400G etc sein oder?

Nicht das das Board ne iGPU braucht; mir geht's um die Leistung und den Verbrauch.... ich brauch keine 16 Kerner :P

 

[fdsonne]

Jo geht im mittleren Slot .... beide NVME Slots gehen auch. Dann muss ich wohl irgendwann auf einen 3000 gehen. Das wird wahrscheinlich das selbe Spiel mit den 3400G etc sein oder?

Ja, die 3000er APUs haben wohl das gleiche Problem. Bei den im Frühjahr? zu erwartenden 4000er APUs weiß man aktuell nix genaueres.
Solange die GPU aber eh nicht genutzt wird - und ich meine mich dran zu erinnern, dass dem so ist, dann bringt dir die APU halt eigentlich auch keine Punkte. Dann lieber den 1600, 2600 oder gar 3600er. Mit 6C bei Bedarf durchaus ne ganze Ecke fixer, keine wirkliche Stromschleuder, keine der drei und ne OnBoard GPU hat das Board halt eh... (also fällt der Nachteil ggü. nem Retail-Consumer Board -> dGPU in Sachen Verbrauch auch raus)


Verbrauchswerte würden mich btw. auch interessieren. Allerdings primär von nem 3600 oder 3700X auf dem Board nebst 2x16GB oder 4x16GB Speicher mit ESXi im idle ohne Storage (also nur die Install auf nem Stick bspw.)
Ich hadere nach wie vor mit mir den T20 Dell Board + NT seitig mit dem AsRockRack Board nebst Ryzen zu tauschen. Die vielen vielen Probleme mit Linux und teils auch ESXi halten mich davor aber ab im Moment. Das soll bei mir eher so ne fire and forget Geschichte sein. Da will man halt kein rumgebastel und Probleme...
Ich hab absolut keinen Plan warum zur Hölle da nicht einfach irgend einer der Hersteller mal ne anständig funktionierende Lösung an den Start bringt...

 

[Brokk]

Ich bin froh das Asrock 2 Boards hat.... Imo hab ich wahrscheinlich ein Montagsmodell abbekommen... oder ich stell mich extrem an

 

[besterino]

Ggf. mal die Ansprache der PCIE Slots im Bios ändern (Legacy / UEFI).

 

[Holt]

im Bios gibts nen NVMe Raid schalter! Sollte also definitiv funktionieren mit dem Raid.

Sicher? Ich wäre mir nicht so sicher das die RAID Funktion für die Lanes am Chipsatz funktioniert, vielleicht ist die ja auch für die Lanes direkt von der CPU, so wie bei den TR und EYPC üblich. Dies Board bietet ja auch PCIe Lane Bifurcation, also die Option die 16 Lanes im Slot auf x4+x4+x4+x4 aufzuteilen:

PCIE6: Gen3 x16 link (splittable in x4/4/4/4); auto switch to x8 link when PCIE4 is occupied.

Bzw. auch hier zu sehen:

Go to “Advanced” > “AMD PBS” > “PCIe x16/2x8/4x4 Switch”

 

[MisterY]

Kein Spindown, 3 VMs, fast 90 Watt "idle".

das finde ich was arg viel.
Mein Opteron 3280 Octacore (Bulldozer) mit 24 GB ECC-Ram, 2* SSD + 6* 2.5" HDD (alles mit ZFS), PCI-E Dual-Gbit Karte und Dualport S-ATA Karte braucht im "Idle" (= 21 LXCs laufen) so um die 60 W.

 

[fdsonne]

Die beiden 10G-BaseT Ports hast du in usw? Weil die dürften schon bisschen was schlucken... Meine bisherigen Kupfter 10G Karten kamen sogar mit fettem Vollflächig abdeckendem Kühler für die Steckkarte (ggü. der SFP+ Version mit mickrigem Kühlkörper)
Aber 90W sind wirklich arg viel, vor allem Windows mit aktiven Stromspartechniken?? Ich hätte was um die 50W geschätzt, so mini Dinger wie der T20 gehen teils bis 20W runter?
NT mit absolut beschissenem Wirkungsgrad bei Niedriglast wäre noch ein Grund?

 

[fdsonne]

Sorry, Autokorrektur, das sollte in use heißen

 

[MisterY]

Kannst du vielleicht mal ein Linux mit powertop --autotune testen?

 

[fdsonne]

@******* hat denn deine Windows VM alle Nase lang ne Lastspitze oder ne Dauerlast? Rein idle sollte normal die VM so ziemlich gar keinen Mehrverbrauch haben. Zumindest kann ich das nicht nachvollziehen mit diversen PCs, egal ob per VMware Workstation, Hyper-V oder sonstwas (außer ESXi, der ist halt eh komisch vom Idleverbrauch, weil keine wirklichen guten Powermodi), normal ändert sich vom Verbrauch nur durch ne laufende VM erstmal nix.

Die 33-42W klingen aber schon viel eher realistisch für idle. Du könntest sicher noch was einsparen, wenn du nen 3000er Ryzen nutzt - aber das wird rein auf den Euro gesehen den Aufwand nicht wert sein. Von daher, gutes Ergebnis mMn. Und THX für die Werte!

 

[MisterY]

Sry, me not. Bin ein Win Fanboy.

Das war ich auch mal, ich wurde aber geheilt

 

[Brokk]

Ich suche noch manch einem passendem Kühler der nicht so nahe an die RAM Slots kommt. Muss nichts besonderes sein, sollte aber eventuell semi passiv laufen können?

 

[Gen8 Runner]

Blöde Frage, im esxi hast du auch den passenden Energieplan ausgewählt?
Ich habe in esxi teilweise 10 Watt Unterschied, sobald nur Firefox Idle läuft und der Windows Explorer geöffnet ist.

 

[b99]

kennt jemand ein ATX Netzteil, das ich am PSU SMBus Header anschließen kann?

 

[Brokk]

https://www.hardwareluxx.de/community/threads/asrock-rack-x470d4u2-2t-psu-smbus.1242559/

 

[Desiderius]

Kann/sollte man die 10G intel-NIC irgendwie updaten?

NVM-Update-Utility (Non-Volatile Memory) für Intel® Ethernet-Netzwerkadapter X550er-Reihe

Dieser Download-Datensatz enthält alle Dateien, die für die Aktualisierung des NVM-Update-Utilitys Version 3.30 für konvergierter Intel® Ethernet-Netzwerkadapter X550er-Reihe erforderlich sind.

downloadcenter.intel.com

Anhang anzeigen 486336

onboard Chips von Intel ( vermutlich auch generell ) sind angepasste OEM Chips die von den Mainboard Herstellern angepasst werden. Die darf und kann man in der Regel nicht mit dem Tool von Intel updaten.
Wir hatten hier mal einen übereifrigen Lehrling der damit bei einem 600 Euro Supermicro Board den onboard LAN zerschossen hat. Man kann also nur AsrockRack anschreiben und darum bitten. In der Regel hängen die OEM Hersteller aber ziemlich hinterher mit den Updates. Bei Supermicro locker über ein Jahr, war ne Katastrophe mit den onboard X710 Chips unter VmWare.

Gruß
Desiderius

 

[Holt]

Die darf und kann man in der Regel nicht mit dem Tool von Intel updaten.

Eben, Onboard steckt deren FW i.d.R. im BIOS und kann nur vom Boardhersteller aktualisiert werden, oder eben mit einen Mod-BIOS.

 

[Desiderius]

Ja die Orginal Intel Netzwerkkarten kann man auch super einfach updaten. Liegt einfach daran das Intel die Updates hier auch nicht bereit stellen kann und will da der support für OEM Controller komplett beim OEM Hersteller des Mainboards liegt.

Gruß
Desiderius