besterino
Legende
Da wäre ich entspannter. Ich kenne keinen Server-RAM, der in seinem Specs betrieben Ärger macht. Aber am Ende simmer uns ja einig: mit den Samsungs wird’s bestimmt laufen.
NAS/Server Hardwareguide 2019
- Ersteller besterino
- Erstellt am
JohnnyBGoode
Enthusiast
- Mitglied seit
- 29.01.2010
- Beiträge
- 1.122
Bei Kingston schwingt bei mir auch immer etwas irrationale Ungunst mit: Hatte 2008-2013 eine Dual Xeon-Workstation mit 6 x 4 GB Kingston DDR2-800 FB-DIMMs, die auch schön wie es sich für FB-DIMMs gehört, aktiv gekühlt wurden. Damals war der CPU-Takt noch abhängig von der RAM-Frequenz, so dass man 400er RAM brauchte. 2011 sind dann innerhalb eines Monats zwei der Module ausgefallen, auf Kingston mit "lebenslanger Garantie" konnte man nicht setzen, sie hatten nur noch 667er FB-DIMMs, mit denen dann das System untertaktet hätte laufen müssen.
Und die Erstattung des Kaufpreises hat dann auch nicht mehr geholfen, da der Gebrauchtmarkt von 800er Modulen von Mac Pro-Aufrüstern leergekauft wurde. Damals konnte ich privat noch kein Ersatzteillager unterhalten, was jetzt zum Glück geht - auch war mir damals nicht bewusst, dass FB-DIMMs irgendwas exoisches waren.
Und die Erstattung des Kaufpreises hat dann auch nicht mehr geholfen, da der Gebrauchtmarkt von 800er Modulen von Mac Pro-Aufrüstern leergekauft wurde. Damals konnte ich privat noch kein Ersatzteillager unterhalten, was jetzt zum Glück geht - auch war mir damals nicht bewusst, dass FB-DIMMs irgendwas exoisches waren.
Zuletzt bearbeitet:
Trambahner
Urgestein
Diese Samsungs in 2400/CL17 (also -CRC statt -CTD) hab ich in meinem Supermicro Filer drin. Ich nehm mal an, das sind eh die gleichen nur höher gebinned.
Sogar als 32GB ECC Dimms gibts die. Ob da 256GB wirklich laufen? Im Handbuch steht "Supports up to 256GB DDR4 ECC U-DIMM" . Aber siehe den Fehler mit den Rdimms mit der QVL. Supportet von AMD isses ja nicht offiziell.
Ich werd wohl erstmal dem Xeon zwei Module rupfen zum rumspielen. Zum ersten Rumprobieren sollte das dann langen. Wissend, das dies noch suboptimal ist da nicht alle 4 Kanäle belegt.
Sogar als 32GB ECC Dimms gibts die. Ob da 256GB wirklich laufen? Im Handbuch steht "Supports up to 256GB DDR4 ECC U-DIMM" . Aber siehe den Fehler mit den Rdimms mit der QVL. Supportet von AMD isses ja nicht offiziell.
Ich werd wohl erstmal dem Xeon zwei Module rupfen zum rumspielen. Zum ersten Rumprobieren sollte das dann langen. Wissend, das dies noch suboptimal ist da nicht alle 4 Kanäle belegt.
Zuletzt bearbeitet:
JohnnyBGoode
Enthusiast
- Mitglied seit
- 29.01.2010
- Beiträge
- 1.122
Ja, bei Ryzen und Threadripper hat sich durch die Verfügbarkeit der 16 Gb Dies die maximal mögliche Speichermenge jeweils verdoppelt, da nun 32 GB UDIMMs möglich sind.
Und wie gesagt, habe die 32 GB Samsung DDR4-2666 UDIMMs auf X470 und X570 mit 2600X, 3700X und 3200G getestet, ging völlig problemlos wobei leider wie erwartet beim 3200G ECC nicht aktiv war, bei den anderen beiden gab's Multi-bit ECC.
Habe auch vier Stück der 2400er Samsung 16 GB ECC UDIMMs mit B-Dies von Ende 2015/Anfang 2016, diese gehen bis DDR4-2933 ohne Spannungserhöhung. Aber die neuen 16 Gb M-Dies scheinen ganz gut zu gehen.
Und wie gesagt, habe die 32 GB Samsung DDR4-2666 UDIMMs auf X470 und X570 mit 2600X, 3700X und 3200G getestet, ging völlig problemlos wobei leider wie erwartet beim 3200G ECC nicht aktiv war, bei den anderen beiden gab's Multi-bit ECC.
Habe auch vier Stück der 2400er Samsung 16 GB ECC UDIMMs mit B-Dies von Ende 2015/Anfang 2016, diese gehen bis DDR4-2933 ohne Spannungserhöhung. Aber die neuen 16 Gb M-Dies scheinen ganz gut zu gehen.
besterino
Legende
Meine Kingston 2400er 16GB ECC UDIMMs gingen auch ohne irgendwelche Anpassungen anstandslos auf 2666. 2933 allerdings dann nicht mehr und auf ewig rumtesten in einer Übergangslösung hatte ich dann auch keinen Bock. Weiß aber grad nicht, welche genau das sind.
Der TR 1920X profitiert im 3DMark unanständig von Quad-Bestückung. Ob sich das in nem Server auswirkt, mach ich mal ein Fragezeichen dran...
Der TR 1920X profitiert im 3DMark unanständig von Quad-Bestückung. Ob sich das in nem Server auswirkt, mach ich mal ein Fragezeichen dran...
Trambahner
Urgestein
BMC-ROM und Bios ROM am X399D8A sind beide wohl auswechselbar, wie mir das aussieht. Nix einfach aufgelötet. Bin kein Fachmann für Packages/Sockel, aber das sieht so nach Plastikklappen aus, die man zur Seite schieben oder Aufklappen kann, um die Chips auszuwechseln. D.h. da muss nicht Ende bei 16MB Bios sein.
Zuletzt bearbeitet:
Trambahner
Urgestein
Board liegt vor mir. 
Rev. 1.01 (was alleine nix sagt. 1.00 hats evtl. ja gar nicht in den Verkauf geschafft).
Kann natürlich sein, dass das dann bei der späteren Produktion noch wegrationalisiert wird. Bild siehe Server-Vorstellungsthread.
Rev. 1.01 (was alleine nix sagt. 1.00 hats evtl. ja gar nicht in den Verkauf geschafft).Kann natürlich sein, dass das dann bei der späteren Produktion noch wegrationalisiert wird. Bild siehe Server-Vorstellungsthread.
Zuletzt bearbeitet:
JohnnyBGoode
Enthusiast
- Mitglied seit
- 29.01.2010
- Beiträge
- 1.122
Ja, BIOS und BMC-ROM sind bei ASRock Rack gesockelt. Einfach Aufkleber mit vorinstallierter Versionsnummer entfernen, dann mit den Fingern vorsichtig mittig an die Enden des "Türspalts" drücken und die Sockelhalterung öffmet sich wie ein Adventskalender-Türlein. Der BMC-Chip hat Beinchen, der BIOS-Chip ist blank, hier beim Wiedereinsetzen auf die Orientierung achten.
Einzige Änderung von Produktfotos und Realität, zumindest bei den X470D4Us, die ich bislang erkennen konnte, war ein dunkelgrauer statt weißer Sockel.
Einzige Änderung von Produktfotos und Realität, zumindest bei den X470D4Us, die ich bislang erkennen konnte, war ein dunkelgrauer statt weißer Sockel.
Zuletzt bearbeitet:
Also ich bin schon gespannt auf einen Erfahrungsbericht. Am Ende gebe ich meinen Xeon Silver gleich wieder weiter.Board liegt vor mir.
besterino
Legende
Ich hab mein X399D8A-2T gestern in Betrieb genommen.
Aktuell TR1920X@4GHz und (non-ECC) RAM@3200/14/14/17/18/28/42. Prime-Stable über ca. 6,5h.
Stromverbrauch mit 2080Ti, Connectx-4 und USB3-Steckkarte ist bei 105W idle (Win10, nix läuft). Der Mainserver (Signatur) ist zum Vergleich bei 150W.
Das Board bekommt die 4GHz bei geringerem VCORE stabil hin als das ASUS Prime X399 A, darum muss ich wohl noch mal OC weiter ausloten...
Etwas überrascht war ich, dass das Board nur einen 9er USB 2.0 Pin-Header hat. Dafür allerdings natürlich einmal USB-A intern.
Besser (flexibler übers BIOS einstellbar) als bei Supermicro scheint mir die Lüftersteuerung.
Ist bisher nur unter Win10 gelaufen. Als nächstes mal ESXi testen....
Aktuell TR1920X@4GHz und (non-ECC) RAM@3200/14/14/17/18/28/42. Prime-Stable über ca. 6,5h.
Stromverbrauch mit 2080Ti, Connectx-4 und USB3-Steckkarte ist bei 105W idle (Win10, nix läuft). Der Mainserver (Signatur) ist zum Vergleich bei 150W.
Das Board bekommt die 4GHz bei geringerem VCORE stabil hin als das ASUS Prime X399 A, darum muss ich wohl noch mal OC weiter ausloten...
Etwas überrascht war ich, dass das Board nur einen 9er USB 2.0 Pin-Header hat. Dafür allerdings natürlich einmal USB-A intern.
Besser (flexibler übers BIOS einstellbar) als bei Supermicro scheint mir die Lüftersteuerung.
Ist bisher nur unter Win10 gelaufen. Als nächstes mal ESXi testen....
Zuletzt bearbeitet:
Trambahner
Urgestein
Setup: einzelnes 16gb ECC Ram 2400, TR 1920X, NH-U14S 1 Fan (Push),1 Sata-SSD (Intel 1500pro 180GB), NT BeQuiet 400W Straight Power 10.
soft-off mit aktiver bmc und bmc-link und 1G Link@Intel X550: 6,9-7,5W
soft-off mit aktiver bmc und bmc-linl ohne 1G Link@Intel X550: 7,6-7,9W
soft-off mit aktiver bmc und nur via 1G Link@Intel X550: 6,6-7,3W
IPMI/BMC braucht also einen Ticken mehr als bei meinen bisherigen E3-Supermicroboards, ist aber moderner in der Oberflächer und auch reaktionsfreudiger/zügiger bei der Bedienung (ausnahme virt. DVD, da muss ich nochmal schaun)
win10 pro idle ,native windows ohne treiber, Desktop via BMC 40,0-41,4W , CPU Temp 54Grad lt. IPMI @ 900rpm (Raumtemp = aktuell 24,5 Grad).
Die 41W Idle passen auch wenn die Treiber geladen sind. Das entsprich ziemlich genau meinem alten Z77Extreme6 mit 3770K und einer X540-T1 (mit 1G-Link).
Wieviel Offset hat der 1920X? 27 Kelvin? Das wäre ja kaum zu fassen. 3 K über der Raumtemperatur? => Yup, die 27K Offset sind bestätigt; Coretemp weicht 27K ggü. der IPMI ab.
Nach längerem Rumspielen hat sich das bei 30 Grad @ Idle eingependelt.
Idle 0.832 V CPU lt. CPU-Z
coretemp/cpu-z
217-224W prime95 "small fft, max heat" , kein OC im Bios, boostet all core default auf 3.7Ghz, lt. CPU-Z dann 1.20-1,216V
65 Grad CPU-Z, 1400RPM, ( 92Grad lt. IPMI) .
2336 r15 multi @ all default (vmtl. etwas limitiert durch den einzelnen Ram-Kanal für alle Kerne).
171 r15 single @ all default
ECC-Check:
C:\> wmic memphysical get memoryerrorcorrection
MemoryErrorCorrection
6
also Multibit-ECC
Die geringe Idle Leistungsaufnahme für die Plattform überrascht mich positiv. Hatte mit mehr gerechnet.
soft-off mit aktiver bmc und bmc-link und 1G Link@Intel X550: 6,9-7,5W
soft-off mit aktiver bmc und bmc-linl ohne 1G Link@Intel X550: 7,6-7,9W
soft-off mit aktiver bmc und nur via 1G Link@Intel X550: 6,6-7,3W
IPMI/BMC braucht also einen Ticken mehr als bei meinen bisherigen E3-Supermicroboards, ist aber moderner in der Oberflächer und auch reaktionsfreudiger/zügiger bei der Bedienung (ausnahme virt. DVD, da muss ich nochmal schaun)
win10 pro idle ,native windows ohne treiber, Desktop via BMC 40,0-41,4W , CPU Temp 54Grad lt. IPMI @ 900rpm (Raumtemp = aktuell 24,5 Grad).
Die 41W Idle passen auch wenn die Treiber geladen sind. Das entsprich ziemlich genau meinem alten Z77Extreme6 mit 3770K und einer X540-T1 (mit 1G-Link).
Wieviel Offset hat der 1920X? 27 Kelvin? Das wäre ja kaum zu fassen. 3 K über der Raumtemperatur? => Yup, die 27K Offset sind bestätigt; Coretemp weicht 27K ggü. der IPMI ab.
Nach längerem Rumspielen hat sich das bei 30 Grad @ Idle eingependelt.
Idle 0.832 V CPU lt. CPU-Z
coretemp/cpu-z
217-224W prime95 "small fft, max heat" , kein OC im Bios, boostet all core default auf 3.7Ghz, lt. CPU-Z dann 1.20-1,216V
65 Grad CPU-Z, 1400RPM, ( 92Grad lt. IPMI) .
2336 r15 multi @ all default (vmtl. etwas limitiert durch den einzelnen Ram-Kanal für alle Kerne).
171 r15 single @ all default
ECC-Check:
C:\> wmic memphysical get memoryerrorcorrection
MemoryErrorCorrection
6
also Multibit-ECC
Die geringe Idle Leistungsaufnahme für die Plattform überrascht mich positiv. Hatte mit mehr gerechnet.
Zuletzt bearbeitet:
besterino
Legende
Hmmm... also ESXi (6.7U3) läuft gerade nicht so rund mit dem X399D8A-2T:
GPU-Passthrough bisher mit der 2080Ti noch gar nicht hinbekommen.
USB-Passthrough (onboard USB-Controller) auch nur mit Reboot-Bug hinbekommen.
Außerdem hängt sich das Board regelmäßig beim Reboot auf (wenn Passthrough-Devices nach einem VM-Reboot nicht mehr richtig funktionierten).
Irgendwas scheint da beim PCIe-Reset (oder wie auch immer man das nennt) nicht richtig zu funktionieren.
KORREKTUR:
GPU-Passthrough mit BIOS statt EFI in der VM geht... muss noch ein wenig weiter Testen, was man genau einstellen muss...
Und hier der Nachtrag, damit die VM überhaupt mit der GPU startet:
Ich musste in der passthru.map die 2080Ti und den USB-Controller auf d3d0 setzen, sie sieht also wie folgt aus:
Immerhin, folgender Workaround funktioniert tatsächlich:
2080Ti im Gerätemanager deaktivieren --> Reboot --> wieder aktivieren. Erfordert halt leider einen Login über das ESXi-Webui, oder man automatisiert das wie z.B. hier beschrieben.
Next step: 6.5U2 probieren.
GPU-Passthrough bisher mit der 2080Ti noch gar nicht hinbekommen.
USB-Passthrough (onboard USB-Controller) auch nur mit Reboot-Bug hinbekommen.
Außerdem hängt sich das Board regelmäßig beim Reboot auf (wenn Passthrough-Devices nach einem VM-Reboot nicht mehr richtig funktionierten).
Irgendwas scheint da beim PCIe-Reset (oder wie auch immer man das nennt) nicht richtig zu funktionieren.
KORREKTUR:
GPU-Passthrough mit BIOS statt EFI in der VM geht... muss noch ein wenig weiter Testen, was man genau einstellen muss...
Und hier der Nachtrag, damit die VM überhaupt mit der GPU startet:
Ich musste in der passthru.map die 2080Ti und den USB-Controller auf d3d0 setzen, sie sieht also wie folgt aus:
Code:
# NVIDIA
10de ffff d3d0 false
#AMD
1022 ffff d3d0 false
(END)Immerhin, folgender Workaround funktioniert tatsächlich:
2080Ti im Gerätemanager deaktivieren --> Reboot --> wieder aktivieren. Erfordert halt leider einen Login über das ESXi-Webui, oder man automatisiert das wie z.B. hier beschrieben.
Next step: 6.5U2 probieren.
Zuletzt bearbeitet:
Trambahner
Urgestein
Speicher nach wie vor einzelnes Modul in Slot A1, auf defaults. DDR4-2400 CL17. Denke, es ist Zeit, Speicher zu ordern.
geflashed war X399D8A-2T Bios P1.30 vom 08.08.2019, AGESA SP3r2-1.1.0.2 . (auf der Webseite bisher nicht gelistet, dort ist nur P1.00 und nach wie vor keine CPU-Liste.)
Hab ihn heute vormittag mal probiert, etwas mehr zu jagen.
3.95Ghz @allcore , Default Spannung (1.216V). 240W lt. FritzDect, 189W CPU lt. HWInfo, 67-68 Grad bei Prime95.
2454pt R15 Multicore. (zum Vergleich: mein T470p (7820HQ) schafft 735-765 Punkte, leicht undervolted, leicht übertaktet).
4 Ghz Allcore: 2480 R15 multicore , 248W lt. FritzDect, 68 Grad (und damit "max safe temp" lt. AMD) mit Prime95. Das muss er mal nun ein bissl stabil können, Burn-In Test quasi.
ESXI tests folgen sobald das "Burn In" erledigt ist.
Ok, da fängt er das throtteln an. Hab mal PROCHOT nun disabled. Aber da muss er durch. Edit: Das hat ihm nicht gepasst. Windows abgenippelt.
Nette CPU für 229,-
geflashed war X399D8A-2T Bios P1.30 vom 08.08.2019, AGESA SP3r2-1.1.0.2 . (auf der Webseite bisher nicht gelistet, dort ist nur P1.00 und nach wie vor keine CPU-Liste.)
Hab ihn heute vormittag mal probiert, etwas mehr zu jagen.
3.95Ghz @allcore , Default Spannung (1.216V). 240W lt. FritzDect, 189W CPU lt. HWInfo, 67-68 Grad bei Prime95.
2454pt R15 Multicore. (zum Vergleich: mein T470p (7820HQ) schafft 735-765 Punkte, leicht undervolted, leicht übertaktet).
4 Ghz Allcore: 2480 R15 multicore , 248W lt. FritzDect, 68 Grad (und damit "max safe temp" lt. AMD) mit Prime95. Das muss er mal nun ein bissl stabil können, Burn-In Test quasi.
ESXI tests folgen sobald das "Burn In" erledigt ist.
Ok, da fängt er das throtteln an. Hab mal PROCHOT nun disabled. Aber da muss er durch. Edit: Das hat ihm nicht gepasst. Windows abgenippelt.
Nette CPU für 229,-
Zuletzt bearbeitet:
besterino
Legende
Ich bekomme es ums Verrecken nicht hin, dass eine VM mit einer Passthrough-GPU einen Reboot der VM überlebt.
Weder mit 6.7 noch mit 6.5.
Weder mit EFI oder BIOS in der VM.
Weder mit d3d0 noch mit link in der Passthrough.map zu NVIDIA.
Weder ohne noch mit msiEnabled auf false.
Irgendwo hab ich noch gelesen, dass AMD bei IOMMU gepatzt haben soll und es für diverse Linux-Kernels ACS Patches gebe... so richtig toll ist das jedenfalls nicht. Oder es liegt an einer unglücklichen Kombo von AMD und NVIDIA - der USB-Controller in der 2080Ti mach mit jedenfalls definitiv auch Zicken.
Schade halt, bei Intel geht’s selbst mit nem Z270.
Weder mit 6.7 noch mit 6.5.
Weder mit EFI oder BIOS in der VM.
Weder mit d3d0 noch mit link in der Passthrough.map zu NVIDIA.
Weder ohne noch mit msiEnabled auf false.
Irgendwo hab ich noch gelesen, dass AMD bei IOMMU gepatzt haben soll und es für diverse Linux-Kernels ACS Patches gebe... so richtig toll ist das jedenfalls nicht. Oder es liegt an einer unglücklichen Kombo von AMD und NVIDIA - der USB-Controller in der 2080Ti mach mit jedenfalls definitiv auch Zicken.
Schade halt, bei Intel geht’s selbst mit nem Z270.
Zuletzt bearbeitet:
Trambahner
Urgestein
Hast Du Passthrough der Sata-Controller schon probiert? GPU werd ich mit der P400 mal testen, sobald ich den ESXI drauf hab.
besterino
Legende
Nope. Mit SATA Passthrough bin ich fertig, seit ich mit dem Gen8 Microserver damit mal fiese Probleme hatte.
Das Reboot-Prob ist am Ende vielleicht auch kein Dealkiller, meine „produktive“ WinVM hat inzwischen Monate Uptime. Nervt mich aber total, dass das nicht hinhaut.
Das Reboot-Prob ist am Ende vielleicht auch kein Dealkiller, meine „produktive“ WinVM hat inzwischen Monate Uptime. Nervt mich aber total, dass das nicht hinhaut.
Zuletzt bearbeitet:
besterino
Legende
Update: HEUREKA!!! DIE VM REBOOTET MIT GPU!!!1111einseinseinself
Und: So dreckige Ar***kr***** bei vmware/Nvidia & Co.! Dass das so ätzend ist, ist doch Absicht und wie's geht steht aber auch echt bisher nirgends richtig im Netz. Nach gefühltewiger Frickelei und lange erfolglosem trial & error, hab' ich es endlich mit x399/Threadripper, der 2080Ti und einem der onboard USB-Controller im Passthrough hinbekommen, dass die VM sauber rebootet.
Funktioniert so übrigens sowohl mit 6.5U2 als auch mit 6.7U3! Das dürfte quasi "weltweit" der erste funktionierende Workaround für NVidia Consumer GPUs im Passthrough für den Reboot-Bug seit 6.7U1 sein, der allein mit Bordmitteln auskommt und kein Deaktivieren der Graka im Device Manager erfordert.
Wo genau der Hase im Pfeffer liegt, muss ich noch etwas tiefer ergründen, aber das Geheimnis liegt wohl irgendwo beim PCIe-Bus bzw. Reset der einzelnen PCIe-Devices und den Eigenheiten von ESXi bzw. der 2080Ti.
Am Ende half es, in der passthru.map nicht für NVIDIA allgemein einen generischen "wildcard" Eintrag (ffff für das device) zu nehmen, sondern ich musste feiner differenzieren und unterschiedliche Reset-modi insb. für die GPU selbst einerseits und den NVidia-USB-Controller andererseits nehmen. Um auch mit Maus, Keyboard & Co. in der VM rebooten zu können, blieb es bei dem Eintrag von oben.
passthru.map
Man beachte: für die GPU ist der Eintrag auskommentiert, dass heißt ESXi nutzt wohl den Standard (FLR)! Ich habe noch nicht überprüft, ob es evtl. reicht, d3d0 allein für den USB-Controller zu setzen. Der Eintrag für den USB-Controller und das Auskommentieren der wildcard ist aber Pflicht, sonst gibt's nur Ärger beim Start oder Reboot der VM.
Sonstige Settings der VM (unter Erweitert):
1. Boot-Modus der VM = egal! (funzt mit BIOS und mit EFI)
2. Der VM alle Nvidia-Devices der Graka zuweisen (VGA, Serial Bus, Audio + USB)
3. pcipassthru#.msiEnabled = FALSE für ALLE NVidia Devices AUSSER dem USB-Controller (also 3x setzen)
Bin jetzt'n happy Bunny!
Nachtrag: Funzt auch mit 6.7U3! Und mit beiden VM-Starttypen (BIOS / EFI)!
Und: So dreckige Ar***kr***** bei vmware/Nvidia & Co.! Dass das so ätzend ist, ist doch Absicht und wie's geht steht aber auch echt bisher nirgends richtig im Netz. Nach gefühltewiger Frickelei und lange erfolglosem trial & error, hab' ich es endlich mit x399/Threadripper, der 2080Ti und einem der onboard USB-Controller im Passthrough hinbekommen, dass die VM sauber rebootet.
Funktioniert so übrigens sowohl mit 6.5U2 als auch mit 6.7U3! Das dürfte quasi "weltweit" der erste funktionierende Workaround für NVidia Consumer GPUs im Passthrough für den Reboot-Bug seit 6.7U1 sein, der allein mit Bordmitteln auskommt und kein Deaktivieren der Graka im Device Manager erfordert.
Wo genau der Hase im Pfeffer liegt, muss ich noch etwas tiefer ergründen, aber das Geheimnis liegt wohl irgendwo beim PCIe-Bus bzw. Reset der einzelnen PCIe-Devices und den Eigenheiten von ESXi bzw. der 2080Ti.
Am Ende half es, in der passthru.map nicht für NVIDIA allgemein einen generischen "wildcard" Eintrag (ffff für das device) zu nehmen, sondern ich musste feiner differenzieren und unterschiedliche Reset-modi insb. für die GPU selbst einerseits und den NVidia-USB-Controller andererseits nehmen. Um auch mit Maus, Keyboard & Co. in der VM rebooten zu können, blieb es bei dem Eintrag von oben.
passthru.map
Code:
# NVIDIA
#10de ffff d3d0 false
#1 GPU
#10de 1e07 link false
#2 Audio
10de 10f7 d3d0 false
#3 Serial Bus
10de 1ad7 d3d0 false
#4 USB
10de 1ad6 d3d0 false
# AMD
1022 ffff d3d0 falseMan beachte: für die GPU ist der Eintrag auskommentiert, dass heißt ESXi nutzt wohl den Standard (FLR)! Ich habe noch nicht überprüft, ob es evtl. reicht, d3d0 allein für den USB-Controller zu setzen. Der Eintrag für den USB-Controller und das Auskommentieren der wildcard ist aber Pflicht, sonst gibt's nur Ärger beim Start oder Reboot der VM.
Sonstige Settings der VM (unter Erweitert):
1. Boot-Modus der VM = egal! (funzt mit BIOS und mit EFI)
2. Der VM alle Nvidia-Devices der Graka zuweisen (VGA, Serial Bus, Audio + USB)
3. pcipassthru#.msiEnabled = FALSE für ALLE NVidia Devices AUSSER dem USB-Controller (also 3x setzen)
Bin jetzt'n happy Bunny!
Nachtrag: Funzt auch mit 6.7U3! Und mit beiden VM-Starttypen (BIOS / EFI)!
Zuletzt bearbeitet:
Trambahner
Urgestein
Ich interpretiere: Dir passt die Plattform; selbst wenn der TR3000 nicht passen sollte? Bis zum 2990WX und 256GB Ram gehts ja. Im Zweifelsfall muss man im ESXI die Kerne der Numa-Nodes in den VMs halt anpinnen bzw. ich vermute mal, ohne nachzulesen, ESXI wird eh für eine VM innerhalb eines Numa-Knoten bleiben, solange dort die Kerne für die angeforderten vCPU reichen.
Zu ESXI bin ich leider noch nit gekommen, weil ich noch parallel ein paar andere Dinge am WE erledigen musste und nicht 100% Zeit für den X399 hatte.
Aber ich denke, heute geht bei mir heute noch eine Order für die Ram-Module raus, um alle 4 Kanäle (zumindest ohne Interleave) bestücken zu können.
Ggf. rentiert sich nun ein eigenes Thema zum X399D8A-2T als Serverplattform hier im Forum.
Zu ESXI bin ich leider noch nit gekommen, weil ich noch parallel ein paar andere Dinge am WE erledigen musste und nicht 100% Zeit für den X399 hatte.
Aber ich denke, heute geht bei mir heute noch eine Order für die Ram-Module raus, um alle 4 Kanäle (zumindest ohne Interleave) bestücken zu können.
Ggf. rentiert sich nun ein eigenes Thema zum X399D8A-2T als Serverplattform hier im Forum.
Zuletzt bearbeitet:
besterino
Legende
Ich sag mal so: (GPU)Passthrough ist für mich ein must-have feature, was auf x399 nicht ganz so selbstverständlich funktioniert wie bei meinen bisherigen Intel-Plattformen (consumer & asbach uralt Xeon v1 included). Das hat mich jetzt locker 2 Wochenenden und noch ein paar Nächte dazwischen gekostet.
Bei einer gescheiten Plattform stelle ich mir das anders vor. Aber jetzt laufen die Basics.
Bei einer gescheiten Plattform stelle ich mir das anders vor. Aber jetzt laufen die Basics.
Holt
Legende
- Mitglied seit
- 05.07.2010
- Beiträge
- 29.715
Es ist halt eine HEDT und keine Workstation- oder Serverplattform und man bekommt dafür einen 12 Kerner mit ECC RAM Unterstützung weitaus günstiger als bei Intel. Irgendwo wurde da eben gespart und die Prioritäten der Entwickler dürfte eben nicht bei solchen Features liegen, die kaum jemand der angepeilten Zielgruppe nutzen dürfte.Bei einer gescheiten Plattform stelle ich mir das anders vor. Aber jetzt laufen die Basics.
besterino
Legende
Na, auf dem Mainboard-Karton steht fett „Server & Workstation“ drauf...
Das Argument, dass die Graka dafür nicht gedacht ist, hätte ich wohl gelten lassen.
Scherz beiseite: dass das mit der Plattform an sich und speziell dem Board (so kurz nach Release) eher kein Spaziergang werden würde, hatte ich eingeplant.
Für qualifiziertere Aussagen ist es aber noch zu früh. Jetzt wo es mal grds. läuft, muss es sich im Alltag beweisen.
Das Argument, dass die Graka dafür nicht gedacht ist, hätte ich wohl gelten lassen.
Scherz beiseite: dass das mit der Plattform an sich und speziell dem Board (so kurz nach Release) eher kein Spaziergang werden würde, hatte ich eingeplant.
Für qualifiziertere Aussagen ist es aber noch zu früh. Jetzt wo es mal grds. läuft, muss es sich im Alltag beweisen.
HardwareFreaky
Legende
Kann mir wer ne Alternative nennen für Acronis Drive Monitor?
Ich finde dieses Tool eigentlich sehr gut nur leider kommt es nicht mit den Windows 10 Pool Klar.
Ich finde dieses Tool eigentlich sehr gut nur leider kommt es nicht mit den Windows 10 Pool Klar.
Luckysh0t
Enthusiast
AMD Threadripper 3000: 8 DRAM-Channel für die Workstation, 4 für HEDT - ComputerBase
Wenn der denn so kommt, ist der WRX echt ein heißer Kandidat ggü Epyc 2 für daheim - Je nach Preis.
Wenn der denn so kommt, ist der WRX echt ein heißer Kandidat ggü Epyc 2 für daheim - Je nach Preis.
Zuletzt bearbeitet:
Trambahner
Urgestein
Samsung 4x16GB M391A2K43BB1-CTD (Udimm ECC), heute eingetroffen, läuft bislang problemfrei auf dem X399D8A mit dem 1920X @ Stock.
besterino
Legende
Gibt auch seit gestern ein neues BIOS (1.30) für das X399D8A. Hab’s aber auch gerade erst gesehen und noch nicht drauf.
Trambahner
Urgestein
P1.30 war bei mir bei Auslieferung bereits geflashed.
