Gigabyte MJ11-EC1 NAS Server

[F|Marsman]

Was für Infos hättst denn gern? Manche Menüs krieg ich nicht sichtbar, weil sie im Mainmenu nicht eingetragen sind. Aber die Optionen kann man halt direkt reinschreiben und dann flashen.
Aktuell hab ich mal ASPM auf L0s_force gestellt und die PCIe Einstellungen etwas überarbeitet. Optionen für U2_1 und PCIe Slot #4/#6 I/O-ROM brauchen wir grad nicht.
Hab aber im servethehome Forum schon wieder gelesen das manche den zweiten 8i aufgelötet haben und der funktioniert. Ich glaub das wird nochmal paar Bastelstunden geben zwei PCIe 8x und ein PCIe 4x/4xSATA.. was man da alles machen könnte..
Bin aber aktuell noch am rumtesten. BIOS kann ich dann auch noch hochladen.

 

[F|Marsman]

wenn ich nicht ganz blöd bin läuft die Mellanox mit ASPM...
Der Rest ist eine NVMe (kann wohl kein ASPM), eine Intel onboard NIC, BMC und zugehöriger VGA, Nvidia GT1030 und paar Dinger von AMD...
Wenn ich das richtig interpretiere können die sehr wohl ASPM, es ist nur nicht an. pcie_aspm=force bringt scheinbar auch (noch) nichts.



Also die Mellanox scheint hier schonmal gar kein Problem zu sein. Auch die Idle States der CPU beeinflusst das 0. Wie schon vermutet.
Wenn da noch jemand Ideen zu hat immer her damit, ich flash momentan eh alle paar Stunden nen neues BIOS...

So sieht das aktuell im BIOS aus. Die Einträge lassen sich leider bis jetzt nicht sichtbar machen.

 

[Stefan 0815]

Ich war heute ein wenig auf der Suche nach passenden Netzteilen, was haltet ihr davon:
Ebay - Dell Netzteil

Wie bekomme ich das Board am günstigsten mit SAS Festplatten am laufen?
Kann ich eine "alten" nicht Uefi Festplattencontroller nehmen?

Gestern hatte ich probiert mir Treiber für den Chipsatz herunterzuladen, bei AMD direkt klappt das nicht und die Treiber von Gigabyte scheinen ganz schön alt zu sein.

 

[pwnbert]

Gibts nicht für diesen SFF-irgendwas Stecker einfach Kabel für SAS? Auf Ebay aus China gibts da einige gute günstige SFF Kabel, wenns nicht eilt.

 

[bbott]

Die ganzen PCIe Steckplätze in dem Server müssen Bifurcation können, mit nem extra Chip. Sonst würden ja mehrere Grafikkarten gar nicht laufen.
Der Port auf dem Board für sich allein kann das nicht.
Und ja der Port würde limitieren.. ist halt nur PCIe 3.0 8x und der kleine ist 4x... Ich seh da auch keinen Sinn außer Mining.

Ich meinte die zehn PCIe x16 Ports, werden (sehr) wahrscheinlich kein Bifurcation können, um je Port vier m2 zu installieren.

 

[F|Marsman]

Ich meinte die zehn PCIe x16 Ports, werden (sehr) wahrscheinlich kein Bifurcation können, um je Port vier m2 zu installieren.

Können die Ports überhaupt PCIe 16x? Also elektrisch... frag mich auch was man mit vier M.2 pro Port will..
Ich mein das Board hat ja nur 8x Lanes...

 

[pwnbert]

M.2 ist billiger als SATA, insofern kann man halt nen großen Pool bauen, selbst wenn man nur PCIe 3.0x1 pro M.2 hat ist das SATA immer noch überlegen, von Leistung und Preis her.

 

[F|Marsman]

Was hab ich denn wieder verpasst? M.2 günstiger als SATA WTF?

Also wie ich ASPM auf den AMD internen "Geräten" zum laufen kriegen soll ist mir nen Rätsel... wenn das überhaupt geht.
Immerhin mit den Änderungen und powertop sowie zenstates jetzt ~5W weniger. Könnt man als Erfolg verbuchen
Mit CX-3 und 1030GT drin jetzt 34-34,5W. Vorher 39,xW


Aber eingeschaltet ist es jetzt wohl mit dem Mod-BIOS, den 4i Port kann man zwischen SATA/PCIe wechseln, der Speichertakt wird scheinbar auch übernommen (hab ich mal im Menü auf 1866MTs gesetzt um zu gucken ob er dann meine vier Hynix DIMMs damit ansteuern wird, anstatt mit 2133..), bisschen Kleinkram..
Morgen maln Changelog schreiben und hochladen. Dann könnt ihr auch mal bisschen rumtesten ob alles geht

 

[bbott]

M.2 ist billiger als SATA, insofern kann man halt nen großen Pool bauen, selbst wenn man nur PCIe 3.0x1 pro M.2 hat ist das SATA immer noch überlegen, von Leistung und Preis her.

Allerdings nicht gerade kompakt das ganze 😅

 

[MrOpuki]

Schönen guten Abend,

hey - mein erster Post in diesem Forum (mit dem neuen Account - war einige Jahre hier offline) und schon kommt der Typ mit Fragen und Problemen um die Ecke

Ich habe dieses Forum in den letzten Tagen verschlungen. Der langen Rede kurzer Unsinn liegen jetzt hier zwei dieser Boards in folgender Ausstattung:

Gigabyte MJ11-EC1 #1
2x 16GB ECC RAM (Samsung) @ 2133
Xpenology per ARC per USB Stick (Adapter auf den USB 3.0 Sockel onboard)
BIOS: F09
BMC: 12.49.06
HDDs: kommen die Tage, 3x 18TB Toshiba MG09

Läuft prima. Alle Sensoren werden auch angezeigt.

Aber der Kollege...

Gigabyte MJ11-EC1 #2
4x 32GB ECC Regged RAM (Samsung) @ 2133
Proxmox 8.2
BIOS: F09
BMC: 12.61.21
SSD: Crucial 1TB P3 im M2 Slot

...der hat hier, nachdem er vorhin hier den memtest noch mit guter Lautstärke und allen aktiven Sensoren im BMC auf einmal keine Lust mehr auf Sensorwerte. Ich habe rumgetüftelt und vorhin dann nachgegeben und die Firmware vom BMC auf 12.61.21 geflashed (aus Proxmox heraus). Hat soweit auch geklappt, bis auf.. naja.. die Sensoren werden immer noch nicht angezeigt und die Lüfter im System laufen volle Möhre.

Über die Proxmox Installation per ipmitool lese ich das hier aus (also quasi nix):

root@jupiter:~# ipmitool sensor
Watchdog         | 0x0        | discrete   | 0x0080| na        | na        | na        | na        | na        | na
SEL              | 0x0        | discrete   | 0x0080| na        | na        | na        | na        | na        | na

Im WebUI sieht's identisch aus.

Was ich noch ausprobiert hatte: im BIOS kann Fan_Control einstellen. Hatte ein paar Werte eingetragen, aber irgendwie hat den das nicht sonderlich interessiert. Der Lüfter kühlt die CPU (laut lm-sensors) auf schöne 20°C runter, weiterhin mit Voll Speed.

Ich hatte schon überlegt einen PWM Low Noise Adapter von Noctua dazwischenzustecken, aber so ganz geheuer ist mir die Idee selber nicht.

Habt ihr evtl. eine Idee dazu?

PS. Was mir aufgefallen ist, bei dem Board #1 habe ich eine Option für "Fan Settings" in den "Settings", die hatte ich aber selbst bei der vorherigen BMC Version (12.49.06) bei Board #2 nicht.

---
Ich habe jetzt mal Low Noise Adapter von Noctua am CPU Lüfter angeschlossen. Die Lautstärke ist deutlich niedriger, die Temperatur beim Boot bei 27°C. Ich habe netdata installiert und hier ist mal ein Screenshot. In der Zeit habe ich einen Win Server installiert und Updates durchgeführt. Die Temperaturen peaken bei 28°C. Allerdings läuft da auch noch nicht viel. Ich werde es mal im Auge behalten, ob das mit dem Low Noise Kabel eine mögliche Lösung ist.

 

[marco-mh]

@froooop nochn Tipp um die AFR zum laufen zu kriegen (hilft vielleicht auch bei anderen DUAL RANK ICs):
Im BIOS:
Advanced -> AMD CBS -> UMC Common Options -> DDR4 Common Options -> Data Bus Configuration

Wobei das noch nicht final ist.. aber 7/3/1 und ProcODT 60 sind so std. Settings von Zen1 für Dual Rank Module.. funktioniert dann eben auch beim EPYC.
Da werd ich wohl noch weiter testen müssen.

Was ich auch festgestellt habe ist das er immer tCL +1/+2 nimmt von dem was man einstellt. Warum? Fragt Gigabyte... mir ist das absolut nicht schlüssig.
Gear Down Mode hab ich noch nicht getestet, wär noch ne Option.. Timings und VDDP festnageln ist sicher auch nicht verkehrt. Ich trau der AUTO Konfig einfach nicht, erst recht nicht bei Gigabyte und diesem Board.

Ick könnt dir Knutschen... seit 3 Tagen versuche ich dies sch** RAMs zum laufen zu bekommen. Endlich laufen wenigstens 2 der 4 RAMs. Vielen, vielen dank.
Wenn die anderen beiden auch noch zum laufen bekommst, will ick nen kind von dir.
Gruß Marco

 

[gmipf]

Gute Tag zusammen,
auch ich bin nun ein Besitzer solches Boards, habe nun einiges hier gelesen bezüglich Board Updaten.

Zu welcher Version soll man nun Updaten? Die aktuelle 12.61.21 oder lieber auf 12.61.17?

MfG, Dominik!

Was ist an der alten Version besser? Ich habe auch 12.61.21 aktuell laufen.

 

[gmipf]

Hab grad mal bisschen im englischen Forum nachgelesen wegen dem 4i...
Das kommt bei raus wenn ichs über die EFI Shell probiere. Irgendwelche Ideen?

Anhang anzeigen 1003561

Hab mir dann mal das F09 BIOS angeschaut... und mit dem F02 vom EJ11-EC0 verglichen.
Und siehe da

Anhang anzeigen 1003558

Ich ändere das jetzt mal und versuchs zu flashen. Bis jetzt krieg ich nämlich nurn Bootloop wenn ich was PCIe mäßiges an den 4i klemme...

Könntest Du mir sagen welchen BIOS Editor Du da verwendest im Screenshot? Ich finde nur alte Versionen vom AMIBCP und das hier: https://github.com/BoringBoredom/UEFI-Editor
Ich möchte versteckte Einträge freischalten wie zB Overclocking und Steuerung der RAM-Spannung.

Ich denke irgendwo hatte ich noch einen Post von Dir gelesen wo Du meinst dass mit F02 einen Problem mit den integrierten NICs existiert, was genau meintest Du damit? Ich habe F02 crossflashed aktuell drauf. Soll ich wieder zurück zum F09?

 

[MrOpuki]

Tipp für die, die 10 GBit/s Netzwerk haben möchten (und ungeduldig sind bzgl. China Lieferung).

Bei Amazon gibt es diesen m2 auf PCIe x8 Adapter. Beim Test mit einer ConnectX-3 konnte per lspci -vv -s <BUS:ID> auslesen: [V0] Vendor specific: PCIe Gen3 x4
Und in der Tat werden auch >32GBit/s angezeigt.
Blöder weise sind die Kabel sehr steif, entweder war das schon bei der Lieferung angerissen, oder ich hab's kaputt gemacht. Amazon sagt: tauschen wir. Na dann teste ich mal die Tage weiter.

Einen weiteren (recht teuren) Adapter gibt es direkt als m2 auf SFP+, ebenfalls bei Amazon. Hatte ich hier getestet, konnte aber nur 5 GBit/s rausholen, es kann aber auch gut sein, dass es an der NIC in meinem PC lag (10GTek, PCIe 2.0!) - hier kommt die Tage einen Mellanox (nVidia) ConnectX-4 mit 2x SFP+ (25 GBit/s eigentlich) ins Haus - die hat PCIe 3.0 was dann für 10 GBit/s reichen sollte. Die Karte habe ich bei Gekko via eBay geschossen habe (auf 70€ gehandelt).

Beide Varianten teste ich Anfang der Woche dann noch einmal und lasse euch gerne ein Feedback dazu da

Ciao
Dennis

---
Fehlermeldungen in Proxmox (auf der Konsole/IPMI bzw BMC und unter "System" -> "System Log":
Ich weiß nicht ob es hier vorher schon geschrieben wurde. Ich hatte trotz Anpassung von grub noch das Log voller AER Meldungen.

Das hat geholfen:

vim /etc/kernel/cmdline

und dort am Ende einfügen

pcie_aspm=off ahci.mobile_lpm_policy=0

Sieht bei mir dann so aus, die Datei:

root=ZFS=rpool/ROOT/pve-1 boot=zfs pcie_aspm=off ahci.mobile_lpm_policy=0

Danach nicht per update-grub, sondern mit dem Proxmox-eigenen Tool das Update durchführen:

proxmox-boot-tool refresh

 

[F|Marsman]

Könntest Du mir sagen welchen BIOS Editor Du da verwendest im Screenshot? Ich finde nur alte Versionen vom AMIBCP und das hier: https://github.com/BoringBoredom/UEFI-Editor
Ich möchte versteckte Einträge freischalten wie zB Overclocking und Steuerung der RAM-Spannung.

Ich denke irgendwo hatte ich noch einen Post von Dir gelesen wo Du meinst dass mit F02 einen Problem mit den integrierten NICs existiert, was genau meintest Du damit? Ich habe F02 crossflashed aktuell drauf. Soll ich wieder zurück zum F09?

Das ist AMIBCP.
Sowas wie Overclocking und Spannungen gibt es nicht. VDDP Spannung lässt sich einstellen im AMD CBS Menü. Ansonsten kannst du da auch noch Takt und Timings vom RAM anpassen, mehr aber auch nicht.
Das Board mit F02 spammt mir halt die Console mit Fehlermeldungen zu die definitiv von den NICs kommen. Das andere Board mit F09 macht das nicht. Scheint aber auch mit dem mod_F09 der fall zu sein.

 

[gmipf]

@F|Marsman Ich würde das mit den Fehlermeldung gerne reproduzieren, könntest Du mir nennen um welches Betriebssystem und welche Console es geht?

 

[F|Marsman]

TrueNAS Scale 24.10, die Konsole/Terminal wie auch immer man es nennt direkt auf dem System wenn ich über IPMI remote drauf zugreife. Also nicht die Shell im WebGUI von TrueNAS.

 

[Paddy600]

Die Meldungen sind aber mit Zen leider normal. Liegt am ASPM.

Entweder ASPM komplett ausschalten, oder die PCI Meldungen deaktivieren.


Methode 1:
ASPM Deaktivieren

midclt call system.advanced.update '{"kernel_extra_options": "pcie_aspm=off"}'

Methode 2:
Alle Fehlermeldungen (!) deaktivieren

midclt call system.advanced.update '{"kernel_extra_options": "pci=noaer"}'

 

[F|Marsman]

ASPM ist normalerweise im BIOS deaktiviert.. wenn man nicht grad was modded.
Das isses also nicht und von pcie=noaer würd ich weiten Abstand nehmen.

 

[Paddy600]

Ich würde auch immer pcie_aspm=off empfehlen.

Ich kenne deine genaue Fehlermeldung ja nicht, aber zumindest die Fehlermeldungen in TrueNAS verschwinden sobald man es damit auf Kernel ebene ausschaltet.

PCIe Bus Error Status 00001100 beheben – Thomas-Krenn-Wiki

Unter Linux kann es auf Systemen mit aktiviertem Active State Power Management (ASPM) zu PCIe Bus Error Meldungen kommen. Die Meldungen beziehen sich auf korrigierte error status/mask=00001100/00002000 Fehler. Sie können diese Probleme vermeiden, indem Sie ASPM mit dem Kernel Parameter...

www.thomas-krenn.com

 

[F|Marsman]

das müsste die Intel NIC 1 sein. 2 ist deaktiviert sonst kommen die gleichen Fehler auf pcieport 0000:00:01.5

 

[Paddy600]

Das müsste der Zen ASPM Fehler sein.

In der Konsole: call system.advanced.update '{"kernel_extra_options": "pcie_aspm=off"}'
und Neustart, dann verschwindet es.

 

[F|Marsman]

Müsste dann ja auch temporär mit "pcie_aspm=off" gehen... tut es aber nicht. NICs deaktivieren hilft..
Der Fehler ist auch beim ungemoddeten BIOS da, wo ASPM definitiv im BIOS deaktiviert ist.

 

[Luckysh0t]

Also ich habe bei PVE folgendes gebraucht, damit die Errors nicht kommen

pcie=noaer pcie_aspm=off

Das Ganze in "/etc/kernel/cmdline", aber das kommt ja aufs OS an.

 

[F|Marsman]

Ich bin halt mit dem "noaer" nicht wirklich glücklich... ist im BIOS zwar std. auch ausgeschaltet, aber für sinnvoll halt ich das nicht Fehler einfach auszublenden. Gleiche Thematik wie bei WHEA Errors aufgrund zu hohem FCLK bei Zen3...

Mich wundert halt das "aspm=off" bei euch was bringt, wenn es doch im BIOS sowieso aus ist

 

[Paddy600]

Ich vermute mal das Linux versucht ein Gerät in den L1 zu setzen, Zen darauf aber komisch/falsch reagiert (und zwar unabhängig davon ob ASPM seitens der Hardware an oder aus ist) und deswegen Fehler ausgibt.

Linux versucht es einfach immer weiter, und so wird alles mit den Fehlern vollgespamt. Mit pcie_aspm=off versucht Linux es einfach nicht mehr, und daher kommen auch keine Fehler mehr.

noaer schaltet einfach alle (!!) PCI Fehlermeldungen ab.

 

[F|Marsman]

Ick könnt dir Knutschen... seit 3 Tagen versuche ich dies sch** RAMs zum laufen zu bekommen. Endlich laufen wenigstens 2 der 4 RAMs. Vielen, vielen dank.
Wenn die anderen beiden auch noch zum laufen bekommst, will ick nen kind von dir.
Gruß Marco

Damit schon probiert?

bin jetzt noch weiter die Widerstände durchgegangen. Hab auch so einiges gefunden was sicher bootet und auch eine Kombi die nicht direkt wieder ECC Fehler wirft.
Probiers mal mit:
Takt auf 1066MHz
ProcODT 53,3

RTTnom 7
RTTwr disabled
RTTpark 2

Gear Down Mode (GDM) auf AUTO
2T AUTO

Das startet auf beiden Boards bei mir zuverlässig mit 4 von den Hynix DIMMs. Aber noch wills nicht ohne correctable_ECC Fehler...
Der Trick ist:
2 Riegel einbauen -> Widerstände und Takt setzen -> Save & Reboot. Möglich das er mit den Settings nicht mit 2 Riegeln booten will, ansonsten booten lassen und dann ausschalten. Danach die nächsten zwei einbauen und dann ganz normal starten lassen.
Muss unbedingt noch die Timings durchgehen...
Takt in der Memory Config ins BIOS schreiben bringt leider gar nichts. Stellt man da 1866MTs ein startet er genauso wieder mit 2400MTs als wenn man es im AMD CBS Menü runter stellt..

 

[gmipf]

Bezüglich Timings: Ich habe jetzt meine neue Riegel erhalten, 2x 16GB 2666 single ranked RDIMMS (1Rx4).

Modell: Samsung M393A2K40BB2-CTD6Q

Ich habe beabsichtigt single ranked DIMMs genommen wegen Stabilität und voller Performance usw.
Scheinen soweit mit Stresstest (OCCT und stressapptest) zu laufen. Diese sind nun auch Samsung B-Dies, die sollen ja bekanntlich gut OC abkönnen. Da man aber kein Voltage einstellen kann, würde ich gerne die Timings runterschrauben bei gleichbleibenden 2666MT/s. Für Ryzens finde ich ständig Empfehlungen aber die beinhalten auch nur overvoltage. Ebenso die Software DRAM Calculator for Ryzen rät mir auf 1.35v oder so zu gehen.

Wie sollte ich vorgehen, einfach die ersten 4 wichtigen Timings runterschrauben und probieren oder muss ich für Ryzen extra noch was beachten?

 

[F|Marsman]

S8B auf 2666 laufen lassen, was ne Verschwendung
Bei so niedrigem Takt hilft wohl nur Stück für Stück testen was mit den 1,2V möglich ist. Eventuell auch 2933/3200 probieren... Grundsätzlich kann man sich da wohl an die Ryzen RAM OC Anleitung halten. Zen1 ists ja eh.. Würd mich mal interessieren ob die auch so rumzicken dass er die CL immer +1 oder +2 setzt.
Weiß selbst nicht was meine S8B bei so niedrigem Takt und Spannung können, unter 3200CL14 haben die auch nie gesehen.

 

[gmipf]

@F|Marsman Man kann den Takt so hoch pushen bei 1,2v? Dann werde ich zunächst einen neuen stabilen Takt suchen. Bevor ich aber damit anfange möchte ich noch diesen Mod machen wo die anderen zwei FAN Header freigeschaltet werden. Hast Du da einen Link zur Anleitung? Ich glaub das war wo man das Mainboard Modell auf MJ11-EC0 umstellt?