Gigabyte MJ11-EC1 NAS Server

[F|Marsman]

Was für Infos hättst denn gern? Manche Menüs krieg ich nicht sichtbar, weil sie im Mainmenu nicht eingetragen sind. Aber die Optionen kann man halt direkt reinschreiben und dann flashen.
Aktuell hab ich mal ASPM auf L0s_force gestellt und die PCIe Einstellungen etwas überarbeitet. Optionen für U2_1 und PCIe Slot #4/#6 I/O-ROM brauchen wir grad nicht.
Hab aber im servethehome Forum schon wieder gelesen das manche den zweiten 8i aufgelötet haben und der funktioniert. Ich glaub das wird nochmal paar Bastelstunden geben zwei PCIe 8x und ein PCIe 4x/4xSATA.. was man da alles machen könnte..
Bin aber aktuell noch am rumtesten. BIOS kann ich dann auch noch hochladen.

 

[F|Marsman]

wenn ich nicht ganz blöd bin läuft die Mellanox mit ASPM...
Der Rest ist eine NVMe (kann wohl kein ASPM), eine Intel onboard NIC, BMC und zugehöriger VGA, Nvidia GT1030 und paar Dinger von AMD...
Wenn ich das richtig interpretiere können die sehr wohl ASPM, es ist nur nicht an. pcie_aspm=force bringt scheinbar auch (noch) nichts.



Also die Mellanox scheint hier schonmal gar kein Problem zu sein. Auch die Idle States der CPU beeinflusst das 0. Wie schon vermutet.
Wenn da noch jemand Ideen zu hat immer her damit, ich flash momentan eh alle paar Stunden nen neues BIOS...

So sieht das aktuell im BIOS aus. Die Einträge lassen sich leider bis jetzt nicht sichtbar machen.

 

[Stefan 0815]

Ich war heute ein wenig auf der Suche nach passenden Netzteilen, was haltet ihr davon:
Ebay - Dell Netzteil

Wie bekomme ich das Board am günstigsten mit SAS Festplatten am laufen?
Kann ich eine "alten" nicht Uefi Festplattencontroller nehmen?

Gestern hatte ich probiert mir Treiber für den Chipsatz herunterzuladen, bei AMD direkt klappt das nicht und die Treiber von Gigabyte scheinen ganz schön alt zu sein.

 

[pwnbert]

Gibts nicht für diesen SFF-irgendwas Stecker einfach Kabel für SAS? Auf Ebay aus China gibts da einige gute günstige SFF Kabel, wenns nicht eilt.

 

[bbott]

Die ganzen PCIe Steckplätze in dem Server müssen Bifurcation können, mit nem extra Chip. Sonst würden ja mehrere Grafikkarten gar nicht laufen.
Der Port auf dem Board für sich allein kann das nicht.
Und ja der Port würde limitieren.. ist halt nur PCIe 3.0 8x und der kleine ist 4x... Ich seh da auch keinen Sinn außer Mining.

Ich meinte die zehn PCIe x16 Ports, werden (sehr) wahrscheinlich kein Bifurcation können, um je Port vier m2 zu installieren.

 

[F|Marsman]

Ich meinte die zehn PCIe x16 Ports, werden (sehr) wahrscheinlich kein Bifurcation können, um je Port vier m2 zu installieren.

Können die Ports überhaupt PCIe 16x? Also elektrisch... frag mich auch was man mit vier M.2 pro Port will..
Ich mein das Board hat ja nur 8x Lanes...

 

[pwnbert]

M.2 ist billiger als SATA, insofern kann man halt nen großen Pool bauen, selbst wenn man nur PCIe 3.0x1 pro M.2 hat ist das SATA immer noch überlegen, von Leistung und Preis her.

 

[F|Marsman]

Was hab ich denn wieder verpasst? M.2 günstiger als SATA WTF?

Also wie ich ASPM auf den AMD internen "Geräten" zum laufen kriegen soll ist mir nen Rätsel... wenn das überhaupt geht.
Immerhin mit den Änderungen und powertop sowie zenstates jetzt ~5W weniger. Könnt man als Erfolg verbuchen
Mit CX-3 und 1030GT drin jetzt 34-34,5W. Vorher 39,xW


Aber eingeschaltet ist es jetzt wohl mit dem Mod-BIOS, den 4i Port kann man zwischen SATA/PCIe wechseln, der Speichertakt wird scheinbar auch übernommen (hab ich mal im Menü auf 1866MTs gesetzt um zu gucken ob er dann meine vier Hynix DIMMs damit ansteuern wird, anstatt mit 2133..), bisschen Kleinkram..
Morgen maln Changelog schreiben und hochladen. Dann könnt ihr auch mal bisschen rumtesten ob alles geht

 

[bbott]

M.2 ist billiger als SATA, insofern kann man halt nen großen Pool bauen, selbst wenn man nur PCIe 3.0x1 pro M.2 hat ist das SATA immer noch überlegen, von Leistung und Preis her.

Allerdings nicht gerade kompakt das ganze 😅

 

[MrOpuki]

Schönen guten Abend,

hey - mein erster Post in diesem Forum (mit dem neuen Account - war einige Jahre hier offline) und schon kommt der Typ mit Fragen und Problemen um die Ecke

Ich habe dieses Forum in den letzten Tagen verschlungen. Der langen Rede kurzer Unsinn liegen jetzt hier zwei dieser Boards in folgender Ausstattung:

Gigabyte MJ11-EC1 #1
2x 16GB ECC RAM (Samsung) @ 2133
Xpenology per ARC per USB Stick (Adapter auf den USB 3.0 Sockel onboard)
BIOS: F09
BMC: 12.49.06
HDDs: kommen die Tage, 3x 18TB Toshiba MG09

Läuft prima. Alle Sensoren werden auch angezeigt.

Aber der Kollege...

Gigabyte MJ11-EC1 #2
4x 32GB ECC Regged RAM (Samsung) @ 2133
Proxmox 8.2
BIOS: F09
BMC: 12.61.21
SSD: Crucial 1TB P3 im M2 Slot

...der hat hier, nachdem er vorhin hier den memtest noch mit guter Lautstärke und allen aktiven Sensoren im BMC auf einmal keine Lust mehr auf Sensorwerte. Ich habe rumgetüftelt und vorhin dann nachgegeben und die Firmware vom BMC auf 12.61.21 geflashed (aus Proxmox heraus). Hat soweit auch geklappt, bis auf.. naja.. die Sensoren werden immer noch nicht angezeigt und die Lüfter im System laufen volle Möhre.

Über die Proxmox Installation per ipmitool lese ich das hier aus (also quasi nix):

root@jupiter:~# ipmitool sensor
Watchdog         | 0x0        | discrete   | 0x0080| na        | na        | na        | na        | na        | na
SEL              | 0x0        | discrete   | 0x0080| na        | na        | na        | na        | na        | na

Im WebUI sieht's identisch aus.

Was ich noch ausprobiert hatte: im BIOS kann Fan_Control einstellen. Hatte ein paar Werte eingetragen, aber irgendwie hat den das nicht sonderlich interessiert. Der Lüfter kühlt die CPU (laut lm-sensors) auf schöne 20°C runter, weiterhin mit Voll Speed.

Ich hatte schon überlegt einen PWM Low Noise Adapter von Noctua dazwischenzustecken, aber so ganz geheuer ist mir die Idee selber nicht.

Habt ihr evtl. eine Idee dazu?

PS. Was mir aufgefallen ist, bei dem Board #1 habe ich eine Option für "Fan Settings" in den "Settings", die hatte ich aber selbst bei der vorherigen BMC Version (12.49.06) bei Board #2 nicht.

---
Ich habe jetzt mal Low Noise Adapter von Noctua am CPU Lüfter angeschlossen. Die Lautstärke ist deutlich niedriger, die Temperatur beim Boot bei 27°C. Ich habe netdata installiert und hier ist mal ein Screenshot. In der Zeit habe ich einen Win Server installiert und Updates durchgeführt. Die Temperaturen peaken bei 28°C. Allerdings läuft da auch noch nicht viel. Ich werde es mal im Auge behalten, ob das mit dem Low Noise Kabel eine mögliche Lösung ist.

 

[marco-mh]

@froooop nochn Tipp um die AFR zum laufen zu kriegen (hilft vielleicht auch bei anderen DUAL RANK ICs):
Im BIOS:
Advanced -> AMD CBS -> UMC Common Options -> DDR4 Common Options -> Data Bus Configuration

Wobei das noch nicht final ist.. aber 7/3/1 und ProcODT 60 sind so std. Settings von Zen1 für Dual Rank Module.. funktioniert dann eben auch beim EPYC.
Da werd ich wohl noch weiter testen müssen.

Was ich auch festgestellt habe ist das er immer tCL +1/+2 nimmt von dem was man einstellt. Warum? Fragt Gigabyte... mir ist das absolut nicht schlüssig.
Gear Down Mode hab ich noch nicht getestet, wär noch ne Option.. Timings und VDDP festnageln ist sicher auch nicht verkehrt. Ich trau der AUTO Konfig einfach nicht, erst recht nicht bei Gigabyte und diesem Board.

Ick könnt dir Knutschen... seit 3 Tagen versuche ich dies sch** RAMs zum laufen zu bekommen. Endlich laufen wenigstens 2 der 4 RAMs. Vielen, vielen dank.
Wenn die anderen beiden auch noch zum laufen bekommst, will ick nen kind von dir.
Gruß Marco

 

[gmipf]

Gute Tag zusammen,
auch ich bin nun ein Besitzer solches Boards, habe nun einiges hier gelesen bezüglich Board Updaten.

Zu welcher Version soll man nun Updaten? Die aktuelle 12.61.21 oder lieber auf 12.61.17?

MfG, Dominik!

Was ist an der alten Version besser? Ich habe auch 12.61.21 aktuell laufen.

 

[gmipf]

Hab grad mal bisschen im englischen Forum nachgelesen wegen dem 4i...
Das kommt bei raus wenn ichs über die EFI Shell probiere. Irgendwelche Ideen?

Anhang anzeigen 1003561

Hab mir dann mal das F09 BIOS angeschaut... und mit dem F02 vom EJ11-EC0 verglichen.
Und siehe da

Anhang anzeigen 1003558

Ich ändere das jetzt mal und versuchs zu flashen. Bis jetzt krieg ich nämlich nurn Bootloop wenn ich was PCIe mäßiges an den 4i klemme...

Könntest Du mir sagen welchen BIOS Editor Du da verwendest im Screenshot? Ich finde nur alte Versionen vom AMIBCP und das hier: https://github.com/BoringBoredom/UEFI-Editor
Ich möchte versteckte Einträge freischalten wie zB Overclocking und Steuerung der RAM-Spannung.

Ich denke irgendwo hatte ich noch einen Post von Dir gelesen wo Du meinst dass mit F02 einen Problem mit den integrierten NICs existiert, was genau meintest Du damit? Ich habe F02 crossflashed aktuell drauf. Soll ich wieder zurück zum F09?

 

[MrOpuki]

Tipp für die, die 10 GBit/s Netzwerk haben möchten (und ungeduldig sind bzgl. China Lieferung).

Bei Amazon gibt es diesen m2 auf PCIe x8 Adapter. Beim Test mit einer ConnectX-3 konnte per lspci -vv -s <BUS:ID> auslesen: [V0] Vendor specific: PCIe Gen3 x4
Und in der Tat werden auch >32GBit/s angezeigt.
Blöder weise sind die Kabel sehr steif, entweder war das schon bei der Lieferung angerissen, oder ich hab's kaputt gemacht. Amazon sagt: tauschen wir. Na dann teste ich mal die Tage weiter.

Einen weiteren (recht teuren) Adapter gibt es direkt als m2 auf SFP+, ebenfalls bei Amazon. Hatte ich hier getestet, konnte aber nur 5 GBit/s rausholen, es kann aber auch gut sein, dass es an der NIC in meinem PC lag (10GTek, PCIe 2.0!) - hier kommt die Tage einen Mellanox (nVidia) ConnectX-4 mit 2x SFP+ (25 GBit/s eigentlich) ins Haus - die hat PCIe 3.0 was dann für 10 GBit/s reichen sollte. Die Karte habe ich bei Gekko via eBay geschossen habe (auf 70€ gehandelt).

Beide Varianten teste ich Anfang der Woche dann noch einmal und lasse euch gerne ein Feedback dazu da

Ciao
Dennis

---
Fehlermeldungen in Proxmox (auf der Konsole/IPMI bzw BMC und unter "System" -> "System Log":
Ich weiß nicht ob es hier vorher schon geschrieben wurde. Ich hatte trotz Anpassung von grub noch das Log voller AER Meldungen.

Das hat geholfen:

vim /etc/kernel/cmdline

und dort am Ende einfügen

pcie_aspm=off ahci.mobile_lpm_policy=0

Sieht bei mir dann so aus, die Datei:

root=ZFS=rpool/ROOT/pve-1 boot=zfs pcie_aspm=off ahci.mobile_lpm_policy=0

Danach nicht per update-grub, sondern mit dem Proxmox-eigenen Tool das Update durchführen:

proxmox-boot-tool refresh

 

[F|Marsman]

Könntest Du mir sagen welchen BIOS Editor Du da verwendest im Screenshot? Ich finde nur alte Versionen vom AMIBCP und das hier: https://github.com/BoringBoredom/UEFI-Editor
Ich möchte versteckte Einträge freischalten wie zB Overclocking und Steuerung der RAM-Spannung.

Ich denke irgendwo hatte ich noch einen Post von Dir gelesen wo Du meinst dass mit F02 einen Problem mit den integrierten NICs existiert, was genau meintest Du damit? Ich habe F02 crossflashed aktuell drauf. Soll ich wieder zurück zum F09?

Das ist AMIBCP.
Sowas wie Overclocking und Spannungen gibt es nicht. VDDP Spannung lässt sich einstellen im AMD CBS Menü. Ansonsten kannst du da auch noch Takt und Timings vom RAM anpassen, mehr aber auch nicht.
Das Board mit F02 spammt mir halt die Console mit Fehlermeldungen zu die definitiv von den NICs kommen. Das andere Board mit F09 macht das nicht. Scheint aber auch mit dem mod_F09 der fall zu sein.

 

[gmipf]

@F|Marsman Ich würde das mit den Fehlermeldung gerne reproduzieren, könntest Du mir nennen um welches Betriebssystem und welche Console es geht?

 

[F|Marsman]

TrueNAS Scale 24.10, die Konsole/Terminal wie auch immer man es nennt direkt auf dem System wenn ich über IPMI remote drauf zugreife. Also nicht die Shell im WebGUI von TrueNAS.