Gigabyte MJ11-EC1 NAS Server

[Reflexion]

Öhm, der 8i kann auch SATA, ich dachte dass kann nur der 4i ?

.. ich möchte nicht ausschließen, dass 8*SATA mit irgendwelchen Widerständen am Kabel funktioniert. Das Slimline SAS SFF-8654 8I To 8 Ports SATA Kabel hatte bei mir keine HDDs erkannt, egal welche und wie viele HDDs ich angeschlossen hatte. Der BIOS Wechsel auf BIOS F02 sorgte nur dafür, dass überhaupt der Anschluss aufgeführt wurde.

Es gibt aber zahlreiche Bestätigungen, dass Slimline SAS 4.0 SFF-8654 4i mit 4xSATA (nicht aber SAS) funktioniert, allerdings macht die Option eigentlich nur Sinn, wenn der Mini SAS 36P SFF-8087 to 4 SATA (bei den SATA Ports) aufgebraucht wurden, da zum einen etwas günstiger und zum anderen man so keine 4 Lanes des SFF-8654 „verschwendet“.

Leider habe ich derzeit keine Mini SAS 36P SFF-8087 to 4 SATA Kabel mehr frei um zu überprüfen, ob dies noch erkannt wird mit BIOS F02 oder aber „nur“ PCIe geboten wird, denn der Test verlief erfolgreich, eine M.2 NVMe würde darüber erkannt mit PCIe 3.0x4 Lanes; „NFHK SFF-8654 Kabel & Karte U2 Kit NGFF M-Key auf Slimline SAS NVME PCIe SSD SATA Adapter für Mainboard“ (https://www.amazon.de/gp/product/B09FJW5NDG).

Was den Arbeitsspeicher betrifft, so kann ich bestätigen, dass bei meinen derzeit 4 aktiven Gigabyte MJ11-EC1 EPYC 3151 dieser RAM gut läuft und das bei alles 4 Bänken;

Der war auch recht preiswert bei ebay zu bekommen und ich hatte mir ein Hamsterlager angelegt.
Was den; „Micron 16GB 2Rx4 PC4-2133P registered ECC RAM MTA36ASF2G72PZ-2G1A2IG“ betrifft, so bin ich etwas zwiegespalten, ja er macht keine Probleme, allerdings macht es keinen Unterschied, ob ich 2 oder 4 davon verbaue es werden einfach nur 2 erkannt.
Wie bereits beschrieben macht der 32GB „HMA84GR7MFR4N-UH“ Riegeln bissl viel Ärger, schade, ich werde aber mal testen, ob folgende Einstellung etwas zum positiven bewirkt;

"Tab Advanced -> AMD CBS -> UMC Common Options -> DDR4 Common Options -> DRAM Timinig Configuration -> I Accept -> Overclock [Enabled] -> Memory Clock Speed [933Mhz]"

​

 

[F|Marsman]

Bin gespannt ob er die 933MHz/1866MTs übernimmt.. würde mich allerdings wundern..
1066/2133 geht... und da AFR und MFR nicht so weit auseinander liegen würd ich mal vermuten das auch hier tWR und tRTP helfen

Der 8i kann immer noch kein SATA afaik, das ist rein PCIe.

 

[Paddy600]

Ich denke über 2133 bei 128gb wird wohl eher der Speichercontroller nicht packen.

 

[Reflexion]

Bin gespannt ob er die 933MHz/1866MTs übernimmt.. würde mich allerdings wundern..
1066/2133 geht... und da AFR und MFR nicht so weit auseinander liegen würd ich mal vermuten das auch hier tWR und tRTP helfen

Der 8i kann immer noch kein SATA afaik, das ist rein PCIe.

Hast recht, mittlerweile habe ich den Überblick bei den vielen Riegel, die ich habe, verloren welche den nun alles 1866MHz annehmen., die beiden SKHynix 32GB 2Rx4 PC4-2400T Server RAM ECC DDR4 HMA84GR7MFR4N-UH Riegeln wurden mit 2400MHz erkannt im Windows Betrieb, auch wenn im BIOS auf Memory Clock Speed [933MHz eingestellt wurde, allerdings fiel auf, dass je nach Platzierung es ECC Fehler gab, das tritt nur in einer bestimmten Anordnung auf, einzeln machen diese kein Problem. Ich vermute also, dass einer von beiden defekt ist.

Generell scheint das Board aber zickig zu sein, sobald mal mehr als zwei Riegel verbaut, habe hier einiges durchgetestet, mit 5 verschiedenen Typen hier ein weiteres bei denen 4 Riege real erkannt wurden.

Abseits dessen sind die Angaben* aber auch etwas schwierig, real habe ich diese Riegel verbaut; Kingston KVR21R15D4/16 DDR4 2133MHz PC4-17000P ECC Server RAM (https://www.ebay.de/itm/405116733171?_skw=kvr21r15d4/16&itmmeta) ... die, aber wenn man sich die RAM Steine und den Anhang ansieht, identisch mit; Micron MTA36ASF2G72PZ-2G1A2II* (https://www.ebay.de/itm/126802669400?_trksid=p3814323.c101465.m3507) zu sein scheinen, gefüllt wird also irgendwas zusammen geklatscht und unterschiedliche Marken draufgebügelt. Immerhin habe ich damit ein weiteres 4'er Kit, das mit 2133MHz läuft.

Bei "IsMyMemoryOK" kam ebenfalls „36ASF2G72PZ-2G1A2II“ raus;

*

 

[Ecki815]

Funktioniert folgende Karte über den 8i Anschluss?

M.2 10g Server-Netzwerk karte m.2 m X520-DA1 10g sfp + Glasfaser-Industrie-Computer-Server-Netzwerk karte jl82599en Chip - AliExpress 7

Smarter Shopping, Better Living! Aliexpress.com

de.aliexpress.com

 

[takt3r]

Hallo zusammen,

ich habe mir einen kleine Backup-Server für meine Garage mit diesem Board gebaut. Installiert habe ich auf dem System Proxmox. Leider schaffe ich nur 700MBit/s Netzwerkdurchsatz. Ich hatte mir einen kleinen Fileserver mit Cockpit erstellt und beim Dateien kopieren nur 60-70 Megabyte pro Sekunde geschafft. Danach habe ich ein wenig getestet und per iperf die Geschwindigkeit zum Hauptserver gemessen. 600-700MBit/s. Wenn ich mein Notebook am gleichen Port in der Garage anstecke schaffe ich mit iperf 950-980MBit/s. Habt ihr einen Tip für mich? Proxmox bootet von einer SSD und die Shares liegen ebenfalls auf SSD Platten

 

[F|Marsman]

@Ecki815 rein von der Theorie sollte es funktionieren. Hab selbst die gleiche oder ne ähnliche hier. Ist halt für den M.2 Slot gedacht, was PCIe ist.
Das Problem dürfte sein nen SFF-8431 auf SFF-8654 8i Kabel zu finden.. sag bescheid wenn du eins gefunden hast.

 

[Luckysh0t]

@F|Marsman Hast du die im m.2 Slot oder im 4i Port zum Laufen bekommen? Bei mir funktioniert die nur im m.2 Slot...das Board ist echt eine Diva ^^

 

[F|Marsman]

Im M.2 läuft die tadellos.. nur brauch ich den Slot halt für ne SSD
Frag mich grad ob ich das überhaupt mal am 4i probiert habe. Gaube aber da gabs auch keine passenden Kabel. Muss ich nochmal suchen..

 

[Luckysh0t]

Gaube aber da gabs auch keine passenden Kabel

https://www.amazon.de/Twozoh-SFF-8654-SFF-8087-Mini-Zielkabel/dp/B09H75XP4R/ref=sr_1_4?__mk_de_DE=%C3%85M%C3%85%C5%BD%C3%95%C3%91&crid=V4N2N0FDUA0V&dib=eyJ2IjoiMSJ9.V19SD4xxj9ndPLvzXX1sQ6e_WtgWYzfAVC_Csm4AuOHbZrljlaM8S_rKMJwMqxdRHsXd2wX9wxsq46s9fxOBSfSNpdBAhKxv6ejiWGg9j-fJ4T9QL0OH3FyEifyoVc9jkFrRwzuOZScn_TURH8PFNApOTSL8QwoErIwnzaUHRTQFx-YhXpbCIAra03ym3a1iDgH7PaEx4ptHZBQ_eHjpwFt-wnZNDijXGOY_vuwdsuwm7lNU8MCpS6AGQXHNoIH880rtv9y8LpwvWad_HkTQSrGX15Qr91ermYWdZpktCsywdO1Za7u3M2jNOg4Hv3Aed6vaiC7KjZBc6QzHKuTtRiUPs6pVzp5i7Afj0MOQZUU.YzvRvyC3uUKEOXZ5Xf_Hs5YGRhoTYjlrduZi8vbIYEM&dib_tag=se&keywords=SFF-8654%2Bauf%2BSFF-8087&nsdOptOutParam=true&qid=1735918818&s=ce-de&sprefix=sff-8654%2Bauf%2Bsff-8087%2Celectronics%2C110&sr=1-4&th=1

Wie lange soll der Link sein ? xD

 

[F|Marsman]

Wenn ich jetzt noch wüßte ob das lief... entweder stehts hier im Thread oder ich teste das nachher nochmal kurz.

 

[Luckysh0t]

Kenne ich auch, mit dem Board bestellt man alles Mögliche, am Ende landet es entweder im Server oder in der Grabbelkiste xD

 

[bbott]

Im M.2 läuft die tadellos.. nur brauch ich den Slot halt für ne SSD
Frag mich grad ob ich das überhaupt mal am 4i probiert habe. Gaube aber da gabs auch keine passenden Kabel. Muss ich nochmal suchen..

Ich habe es mit einem y i8 to 2x (Stecker) Kabel nicht geschafft, an einem wurde Karte nicht erkannt, am anderen wurde die Karte erkannt, aber keine Link aktiv. Soweit ich mich richtig erinnere. Ein i4 Kabel soll angeblich auch nicht funktionieren, die Pin Belegung scheint nicht passen zu sein.

Der Way to go, ist wohl i8 über ein PCE x16 Adapter und dann eine normale PCIe Karte. Die waren bisher nicht günstig, 20-25€ Adapter 25-30€ Kabel plus 50+ € für eine SPF+ Karte + SPF Modul/ Kabel... nicht gerade günstig.

Falls du ein funktionierendes Kabel findest gerne bescheid geben ;-)

Kenne ich auch, mit dem Board bestellt man alles Mögliche, am Ende landet es entweder im Server oder in der Grabbelkiste xD

Was das ganze sehr schnell sehr teuer macht... um dann fest zustellen das die CPU auch nicht die schnellste ist

 

[Luckysh0t]

Ein i4 Kabel soll angeblich auch nicht funktionieren, die Pin Belegung scheint nicht passen zu sein

Davon gehe ich auch aus, habe es ja getestet. Was mich schon etwas wundert, da meine Qnap NIC/SSD Kombi-Karte aus dem PVE sowie mein QNAP u.2 zu 2*m.2 Erweiterung in meinem OmniOS Server laufen am 4i Port ohne Probleme.

Man sollte meinen pcie ist überall gleich verdrahtet, wenn die nicht bei der NIC eine eigene Art von Crossover Belegung gebaut haben..

Edit.. achso.. ja gut das 4i Kabel kann natürlich falsch belegt sein (um es als pcie Kabel nutzen zu können).. das stimmt.

Beitrag automatisch zusammengeführt: Samstag um 10:29

um dann fest zustellen das die CPU auch nicht die schnellste ist

Das Problem habe ich zum Glück nicht ^^

 

[Luckysh0t]

Was das ganze sehr schnell sehr teuer macht

Aus dieser Kategorie folgt nun, Dinge, die man machen kann, aber halt absurd sind

Folgendes habe ich mir nun zu Testzwecken bestellt.

• SFF-8643 SFF-8087 Adapter - Slothalterung
• SFF-8654 4i zu SFF-8643 Kabel
• SFF-8643 Kupplung - lose
• SFF-8087 zu SFF-8643 Kabel
• SFF-8087 zu SFF-8087 ist vorhanden

Mal schauen, ob damit die m.2 NIC im 4i Port lauffähig wird. Ist total Meschugge, aber so ist das halt ^^.

 

[xST4R]

hat jemand von euch proxmox im einsatz und wenn ja was zur hölle ist das :

wie kann der pcie errors werfen ohne pcie zu haben ? und wie bekomm ich das weg ?

gemini (gemini ist chatgpt nur in gut) sagt :

 

[F|Marsman]

Das übliche Problem mit den beiden Intel Onboard NICs
xxx:01.5 dürfte die zweite sein..

 

[xST4R]

unwahrscheinlich , ich hatte 3 von den mj11-ec1 und bei 2 von 3 war es nicht ...

 

[F|Marsman]

Dann check halt was an xxx:01,5 angeschlossen ist
.4 und .5 waren die Intel...

 

[Shihatsu]

unwahrscheinlich , ich hatte 3 von den mj11-ec1 und bei 2 von 3 war es nicht ...

Glaubst du wirklich das 3 Geräte eine sample size sind, die groß genug ist? So funktioniert das leider nicht...

 

[xST4R]

Dann check halt was an xxx:01,5 angeschlossen ist
.4 und .5 waren die Intel...

es ist genau das

https://www.thomas-krenn.com/de/wiki/AER_Multiple_Corrected_error_received_0000:00:1c.4 oder das https://www.truenas.com/community/t...olicy-icode-med_power_with_dipm-icode.103525/

im guide von stoeckle.li gibts das auch

 

[F|Marsman]

...und genau diesen "noaer" Blödsinn sollte man lassen, weil dann gar keine Fehlermeldungen mehr angezeigt werden.

 

[xST4R]

...und genau diesen "noaer" Blödsinn sollte man lassen, weil dann gar keine Fehlermeldungen mehr angezeigt werden.

ist mir bewusst , es hat aber 0 mit dem lan zutun

gemini schreibt hier

ich glaub das da generell etwas nicht stimmt.

 

[F|Marsman]

Ist dennoch die Intel NIC die dort dran hängt.
Im BIOS deaktivieren und die Fehlermeldungen sind weg.

 

[xST4R]

hab ich versucht , hab eins ausgeschaltet und dennoch noch meldungen (siehe bei 14:22:00)

das einzige was wirklich was gebracht hat ist diesen log spam zu unterdrücken (aber das ist ja nicht die lösung)

immerhin kann man es so erstmal nutzen

die 13:46:00 waren mit log spam - dann hab ich nochmal rumgetestet und 14:46:00 war mit der config :

GRUB_DEFAULT=0
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`
GRUB_CMDLINE_LINUX_DEFAULT="quiet pci=noaer ahci.mobile_lpm_policy=0"
GRUB_CMDLINE_LINUX=""

 

[F|Marsman]

Ja, ist eben nicht die Lösung...
Würd mich noch interessieren ob man die Firmware der Intels updaten kann und ob das was bringt.
Für mich ist der Workaround einfach die beiden Intel onboard NICs zu deaktivieren. LAN läuft eh über die 10G und die BMC NIC macht keine zicken..

Das mit pci=nommconf klang aber noch interessant.

 

[Paddy600]

Hier:

midclt call system.advanced.update '{"kernel_extra_options": "pcie_aspm=off ahci.mobile_lpm_policy=0"}'

Damit kommt kein Fehler mehr und die es werden auch keine Meldung geblockt wie bei noaer. Also zumindest wenn es der Fehler ist, den die meisten mit TrueNAS haben.

ahci.mobile_lpm_policy=0 Ist für hotswap.

 

[F|Marsman]

@Ecki815 @Luckysh0t
Habs jetzt nochmal mit der Intel X520 M.2 Karte am 4i probiert... das funktioniert jedenfalls nicht. Da seh ich dann auch schwarz fürn 8i..
Meine Vermutung ist hier auch das die Verdrahtung nicht passt. Ansonsten funktionieren am 4i ja definitiv PCIe Karten.

 

[xST4R]

Ja, ist eben nicht die Lösung...
Würd mich noch interessieren ob man die Firmware der Intels updaten kann und ob das was bringt.
Für mich ist der Workaround einfach die beiden Intel onboard NICs zu deaktivieren. LAN läuft eh über die 10G und die BMC NIC macht keine zicken..

Das mit pci=nommconf klang aber noch interessant.

kann man wenn man eine finden würde - sowas bekommen nur oem's

über fwupdmgr gehts aufjedenfall nicht

 

[Luckysh0t]

@Ecki815 @Luckysh0t
Habs jetzt nochmal mit der Intel X520 M.2 Karte am 4i probiert... das funktioniert jedenfalls nicht. Da seh ich dann auch schwarz fürn 8i..
Meine Vermutung ist hier auch das die Verdrahtung nicht passt. Ansonsten funktionieren am 4i ja definitiv PCIe Karten.

Ich denke so ein 8i Kabel was auch für pcie beschrieben ist, könnte schon gehen, auch wenn halt dann das andere Kabel für die Katze ist, wenn es zweimal 4x daraus macht.
Ich bin gespannt, was bei den Sachen herauskommt, die ich bestellt habe, da es ja mit anderen Kabeln/HW bei euch und auch mir geht, gehe ich davon aus, dass dieses 4i Kabel exklusiv für SAS/SATA belegt ist, könnte jetzt auch nicht testen, ob SAS/SATA damit gehen würde, oder ob diese Kabel generell Murks sind.