Gigabyte MJ11-EC1 NAS Server

[Ceiber3]

Über IPMI habe ich das neuste F02 vom EC0 Board aufgespielt. Habe die Datei in eine .Zip getan und oben als letzte Datei hochgeladen.
Diese kann einfach über IPMI geflasht werden. Wer also mal testen möchte, es funktioniert. UnRaid läuft bei mir damit weiterhin wie bisher.

 

[Thestroyer]

Danke, teste ich morgen mal.

 

[Thestroyer]

So, unter Kali Live auch kein Unterschied, dann liegt es also nicht an Proxmox.
Nachdem ich das Bios vom EC0 geflashed habe finde ich auch den PCIe x16 im Bios, unter Linux genauso;

Spoiler

root@vs3:~# dmidecode -t slot
# dmidecode 3.4
Getting SMBIOS data from sysfs.
SMBIOS 3.2.1 present.

Handle 0x001C, DMI type 9, 17 bytes
System Slot Information
        Designation: Pcie_1_PortA
        Type: x16 PCI Express
        Current Usage: In Use
        Length: Long
        ID: 1
        Characteristics:
                3.3 V is provided
                Opening is shared
                PME signal is supported
        Bus Address: 0000:03:00.1

Handle 0x001D, DMI type 9, 17 bytes
System Slot Information
        Designation: SL_SAS
        Type: x4 PCI Express
        Current Usage: In Use
        Length: Short
        ID: 2
        Characteristics:
                3.3 V is provided
                Opening is shared
                PME signal is supported
        Bus Address: 0000:01:00.2

Handle 0x001E, DMI type 9, 17 bytes
System Slot Information
        Designation: M2_M
        Type: x4 PCI Express
        Current Usage: In Use
        Length: Short
        ID: 3
        Characteristics:
                3.3 V is provided
                Opening is shared
                PME signal is supported
        Bus Address: 0000:01:00.3

Handle 0x001F, DMI type 9, 17 bytes
System Slot Information
        Designation: Pcie_1_PortB
        Type: x4 PCI Express
        Current Usage: In Use
        Length: Long
        ID: 4
        Characteristics:
                3.3 V is provided
                Opening is shared
                PME signal is supported
        Bus Address: 0000:03:00.2

Handle 0x0020, DMI type 9, 17 bytes
System Slot Information
        Designation: Pcie_1_PortC
        Type: x4 PCI Express
        Current Usage: In Use
        Length: Long
        ID: 5
        Characteristics:
                3.3 V is provided
                Opening is shared
                PME signal is supported
        Bus Address: 0000:03:00.3

Handle 0x0021, DMI type 9, 17 bytes
System Slot Information
        Designation: Pcie_1_PortD
        Type: x4 PCI Express
        Current Usage: In Use
        Length: Long
        ID: 6
        Characteristics:
                3.3 V is provided
                Opening is shared
                PME signal is supported
        Bus Address: 0000:03:00.4

Egal ob ich auf Bifurcation x8x8 oder auf automatisch gehe wird die Karte nicht erkannt.
Da ich auf beiden Boards mit beiden BIOSen schon mehrere Karten getestet habe (von denen ich weiß, dass sie funktionieren) bleibt eigentlich nur noch die Möglichkeit, dass das SlimSAS Kabel oder der PCIe Adapter ne Macke haben. Blöd, dass ich das nicht so einfach mit nem Multimeter durchmessen kann

EDIT: BIOS PCIe Settings default (Screenshots mit beiden BIOSen), wobei ich beim EC0 BIOS auch X8X8 statt Auto getestet habe.

 

[gtawelt]

Welchen PCIe Adapter und Kabel hast du? Mit dem Original Bios sollte ja ein Gerät mindestens erkannt werden. Der Slot ist ja soweit mit x8 funktional, lässt sich aber nicht per Bifurcation aufteilen

 

[Thestroyer]

Welchen PCIe Adapter und Kabel hast du? Mit dem Original Bios sollte ja ein Gerät mindestens erkannt werden. Der Slot ist ja soweit mit x8 funktional, lässt sich aber nicht per Bifurcation aufteilen

Adapter:
https://de.aliexpress.com/item/1005005523470953.html
Kabel:
https://www.ebay.de/itm/355114477778

Den Stecker in den x8 vom Adapter (die vorderen Lanes im x16 Slot) habe ich natürlich richtig angeschlossen, eine Karte habe ich auch ohne die 12V Stromversorgung an der Platine getestet und die wurde auch warm. Kann natürlich gut sein dass da irgendwo ein? Leiter oder Lötverbindung nicht passt. Denke die günstigste Möglichkeit wäre erst mal ein 2. Kabel zu kaufen. Brauche erst mal nur in einem Node ne Erweiterungskarte, daher habe ich den kram auch nur 1x gekauft.

 

[Ceiber3]

Der Adapter ist PCIe 4.0, kann es da zu Problemen kommen ? Der hat auch noch nen IC drauf.

 

[Thestroyer]

Der Adapter ist PCIe 4.0, kann es da zu Problemen kommen ? Der hat auch noch nen IC drauf.

Ich hab noch nicht nach dem IC gegoogelt, denke aber der wird nur für die 12v Spannungsversorgung sein. Ein normaler PCIe liefert ja 75W, der SlimSAS wird vermutlich höchstens genug Saft für eine NVMe liefern (ich habe keine Ahnung).

Denke PCIe 4.0 wird nur möchtegern Marketing sein, elektrisch ist ja alles identisch bloß dürfen die Signalwege nicht so lang sein wie bei 3.0.
Hat damals bei meinem alten DAN A4 mit dem Riserkabel Probleme gemacht, bis ich im BIOS PCIe 3.0 fest eingestellt habe.

Edit:
Natürlich kann es ein Problem mit der Länge meines Kabels sein (50cm+Stecker) und 3 Steckverbindungen (2x SlimSAS + PCIe Slot), könnte in Summe schon was viel sein.
Edit 2:

PCIe 4.0:

Um diese Transferrate zu ermöglichen schrumpft die maximale Leitungslänge von 20 auf 8 bis 12 Zoll (20 bis 30 cm). Erforderlich sind auch neue Materialien für Leiterbahnen und Kontakte, um die Signalqualität für diese Geschwindigkeit zu erhalten.
PCIe 4.0 erreicht seine maximale Datenrate auch nur dann, wenn maximal eine Steckverbindung im Leitungspfad hängt (Punkt-zu-Punkt-Verbindung).

https://www.elektronik-kompendium.de/sites/com/0904051.htm
Dementsprechend sollten bei 3.0 max 20"=50,8cm möglich sein. Das wäre dann in diesem Fall hier CPU bis Chip der Netzwekkarte. Jede Steckverbindung zieht dann auch noch was ab.

Ich kaufe wohl mal ein kürzeres Kabel.

 

[Thestroyer]

Interessant, das im Gigabyte Server scheint sogar 60cm lang zu sein, allerdings kommt in dem Server vor den PCIe Slots der PLX:
https://www.ebay.de/itm/134724326136
Hat jemand eine bessere Idee als folgendes?
https://www.ebay.de/itm/275831837313
Hab noch eins für 30€ bei Gekko Computer 15cm gefunden aber das dürfte zu kurz sein.

 

[gtawelt]

Ich habe in einem Review mal gesehen wie schlecht manche der Kabel intern aufgebaut sind. Das originale Gigabyte Kabel hätte ich da, muss mir noch das PCI-E Board besorgen.

 

[Thestroyer]

Ich habe in einem Review mal gesehen wie schlecht manche der Kabel intern aufgebaut sind. Das originale Gigabyte Kabel hätte ich da, muss mir noch das PCI-E Board besorgen.

Berichte mal wenn du das machst.
Hab jetzt mal nach dem Chip auf meinem PCIe Adapter geschaut:
https://www.monolithicpower.com/en/mp1484.html
Damit war meine Annahme dann korrekt, es ist ein Step-Down Converter mit 5-12v Eingang und 3,3v Ausgang. Durchmessen kann man den ja relativ einfach. Mal hoffen, dass es mit dem nächsten Kabel funktioniert.

 

[Luckysh0t]

Ich hab mir das jetzt mehrfach durchgelesen, aber bez den sas/sata/pcie ports bin ich dann doch noch etwas.. nuja verwirrt.

m2. Pcie x4 -> klar
4 Sata Ports -> klar
Die beiden SAS Ports..

Der kleine bei den Sata Ports -> 4 fach SATA ?
Der größere Pcie x8 - (ohne bifurcation) ?

Ist doch eh 2x 4x PCIe. Sprich du kannst es aufteilen.

Ist dann der größere nicht in dem Sinne ein x8 sondern direkt zwei x4 ? was Bifurctaion für eine Teilung unnötig machen würde, und nur ein entsprechendes y Kabel benötigen würde ?

 

[killer196]

Der kleine bei den Sata Ports -> 4 fach SATA ?
Der größere Pcie x8 - (ohne bifurcation) ?

Ersteres: Yes.
Zweiteres: Theoretisch auch ja.

 

[Ceiber3]

Der kleine neben den Sataports ist Sata oder PCIe 3.0 x4. Keine ahnung ob er das beim original Bios Automatisch erkennt oder genrell Sata ausgewählt ist.
Der größere sollte x8 sein, kann auch sein das es auf 2x x4 aufgeteilt wird. müsste man testen. Kann doch nicht sein das an ein PCIe Bus nichts erkannt wird.

Handle 0x001C, DMI type 9, 17 bytes
System Slot Information
Designation: U2_2
Type: x4 PCI Express
Current Usage: In Use
Length: Long
ID: 1
Characteristics:
3.3 V is provided
Opening is shared
PME signal is supported
Bus Address: 0000:03:00.1

Handle 0x001D, DMI type 9, 17 bytes
System Slot Information
Designation: SL_SAS
Type: x4 PCI Express
Current Usage: In Use
Length: Short
ID: 2
Characteristics:
3.3 V is provided
Opening is shared
PME signal is supported
Bus Address: 0000:01:00.2

Handle 0x001E, DMI type 9, 17 bytes
System Slot Information
Designation: M2_M
Type: x4 PCI Express
Current Usage: In Use
Length: Short
ID: 3
Characteristics:
3.3 V is provided
Opening is shared
PME signal is supported
Bus Address: 0000:01:00.3

Handle 0x001F, DMI type 9, 17 bytes
System Slot Information
Designation: U2_2_PortB
Type: x4 PCI Express
Current Usage: In Use
Length: Long
ID: 4
Characteristics:
3.3 V is provided
Opening is shared
PME signal is supported
Bus Address: 0000:03:00.2

Handle 0x0020, DMI type 9, 17 bytes
System Slot Information
Designation: U2_1_PortA
Type: x4 PCI Express
Current Usage: In Use
Length: Long
ID: 5
Characteristics:
3.3 V is provided
Opening is shared
PME signal is supported
Bus Address: 0000:03:00.3

Handle 0x0021, DMI type 9, 17 bytes
System Slot Information
Designation: U2_1_PortB
Type: x4 PCI Express
Current Usage: In Use
Length: Long
ID: 6
Characteristics:
3.3 V is provided
Opening is shared
PME signal is supported
Bus Address: 0000:03:00.4

Aber hier wird wieder geschrieben das sich der Port als einer x8 ausgibt.

Gigabyte MJ11-EC1 EPYC 3151 Mystery

Hello, I'm still waiting for my board. What do you think about using amd-pstate drivers to improve efficiency on this board ? Is it compatible or too old for that ?

forums.servethehome.com

 

[mrpasc]

Der kleine neben den Sataports ist Sata oder PCIe 3.0 x4. Keine ahnung ob er das beim original Bios Automatisch erkennt oder genrell Sata ausgewählt ist.

Der kleine Port ist mit default Bios Einstellung SATA, lässt sich im Bios aber auf PCIE x4 umstellen. Funktioniert, mit 4 Boards getestet.

Der größere sollte x8 sein, kann auch sein das es auf 2x x4 aufgeteilt wird. müsste man testen. Kann doch nicht sein das an ein PCIe Bus nichts erkannt wird.

Der Port ist fest auf PCIE x8. Lässt sich leider nicht auf x4x4 einstellen. Der wurde ja auch in dem Server als upstream Port für das 10 mal x1 Expander Board genutzt, ist halt der Nachteil bei solchen Spezial Anfertigungen.
Habe mit x8 auf 2 x4 Kabel probiert, da ist dann immer nur das erste x4 „belegt“.

 

[Luckysh0t]

Das mit dem Board/CPU/RAM "gesparte" Geld kann man dann ja in sowas investieren..und "schon" braucht man keine bifurcation mehr - günstig geht aber klar anders ^^

McFiver PCIe Card - SONNETTECH

Multifunction PCIe Card with dual NVMe M.2 SSD slots, 10GbE Port, and 10Gbps USB-C ports. For Mac, Windows, and Linux.

www.sonnettech.com

oder in die QM2 Karten von Qnap

Zubehörauswahl | Finden Sie Ihr perfektes Zubehör

QNAPs umfassendes Angebot an PCIe-Karten und Zubehör ermöglicht es Anwendern, die Kernfunktionalität von NAS/PCs aufzurüsten, um unterschiedliche Anforderungen zu erfüllen und die Arbeitseffizienz und Produktivität zu maximieren.

www.qnap.com

Oder halt was anderes mit PLX Chip

 

[underclocker2k4]

Der Port ist fest auf PCIE x8. Lässt sich leider nicht auf x4x4 einstellen. Der wurde ja auch in dem Server als upstream Port für das 10 mal x1 Expander Board genutzt, ist halt der Nachteil bei solchen Spezial Anfertigungen.
Habe mit x8 auf 2 x4 Kabel probiert, da ist dann immer nur das erste x4 „belegt“.

D.h. das Problem:

Gigabyte MJ11-EC1 NAS Server

Bei C3 werden die 4 SMT Kerne wohl automatisch Aktiviert, Das meldet er glaube ich das kein C3 unterstützt wird... SMT ist an, S3 erreicht er nur wenn man ihn in Hibernation zwingt. Ich glaub die epyc reihe kann einfach keine tieferen C-States.

www.hardwareluxx.de

Gigabyte MJ11-EC1 NAS Server

Bei C3 werden die 4 SMT Kerne wohl automatisch Aktiviert, Das meldet er glaube ich das kein C3 unterstützt wird... SMT ist an, S3 erreicht er nur wenn man ihn in Hibernation zwingt. Ich glaub die epyc reihe kann einfach keine tieferen C-States.

www.hardwareluxx.de

Gigabyte MJ11-EC1 NAS Server

Bei C3 werden die 4 SMT Kerne wohl automatisch Aktiviert, Das meldet er glaube ich das kein C3 unterstützt wird... SMT ist an, S3 erreicht er nur wenn man ihn in Hibernation zwingt. Ich glaub die epyc reihe kann einfach keine tieferen C-States.

www.hardwareluxx.de

Gigabyte MJ11-EC1 NAS Server

Über IPMI habe ich das neuste F02 vom EC0 Board aufgespielt. Habe die Datei in eine .Zip getan und oben als letzte Datei hochgeladen. Diese kann einfach über IPMI geflasht werden. Wer also mal testen möchte, es funktioniert. UnRaid läuft bei mir damit weiterhin wie bisher.

www.hardwareluxx.de

kannst du so nicht nachvollziehen?
-> Das geht also bei dir (zumindest single device)?
Was verwendest du an Teilen dafür?

 

[Thestroyer]

So, neues (und sicherheitshalber kürzeres) SlimSAS 8i Kabel ist da und die 10G Karte wird nun erkannt.
Auf dem Board ist jetzt das F02 vom EC0 drauf, ich werde die Karte aber in den anderen Server packen, wo noch das originale BIOS drauf ist, mal schauen ob es da dann auch auf Anhieb klappt. Letztendlich werde ich das dann aber auch flashen, egal ob alles funktioniert oder nicht.

 

[mrpasc]

D.h. das Problem:

Gigabyte MJ11-EC1 NAS Server

Bei C3 werden die 4 SMT Kerne wohl automatisch Aktiviert, Das meldet er glaube ich das kein C3 unterstützt wird... SMT ist an, S3 erreicht er nur wenn man ihn in Hibernation zwingt. Ich glaub die epyc reihe kann einfach keine tieferen C-States.

www.hardwareluxx.de

Gigabyte MJ11-EC1 NAS Server

Bei C3 werden die 4 SMT Kerne wohl automatisch Aktiviert, Das meldet er glaube ich das kein C3 unterstützt wird... SMT ist an, S3 erreicht er nur wenn man ihn in Hibernation zwingt. Ich glaub die epyc reihe kann einfach keine tieferen C-States.

www.hardwareluxx.de

Gigabyte MJ11-EC1 NAS Server

Bei C3 werden die 4 SMT Kerne wohl automatisch Aktiviert, Das meldet er glaube ich das kein C3 unterstützt wird... SMT ist an, S3 erreicht er nur wenn man ihn in Hibernation zwingt. Ich glaub die epyc reihe kann einfach keine tieferen C-States.

www.hardwareluxx.de

Gigabyte MJ11-EC1 NAS Server

Über IPMI habe ich das neuste F02 vom EC0 Board aufgespielt. Habe die Datei in eine .Zip getan und oben als letzte Datei hochgeladen. Diese kann einfach über IPMI geflasht werden. Wer also mal testen möchte, es funktioniert. UnRaid läuft bei mir damit weiterhin wie bisher.

www.hardwareluxx.de

kannst du so nicht nachvollziehen?
-> Das geht also bei dir (zumindest single device)?
Was verwendest du an Teilen dafür?

Diese Ali Teile:
NGFF M-Key NVME Male to Female Extension Cable 40cm with SFF-8654 Connector for Mainboard SSD 2280/22110

https://a.aliexpress.com/_EHWpDG9

Davon nur den M.2 Träger mit dem Slimsas 4x Anschluss

Chenyang PCI-E Express SAS 8654 SFF-8654 8i 74pin to Dual 4i 38Pin Slimline SAS Slim 4.0

14.92€ |Chenyang PCI E Express SAS 8654 SFF 8654 8i 74pin zu Dual 4i 38Pin Slimline SAS Dünne 4,0| | - AliExpress

Smarter Shopping, Better Living! Aliexpress.com

a.aliexpress.com

Und dieses Slimsas x8 auf 2 mal x4 Kabel.
Hoffte da zwei der obigen Adapter betreiben zu können, geht aber immer nur einer.

 

[Ceiber3]

Perfekt, also lag es doch am kack Kabel. War ja echt zum verzweifeln. Jetzt weiß man jedenfalls das es funktioniert und ich weiß was ich mir kaufen werde.
Hast du mal 4x4x4x4 probiert ? Geht das auch. ? Also nur aus interesse ob man den x8 noch splitten kann.

 

[Thestroyer]

Perfekt, also lag es doch am kack Kabel. War ja echt zum verzweifeln. Jetzt weiß man jedenfalls das es funktioniert und ich weiß was ich mir kaufen werde.
Hast du mal 4x4x4x4 probiert ? Geht das auch. ? Also nur aus interesse ob man den x8 noch splitten kann.

Jep, war das Kabel, vermutlich einfach zu schlecht (das originale ist ja noch länger), um auch das Thema Länge auszuschließen hatte ich mir das direkt in 20cm gekauft, auch wenn das bissl knapp ist.
Naja, ich hab in nem anderen Server ne PCIe x8 Karte mit 2x m.2 NVMe drauf, die könnte ich natürlich testen. Wenn Bifurcation klappt müsste ich ja beide SSDs angezeigt bekommen. Anders wüsste ich nicht wie ich es testen sollte.

 

[Flotho]

@Thestroyer welches Kabel hast du jetzt genau im Einsatz? Bzw. welche Adapter etc. damit du die 10G Karte betreiben kannst.

 

[Thestroyer]

@Flotho Ich habe das kurze (20cm), teure von Asus gekauft (https://www.ebay.de/itm/275831837313), ich gehe aber stark davon aus, dass das orgiginale 60cm von Gigabyte (https://www.ebay.de/itm/134724326136) auch geht. Fand das Asus jetzt zwar teuer gemessen an dem anderen Kram aber es hätte ja auch noch mein Adapter schult sein können.

@Ceiber3 Sieht auf Anhieb schlecht aus, dann ginge NVMe nur onboard, am SlimSAS4i (vermutlich) und eine am 8i, sofern man keine andere Karte daran betreibt.
Bei x4x4x4x4 wird mir gar keine der SSDs angezeigt, ich teste noch mal die anderen Settings. Btw erst mal die andere Kiste mit den SSDs heruntergefahren und gefleddert.

 

[Ceiber3]

@Flotho Ich habe das kurze (20cm), teure von Asus gekauft (https://www.ebay.de/itm/275831837313), ich gehe aber stark davon aus, dass das orgiginale 60cm von Gigabyte (https://www.ebay.de/itm/134724326136) auch geht. Fand das Asus jetzt zwar teuer gemessen an dem anderen Kram aber es hätte ja auch noch mein Adapter schult sein können.

@Ceiber3 Sieht auf Anhieb schlecht aus, dann ginge NVMe nur onboard, am SlimSAS4i (vermutlich) und eine am 8i, sofern man keine andere Karte daran betreibt.
Bei x4x4x4x4 wird mir gar keine der SSDs angezeigt, ich teste noch mal die anderen Settings. Btw erst mal die andere Kiste mit den SSDs heruntergefahren und gefleddert.

Danke schon mal, x8/x8 wer noch interessant mit der Karte. Kann sein das der x16 der ja eh nur x8 ist das bei x8 auf x4/x4 aufteilt. Einfach mal bissel probieren.

 

[Thestroyer]

Danke schon mal, x8/x8 wer noch interessant mit der Karte. Kann sein das der x16 der ja eh nur x8 ist das bei x8 auf x4/x4 aufteilt. Einfach mal bissel probieren.

Sorry, war irgendwie zu blöd, hab es auch mit einer SSD auf der Karte in keiner Einstellung geschafft. Bin aber auch zu Müde jetzt noch weiter zu testen.

 

[Reaver1988]

Ersteres: Yes.
Zweiteres: Theoretisch auch ja.

Praktisch hat es bei mir aber nicht funktioniert. Das Kabel konnte ich als Übeltäter ausschließen

 

[killer196]

Praktisch hat es bei mir aber nicht funktioniert. Das Kabel konnte ich als Übeltäter ausschließen

Was der beiden ging bei dir nicht?

 

[Reaver1988]

Der große mit 8x SATA ging nicht..das Kabel funktioniert an einem anderen Board aber einwandfrei. Habe jetzt 4x am slim sas Port, das geht auch.

 

[killer196]

Der große mit 8x SATA ging nicht..das Kabel funktioniert an einem anderen Board aber einwandfrei. Habe jetzt 4x am slim sas Port, das geht auch.

Von 8x sata war ja auch nie die Rede? Die Frage war ja ob der Port 8x pcie kann.

 

[Reaver1988]

Du hast recht, da habe ich was gelesen was nicht ist da stand. Sorry

 

[mrpasc]

Der Port kann PCIE x8 definitiv. Die Frage war ob auch Bifurcation auf 2 mal x4 geht. Das hat bis jetzt niemand geschafft, egal ob mit original BIOS oder dem vom EC0. Scheint nicht zu gehen.