Gigabyte MJ11-EC1 NAS Server

[Hades2k]

Ich hab nichts was sonst in den 8i rein kommt daher kann ich das nicht 100% ausschließen das der funktioniert. Kabellänge könnte sein, ist tatsächlich ein 0.5m Kabel aktuell. Hast du nen Händler Tipp wo ich vielleicht höhenwertigere Kabel in kürzer herbekomme? Dann werd ich mal bestellen und testen.

 

[Paddy600]

Das hilft jetzt keinem, aber ich hab 2 von den Boards, und bei beiden funktioniert der i8 einwandfrei. Habe es aber auch nur mit dem PCIe x8 Adapter probiert. Nutze das Original Kabel was auch im Gigabyte Server benutzt wird. Das ist aber auch recht lang.

Umstellen muss man für den 8i nichts. Der sollte direkt funktionieren.

 

[Hades2k]

Weleches Adapterboard nutzt du? Dann kann ich davon mal eins ordern (zuviel Hardware schadet ja nie )

 

[Paddy600]

Also ich nutzen den Adapter: https://www.amazon.de/s?k=XEYYHAS+S...ie+x16%252Celectronics%252C134&ref=nb_sb_noss

Und das Kabel (nimmt preisvorschläge von 15€ an): https://www.ebay.de/itm/13472432613...22&osub=-1~1&crd=20240410235529&segname=11051

 

[Hades2k]

Das Kabel hab ich sogar schon hier liegen, hatte ich wohl dann mal aus deinen Empfehlungen bestellt (auch für 15€) - der Adapter kommt dann so in ner Woche

Edit: Hab auch nen zweites Board bestellt, so als A/B test...

 

[F|Marsman]

Erster Versuch gescheitert - das 4i Kabel ist leider falsch geliefert worden (danke Amazon) und das 8i auf 2x SFF-8087 funktioniert aktuell mit keinem der beiden Anschlüsse. Jemand ne Idee? Sonst würde ich nächste Woche mal ein Schwung andere Kabel testen bzw. auch mal das alternativ BIOS (wer weiß ob man an dem Port noch was umstellen muss vielleicht?)
Ich bau jetzt ein letztes mal auf USB NVME und M.2 Adapter um und dann wandert die Box wieder ins Rack

Ich hab die NIC auch hier liegen. Funktioniert am M.2 auch einwandfrei.
Am 4i bis jetzt kein Erfolg. Ich find leider auch nicht wirklich Kabel von SFF-8087 auf SFF-8654 4i mit 85ohm. Wenn du da schon weiter bist sag mal bescheid.

4i -> 4x SATA mit 100ohm funktioniert hingegen.
Stellt man im BIOS F02 von SATA auf PCIe 4x um wird auch keine Platte mehr erkannt. Also grundsätzlich scheint das mit SATA/PCIe zu funktioieren.
Aber am 4i wird bisher kein PCIe Gerät erkannt. Habs auch schon mit PCIe 16x auf 4i probiert.
Ich tippe jetzt mal stark aufs Kabel. Die werden alle 100 Ohm haben, was er scheinbar nicht mag.

 

[johndoe34564]

hi, hab mir jetzt auch so ein board zugelegt und truenas scale installiert.
schaut nicht gut aus, leide unter random reboots
errors in /var/log/messages
sind wie hier beschrieben

Random Reboots AMD EPYC Server – Thomas-Krenn-Wiki

Auf Servern mit AMD EPYC CPUs kann es beim Betrieb von Linux mit KVM zu zufälligen Neustarts kommen. Im Syslog finden sich danach Einträge der Boot Error Record Table (BERT) mit dem Hinweis fru_text: ProcessorError. In diesem Artikel finden Sie Detailinformationen zu diesem Fehler und...

www.thomas-krenn.com

kennt das jemand bei dem board ? die verlinkten bios settings hab ich schon probiert. hat nichts gaendert. bmc ist die neueste version. factory reset beim bmc hab ich auch gemacht nach dem update.
Ev wirklich ne defekte cpu, oder kanns sein, dass er mein ram modul nicht mag. hab temporaer ein 8gb 3000mhz modul reingepackt (kein ecc), welcher mit dem standardtakt des boards laeuft, da mein ram erst noch geliefert wird.

Haette schon probiert mit ycruncher unter truenasscale cpu auf 100% stresszutesten. in der zeit list lustigerweise nichts gecrashed oder hat rebootet.....

 

[T o b i]

Andere frage: hat jemand unter TrueNas nen LACP Bond zwischen den beiden 1gbit interfaces hinbekommen? Ich hab die Vermutung dass das BCM dazwischen funkt und es deshalb nicht so einfach (oder über überhaupt nicht) geht aber vielleicht gibt’s doch ne Lösung.

Guten Abend, habe es mit LACP Bond unter Proxmox getestet. Funktioniert einwandfrei. Auch das IPMI ist über seinen managed Port weiterhin erreichbar.
Liegt dann vermutlich eher an Einstellungen unter truenas und/oder an denen des switches.
Viele Grüße
Tobi

 

[F|Marsman]

@johndoe34564 Klingt mir nicht direkt nach RAM, aber möglich ist hier alles. Mal auf Fehler checken.. Fragt sich auch was das Board da an "Standard" Takt und Timings auswürfelt. Mal mit ZenTimings checken.
Meins haut einfach ne tCL 21 rein obwohl es 19 sein sollten... musst ich manuell einstellen.

 

[Paddy600]

hi, hab mir jetzt auch so ein board zugelegt und truenas scale installiert.
schaut nicht gut aus, leide unter random reboots
errors in /var/log/messages
sind wie hier beschrieben

Random Reboots AMD EPYC Server – Thomas-Krenn-Wiki

Auf Servern mit AMD EPYC CPUs kann es beim Betrieb von Linux mit KVM zu zufälligen Neustarts kommen. Im Syslog finden sich danach Einträge der Boot Error Record Table (BERT) mit dem Hinweis fru_text: ProcessorError. In diesem Artikel finden Sie Detailinformationen zu diesem Fehler und...

www.thomas-krenn.com

kennt das jemand bei dem board ? die verlinkten bios settings hab ich schon probiert. hat nichts gaendert. bmc ist die neueste version. factory reset beim bmc hab ich auch gemacht nach dem update.
Ev wirklich ne defekte cpu, oder kanns sein, dass er mein ram modul nicht mag. hab temporaer ein 8gb 3000mhz modul reingepackt (kein ecc), welcher mit dem standardtakt des boards laeuft, da mein ram erst noch geliefert wird.

Haette schon probiert mit ycruncher unter truenasscale cpu auf 100% stresszutesten. in der zeit list lustigerweise nichts gecrashed oder hat rebootet.....

Also ich hab meins jetzt seit Monaten mit TrueNAS Scale, 128gb Ram und OC auf 3,4GHz am laufen und hatte bislang noch keine Probleme.

 

[T o b i]

hi, hab mir jetzt auch so ein board zugelegt und truenas scale installiert.
schaut nicht gut aus, leide unter random reboots
errors in /var/log/messages
sind wie hier beschrieben

Random Reboots AMD EPYC Server – Thomas-Krenn-Wiki

Auf Servern mit AMD EPYC CPUs kann es beim Betrieb von Linux mit KVM zu zufälligen Neustarts kommen. Im Syslog finden sich danach Einträge der Boot Error Record Table (BERT) mit dem Hinweis fru_text: ProcessorError. In diesem Artikel finden Sie Detailinformationen zu diesem Fehler und...

www.thomas-krenn.com

kennt das jemand bei dem board ? die verlinkten bios settings hab ich schon probiert. hat nichts gaendert. bmc ist die neueste version. factory reset beim bmc hab ich auch gemacht nach dem update.
Ev wirklich ne defekte cpu, oder kanns sein, dass er mein ram modul nicht mag. hab temporaer ein 8gb 3000mhz modul reingepackt (kein ecc), welcher mit dem standardtakt des boards laeuft, da mein ram erst noch geliefert wird.

Haette schon probiert mit ycruncher unter truenasscale cpu auf 100% stresszutesten. in der zeit list lustigerweise nichts gecrashed oder hat rebootet.....

Ich hatte mal ein ähnliches Phänomen mit einem intel n5105. Letztendlich hat ein Microcode Update des Prozessors das Problem behoben. Ggf. mal ein neues Linux installieren z.B. proxmox/Debian und neuen Microcode installieren. Wie oft sind die reboots denn?
Viele Grüße
Tobi

 

[andrer250282]

Um auch Mal was beizutragen

Ich hatte noch 4 Stück hiervon rumliegen

HPE 16GB 1Rx4 DDR4 RAM Modul | Servershop24.de

HPE 16GB 1Rx4 PC4-3200AA-R DDR4 Registered Server-RAM Modul R-DIMM REG ECC - P20500-001 / P11442-191 / P07640-B21

www.servershop24.de

Laufen ohne Probleme mit 2133 Takt.

 

[F|Marsman]

Um auch Mal was beizutragen

Ich hatte noch 4 Stück hiervon rumliegen

HPE 16GB 1Rx4 DDR4 RAM Modul | Servershop24.de

HPE 16GB 1Rx4 PC4-3200AA-R DDR4 Registered Server-RAM Modul R-DIMM REG ECC - P20500-001 / P11442-191 / P07640-B21

www.servershop24.de

Laufen ohne Probleme mit 2133 Takt.

Geht da auch mehr mitm Takt?
Hab mal spaßeshalber bisschen im AMD CBS Menü rumgefummelt. Alles über 2666MHz (normaler Takt meiner Samsung Riegel) wird gekonnt ignoriert. Timings passen auch absolut nicht zu den HEX Werten die man dort einstellt.

 

[johndoe34564]

Ich hatte mal ein ähnliches Phänomen mit einem intel n5105. Letztendlich hat ein Microcode Update des Prozessors das Problem behoben. Ggf. mal ein neues Linux installieren z.B. proxmox/Debian und neuen Microcode installieren. Wie oft sind die reboots denn?
Viele Grüße
Tobi

Manchmal nach ein paar Minuten, kann auch sein, dass es eine Stunde ohne Probleme läuft. Nach einiger Zeit kommt dann aber immer fix ein Freeze bzw Reboot. Truenas Scale sollte glaub ich eh die Microcode Updates automatisch anwenden beim Hochfahren.
Passiert auch wenn alles im Idle ist. Hab derzeit noch keine Platten dranhängen, nur ein Ramriegel und die SSD fürs System. Unter last mit ycruncher konnte ich noch keine reboots produzieren. Hab aber im bios GlobalC-State Control auf Enabled gestellt und SMT ebenfalls, unter den AMD CBS Settings. Vielleicht stirbt er beim Energiesparen ?

edit: auch beim 2. board crashes.
Dort hab ich immerhin stacktraces in den logs bekommen

rip: native_queued_spin_lock_slowpath
rip: cpuidle_enter_state

 

[Hades2k]

Guten Abend, habe es mit LACP Bond unter Proxmox getestet. Funktioniert einwandfrei. Auch das IPMI ist über seinen managed Port weiterhin erreichbar.
Liegt dann vermutlich eher an Einstellungen unter truenas und/oder an denen des switches.
Viele Grüße
Tobi

Am Switch liegt es nicht, wenn ich da meinen Promox Host mit LACP reinpatche läuft das auf den Ports auch ohne Probleme. Ich denk auch das es irgendwie an TrueNas liegt, wobei die Einstellungen ja gar nicht erst verfügbar sind um die Interfaces für den Bond auszuwählen - also kann ich da eigentlich auch nichts kaputt gemacht haben 😅

Zweites Board plus SSD liegt jedenfalls schon daheim und ich teste mal damit und einer neuen Installation ob das vielleicht möchte.

 

[T o b i]

Manchmal nach ein paar Minuten, kann auch sein, dass es eine Stunde ohne Probleme läuft. Nach einiger Zeit kommt dann aber immer fix ein Freeze bzw Reboot. Truenas Scale sollte glaub ich eh die Microcode Updates automatisch anwenden beim Hochfahren.
Passiert auch wenn alles im Idle ist. Hab derzeit noch keine Platten dranhängen, nur ein Ramriegel und die SSD fürs System. Unter last mit ycruncher konnte ich noch keine reboots produzieren. Hab aber im bios GlobalC-State Control auf Enabled gestellt und SMT ebenfalls, unter den AMD CBS Settings. Vielleicht stirbt er beim Energiesparen ?

edit: auch beim 2. board crashes.
Dort hab ich immerhin stacktraces in den logs bekommen

rip: native_queued_spin_lock_slowpath
rip: cpuidle_enter_state

Du hast 2 Boards und bei beiden das gleiche Problem? Testest du mit dem gleichen RAM Riegel und Netzteil? Würde dann entweder auf Netzteil oder RAM tippen. Wie hoch geht denn die CPU Temperatur? Wärmeleitpaste erneuert?
Viele Grüße
Tobi

 

[johndoe34564]

Du hast 2 Boards und bei beiden das gleiche Problem? Testest du mit dem gleichen RAM Riegel und Netzteil? Würde dann entweder auf Netzteil oder RAM tippen. Wie hoch geht denn die CPU Temperatur? Wärmeleitpaste erneuert?
Viele Grüße
Tobi

hab mittlerweile mit nem anderen ram testen koennen. hab auf beiden boards ein paar stunden uptime geschafft ohne reboots.

 

[Luckysh0t]

Wo genau siehst du die Herausforderung?

Spoiler

https://www.amazon.de/Twozoh-SFF-8654-SFF-8087-Mini-Zielkabel/dp/B09H75RJTP

Kabel kam gestern an, leider das falsche Kabel bekommen. Wurde ein sff -8654 zu Sff-8654.

https://amzn.eu/d/hjUp0nY

Hab die mir jetzt bestellt, sollte das stimmen, habe ich eines im Reserve.Bei drei Boards auch nicht verkehrt xD

 

[Hades2k]

Kabel kam gestern an, leider das falsche Kabel bekommen. Wurde ein sff -8654 zu Sff-8654.

Interessant, hab genau das selbe, falsche, bekommen. Scheint also einfach das Listing falsch zu sein oder der Händler hat ne falsche Kiste mit Kabeln zu Amazon geschickt

 

[Hades2k]

Also ich nutzen den Adapter: https://www.amazon.de/s?k=XEYYHAS+Speed+SFF8654+8i+auf+PCIe+X16&i=electronics&__mk_de_DE=ÅMÅŽÕÑ&crid=2063H71RLJ49N&sprefix=xeyyhas+speed+sff8654+8i+auf+pcie+x16%252Celectronics%252C134&ref=nb_sb_noss

Und das Kabel (nimmt preisvorschläge von 15€ an): https://www.ebay.de/itm/134724326136?mkevt=1&mkpid=0&emsid=e11051.m43.l1123&mkcid=7&ch=osgood&euid=c8c7ace15e9d4525944b6a64c8a9ac64&bu=43481258322&osub=-1~1&crd=20240410235529&segname=11051

Der Adapter ist gerade angekommen und funktioniert in der Kombi wunderbar direkt mit einer Dual 10Gbit NIC. Wandert so direkt in den Hauptserver.
Der zweite Satz Mainboard, Ram, SSD und Netzteil liegt auch gerade hier und da funktioniert auf Proxmox Basis das LACP mit den onboard NICs ohne Probleme, ich werd da nachher mal TrueNas drauf installieren und schauen ob's an Scale liegt... (Edit: Hier will der LACP Bond direkt und ohne Probleme - interessante Sache, jetzt frag ich mich was ich da kaputt gemacht hab xD)

Einzig was mich gerade ein wenig nervt ist das einer der zwei Ram Riegel die ich als "getestet" gekauft habe nicht auf dem neuen Board laufen will
Werd ich beim NIC umbau mal in alten Board testen und schauen ob der Riegel einfach defekt ist, wovon ich gerade ausgehe...

 

[Paddy600]

Also ich hatte auch am Anfang das Problem, dass es je nach dem wie man den RAM einbaut, es teilweise nicht den gesamten ram erkannt hat. Lag am Ende an einem kaputten ram Riegel. Nach dem Austausch geht es jetzt in jeder Konstellation.

 

[Hades2k]

Die NIC ist in den Hauptserver gewandert, funktionier wunderbar - brauch damit auch das LACP auf dem Board nicht mehr :P
Von dort habe ich alle 4 Riegel in Kombination mit den beiden neuen probiert: einer der neuen ist definitiv defekt - interessanterweise der einzige von den Samsungs der von den Philippinen kommt, der Rest geht.

 

[Paddy600]

Bei mir es genau andersrum. Der einzelne aus China war defekt, und die anderen 3 aus den Philippinen waren in Ordnung ;-)

 

[Hades2k]

So, nach langem hin und her hab Ichs endlich so (zumindest zu 90% so) wie geplant hinbekommen: Beide Server haben die beiden 1Gbit Interfaces als LACP ins Hauptnetzwerk sowie jeweils 10Gbit ins Storage Netzwerk. Proxmox und mein Rechner haben daran ne 2.5Gbit Anbindung über so günstige USB3 dongles.
Nach viel ausprobieren und ein wenig Frustration warum TrueNas Scale es einem so schwer macht hab ich aufgegeben ein Failover Bond aus der 10Gbit NIC und dem LACP Bond zu erstellen und das ganze einfach getrennt...
Und Proxmox ist die Konstellation schnell gebaut, und wenn man bei TrueNas zumindest auch auch die config files selber zugreifen könnte wäre das ja auch kein Problem, aber das GUI sowie die CLI hat heut extrem für Frustration gesorgt.

Vielleicht werd ich nächste Woche mal Core ausprobieren, vielleicht verhält sich das besser

 

[xST4R]

fals von euch noch jemand ein jonsbo n3 brauch , caseking hat sie wieder auf lager (wer weis wie lange noch)

 

[Luckysh0t]

Kabel kam gestern an, leider das falsche Kabel bekommen. Wurde ein sff -8654 zu Sff-8654.

https://amzn.eu/d/hjUp0nY

Hab die mir jetzt bestellt, sollte das stimmen, habe ich eines im Reserve.Bei drei Boards auch nicht verkehrt xD

Das ist schonmal das richtige Kabel - also es ist auch angekommen .
Wollte sie gerade in meinem Filer testen/einbauen, da der aber noch in einem mini itx Gehäuse ist, mit nur einer pcie Blende, kollidiert das Board mit dem nicht belegten Anschluss der Karte. Da die HDDs nun auch schon an die 5 Jahre+ vertikal laufen, werde ich die nicht mal eben in das neu geplante Gehäuse horizontal einbauen.

 

[maqic06]

Kann mir jemand sagen welche der Größe der CPU-Lüfter hat, ich wollte mir schon mal einen neuen besorgen!
Danke im voraus!

 

[xST4R]

Kann mir jemand sagen welche der Größe der CPU-Lüfter hat, ich wollte mir schon mal einen neuen besorgen!
Danke im voraus!

60x60 ist der orginale

 

[maqic06]

Danke schön!

 

[F|Marsman]

Ich konnte jetzt tatsächlich ne Nvidia GT 1030 am 4i dazu bewegen scheinbar problemlos zu funktionieren
Nächster Versuch dann wohl mit ner Mellanox ConnectX-3 Single Port...
Die ConnectX-3 Dual Port wollte nicht funktionieren, ist aber auch PCIe 3.0 8x... die GT1030 ist 3.0 4x. (Während die ConnectX-3 aufm Hauptrechner mit PCIe 4x wunderbar funktioniert)
Was eine Zicke