Gigabyte MJ11-EC1 NAS Server

[asche77]

Bevor ich aber damit anfange möchte ich noch diesen Mod machen wo die anderen zwei FAN Header freigeschaltet werden. Hast Du da einen Link zur Anleitung? Ich glaub das war wo man das Mainboard Modell auf MJ11-EC0 umstellt?

Gigabyte MJ11-EC1 EPYC 3151 Mystery

The what I believe is diodes next to the little 4-pin power plug on the motherboard, does get quite hot, measured 110c Is that normal?

forums.servethehome.com

 

[marco-mh]

Das startet auf beiden Boards bei mir zuverlässig mit 4 von den Hynix DIMMs. Aber noch wills nicht ohne correctable_ECC Fehler...

@F|Marsman Die ECC Fehler habe ich auch bei 2 Riegeln mit deinen anderen Einstellungen 7/3/1 und ProcODT 60.
ich Probier aber mal die Einstellungen für die 4 Riegel.
Danke.

EDIT:

Takt auf 1066MHz
ProcODT 53,3

RTTnom 7
RTTwr disabled
RTTpark 2

Gear Down Mode (GDM) auf AUTO
2T AUTO

Bei RTTwr gibt es kein disabled

 

[Stefan 0815]

Ich habe bei mir alle Ram Einstellungen unter 2400MHz ausprobiert und festgestellt, dass sich der Stromverbrauch nicht verändert.
Bei meinem Threadripper 1.gen und jetzt 2. gen gibt es aber ab 2666MHz eine nahezu magische Grenze, bei der sich der Speichercontroller pro Chiplet mal eben 10W mehr zieht.
Der Speichercontroller auf der CPU ist ausgelegt um wesentlich mehr Kerne zu versorgen, ich würde daher keinen wirklich Signifikaten Geschwindigkeitsvorteil sehen.

Ist euch das Feature MBIST im Bios aufgefallen?
Vielleicht könnte das helfen die richtigen Einstellungen von Haus aus zu finden.

Ich selbst habe aktuell "nur" normalen DDR4 mit 2133MHz und stoße da noch nicht an die Grenze (bzw. erst wenn ich 4 Riegel einbaue).

 

[F|Marsman]

@marco-mh
BadDLLP auf *:01.5 ist die zweite Intel NIC...
Scheinbar unterdrückt das aktuelle TrueNAS die Fehler automatisch in der Console.. die sind manchmal für wenige Sekunden da und dann weg.

Der Rest sind fiese ECC Errors
Glaube aber ich habs jetzt...
Läuft bisher mit 4 Riegeln ohne Fehler.
Bisher nen paar Linpack runs gemacht.. nun mal Karhu anwerfen und schauen.

_________________________________________

Also wie gehabt 2 Riegel einbauen, Einstellungen im AMD CBS Menü setzen, speichern und nachm reboot ausschalten und dann die anderen zwei Riegel dazu stecken.
Der startet auch die 2 DIMMs mit den Settings bei mir. Problem mit 4 DIMMs direkt ist halt das er mit 2400MTs starten will (warum auch immer) und das macht der Controller einfach nicht mit, und/oder die AUTO Settings bzw. der Algorithmus ist zu blöd da das richtige auszuwürfeln (wen wunderts ).

AMD CBS -> UMC Common Options -> DDR4 Common Options -> Data Bus Configuration:
RTTnom 7
RTTwr Dynamic ODT off
RTTpark 2

~ >DRAM Timing Configuration:
Memory Clock Speed 1067MHz
Trcdrd 10h
Trcdwr 10h
Trp 10h
ProcODT 48 Ohm

Der Rest bleibt auf AUTO

~ > NBIO Common Options:
CLDO VDDP Control: manual
CLDO VDDP Voltage: 950 (mV)
____________________________________________

Warum er nicht unter 1067MHz gehen will mit diesen Riegeln ist mir immer nochn Rätsel

@Stefan 0815
Also ich sehe jedenfalls das der kleine EPYC von 2133 bis 2666 jedes mal die SoC Spannung um 50mV erhöht, was dann doch nen gewissen Unterschied im Verbrauch ausmacht. Unabhängig davon wieviel DIMMs verbaut sind.

MBIST ist mir auch schon aufgefallen... weiß aber auch nicht wirklich was das macht, obs was bringt und wie man es einstellt.
War aber schon meine nächste Überlegung damit mal zu experimentieren.

 

[bbott]

Einen weiteren (recht teuren) Adapter gibt es direkt als m2 auf SFP+, ebenfalls bei Amazon. Hatte ich hier getestet, konnte aber nur 5 GBit/s rausholen, es kann aber auch gut sein, dass es an der NIC in meinem PC lag (10GTek, PCIe 2.0!)

Ich habe mit dem Adapter die 10 Gbit/s erreicht (Linkspeed).

 

[Stefan 0815]

Ich habe folgendes Adapterkabel getestet und es läuft mit einer HBA Karte:
M2 zu PCIE Alle Lösungen über die anderen Anschlüsse erschienen mir zu teuer. Eventuell ist das sogar günstiger in der Kombi mit einer NIC.

MBist habe ich jetzt mal bei 4 Riegeln aktiviert, mal sehen was passiert (Bild bleibt schwarz, aber vielleicht macht er ja etwas ;-).
Das die Spannung 50mV höher geht, habe ich auch gesehen. Die Erhöhung des Stromverbrauchs ist allerdings unwesentlich. Wie es bei hohen Taktraten aussieht weiß ich aber nicht.

 

[marco-mh]

@F|Marsman im BIOS werden die RAMs erkannt, aber er startet Unraid nicht durch.
ich bekomme folgende fehler, und die Zeilen krauchen dann nacheinander immer weiter hoch


Anhang anzeigen IMG_0075.JPG

Beitrag automatisch zusammengeführt: Dienstag um 22:46

@F|Marsman Im Bios werden die RAMs erkannt, aber er startet Unraid nicht durch. Ich bekomme folgende fehler

EDIT: nach dem 6x Booten hat er jetzt durchgestartet und läuft. na mal sehen. das wäre ja klasse. ECC Fehler kommen aber immer noch.

Auf jeden fall erstmal danke für deine Mühe.

 

[F|Marsman]

BIOS Reset gemacht bevor du die RAMs eingebaut und Einstellungen geändert hast?
VDDP Spannung braucht definitiv nen cold boot ums umzustellen.
Ansonsten erstmal mit Windows checken ob er die Timings auch richtig gesetzt hat. Nen ZenTimings Screenshot würde mich von dir auch interessieren.
Kann auch gut sein das er doch noch ne andere Kombi aus Widerständen will. Hastn Foto vom Sticker aufm RAM?

Die 4 DIMMs laufen jetzt auch schon einige Zeit durchn Stresstest, ohne Fehler bisher



_____________________________________________________________________________________________________________________________

BIOS Mod F09
Jetzt dürft ihr auch gern rumspielen mit PCIe Karten am 4i und ob ASPM funktioniert wenn ihr eine Karte habt die das definitiv kann.
Ich werd mich demnächst mal noch mit dem anderen UEFI Tool auseinandersetzen. Eventuell krieg ich damit die Memory Configuration ja noch in nen anderes Menü integriert so das man dort einfach was umstellen kann.
Ansich funktioniert das soweit für mich erstmal. Bei Fehlern oder Anregungen und Änderungen einfach hier melden.

Changelog

Gigabyte MJ11-EC1
BIOS F09 modded
—-------------------------------------------------------------------------------------------------------------

Änderungen zum Original:

BIOS -> Advanced
Zugriff auf:

• ACPI Settings
• PCI Subsystem Settings
  • SL_SAS Control (miniSAS 4i)

Änderung der std. Einstellungen

• Serial Port 1 - disabled
• SL_SAS Control (miniSAS 4i) - auf PCIe 4x
• SR-IOV - Enabled
• PCIe AER - Enabled
• Network Stack - Disabled
• Bootup Numlock State - Off

Nicht sichtbare Änderungen:
PCIE Subsystem Settings:

• PCIe Extended Tag - Enabled
• ASPM Support - AUTO
• Extended Synch - Enabled
• Unpopulated Links - Disabled
• Clock Power Management - Enabled

Memory Configuration:

• Standard RAM Takt auf 1866MHz

Für’s Debugging. Kann im AMD CBS Menü geändert werden.

 

[MrOpuki]

Hier das versprochenen Feedback zu dem "KALEA-INFORMATIQUE Riser-Verlängerung Adapter für M2 PCIe NVMe M Key Port auf PCIe x16". Es klappt!

Verwendete Karte: Mellanox ConnectX-3 Single SFP+, läuft auf PCIe 3.0 und x4 Lanes. Im Desktop steckt die Mellanox ConnectX-4 Dual SFP+ (2x 25GBps), die per Avagoo Transceiver direkt durchs Haus zum NAS geht.

Foto der "wilden" Installation: (per Low Profile Blende in das alte Chieftec Gehäuse geklemmt)

Hier mit iperf getestet (4 parallele Streams):

 

[F|Marsman]

Am M.2 Slot war das auch irgendwie noch nie son Problem. Aber gut zu wissen das nochn Adapter funktioniert.
Fällt dann nur leider die Option für ne NVMe SSD weg.

 

[besterino]

Mit ner schnellen Nic hat man doch gerade die Möglichkeit, zig NVMe anzubinden.

 

[MrOpuki]

Das ist leider so und für mein zweites System (Proxmox) habe ich auch das Gigabyte Kabel für den 8i schon hier liegen, der PCIe Adapter aus China ist aber noch unterwegs. In dem System oben war mir das egal, denn Xpenology installiert eh auf die HDDs. 43€ für den Adapter finde ich auch echt teuer und er ist sehr starr von den Kabeln her, also vorsicht beim Handling. Dafür ist er schnell verfügbar über Amazon.

Beitrag automatisch zusammengeführt: Mittwoch um 11:51

Ich habe mit dem Adapter die 10 Gbit/s erreicht (Linkspeed).

Glaube ich dir gerne, es lag auch an der Karte, die leider nur PCIe 2.0 konnte. Mit der ConnectX-3 klappt es

 

[sch4kal]

Mit ner schnellen Nic hat man doch gerade die Möglichkeit, zig NVMe anzubinden.

Dafür ist das Board hier aber wiederum nicht geeignet. Selbst mit dem MC12 wirds schon schwierig mit so wenig PCIe Lanes. Hoffentlich gibt es bald PCIe 5.0 Multiplexer oder NVMe RAID Controller. Wenn man dann aus 16 5.0 Lanes 32 4.0 machen könnte, wäre das der Hammer. Mit Epyc 4004 hat man nun ja auch endlich eine validierte ECC Plattform auf AM5 Basis, ohne direkt zum großen Epyc oder TR greifen zu müssen.

 

[underclocker2k4]

Hoffentlich gibt es bald ... NVMe RAID Controller.

Wieso bald?
Wir haben solche Dinger bereits Tütenweise im Einsatz.
Nur kann man NVMe Storagecontroller nicht pauschal für alles verwenden.
Ansonsten gibt es ja schon länger PCIe Switches (<4.0) als PCIe Karten, wo man dann mit Basteln sicherlich auch PCIe Karten unterbringen kann.

 

[sch4kal]

Wieso bald?
Wir haben solche Dinger bereits Tütenweise im Einsatz.
Nur kann man NVMe Storagecontroller nicht pauschal für alles verwenden.
Ansonsten gibt es ja schon länger PCIe Switches (<4.0) als PCIe Karten, wo man dann mit Basteln sicherlich auch PCIe Karten unterbringen kann.

5.0 und welche, die keine Niere kosten.

 

[MrOpuki]

Hat eigentlich schon jemand erfolgreich vom 4i eine Karte (z.B. eine P1000) ans laufen bekommen? Ich habe den kompletten Thread in der letzten Woche durchgelesen, aber ob das jetzt wirklich 100% geklappt hat, muss ich überlesen haben.

 

[F|Marsman]

Graka mit nativ PCIe 4x läuft, hatte ne 1030GT zum testen drin. PCIe 16x Karten, allerdings alles ältere Modelle, hab ich nicht zum laufen bekommen.

 

[MrOpuki]

Ich dachte halt an irgendwas, was nvenc kann (zum Transcoden für Plex). Habe letztens für Lightroom in einem PC eine RTX3050 verbaut. Für das Geld hat die schon nicht wenig Dampf. Ist halt bei sowas die Frage, ob das dann auch klappt. Den 8i für ich gerne (geht um mein Proxmox System) für eine 10 GBit/s freihalten. Welches Kabel/PCIe-Interface hast du denn dafür genommen?

 

[F|Marsman]

4i - 16x Adapter
Kabel
Damit lief die 1030GT und auch ne CX-3 single Port. Die Dual Port mit PCIe 8x hab ich da noch nicht getestet weil die noch im Hauptrechner steckt.. müsst ich aber auch mal wieder ausbauen.

 

[marco-mh]

Ansonsten erstmal mit Windows checken ob er die Timings auch richtig gesetzt hat.

@F|Marsman ich hab kein Windows. bei mir läuft MAC.

Nen ZenTimings Screenshot würde mich von dir auch interessieren.

wie kann ich das machen?

ansonsten Luft es mit 4 RAMs, aber alle paar min kommt nen ECC Fehler.

 

[F|Marsman]

ZenTimings
Geht halt nur unter Windows. Keine Ahnung obs da auch was für Mac oder Linux gibt.
Bei mir läuft mittlerweile seit ~20h Karhu RAM Test ohne einen Fehler. WHEA zeigt auch keine ECC Fehler mehr und das Web Interface vom BMC meldet auch nichts.
Kann ich dann wohl demnächst wieder auf TrueNAS gehen...
Jedenfalls schonmal schön zu sehen das es doch mit 4 Riegeln auf 2133MT/s läuft obwohl nur 1866 spezifiziert ist. Könnt man glatt noch 2400 testen

 

[MrOpuki]

Mein Proxmox läuft mit seinen 4x 32GB Samsung ECC Regged RAMs auch problemlos mit 2133. Hatte mich schon gewundert, aber memtest sagte: alles super und Proxmox läuft auch prima.

 

[Paddy600]

Mein Proxmox läuft mit seinen 4x 32GB Samsung ECC Regged RAMs auch problemlos mit 2133. Hatte mich schon gewundert, aber memtest sagte: alles super und Proxmox läuft auch prima.

+1 mit TrueNAS

 

[marco-mh]

@F|Marsman ich hab grad mal den Server neu gestartet, er bootet nicht mehr durch.hab jetzt schon 7-8x neu gestartet.

 

[F|Marsman]

Also damit hab ich bis jetzt keine Probleme, wenn erstmal Takt und Widerstände im AMD CBS festgenagelt sind.
Eventuell auch BIOS Batterie leer?

Mich würd auch brennend interessieren was der für Widerstände mit den Samsung DIMMs setzt, aber ich glaub das lässt sich nicht auslesen.

 

[marco-mh]

jetzt hast er grad mal durchgestartet, aber er hängt jetzt. Meinst die Batterie? Die Bioseinstellungen und Zeit bleiben aber gespeichert. Könnte es auch am Netzteil liegen? das ist ein ATX von Be Quiet und bestimmt schon 15 Jahre alt.

 

[F|Marsman]

War nur sone Idee mit der Batterie.. aber wenn die Settings und Datum gespeichert bleibt wohl eher nicht.
Netzteil glaub ich auch weniger... das Board zieht ja ansich sogut wie nichts.

Ah sieh an 2400T und ***AFR4N-UH
Ich habe 2666V und ***AFR4n-VK

Auch wenn das beides Hynix AFR Chips sein sollten kann es durchaus sein dass die dann etwas anders reagieren. Hilft wohl nur Widerstände durchprobieren

 

[marco-mh]

kannst du da helfen?

 

[MrOpuki]

Hatte von euch schonmal jemand das Phänomen, dass die Netzwerkkarten (beiden onboard) nicht mehr erreichbar sind von jetzt auf gleich?

Ich hatte das mit Xpenology jetzt 2x jeweils Nachts wo die IP auch nicht mehr neu vergeben wurde, APIPA Adressen hatte ich dann. Per IPMI/BMC kam ich drauf und das System selber lief ganz normal weiter. Auf Grund der Art wie Xpenology gebaut ist, hatte ich auf ein Problem mit dem OS gesetzt und heute morgen dann TrueNAS Scale 24.10 installiert.

Vor 5min dann wollte ich einen neuen Dataset erstellen und lief in Timeouts. An das OS komme ich weder per onboard NICs noch per 10G/Glasfaser dran, da ich die WebUI nur für die IP der onboard NIC (unterer Port) freigegeben hatte.

Parallel läuft meine ConnectX-3 noch problemlos und kopiert gerade Daten auf das TrueNAS. Das System ansich läuft also.

Nach allem was ich hier bereits gelesen habe, hatte ich heute morgen den Takt meines RAMs auf 933 MHz (also 1866 statt 2133) gesenkt. Brachte scheinbar nix. Ich stehe gerade vor einem Rätsel.

---
Ich habe mal im syslog gestöbert und erhalte folgende Fehlermeldung:

Spoiler: Langer Logauszug

Nov 14 13:17:18 truenas kernel: ------------[ cut here ]------------
Nov 14 13:17:18 truenas kernel: NETDEV WATCHDOG: enp5s0 (igb): transmit queue 0 timed out 9472 ms
Nov 14 13:17:18 truenas kernel: WARNING: CPU: 6 PID: 2915 at net/sched/sch_generic.c:525 dev_watchdog+0x235/0x240
Nov 14 13:17:18 truenas kernel: Modules linked in: sr_mod(E) cdrom(E) joydev(E) uas(E) cdc_ether(E) usbnet(E) usb_storage(E) mii(E) xt_nat(E) xt_tcpudp(E) veth(E) xt_conntrack(E) nft_chain_nat(E) xt_MASQUERADE(E) nf_nat(E) nf_conntrack_netlink(E) nf_conntrack(E) nf_defrag_ipv6(E) nf_defrag_ipv4(E) xfrm_user(E) xfrm_algo(E) xt_addrtype(E) nft_compat(E) nf_tables(E) libcrc32c(E) crc32c_generic(E) nfnetlink(E) br_netfilter(E) bridge(E) stp(E) llc(E) nvme_fabrics(E) nvme_core(E) overlay(E) sunrpc(E) binfmt_misc(E) ntb_netdev(E) ntb_transport(E) ntb_split(E) ntb(E) ioatdma(E) ipmi_ssif(E) intel_rapl_msr(E) intel_rapl_common(E) amd64_edac(E) edac_mce_amd(E) kvm_amd(E) kvm(E) irqbypass(E) ghash_clmulni_intel(E) sha512_ssse3(E) sha256_ssse3(E) sha1_ssse3(E) aesni_intel(E) crypto_simd(E) cryptd(E) snd_hda_intel(E) snd_intel_dspcfg(E) rapl(E) snd_hda_codec(E) snd_hda_core(E) snd_hwdep(E) snd_pcm(E) ast(E) evdev(E) drm_shmem_helper(E) sp5100_tco(E) snd_timer(E) snd(E) acpi_cpufreq(E) pcspkr(E) soundcore(E) watchdog(E) k10temp(E) drm_kms_helper(E)
Nov 14 13:17:18 truenas kernel: ccp(E) acpi_ipmi(E) ipmi_si(E) ipmi_devintf(E) ipmi_msghandler(E) sg(E) button(E) loop(E) drm(E) efi_pstore(E) configfs(E) ip_tables(E) x_tables(E) autofs4(E) zfs(POE) spl(OE) efivarfs(E) mlx4_ib(E) ib_uverbs(E) ib_core(E) mlx4_en(E) hid_generic(E) usbhid(E) hid(E) sd_mod(E) t10_pi(E) crc64_rocksoft(E) crc64(E) crc_t10dif(E) crct10dif_generic(E) ahci(E) ahciem(E) libahci(E) xhci_pci(E) crct10dif_pclmul(E) crct10dif_common(E) xhci_hcd(E) libata(E) igb(E) crc32_pclmul(E) crc32c_intel(E) usbcore(E) scsi_mod(E) i2c_algo_bit(E) scsi_common(E) usb_common(E) i2c_piix4(E) mlx4_core(E) dca(E)
Nov 14 13:17:18 truenas kernel: CPU: 6 PID: 2915 Comm: IoThread Tainted: P OE 6.6.44-production+truenas #1
Nov 14 13:17:18 truenas kernel: Hardware name: GIGABYTE G431-MM0-OT/MJ11-EC1-OT, BIOS F09 09/14/2021
Nov 14 13:17:18 truenas kernel: RIP: 0010ev_watchdog+0x235/0x240
Nov 14 13:17:18 truenas kernel: Code: ff ff ff 48 89 df c6 05 b6 26 40 01 01 e8 f3 2c fa ff 45 89 f8 44 89 f1 48 89 de 48 89 c2 48 c7 c7 60 f9 d1 87 e8 cb 16 6b ff <0f> 0b e9 2a ff ff ff 0f 1f 40 00 90 90 90 90 90 90 90 90 90 90 90
Nov 14 13:17:18 truenas kernel: RSP: 0000:ffffbbd98772fdb8 EFLAGS: 00010286
Nov 14 13:17:18 truenas kernel: RAX: 0000000000000000 RBX: ffff9bc72a1a4000 RCX: 0000000000000027
Nov 14 13:17:18 truenas kernel: RDX: ffff9bcdfd3a13c8 RSI: 0000000000000001 RDI: ffff9bcdfd3a13c0
Nov 14 13:17:18 truenas kernel: RBP: ffff9bc72a1a4488 R08: 0000000000000000 R09: ffffbbd98772fc40
Nov 14 13:17:18 truenas kernel: R10: 0000000000000003 R11: ffff9bcdfd1fffe8 R12: ffff9bc72b21f000
Nov 14 13:17:18 truenas kernel: R13: ffff9bc72a1a43dc R14: 0000000000000000 R15: 0000000000002500
Nov 14 13:17:18 truenas kernel: FS: 00007f64adefb6c0(0000) GS:ffff9bcdfd380000(0000) knlGS:0000000000000000
Nov 14 13:17:18 truenas kernel: CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Nov 14 13:17:18 truenas kernel: CR2: 00007fa9f3798010 CR3: 0000000121fde000 CR4: 00000000003506e0
Nov 14 13:17:18 truenas kernel: Call Trace:
Nov 14 13:17:18 truenas kernel: <TASK>
Nov 14 13:17:18 truenas kernel: ? dev_watchdog+0x235/0x240
Nov 14 13:17:18 truenas kernel: ? __warn+0x81/0x130
Nov 14 13:17:18 truenas kernel: ? dev_watchdog+0x235/0x240
Nov 14 13:17:18 truenas kernel: ? report_bug+0x171/0x1a0
Nov 14 13:17:18 truenas kernel: ? prb_read_valid+0x1b/0x30
Nov 14 13:17:18 truenas kernel: ? srso_return_thunk+0x5/0x5f
Nov 14 13:17:18 truenas kernel: ? handle_bug+0x41/0x70
Nov 14 13:17:18 truenas kernel: ? exc_invalid_op+0x17/0x70
Nov 14 13:17:18 truenas kernel: ? asm_exc_invalid_op+0x1a/0x20
Nov 14 13:17:18 truenas kernel: ? dev_watchdog+0x235/0x240
Nov 14 13:17:18 truenas kernel: ? dev_watchdog+0x235/0x240
Nov 14 13:17:18 truenas kernel: ? __pfx_dev_watchdog+0x10/0x10
Nov 14 13:17:18 truenas kernel: call_timer_fn+0x27/0x130
Nov 14 13:17:18 truenas kernel: ? __pfx_dev_watchdog+0x10/0x10
Nov 14 13:17:18 truenas kernel: __run_timers+0x222/0x2c0
Nov 14 13:17:18 truenas kernel: run_timer_softirq+0x1d/0x40
Nov 14 13:17:18 truenas kernel: handle_softirqs+0xda/0x2c0
Nov 14 13:17:18 truenas kernel: __irq_exit_rcu+0x98/0xc0
Nov 14 13:17:18 truenas kernel: sysvec_apic_timer_interrupt+0x3e/0x90
Nov 14 13:17:18 truenas kernel: asm_sysvec_apic_timer_interrupt+0x1a/0x20
Nov 14 13:17:18 truenas kernel: RIP: 0033:0x5e0abd
Nov 14 13:17:18 truenas kernel: Code: 8b 45 28 48 8b 40 08 48 85 c0 0f 84 a4 00 00 00 49 8d 54 24 08 48 8b 75 10 49 8b 3c 24 48 8d 4b ff ff d0 48 8b 15 c3 ce 47 00 <83> 42 20 01 48 83 c4 18 5b 5d 41 5c 41 5d 41 5e 41 5f c3 49 8b 87
Nov 14 13:17:18 truenas kernel: RSP: 002b:00007f64adefaa40 EFLAGS: 00000202
Nov 14 13:17:18 truenas kernel: RAX: 00007f64ac40cb50 RBX: 0000000000000001 RCX: 00007f6516bee531
Nov 14 13:17:18 truenas kernel: RDX: 00000000037843c0 RSI: 0000000000000081 RDI: 0000000001f8b320
Nov 14 13:17:18 truenas kernel: RBP: 00007f6515346890 R08: 000000000007b000 R09: 0000000000000000
Nov 14 13:17:18 truenas kernel: R10: 0000000000000000 R11: 0000000000000246 R12: 00007f64e407e208
Nov 14 13:17:18 truenas kernel: R13: 00000000037843c0 R14: 00000000021a6df0 R15: 00000000021a6df0
Nov 14 13:17:18 truenas kernel: </TASK>
Nov 14 13:17:18 truenas kernel: ---[ end trace 0000000000000000 ]---
Nov 14 13:17:18 truenas kernel: igb 0000:05:00.0 enp5s0: Reset adapter
Nov 14 13:17:18 truenas kernel: igb 0000:05:00.0 enp5s0: igb: enp5s0 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX/TX
Nov 14 13:17:18 truenas kernel: igb 0000:05:00.0: read 1000Base-T Status Reg

Ich habe mal ChatGPT damit gefüttert und bekomme folgende Tipps:

Das Log zeigt, dass das Netzwerkinterface `enp5s0` mit dem Intel IGB-Treiber eine `transmit queue timeout`-Meldung ausgelöst hat, was typischerweise auf eine Netzwerküberlastung, fehlerhafte Treiber oder Probleme mit dem Netzwerkadapter hinweisen kann. Hier ein paar Schritte zur Fehlerbehebung:

1. **Treiber-Update:** Da Intel-Netzwerkadapter manchmal Probleme mit älteren oder Kernel-gepatchten Treibern haben, wäre es sinnvoll, die neuesten Treiber zu verwenden. Das könntest du mit TrueNAS-Updates prüfen oder, falls nötig, direkt von Intel ein Kernelmodul für IGB-Treiber kompilieren und laden.

2. **IGB-Treibereinstellungen:** Die IGB-Treiber bieten Parameter wie `Queue Length`, `Interrupt Moderation` und `Ring Buffer Sizes`, die in `/etc/modprobe.d/igb.conf` konfiguriert werden können. Ein Absenken der `TxQueueLength` oder das Anpassen der `tx/rx-rings`-Parameter könnte helfen.

3. **BIOS-Update:** Ein BIOS-Update auf die neueste Version kann Stabilitätsprobleme der Netzwerkkomponenten lösen, insbesondere wenn es sich um ein bekanntes Problem mit APIPA-Adressen handelt.

4. **IRQ-Affinität und CPU-Isolation:** Da deine CPU mehrere Threads nutzt, wäre eine Anpassung der IRQ-Affinität auf separate CPU-Kerne ratsam, um Netzwerkinterrupts auf spezifische Kerne zu verteilen. Prüfe, ob eine Isolation von Kernen oder eine manuelle Affinitätseinstellung für `enp5s0` hilft.

5. **Netzwerkschnittstellen-Bündelung:** Falls dein TrueNAS die Netzwerkaggregation unterstützt, könnte das Nutzen eines LAG (Link Aggregation Group) helfen, um das Netzwerkverhalten zu stabilisieren.

6. **Hardware-Reset**: Ein Test mit deaktiviertem und erneut aktiviertem Netzwerkadapter im BIOS könnte klären, ob der Fehler auf Hard- oder Software basiert. Falls vorhanden, wäre ein Wechsel auf einen Ersatz-NIC für kurze Zeit eine hilfreiche Diagnoseoption.

Falls der Fehler weiterhin auftritt, könnte es sich auch lohnen, die Netzwerkkarte zu isolieren und zu testen, ob ein Problem in der Hardware oder Software liegt.

So wirklich weiter hilft mir das allerdings nicht. Die Treiber sind im Kernel, also vermutlich relativ aktuell, der 2. Punkt könnte eine Möglichkeit sein.

Überlege schon das Board vom Proxmox (da läuft noch nicht viel, da das "NAS" mich auf Trab hält) mal in das andere Systeme zu bauen und damit mal zu testen.

 

[Shihatsu]

So folgende Problematik: Ich hätte gerne 10g. Problem: Jonsbo N3. 8 Platten am Sata und mini SAS, Bootplatte im m.2, für eine Adapterplatine ist im N3 kein Platz. Irgendwelche Ideen?