Gigabyte MJ11-EC1 NAS Server

Moin moin,

nach nun einiger Zeit habe ich mal meine beiden Boards (mit "Anhang") hinter Messsteckdosen (Tasmota) gehängt und dachte das hier vielleicht den einen oder anderen die Daten interessieren.

NAS:
1734506333195.png


Verwendete Hardware:
- Gigabyte MJ11-EC1 AMD Epyc 3151
- 64GB RDIMM (4 Riegel á 16GB, Samsung)
- Kingston 120GB SSD (SATA)
- 3x 18TB Toshiba MG09
- m2 to Intel JL82599EN SFP+ (10 GBit/s Karte)
- TrueNAS Scale
- Cooler Master 550W Netzteil
keine Zenstates gesetzt, RAM auf 2133 MT/s

Proxmox:
1734506453275.png


Verwendete Hardware:
- Gigabyte MJ11-EC1 AMD Epyc 3151
- 128GB RDIMM (4x 32GB)
- 1TB Crucial NVMe
- Proxmox
- Seasonic 550W Netzteil
auch hier ohne Zenstates, RAM bei 2133 MT/s

Mit der USV und dem Netzwerk (UniFi Switch 24 Port + 5 APs + 4 Kameras + 4 Switches per PoE) zieht das ganze aktuell um die 250W, was auf ~6 kWh/Tag rauskommt. Nur blöd das unsere Solaranlage gerade nicht viel einfährt :/

Netzwerk inkl. UniFi Gateway, CloudKey 2+, Vigor Modem, Switches, Kameras, APs:
1734506700438.png


Der ganze Raum:
1734506640303.png


Auf dem TrueNAS Scale läuft eine KVM/Qemu mit dem PBS (Proxmox Backup Server). Nachts wird dann vom Proxmox dahin gesichert, was man an den Peaks auch erkennen kann. Zusätzlich läuft auf TrueNAS Scale auch noch Plex.
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Jede von den Toshis zieht mal eben über 10W? :hmm:
4x32 sind aber keine 64GB.
Würd mich dennoch interessieren was das generell für Samsungs sind.
Ich verzweifel so langsam mit den Hynix AFR, mittlerweile so alles an Timings, Widerständen und VDDP durchprobiert... dann laufen sie mal 2 Tage ohne ECC Fehler durchn Stresstest, nen anderen Tag gibts wieder welche. Das muss auch keiner verstehen :shot:
 
F|Marsman schrieb:
Jede von den Toshis zieht mal eben über 10W? :hmm:
4x32 sind aber keine 64GB.
Würd mich dennoch interessieren was das generell für Samsungs sind.
Ich verzweifel so langsam mit den Hynix AFR, mittlerweile so alles an Timings, Widerständen und VDDP durchprobiert... dann laufen sie mal 2 Tage ohne ECC Fehler durchn Stresstest, nen anderen Tag gibts wieder welche. Das muss auch keiner verstehen :shot:
Zum Vergrößern anklicken....
Oh! Stimmt.. 4x 16GB natürlich.

Im eBay Angebot stand: Samsung 16GB SERVER Registered DDR4 speich RAM 2Rx4 PC4-2133P M393A2G40DB0-CPB0Q

Luckysh0t schrieb:
Mich auch ^^

Ich wollte auch mal bei mir messen, gerade meine beiden Filer im Unterschied, und dann nochmal wenn ich im OmniOS Server das 250W HDPlex NT eingebaut habe und das 400W BQ raus.
Zum Vergrößern anklicken....
s.o. ;)

Ach Netzteile habe ich vergessen reinzuschreiben. Mal nachgeholt.
Bringt das viel, ein kleines Netzteil einzubauen? Ich habe nur leider keins mehr und wenn das 5 Watt bringt, dann kann ich das System auch so weiterlaufen lassen :LOL:
 
MrOpuki schrieb:
Bringt das viel, ein kleines Netzteil einzubauen?
Zum Vergrößern anklicken....
Das werde ich merken, wenn ich mal Zeit und Lust zum Umbau habe xD.
Zumindest mit dem gewählten NT würde es eine halbe ewigkeit dauern bis sich das armortisiert, da es mit ca 150€ fast doppelt so viel kostete wie damals das BQ.
Allerdings hat mich das NT auf der einen Seite interssiert, und auf der anderen Seite rattert bei dem NT der Lüfter sporadisch, was nervt. Da war dann eh ein Neukauf im Raum, den ich so halt noch mit etwas "haben wollen, weil haben wollen" Gewürzt habe ^^.
 
MrOpuki schrieb:
Im eBay Angebot stand: Samsung 16GB SERVER Registered DDR4 speich RAM 2Rx4 PC4-2133P M393A2G40DB0-CPB0Q
Zum Vergrößern anklicken....
(y)
Und die 128GB Version sind was für RAMs?

Hab mir jetzt auch noch Samsungs geordert... bin gespannt wie die laufen im Gegensatz zu den Hynix AFR.
128GB Samsung RDIMMs hab ich auch noch entdeckt, kein LR. Mir juckts gewaltig in den Fingern, BMC zeigt ja an daß das Board 512GB kann :fresse2:
 
Also ich hab 4x Samsung M393A4K40BB1-CRC.

Funktionieren seit fast einem Jahr ohne ein einziges Problem mit 128gb @ TrueNAS Scale.
 
F|Marsman schrieb:
(y)
Und die 128GB Version sind was für RAMs?

Hab mir jetzt auch noch Samsungs geordert... bin gespannt wie die laufen im Gegensatz zu den Hynix AFR.
128GB Samsung RDIMMs hab ich auch noch entdeckt, kein LR. Mir juckts gewaltig in den Fingern, BMC zeigt ja an daß das Board 512GB kann :fresse2:
Zum Vergrößern anklicken....
Samsung 32GB 2Rx4 PC4-2133P-R DDR4 M393A4K40BB0-CPB DL380 G9 R730 R630 (-> Link). Hatte 39€ pro Riegel per Angebot bezahlt - was mich selbst völlig überrascht hatte.
 
Einfach so out-of-the-box?
 
M393A2K40CB1-CRC laufen bei mir auch zwei tadellos.
Eingesteckt und musste nix großartig noch einstellen. Sind 2400er "nur", reicht aber für Server aus.
 
2 Riegel sind generell kein Problem.. da laufen auch die Hynix.
Aber mit 4 nicht zu machen... :wall:

Also auch das Problem das er nicht auf 1866 runter geht.. was er laut AMD und Handbuch bei 4x 2R eigentlich sollte.. :stupid:
Naja mal gucken was die Samsungs machen... die Hynix werfen mir immer mal wieder correctable ECC Errors rein. Das ist kein Dauerzustand.
 
Die M393A2K40CB1-CRC sind halt auch noch Single Rank, vereinfacht auch einiges.
 
@MrOpuki
wo kommtn dann der hohe Verbrauch her?
 
Tja da war ich jetzt ganz happy wie alles läuft und eben haut mir mein Proxmox das um die Ohren :(

Code: 
Dec 19 09:44:49 jupiter kernel: igb 0000:04:00.0 enp4s0: PCIe link lost
Dec 19 09:44:49 jupiter kernel: ------------[ cut here ]------------
Dec 19 09:44:49 jupiter kernel: igb: Failed to read reg 0xc030!
Dec 19 09:44:49 jupiter kernel: WARNING: CPU: 7 PID: 1261810 at drivers/net/ethernet/intel/igb/igb_main.c:746 igb_rd32+0x93/0xb0 [igb]
Dec 19 09:44:49 jupiter kernel: Modules linked in: cfg80211 veth ebtable_filter ebtables ip_set ip6table_raw iptable_raw ip6table_filter ip6_tables iptable_filter nf_tables sunrpc binfmt_misc bonding tls nfnetlink_log nfnetlink ipmi_ssif intel_rapl_msr intel_rapl_common amd64_edac edac_mce_amd kvm_amd kvm snd_hda_intel snd_intel_dspcfg snd_intel_sdw_acpi snd_hda_codec irqbypass crct10dif_pclmul polyval_clmulni polyval_generic ghash_clmulni_intel sha256_ssse3 snd_hda_core snd_hwdep sha1_ssse3 aesni_intel snd_pcm crypto_simd cryptd snd_timer rapl pcspkr ast snd k10temp soundcore ccp acpi_ipmi ipmi_si ipmi_devintf ipmi_msghandler 8250_dw mac_hid vhost_net vhost vhost_iotlb tap efi_pstore dmi_sysfs ip_tables x_tables autofs4 zfs(PO) spl(O) btrfs blake2b_generic xor raid6_pq libcrc32c xhci_pci xhci_pci_renesas igb nvme crc32_pclmul ahci i2c_algo_bit libahci nvme_core xhci_hcd i2c_piix4 dca nvme_auth
Dec 19 09:44:49 jupiter kernel: CPU: 7 PID: 1261810 Comm: tc Tainted: P           O       6.8.12-5-pve #1
Dec 19 09:44:49 jupiter kernel: Hardware name: GIGABYTE G431-MM0-OT/MJ11-EC1-OT, BIOS F09 09/14/2021
Dec 19 09:44:49 jupiter kernel: RIP: 0010:igb_rd32+0x93/0xb0 [igb]
Dec 19 09:44:49 jupiter kernel: Code: c7 c6 03 64 49 c0 e8 3c 6c f9 fc 48 8b bb 28 ff ff ff e8 20 d0 a7 fc 84 c0 74 c1 44 89 e6 48 c7 c7 f8 70 49 c0 e8 bd 37 29 fc <0f> 0b eb ae b8 ff ff ff ff 31 d2 31 f6 31 ff e9 69 96 30 fd 66 0f
Dec 19 09:44:49 jupiter kernel: RSP: 0018:ffffa83df1b1f530 EFLAGS: 00010246
Dec 19 09:44:49 jupiter kernel: RAX: 0000000000000000 RBX: ffff926a02d14f38 RCX: 0000000000000000
Dec 19 09:44:49 jupiter kernel: RDX: 0000000000000000 RSI: 0000000000000000 RDI: 0000000000000000
Dec 19 09:44:49 jupiter kernel: RBP: ffffa83df1b1f540 R08: 0000000000000000 R09: 0000000000000000
Dec 19 09:44:49 jupiter kernel: R10: 0000000000000000 R11: 0000000000000000 R12: 000000000000c030
Dec 19 09:44:49 jupiter kernel: R13: 0000000000000000 R14: 0000000000000000 R15: ffff926a19d00b40
Dec 19 09:44:49 jupiter kernel: FS:  00007a3c335b9740(0000) GS:ffff92889b580000(0000) knlGS:0000000000000000
Dec 19 09:44:49 jupiter kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Dec 19 09:44:49 jupiter kernel: CR2: 000058dd16681da0 CR3: 000000135266c000 CR4: 00000000003506f0
Dec 19 09:44:49 jupiter kernel: Call Trace:
Dec 19 09:44:49 jupiter kernel:  <TASK>
Dec 19 09:44:49 jupiter kernel:  ? show_regs+0x6d/0x80
Dec 19 09:44:49 jupiter kernel:  ? __warn+0x89/0x160
Dec 19 09:44:49 jupiter kernel:  ? igb_rd32+0x93/0xb0 [igb]
Dec 19 09:44:49 jupiter kernel:  ? report_bug+0x17e/0x1b0
Dec 19 09:44:49 jupiter kernel:  ? irq_work_queue+0x2f/0x70
Dec 19 09:44:49 jupiter kernel:  ? handle_bug+0x46/0x90
Dec 19 09:44:49 jupiter kernel:  ? exc_invalid_op+0x18/0x80
Dec 19 09:44:49 jupiter kernel:  ? asm_exc_invalid_op+0x1b/0x20
Dec 19 09:44:49 jupiter kernel:  ? igb_rd32+0x93/0xb0 [igb]
Dec 19 09:44:49 jupiter kernel:  igb_update_stats+0x89/0x830 [igb]
Dec 19 09:44:49 jupiter kernel:  igb_get_stats64+0x30/0x90 [igb]
Dec 19 09:44:49 jupiter kernel:  dev_get_stats+0x61/0x120
Dec 19 09:44:49 jupiter kernel:  rtnl_fill_stats+0x40/0x140
Dec 19 09:44:49 jupiter kernel:  rtnl_fill_ifinfo+0x921/0x16f0
Dec 19 09:44:49 jupiter kernel:  rtnl_dump_ifinfo+0x57e/0x710
Dec 19 09:44:49 jupiter kernel:  ? asm_sysvec_apic_timer_interrupt+0x1b/0x20
Dec 19 09:44:49 jupiter kernel:  ? srso_return_thunk+0x5/0x5f
Dec 19 09:44:49 jupiter kernel:  ? __alloc_skb+0xda/0x1b0
Dec 19 09:44:49 jupiter kernel:  netlink_dump+0x1c0/0x350
Dec 19 09:44:49 jupiter kernel:  __netlink_dump_start+0x1e8/0x290
Dec 19 09:44:49 jupiter kernel:  ? __pfx_rtnl_dump_ifinfo+0x10/0x10
Dec 19 09:44:49 jupiter kernel:  rtnetlink_rcv_msg+0x280/0x3c0
Dec 19 09:44:49 jupiter kernel:  ? __pfx_rtnl_dump_ifinfo+0x10/0x10
Dec 19 09:44:49 jupiter kernel:  ? __pfx_rtnetlink_rcv_msg+0x10/0x10
Dec 19 09:44:49 jupiter kernel:  netlink_rcv_skb+0x5d/0x110
Dec 19 09:44:49 jupiter kernel:  rtnetlink_rcv+0x15/0x30
Dec 19 09:44:49 jupiter kernel:  netlink_unicast+0x1b3/0x2a0
Dec 19 09:44:49 jupiter kernel:  netlink_sendmsg+0x214/0x470
Dec 19 09:44:49 jupiter kernel:  __sys_sendto+0x21e/0x230
Dec 19 09:44:49 jupiter kernel:  __x64_sys_sendto+0x24/0x40
Dec 19 09:44:49 jupiter kernel:  x64_sys_call+0x1f5c/0x2480
Dec 19 09:44:49 jupiter kernel:  do_syscall_64+0x81/0x170
Dec 19 09:44:49 jupiter kernel:  ? srso_return_thunk+0x5/0x5f
Dec 19 09:44:49 jupiter kernel:  ? do_user_addr_fault+0x21e/0x660
Dec 19 09:44:49 jupiter kernel:  ? srso_return_thunk+0x5/0x5f
Dec 19 09:44:49 jupiter kernel:  ? irqentry_exit_to_user_mode+0x7b/0x260
Dec 19 09:44:49 jupiter kernel:  ? srso_return_thunk+0x5/0x5f
Dec 19 09:44:49 jupiter kernel:  ? irqentry_exit+0x43/0x50
Dec 19 09:44:49 jupiter kernel:  ? srso_return_thunk+0x5/0x5f
Dec 19 09:44:49 jupiter kernel:  ? exc_page_fault+0x94/0x1b0
Dec 19 09:44:49 jupiter kernel:  entry_SYSCALL_64_after_hwframe+0x78/0x80
Dec 19 09:44:49 jupiter kernel: RIP: 0033:0x7a3c336f4ac9
Dec 19 09:44:49 jupiter kernel: Code: ff 64 89 02 eb bd 66 2e 0f 1f 84 00 00 00 00 00 90 80 3d 21 fb 0c 00 00 41 89 ca 74 1c 45 31 c9 45 31 c0 b8 2c 00 00 00 0f 05 <48> 3d 00 f0 ff ff 77 67 c3 66 0f 1f 44 00 00 55 48 83 ec 20 48 89
Dec 19 09:44:49 jupiter kernel: RSP: 002b:00007ffed853c258 EFLAGS: 00000246 ORIG_RAX: 000000000000002c
Dec 19 09:44:49 jupiter kernel: RAX: ffffffffffffffda RBX: 000058dd16680f40 RCX: 00007a3c336f4ac9
Dec 19 09:44:49 jupiter kernel: RDX: 0000000000000028 RSI: 00007ffed853c260 RDI: 0000000000000003
Dec 19 09:44:49 jupiter kernel: RBP: 00007ffed853c5e8 R08: 0000000000000000 R09: 0000000000000000
Dec 19 09:44:49 jupiter kernel: R10: 0000000000000000 R11: 0000000000000246 R12: 00007ffed853c5e0
Dec 19 09:44:49 jupiter kernel: R13: 000058dd166636ed R14: 000058dd1665a489 R15: 000058dd16668e07
Dec 19 09:44:49 jupiter kernel:  </TASK>
Dec 19 09:44:49 jupiter kernel: ---[ end trace 0000000000000000 ]---
Dec 19 09:44:55 jupiter kernel: igb 0000:04:00.0 enp4s0: NETDEV WATCHDOG: CPU: 4: transmit queue 0 timed out 6656 ms
Dec 19 09:44:55 jupiter kernel: igb 0000:04:00.0 enp4s0: Reset adapter
Dec 19 09:44:56 jupiter kernel: vmbr0: port 1(enp4s0) entered disabled state
Dec 19 09:45:01 jupiter pvestatd[1621]: PBS: error fetching datastores - 500 Can't connect to 10.0.0.83:8007 (Connection timed out)
Dec 19 09:45:02 jupiter pvestatd[1621]: status update time (7.394 seconds)
Dec 19 09:45:11 jupiter pvestatd[1621]: PBS: error fetching datastores - 500 Can't connect to 10.0.0.83:8007 (Connection timed out)
Dec 19 09:45:11 jupiter pvestatd[1621]: status update time (7.390 seconds)
Dec 19 09:45:21 jupiter pvestatd[1621]: PBS: error fetching datastores - 500 Can't connect to 10.0.0.83:8007 (Connection timed out)
Dec 19 09:45:21 jupiter pvestatd[1621]: status update time (7.386 seconds)


Code: 
Dec 19 09:44:49 jupiter kernel: WARNING: CPU: 7 PID: 1261810 at drivers/net/ethernet/intel/igb/igb_main.c:746 igb_rd32+0x93/0xb0 [igb]
Der Treiber meldet, dass er ein Register (0xc030) nicht lesen konnte, was auf einen schwerwiegenden Fehler im Zugriff auf die Netzwerkkarte hinweist.
Zum Vergrößern anklicken....

Ach nicht schon wieder :/ Das ist das getauschte Board.

---

Bin da jetzt raus. Hat jemand Interesse an dem RAM?
 
Zuletzt bearbeitet:
Intel und Netzwerk.. man sollte es echt lassen :fresse:
 
Ich würde fürs Netzwerk halt was zuverlässigeres nutzen, also z.B. NVIDIA (Mellanox), etc.
 
Nee ich bin jetzt raus. Die Gattin ist schon angenervt :d Zieht zu viel Saft und dann ist das unzuverlässig.
 
Zuletzt bearbeitet:
Ich fahr die Mühle (2 an der Zahl) mit x520 und kann deine Probleme nicht beobachten. Ja, das hat nur anekdotische Relevanz, ich weiß :(
 
Gerade die Samsung RDIMMs angekommen... geht gut los, werden nur auf 2 Slots erkannt. Während die Hynix "wunderbar" auf allen 4 liefen...
Was ne Bitch :shot: :stupid:


1735032426792.png


Soviel zum Thema "läuft out of the box"
Wieder mal völlige Katastrophe was das BIOS an AUTO Settings anlegt :wall:
 
Also ich hatte ganz am Anfang auch das Problem, dass Ram Riegel nicht richtig erkannt worden.

Bei mir lag es dann daran, dass einer der Riegel nicht in Ordnung war.
 
Ja das irgendwie zwei Riegel nicht erkannt werden hatten wohl mehrere Leute.

Nach ner Stunde rumfummeln und DIMMs umstecken gehts nu auch... man ist ja Leid gewohnt von dem Board und Gigglebyte allgemein :fresse:
Takt auf 2133 festgenagelt, alles andere auf AUTO
Langzeittest steht noch aus, aber ycruncher 10B rennt schonmal ohne nen ECC Fehler. Das ging so mit den Hynix definitiv nicht.
Muss noch testen ob die mit 4 Riegeln auf 1866 runter gehen, was die Hynix ja auch nicht wollten. Aber eigentlich müssten sie das vom BIOS und Memorycontroller aus tun. Aber wenns auch mit 2133 läuft bin ich glücklich. Nächster Schritt dann OC :fresse2:

1735039179293.png
 
Kann von den SKHynix 32GB 2Rx4 PC4-2400T Server RAM ECC DDR4 HMA84GR7MFR4N-UH Riegeln abraten, leider kommt es hier auch zurecht vielen ECC Fehlern und ein fast einschlafendes Systemstart. Bevor ich 41 Seiten durchforsten „muss“, gibt es eine Einstellung (Mainboard ist UpToDate; BMC 12.49.06, BIOS F09) dass dafür sorgt, dass die SlimSAS-Anschluss (SFF-8654 8i) anspringt? Derzeit wird keine der 8 HDDs dort erkannt. OK Lösung war es; „server_bios_MJ11-EC0_F02“ zu flashen.
 
Zuletzt bearbeitet:
Bei 2 Riegeln ist das irgendwie alles kein Problem.
Ich muss mal nochn bisschen weiter mit den Hynix testen, aber ich glaube mittlerweile das Problem mit 4 Riegeln liegt dann an den Timings tWR und tRTP.
'AUTO' setzt da 16 und 8, wie auch bei den Samsung, was aber wie schon erwähnt zu ECC Fehlern führt. Letzter Versuch bei mir, bevor ich die Samsung eingebaut hab, war tWR 24 und tRTP 12 was dann auch vorläufig fehlerfrei lief.

Der 8i läuft ootb mit fast allem an PCIe.. SATA kann der nicht.
Der 4i ist auf SATA gestellt im BIOSS F09. Das F02 kann switchen zwischen SATA und PCIe oder mein costum BIOS F09 flashen.
 
Anmelden, um zu antworten.

Ähnliche Themen

P
[Kaufberatung] Budget-NAS für Backup, Foto-Selfhost und Firewall+VLAN - EpycEmbedded vs AM4 vs gebrauchte Workstation?
Antworten
14
Aufrufe
3K
Pete_5
P
D
[Guide] Mein neuer Home-Server / NAS im kleinsten Server-PC der Welt [Mini-PC mit Xeon und ECC RAM]
Antworten
11
Aufrufe
2K
dakazze
D
A
[User-Review] Energiesparender passiver Home-Server mit einem HDPlex H3
Antworten
0
Aufrufe
383
Alduin86
A
S
Heimserver / NAS SSD Bestückung
2
Antworten
38
Aufrufe
2K
pwnbert
pwnbert
C
[Kaufberatung] Jetzt wird’s ernst - NAS/Server neuaufbau 2024
2
Antworten
46
Aufrufe
7K
besterino
B
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh