Gigabyte MJ11-EC1 NAS Server

[xST4R]

Benutzten kann man es in Real ja eh nicht, da super laut und super hoher Stromverbrauch. Man gibts ja auch keine 4-5k für schnelle SDDs aus, nur um das dann am 1gbit Lan zu betreiben ... Aber auch sonst ist die CPU viel zu schwach für mehr als 2gb/s.

super laut ? mach nen noctua drauf , hohen stromverbrauch , wo ? (nur das ipmi zieht "viel" strom wenn alles aus ist) oder meist du jetzt das G431 ?

 

[Paddy600]

Das Problem sind die Netzteile. Die sind auf 1600W ausgelegt, wegen der GPUs. Wenn du da nur um die 30W Verbraucher anschließt, dann ist die Effizienz komplett im Keller. Und das ganze noch x3. Die sollen auch richtig laut sein. Bei 1600W Boliden würde ich mich auch nicht trauen die Lüfter im NT auszutauschen.

 

[xST4R]

sag doch das du vom G431-MM0 schreibst ...

 

[F|Marsman]

Man gibts ja auch keine 4-5k für schnelle SDDs aus, nur um das dann am 1gbit Lan zu betreiben ... Aber auch sonst ist die CPU viel zu schwach für mehr als 2gb/s.

Das erklär mal bitte

 

[Paddy600]

Das erklär mal bitte

Was davon denn?

Den Preis von PCIe SSD mit 4-8TB? Die fehlenden PCIe Lanes (für ein 10gbit+ NIC) im Fall von Vollbestückung durch SSDs? Oder das die CPU nicht mehr als 2gb/s schafft?

Letzteres hab ich nur bei mir selbst testest, aber zumindest bei TrueNAS schaffe ich max. etwa 1,5 - 1,8gb/s mit einer PCIe 4.0 m.2 SSD. Da ist die CPU fast voll ausgelastet.

Es ging ja um das komplette G431-MM0 wenn man die PCIe für SSDs Nutzt, nicht das Board.

 

[F|Marsman]

Grad mal nen Adapter fürs PicoPSU gebaut und angeschaltet...
Da sieht man schon was son ordentliches Netzteil ausmacht.
Die Effizienz von dem externen Netzteil könnte man als unterirdisch bezeichnen



@Paddy600 die M.2 aufm Board oder über den 8i?
Weil ich komm mit der internen auf deutlich höhere Werte. Deswegen wundert mich die Aussage mit den 2GB/s.. ganz zu schweigen von der CPU-Auslastung..

 

[xST4R]

Was davon denn?
Den Preis von PCIe SSD mit 4-8TB? Die fehlenden PCIe Lanes (für ein 10gbit+ NIC) im Fall von Vollbestückung durch SSDs? Oder das die CPU nicht mehr als 2gb/s schafft?
Letzteres hab ich nur bei mir selbst testest, aber zumindest bei TrueNAS schaffe ich max. etwa 1,5 - 1,8gb/s mit einer PCIe 4.0 m.2 SSD. Da ist die CPU fast voll ausgelastet.

also ich weis ja nicht was du genau da gemacht hast aber ich bin deutlich höher gekommen als 1,5 bis 1.8gb/s und die cpu auslastung war auch nicht 100%

 

[Paddy600]

Was nutzt ihr denn für die Übertragung? SMB? Verschlüsselung aktiv?

Nutze bei mir Windows 11 und TrueNAS Scale mit ZFS + SMB Verschlüsselung und Komprimierung (schnell).

War ehrlich gesagt auch etwas enttäuscht. Dachte ich könnte zumindest die 25gbit voll ausnutzten. SSD ist eine 980 Pro 2TB. Die sollte sequentiell locker 3Gb/s schaffen.

Werde es gleich nochmal ausprobieren.

 

[xST4R]

komprimierung geht auf die cpu ,
ich hab sowas nicht genutzt weder eine verschlüsselung noch eine kompression (zumindest hab ich nichts aktiv aktiviert/umgestellt) - einfach ganz normal smb (allerdings mit unraid)

 

[Paddy600]

Irgendwie ist es grade noch langsamer als ich es in Erinnerung hatte ... Fängt gut mit 1,2gb/s an, geht dann aber auf 60mb/s runter, bei sehr hoher Auslastung (2 Kerne 100%) ...

Btw. die CPU läuft mit 3,4ghz ...




Edit: Hab die komprimierung mal testweise ausgeschaltet, und so sieht es nun aus. Etwa 1gb/s bei 100% Auslastung. Verschlüsselung ist halt an. Würde es aber sowieso nie ohne betreiben, daher spielt das eigentlich auch keine rolle.

 

[_Dejan_]

@Paddy600 Das ist ein normales ergebnis, wenn sie schlechte SSDs wie die 980 Pro verwenden ... Verwenden sie normale Enterprise-SSDs, und die geschwindigkeit wird nicht sinken ...

 

[Paddy600]

@Paddy600 Das ist ein normales ergebnis, wenn sie schlechte SSDs wie die 980 Pro verwenden ... Verwenden sie normale Enterprise-SSDs, und die geschwindigkeit wird nicht sinken ...

Ich denke aber nicht, dass mir Profi SSDs bei 100% CPU Auslastung helfen würden ;-)

 

[AndreasNSA]

Übrigens zwei von denen laufen bei mir wunderbar. 46,19€ für 64GB ECC

Der Verkäufer geht mit Preisvorschlag auf 18€ ;-) und ja, die Module laufen ohne Fehler. Bin geneigt doch noch 128GB zu testen mit den Modulen.

 

[Shihatsu]

Der Verkäufer geht mit Preisvorschlag auf 18€ ;-) und ja, die Module laufen ohne Fehler. Bin geneigt doch noch 128GB zu testen mit den Modulen.

Mach mal, dann gehe ich auch auf 128, 64 fühlt sich so.... "wenig" an

 

[AndreasNSA]

Eigentlich brauch ich die 128GB nicht wirklich auf der Kiste, ist nur das Backup-NAS. Aber ich denke ich probier das mal, zur Not findet sich schon nen Abnehmer

 

[Andiii]

Hallo, brauche mal eure Hilfe und zwar habe ich bei meinem Board (kam mit F9 Bios und 12.49.06 BMC) via SSH eingeloggt um die Lüftersteuerung freizuschalten. Die xml gebackuppt in .bak Änderungen an der xml gemacht nach dieser Anleitung: https://oliver.obenland.it/gigabyte-mj11-ec1-alle-luefter-per-pwm-steuern/

mit ls geprüft und die SKU.xml wurde beim ersten mal nicht erstellt. Also nochmal skupioneer ausgeführt dann war sie da. Habe dann reboot gemacht. Nun schaut mein Sensor TAB leider so aus:

Dachte dann nagut, da ich ja zu dem MJ11-EC0-00 geändert habe werde ich mal das offizielle Gigabyte Bios fürs MJ11-EC0 (F02) flashen, das habe ich dann übers BMC erfolgreich geflasht und es läuft nun auch. Allerdings sind die Sensoren so geblieben.
**EDIT nach 3 mal Bios Reset und Neustarts waren die Sensoren auf einmal OK, bleibt nur meine:

zweite Frage Für den BMC ist 12.61.21 ja aktuell, kann dies aber nicht einspielen da kommt immer ein Fehler beim Verifizieren und er bricht ab.
habe hier https://www.hardwareluxx.de/communi...-ec1-nas-server.1345281/page-20#post-30386941
und auch mal hier die .bin besorgt:

Gigabyte MJ11-EC1 EPYC 3151 Mystery

EPYC Zen1 have problems with PCIe ASPM. You need to deactivate it in "/etc/kernel/cmdline" with "pcie_aspm=off". After this you need to do a "update-initramfs -u" otherwise the change will not used by the system. In UEFI the ASPM settings are unfortunately missing. ive messed around with this a...

forums.servethehome.com

Was kann ich da machen? Hat wer ne Idee?

 

[_Dejan_]

Ich denke aber nicht, dass mir Profi SSDs bei 100% CPU Auslastung helfen würden ;-)

Ich habe derzeit kein enterprise ersatz NVME zum testen, aber ich mache tests mit 2 Intel S4610 960 SATA laufwerken.
Windows ist auf consumer NVME installiert. SSDs sind normal formatiert an SATA 3 und SATA 4 angeschlossen. Auf SSD 1 erstelle ich 3 10GB dateien und kopiere sie auf SSD 2. Die CPU auslastung steigt während des kopierens um etwa 10 % und die geschwindigkeit ist nicht viel unter die SATA geschwindigkeit gefallen ...

Aber ZFS und aktivierte verschlüsselung wirken sich stärker auf die CPU aus ... In den nächsten tagen kann ich ähnliche tests mit TrueNAS durchführen ...

Ich habe vergessen, dass bei SSDs der PowerGovernorMode 2 statt der standardeinstellung 0 (volle Leistung) aktiviert ist ...

 

[gmipf]

zweite Frage Für den BMC ist 12.61.21 ja aktuell, kann dies aber nicht einspielen da kommt immer ein Fehler beim Verifizieren und er bricht ab.
habe hier https://www.hardwareluxx.de/communi...-ec1-nas-server.1345281/page-20#post-30386941
und auch mal hier die .bin besorgt:

Gigabyte MJ11-EC1 EPYC 3151 Mystery

EPYC Zen1 have problems with PCIe ASPM. You need to deactivate it in "/etc/kernel/cmdline" with "pcie_aspm=off". After this you need to do a "update-initramfs -u" otherwise the change will not used by the system. In UEFI the ASPM settings are unfortunately missing. ive messed around with this a...

forums.servethehome.com

Was kann ich da machen? Hat wer ne Idee?

nicht die bin Datei, sondern die Datei darunter "rom.ima_enc".

 

[Andiii]

nicht die bin Datei, sondern die Datei darunter "rom.ima_enc".

Danke !!

 

[jpao]

Stromverbrauch mit Proxmox 26W idle. Alles Standard-Einstellungen.
Netzteil: Sharkoon Rebel P20, 750W

Das Netzteil ist zwar overkill, war aber zu einem guten Preis zu haben, da sagt man nicht Nein

Ärgerlich, dass die Kiste keinen PCIe Slot hat, der wäre wirklich noch das Sahnehäubchen gewesen. Use-Case würde ich gerne Proxmox mit Kubernetes on top realisieren, da ich bis jetzt immer Portainer benutzt habe, aber das mich manchmal an meine Grenzen bringt.

Für den Stromverbrauch würde ich es noch mitnehmen, mein Kleiner (Thinkcentre M910q) verbraucht schon deftig, da hängt aber auch eine 3.5" Festplatte dran und alle Services laufen dort aktuell.

Mal schauen wie der Stromverbrauch ausschaut, wenn mal etwas Last oben ist. Bis jetzt geht es klar; die 5 Watt im ausgeschaltetem Modus für den BMC haben mich etwas erschrocken, das hätte ich nicht erwartet

 

[_Dejan_]

@F|Marsman Hier mein BIOS mod für F02. Soweit wie ich sehe funktionieren alle gesetzten Default-Werte. Allerdings im Gegensatz zum F09 BIOS ist bezüglich des Network Stacks etwas anders beim F02, daher konnte ich den Standardwert nicht auf Disabled setzen. Hier habe ich mein Problem geschildert, eventuell hast Du eine Idee darauf?

Failsafe and Optimal are being ignored · Issue #9 · BoringBoredom/UEFI-Editor

Failsafe and Optimal are being ignored, as seen here and here. I lack the necessary information on how to proceed implementing a workaround for these (probably very common) cases. If anyone can poi...

github.com

EDIT: Nach einigen Tests bezüglich ASPM musste ich feststellen dass dieses Board diese Funktion auf alle Fälle nicht unterstützt. Daher habe ich vom BIOS-Mod eine neue Version erstellt wo ASPM wieder deaktiviert wurde.

Linux ignoriert die Einstellung im BIOS, daher muss zusätzlich als Kernelparameter noch "pcie_aspm=off" gesetzt werden.

Changelog

Gigabyte MJ11-EC0
BIOS F02 modded
--------------------------------------------------------------------------------

Änderungen zum Original:

Zugriff auf:

BIOS -> Advanced

    ACPI Settings

    CRB Board ->
        OnBrd/Ext VGA Select

    PCI Subsystem Settings ->
        SL_SAS NVME I/O ROM
        M2_M NVME I/O ROM


Änderung der std. Einstellungen:

    SHA-1 PCR Bank - Disabled
    SR-IOV - Enabled
    PCIe AER - Enabled
    Quiet Boot - Disabled
    Serial Port 1 - Disabled
    Legacy USB Support - Disabled
    Port 60/64 Emulation - Disabled
    XHCI Hand-off - Disabled
    FRB-2 Timer - Disabled
    BMC Configuration Address source - DynamicBmcDhcp
    IPv6 BMC Lan Option - Disabled
    Wait BMC Ready - Disabled


Nicht sichtbare Änderungen:

PCI Subsystem Settings ->

    Extended Tag - Enabled
    ASPM Support - Auto (Wieder deaktiviert in v2)
    Extended Synch - Enabled
    Unpopulated Links - Disabled
    Clock Power Management - Enabled

Hallo,
Ich habe ein problem mit ihrem BIOS ... Ich kann die RAM geschwindigkeit nicht auf 933 MHz einstellen. Wenn ich sie einstelle, ist sie beim booten wieder 2133 MHz, aber wenn ich die BIOS einstellungen überprüfe, bleibt sie bei 933 MHz ... Übersehe ich etwas? Ich versuche, das BIOS auf die standardeinstellungen zurückzusetzen, aber das hilft nicht ...

Es gibt viele speicher ECC fehler ...

Merkwürdig ist auch, dass es beim einschalten dreimal vom zustand „NO SIGNAL“ in den zustand „POWERED OFF“ wechselt und danach dreimal die Initialisierung und die codes durchläuft und dann BIOS Informationen anzeigt... Ich habe alle 4 Speichersticks durch andere ersetzt und es ist dasselbe... Derselbe speicher funktioniert normal auf dem Supermicro H11-DSi motherboard... Ich muss prüfen, wie es sich mit nur 2 Speichersticks verhält...

 

[Techlogi]

Anhang anzeigen 1075369

So, kurze Rückmeldung: Board, Netzteile, Lüfter (120mm 9.000rpm ) und auch 16GB RAM alles drin. Meiner Meinung nach ein richtig guter Deal!
Edit: Und mittlerweile offline bzw out of stock.

 

[gmipf]

@_Dejan_ Ich habe Dir auf servethehome.com bereits geantwortet, aber ich versuche es hier mal detaillierter.

Diese Tabelle ist aus der Anleitung. Demnach sind angeblich 4 Ranks maximal unterstützt. Deine 16GB scheinen 2 Rank Module zu sein (HMA82GR7AFR8N-VK). Das würde bei 4 Modulen 8 Ranks ergeben.

Mein Beispiel: Ich habe 2x Samsung M393A2K40BB2-CTD6Q (16GB), single rank. Macht zusammen 2 Ranks. Nach der Tabelle oben wäre die Empfehlung 2133Mhz, die laufen bei mir aber Problemlos auf 2666Mhz.

Mehr habe ich aber nicht getestet. Eventuell gibt es welche hier, die es sogar geschafft haben 128GB auf 8 Ranks zum Laufen zu kriegen. Ansonsten würde ich sagen, besorge Dir 32GB Module mit je 2 Ranks. Z.B.: Samsung M393A4K40BB2-CTD.

Merkwürdig ist auch, dass es beim einschalten dreimal vom zustand „NO SIGNAL“ in den zustand „POWERED OFF“ wechselt und danach dreimal die Initialisierung und die codes durchläuft und dann BIOS Informationen anzeigt... Ich habe alle 4 Speichersticks durch andere ersetzt und es ist dasselbe... Derselbe speicher funktioniert normal auf dem Supermicro H11-DSi motherboard... Ich muss prüfen, wie es sich mit nur 2 Speichersticks verhält...

Das Board scheint da etwas zurückzusetzen, eventuell mag er die Module nicht?

 

[_Dejan_]

@gmipf
Hallo, danke für Ihre Antwort. Ich habe zu Hause 12 Sticks dieses RAM vom vorherigen Server und würde sie gerne verwenden, anstatt Geld für neue auszugeben ... Ich brauche keine 128 GB ... Im Moment habe ich ptoxmox mit 64 GB RAM und die gesamte RAM-Nutzung beträgt 50 GB. Auf dem Host habe ich TrueNAS virtualisiert, dem 8 GB RAM zugewiesen sind, sodass ich auf einer Platine für TrueNAS nur einen 16-GB-Stick ausführen kann und es ok ist. Dann haben andere VMs und Hosts 48 GB RAM zur Verfügung und in den VM-Einstellungen sind insgesamt 32,5 GB RAM zugewiesen. Es gibt etwas Spielraum, um den zugewiesenen RAM zu verringern, aber wenn ich 2 Proxmox-Hosts mit 2 x 16 GB ausführen werde, kann ich sie aufteilen ... Im Moment lasse ich 2 x 16 GB Memtest einige Stunden lang ohne ECC-Fehler bei 2666 MHz laufen. Ich versuche es mit einer niedrigeren Geschwindigkeit im BIOS, aber das macht keinen Unterschied, es wird einfach die gewünschte Geschwindigkeit verwendet ...

 

[_Dejan_]

Ich teste mehrere RAM sticks in einer kombination aus 2 x 16 GB und memtest zeigt seit einigen stunden weder fehler noch ECC-Fehler an... Aber das board startet immer noch zufällig neu. Ich probiere TrueNAS Scale und Proxmox und bei beiden ist es dasselbe... Ich teste auf PVE 8.3.0 und 8.3.3 und bei beiden ist es dasselbe... Ich versuche, kerneloptionen:

pci=nommconf ahci.mobile_lpm_policy=0 pcie_port_pm=off pcie_aspm.policy=performance irqpoll

Und das hilft nicht. Kann ich etwas anderes versuchen? Ich werde es auf Win 11 versuchen, wenn es dasselbe ist... Ist das motherboard defekt?

EDIT: Ich teste gerade Windows 11 und iperf3 8 Stunden lang ohne probleme. PVE oder TrueNAS starten normalerweise nach 1-3 Stunden neu. Der unterschied auf den ersten blick ist, dass die CPU in Windows mit 3,89 GHz läuft und bei ca. 30 % liegt. In PVE oder TrueNAS läuft sie mit 1200 MHz... Morgen werde ich versuchen, Zenstates zu verwenden und C6 zu deaktivieren, wenn dies vielleicht das problem ist, dass das betriebssystem versucht, es in einen seltsamen speichermodus zu versetzen und dann die CPU abstürzt...

 

[bastian123f]

Ich habe mir auch so ein schönes Board geholt und das Bios auf das vom anderen geflasht. Was muss ich hier genau im Bios einstellen, so dass ich eine Grafikkarte über ein Adapterboard anschließen kann?
Ich habe dieses Adapterboard: https://www.ebay.de/itm/256758053263
Und dieses Kabel: https://www.ebay.de/itm/276653395511

 

[_Dejan_]

Noch eine frage zu adaptern … Mit der motherboard erhalte ich ein SlimSAS kabel mit der bezeichnung „25CFM-180820-A4R RSL38-0430 85 Ohm AX6 10/DEC/20“. Kann dieses kabel für einige PCIe x4 adapter verwendet werden?

 

[AndreasNSA]

Mach mal, dann gehe ich auch auf 128, 64 fühlt sich so.... "wenig" an

So, 128GB sind seit gestern verbaut. Wie schon anzunehmen, funktionieren auch diese nicht out of the box mit allen 4 Modulen, sondern werfen im Memtest ECC Errors. Auch gehen diese, wie schon bei einigen anderen Modulen hier im Thread erwähnt, nicht auf 1866MT/s herabzustellen, das Board startet stur wieder mit 2133.
Ich habe allerdings folgenden Werte aus diesem Post eingestellt und damit laufen Sie seit knapp 16h ohne Fehler im Memtest. Nächster Test wird mit jeweils einem Wert wieder auf AUTO sein um dann zu schauen ob wirklich alle Settings so nötig sind oder weniger auch schon reicht. Wenns allerdings so läuft bin ich zufrieden, und 128GB für 72€ sind schon ne Ansage (Versandkosten mal außen vor gelassen).

 

[cauliflowercrocodile]

Hallo zusammen, mein erster Post hier.

Ich habe das Board seit zwei Monaten im Einsatz und mittlerweile alle SATA-Ports belegt (4x onboard und 4x mit dem SFF-8654 4i). Auf dem m.2 Steckplatz ist eine m.2 NMVe SSD. Somit bleibt der 8i übrig und eine PCIe Lösung.

Funktioniert folgendes 8i-Kabel und PCIe-Adapter von Ali mit dem Board oder was verwendet ihr (gerne mit Link zum Anbieter)? https://de.aliexpress.com/item/1005005811987501.html
Anschliessend würde ich gerne eine der folgenden Karten verbauen, klappt das? https://www.amazon.co.uk/dp/B098QPJJFF oder https://www.ebay.co.uk/itm/305124908426

Danke und Grüsse

 

[xST4R]

Hallo zusammen, mein erster Post hier.

Ich habe das Board seit zwei Monaten im Einsatz und mittlerweile alle SATA-Ports belegt (4x onboard und 4x mit dem SFF-8654 4i). Auf dem m.2 Steckplatz ist eine m.2 NMVe SSD. Somit bleibt der 8i übrig und eine PCIe Lösung.

Funktioniert folgendes 8i-Kabel und PCIe-Adapter von Ali mit dem Board oder was verwendet ihr (gerne mit Link zum Anbieter)? https://de.aliexpress.com/item/1005005811987501.html
Anschliessend würde ich gerne eine der folgenden Karten verbauen, klappt das? https://www.amazon.co.uk/dp/B098QPJJFF oder https://www.ebay.co.uk/itm/305124908426

Danke und Grüsse

das sollte so funktionieren , für pcie zu sata benötigt man normalerweise kein bifurcation.

https://de.aliexpress.com/item/1005005811987501.html besitze ich selbst und hab damit auch schon eine gpu problemlos zum laufen gebracht und auch eine 10gbit netzwerkkarte

bei https://www.ebay.co.uk/itm/305124908426 bin ich mir nicht sicher (denker aber das es unwarscheinlich ist das diese karte funkioniert)