Gigabyte Mainboard MC12-LE0 AM4, IPMI, Dual Intel GB Lan ECC fähig

Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Hab ich auch, aber mich stört das mit den Metadaten. Wenn die mal im ARC sind, fluppt das alles richitg. Wenn sies nicht sind, dauerts teilweise ziemlich lange einen Ordnerinhalt zu zeigen.
Ich meide aber die special-vdev Sache wie der Teufel das Weihwasser.
Hab das eh im ZFS Thread schon angerissen, ohne aber wirklich zu einer Lösung gekommen zu sein.

Ich tendier ja dazu einfach aus Neugier eine SN700 1tb zu kaufen (die hat 2 PBW, reizt PCIe 3.0x4 gut aus [hab einen 5750G]), kostet mich mit Icy-Box PCIe Adapter knappe 100€ (drum gibts grad mal noch 10 Döner mit Cola).

Apps/VM hab ich auf einer Micron 7400 pro, welche ich aber so nicht mehr empfehlen würde. Braucht im idle (viel) zu viel Strom und wirklich schnell ist sie auch nicht (könnte aber auch an den sync-writes von kvm ohne slog-zil liegen).

Hast du ungefäre Eckdaten was die so nimmt? Benötige zwei NVMe mit PLP. Würde eher tippen das die aktuelle ZFS Version einfach noch nicht optimal auf NVMe ausgelegt ist. ZFS in seinen Wurzeln ist für riesige drehende Spindelpools ausglegt worden und geht erst langsam in die performate NVMe Richtung.
 
Falscher Thread, eigentlich. Ist mir zwar "egal", ich antworte dir natürlich gern. Wäre vllt. im ZFS Thread besser aufgehoben, aber andererseits, was soll am MC12LE0 laufen, außer ZFS? :d
Hast du ungefäre Eckdaten was die so nimmt?
Kommt halt drauf an, was du erreichen magst.
Benötige zwei NVMe mit PLP.
M.2 bekommst kaum was, U2 siehts deutlich besser aus.
Sowas, gibts aber billiger, vom Chinamann, PCIe 3.0 tuts ja hier.
Kingston DC1500 oder wie die heißen dürften nett sein. Würde ich probieren.

Leider sind mit dem SSD-Scam Q4 2023 die Preise verdoppelt, jetzt ist das alles bissl bitter. Darmals gabs Datacenter Ware (neu!) unter 100€/TB... richtig gute Ware!
Mit diesem Vorwissen kann ich gar nix empfehlen.

Ich würd nur die Finger von den Micron lassen, hab in vielen Foren gelesen, dass die total heiß laufen... gab die 4tb wohl mal um ca. 250€ zu kaufen (~Mitte '23), da haben ein paar Nerds zugeschlagen :d...
Nicht, dass sie jetzt irgendwie "schlecht" wäre... ist mein schnellstes Pferd im Stall (gegen 870 evo 4tb SATA und Z1 Pool aus 4x Ultrastar 20tb)... aber der Verbrauch ist idle halt schon erheblich (hab das schon 3x gepostet, auch im "was braucht euer PC idle" Thread, SuFu bitte), so 4-6W sinds wohl.
Beim guten Angebot oder wennst nen Epyc hast, wo der Verbrauch eh egal ist, kannst sowas schon kaufen.

Samsung PM9A3 wäre noch interessant, würde ich eigenltich testen.
Schreibrate ist halt meh (wobei, wenn die Angabe nicht "gelogen" ist gehts schon), Preis ist double-meh. Wenns die Firma zahlt, tät ichs testen. :d

Gibt dann noch bissl exotische (eher teure) Ware in U.2/U.3 oder SAS 12gb/s, die ggf. interessant sein könnte.


Die WD Red SN700 ist auch ganz interessant.
Ist zwar "nur" PCIe 3.0, hat dafür aber ganz brauchbare IOPS und R/W stats (ist wohl SLC Cached die Angabe?, viel (!) TBW und ist vom P/L her in Ordnung.
Hat kein PLP, aber ob man PLP braucht, ist so ne Sache. Ich dachte erst, ich brauch/will das. ZFS ist wohl resilient genug, dass es das eigentlich nicht nötig hat. Verliert man halt ein 100ms Writes. So what. "Bricken" sollte es das ZFS deshalb nicht. Wenn ich überleg, was FAT32 und NTFS bei mir in über 25 Jahren schon mitgemacht haben, und verhältnismäßig selten ernsthaft Probleme gemacht haben, ist das so ne Sache.


Was hast vor?
Magst nur ein "schnelles NAS Laufwerk"? => SN700
Magst ein SLOG für Zil? Tendentiell Optane, aber eine "große" (>100gb , diese 375gb U.2 wäre nicht verkehrt...)... WD_black (990pro etc) hat wohl recht wenig TBW, SN700 hat genug, ist etwas lahm und eigentlich "zu groß" (wobei je größer desto mehr TBW). Achtung, Hörensagen, hab nie selbst eines verwendet, ich kann nur meine langwierigen Rechercheergebnisse nennen.
Magst ein L2arc? Sollte wohl schnell lesen (IOPS und read stats) und brauchbar TBW haben, angeblich soll der RAM Bedarf für die Metadatenverwaltung des L2arc bei 128kb ZFS "Blocksize" (?) ca. 0,1% RAM pro L2arc (80byte pro Blcok waren das glaub ich).... ob diese Idee mit L2arc statt svdev wirklich eine gute / sinnvolle ist, ist ne andere Frage... da scheiden sich die Gesiter und ich habs noch ned probiert... bzw. hab für einen Test eine eigentlich zu geringe reale Auslastung.
Magst VMs drauf laufen lassen? Die sollen wohl per KVM synchron schreiben, also schneller SLOG sinnvoll, wenn ich das richtig lese... auch hier.. SN700 reicht wohl... PLP... was wichtiges auf den VMs?

PLP ist so ne Sache, wie gesagt, ich dachte, ich will das, aber rückblickend ist die Frage, ob das tatsächlich ausschlaggebend ist. Dieser Artikel https://www.thomas-krenn.com/de/wiki/SSD_Power_Loss_Protection ist wohl nicht so ganz richtig (bezügl. DRAM Cache der SSD), wobei er sicher auch nicht ganz falsch ist.
Insofern ist die Frage, ob man für PLP wirklich den Aufpreis zahlen mag. Wie gesagt, vor ner Zeit gabs günstiges PLP Zeug, momentan ist die Marktlage schlecht.

PS:
M.2 und PLP ist auch so eine Sache, M.2 ist halt so ein Consumer-Zeug das ausm Mobile-Sektor in den Desktop-Sektor geschwappt ist. Real total unpraktisch zu tauschen (fummeln, Schrauben, Komponenten ausbauen), Elektronik nicht berührungsgeschützt, allgemein ziemlich meh.
Die Nerds holen sich zwar auf M.2 am Mainboard einen runter, verstehen aber nicht, dass es eigentlich eine wertlose PCIe Verstümmelung ist (ein ganz billiger Adapter macht ne M.2 aus einem PCIe, anders rum wird das sehr schwer...)... aber so toll ist die M.2 Bauform realistisch nicht. Drum gibts die Enterprise-Ware wohl auch kaum in diesem Formfaktor.
PCIe / M.2 auf U.2/U.3 Adapter gibts zwar, billig und ganz problemlos (zumindest mit PCIe 4.0) ist das wohl auch nicht alles.

=> überleg dir halt, was du wirklich brauchst...
 
Mit Bitfuration sollte es doch auch Chancen auf PCIe 4.0 geben?
Wobei es auch eine explizite PCIe 4.0 Version zu geben scheint? Vielleicht kann jemand anhand der Bilder identifizieren ob jene Version noch Retimer hat oder sie eventuell sogar bis auf ein leicht anderes Layout identisch ist.
 
Oder so was hier mit 5 Gb/s. Keine Ahnung, ob das kompatibel ist.
Wenn das Teil kompatibel ist, dann baue ich es mir vielleicht in meinen Laptop, der ist nämlich wegen besserer Temperaturen an der Unterseite offen und wird nur stationär benutzt. Noch ist er mit einem 2.5 Gbit USB3-Adapter verbunden...
 
Das ist erst meine zweite Bestellung bei AliExpress und die Preise sind schon extrem niedrig.
Zu spät.
Das ist wie ein Zombie Biss.
Sobald es dich da mal hat ist's vorbei.
Wie recht du hast...
Deine erwähnte erwähnte Switch
wird aktuell mit Neukunderabatt für 12,85€ (statt auch günstigen 26,19€) angeboten...
Da konnte ich dem Experiment nicht widerstehen. Anderes Gerät (Notebook), anderer Internetzugang (Mobil), anderer frisch geleerter Browser, anderer neuer AliExpress-Account, andere Lieferadresse (Freunde) und andere Zahlungsmethode...
Kein Weg, den man so häufig mit geringem Aufwand wiederholen kann, um sich als Neukunde zu tarnen.

Dann werde ich wohl erst einmal doch nicht lernen wie man einen Direktlink zwischen TrueNAS und Client herstellt sondern einfach eine Switch nutzen :d

Ich hoffe sie verhält sich ähnlich wie der vermeintlich große Bruder (STH Beitrag).
STH hat auch eine ganz gute Übersicht über so manche getesteten Switch aus Übersee.
 
Wie recht du hast...
Deine erwähnte erwähnte Switch

wird aktuell mit Neukunderabatt für 12,85€ (statt auch günstigen 26,19€) angeboten...
Da konnte ich dem Experiment nicht widerstehen. Anderes Gerät (Notebook), anderer Internetzugang (Mobil), anderer frisch geleerter Browser, anderer neuer AliExpress-Account, andere Lieferadresse (Freunde) und andere Zahlungsmethode...
Kein Weg, den man so häufig mit geringem Aufwand wiederholen kann, um sich als Neukunde zu tarnen.

Dann werde ich wohl erst einmal doch nicht lernen wie man einen Direktlink zwischen TrueNAS und Client herstellt sondern einfach eine Switch nutzen :d

Ich hoffe sie verhält sich ähnlich wie der vermeintlich große Bruder (STH Beitrag).
STH hat auch eine ganz gute Übersicht über so manche getesteten Switch aus Übersee.



Direktlink ist einfach die Adresse manuell einzutragen wenn du kein DHCP Server auf den Truenas laufen hast.
 
aber andererseits, was soll am MC12LE0 laufen, außer ZFS? :d
QFT. Sonst könnte man auch was schwächeres verbauen^^

M.2 bekommst kaum was, U2 siehts deutlich besser aus.
Gibts eigentlich so nen Adapter Thread wo sich jemand die Mühe gemacht hat die bekanntesten Aufzulisten und leute Ihre erfahrungen dazu Teilen?
Weiss davon gerade Jemand?
Weil sowohl hier, als auch im MJ11 Thread werden alle par Seiten wieder ein par Adapter Karten gepostet. M2-> Netzwerk, M2-> Sata, PCI-E Bifurication karten usw.
Eigentlich wäre das Board mit PCI-E 3.0x1 M2 Slot auf 2.5/5/10 (aka 8 gbits) und 2x PCI-E 4.0x2 NVME SSD's im 4x PCI-E Slot wesentlich besser....

der ist nämlich wegen besserer Temperaturen an der Unterseite offen und wird nur stationär benutzt
Für einen Moment hast du mich ganz schön verwirrt xD Dachte schon was für einen 3cm dicken Gaming Laptop du haben musst damit das reinpasst.

Dann werde ich wohl erst einmal doch nicht lernen wie man einen Direktlink zwischen TrueNAS und Client herstellt sondern einfach eine Switch nutzen :d
Kannst du doch einrichten bis der Switch aus China ankommt xD
Hab ich auch so gemacht.
Ist nur leicht mühsam mit den Apps/VM's die dann nicht mehr so leicht erreichbar sind. Aber für SMB ist's cool.
 
Gibts eigentlich so nen Adapter Thread wo sich jemand die Mühe gemacht hat die bekanntesten Aufzulisten und leute Ihre erfahrungen dazu Teilen?
Ne, aber mach einen, wäre sinnvoll.
Es wäre z.B. auch sinnvoll per 3d Druck eine sinnvolle Adapterslotblende zu entwickeln für diesen x8x4x4 PCIe M.2 Combo Bifurication Adapter... dran würd ich mich auch beteiligen.

Ich drück mich auch davor nen eigenen TrueNAS Scale Thread aufzumachen.
 
und kein PCI-E 4.0 oder doch?
Zen3 APUs koennen ohnehin kein PCIe 4.0. (Hab die ASRock-Bifurcation-Karte in meinem Produktivsystem mit einem 5650G PRO, funktioniert auch dort problemlos fuer ein NVMe-Software-RAID1 unter Debian.)



In Sachen OpenBMC hab ich heute Abend etwas weitergebastelt und von einem Bugfix im bmcweb-Upstream-Projekt profitiert. Momentanter Status:

Screenshot_20240620_202507.png

:banana:

Sobald ich die IPMI Power Control gefixt habe, pushe ich mal meine Branch in meinen Fork auf Github.
 
Zuletzt bearbeitet:
Sooo, heute zum ersten Mal bei dieser Bastelei unangenehm zwischen die Beine bekommen :fresse2: Ich bin gerade am Reverse-"Engineeren" der GPIO PINs des BMC, und dabei hab ich es irgendwie geschafft, den Host zu bricken. Konnte ihn nicht mehr mit meiner etablierten Methode zum Booten bewegen, ganz egal, welchen Eiertanz ich mit dem OpenBMC-Build rund um die GPIOs aufgefuehrt habe. Reboot - half nix. Power Cut - half nix. Factory Reset (nun also getestet und fuer funktionierend befunden btw :d) - half nix. rwfs haendisch entleert und OpenBMC neu geflasht - half nix.

Also hab ich in der Not und Verzweiflung umgesetzt, was ich ohnehin schon lange vor hatte: Den Weg zurueck von OpenBMC zum Stock Image. Das war, dank der schon geleisteten Vorarbeit auf dem umgekehrten Weg, eine Sache von nur wenigen Minuten Hackerei ueber UART, und schon hab ich die 126035er-Release (die ich ausdruecklich NICHT fuer den Produkteinsatz empfehlen kann :whistle:) der Gigabyte-/AMI-Firmware auf dem AST2500 gebootet. Und der Host wollte so auch wieder starten, yippie!! :)

Jetzt hab ich die Gelegenheit gleich genutzt, um wieder von Stock auf OpenBMC zu konvertieren. Laeuft auch wieder - und den Host kann ich damit auch wie gehabt wieder booten :angel:

Unterm Strich also netto rausgekommen an diesem Nachmittag: Einige GPIO-Pin-Funktionen (Power button press => 24, Reset button press => 26, ID Button press => 134, HD LED Event(???) => 111, ID LED Toggle => 49), und der Revert zur Stock-FW ("there and back again" :)) ist auch im Sack. Koennte schlimmer gekommen sein - mal schauen, was das Wochenende noch bringen mag! ;)
 
Hatte hier schon wer das Problem, dass nach dem BMC Update der Login nicht mehr funktioniert? Bekomme die Anmeldung, nach Eingabe von User und Passwort duddelt mein "Processing..." sich aber ins unendliche...

Hatte schon Strom weg, Batterie raus...hat bisher alles nichts gebracht.
 
Mit Bitfuration sollte es doch auch Chancen auf PCIe 4.0 geben?
Ich habe die Karten :rolleyes2: inzwischen da. Da ist kein Retimer drauf (zumindest nicht für die PCIe Lanes).
PCIe 4.0 funktioniert trozdem. Für mich erstaunlich/neu, dass sogar Mischbestückung PCIe 3.0/4.0 funktioniert.
Die jeweiligen SSDs werden korrekt erkannt und mit der korrekten Geschwindigkeit angesprochen.
Einstellung im BIOS natürlich 4x4x4x4x

Falls es jemanden interessieren sollte: Diese ICs sind auf meinen Karten verbaut:

 
Hätte mich auch gewundert, teilt ja nur die Lanes auf, mehr macht die Karte nicht.
 
Hatte hier schon wer das Problem, dass nach dem BMC Update der Login nicht mehr funktioniert? Bekomme die Anmeldung, nach Eingabe von User und Passwort duddelt mein "Processing..." sich aber ins unendliche...

Hatte schon Strom weg, Batterie raus...hat bisher alles nichts gebracht.
Es wuerde mich nicht ganz wundern, wenn das statt am BMC eher am Browser/UA liegt, mit dem du den Zugriff versuchst. Hast du mal probiert, den Login in einem Private Browsing Window zu schaffen?

Falls das so auch nicht klappt wirf waehrend des Logins mal einen Blick auf das "Network"-Tab der Developer Tools (in Firefox gebunden auf F12) - die Requests und Responses, die da hin und her gehen, sollten Auskunft ueber die Natur deines Problems geben koennen.
Beitrag automatisch zusammengeführt:

Kann jemand hier mal für die Allgemeinheit ein hochauflösendes scharfes Foto (> 2000x2000) vom MC12-LE0 in Vogelperspektive hochladen, dann kann man sicher wesentlich besser den BMC flashchip ermitteln. Im Internet ist das größte was ich gefunden hab etwas mit 1600x900 oder so. Völlig unbrauchbar für den Zweck.
[...]
Ich hab heute beim Kramen etwas Chinaelektronik wiedergefunden, mit der ich vor einigen Jahren mal (leider erfolglos) meiner Frau beim computergestuetzten Beobachten von C. elegans helfen wollte - rausgekommen ist diese Sammlung von Detailaufnahmen hier: https://johannes.truschnigg.info/galleries/pcb_shots_mc12-le0/ - vielleicht kann ja mal jemand was fuer ihn Relevantes darauf ablesen :) (Ich muss mich erst ans systematische Auswerten der Beschriftungen machen, weil ich glaube, dass das fuer die IPMI-I2C-Sensor-Thematik relevant werden wird.)
 
Zuletzt bearbeitet:
Hatte hier schon wer das Problem, dass nach dem BMC Update der Login nicht mehr funktioniert?

Ich beim zweiten oder dritten Board:

Danke nochmal für den Hinweis.
Ich konnte mich nach einem BMC Update tatsächlich auch nicht mehr einloggen. Mit dem Trick konnte ich das Passwort jetzt wieder zurücksetzen
How to reset BMC / MegaRAC SP-X / IPMI passwords / login details on Gigabyte Motherboards
 
Wenn man proxmox mit dem Board betreibt. Die web gui wird wahrscheinlich mit einem der Ethernet Controller verknüpft oder ? Über den Port wo das BMC erreichbar ist komme ich noch nicht auf die proxmox gui
 
Wenn man proxmox mit dem Board betreibt. Die web gui wird wahrscheinlich mit einem der Ethernet Controller verknüpft oder ? Über den Port wo das BMC erreichbar ist komme ich noch nicht auf die proxmox gui
Genau, Proxmox wird wird eine der Intel-Nics nehmen und dann auf Port 8006 (default) das WebGUI bereitstellen.
BMC wird eine andere IP haben.
 
Doofe Frage, packt das Board auch ordentliche Grafikkarten?
Z.B eine RTX 4090 oder eine Nvidia A100 etc.?

Also "Above 4G Decoding" im BIOS usw. ist vorhanden?
 
Im x16 Slot bestimmt. Wüsste nicht was dagegen spricht, ausser mechanische Einschränkungen bei so breiten Grafikkarten.
Ein zu hoher Kühler auf der NVMe im m.2 Slot hat bei mir schon eine P5000 blockiert.
 
Momentan gibt es das Board ja wieder für günstige 44€ (ohne Lüfter).
Habt ihr Tipps wo man günstig an ECC Module kommt (gerne auch gebraucht). Ansonsten muss ich wohl in den sauren Apfel beißen und neue kaufen.
 
Ich habe aktuell eine Nvidia P40 drin, zwar älter ab passt auf das Board.

Ein paar Seiten vorher würde das Thema auch besprochen. Zwei Sata-Anschlüsse sind dann verdeckt und halt wie vorher schon gesagt der m2 Slot verdeckt, aber ne normale m2 passt weiterhin rein.
 
Wenn man proxmox mit dem Board betreibt. Die web gui wird wahrscheinlich mit einem der Ethernet Controller verknüpft oder ? Über den Port wo das BMC erreichbar ist komme ich noch nicht auf die proxmox gui
Ja

Einer der ports fuer BMC eklusiv - die anderen beiden Ports fuer alels andere
Genau, Proxmox wird wird eine der Intel-Nics nehmen und dann auf Port 8006 (default) das WebGUI bereitstellen.
BMC wird eine andere IP haben.

Es kommt darauf wie das IPMI konfiguriert ist. Ist der NIC im IPMI auf "shared" konfiguriert ist es möglich, dass PVE den IPMI Port verwendet.
Im Regelfall präferiert PVE die auf dem Mainboard befindlichen Ports nach numerischer Reihenfolge. Erst dann werden Add-In PCIe Karten betrachtet.
Ob PVE auf dem Mainboard befindliche Ports nach Geschwindigkeit unterscheidet kann ich leider nicht sagen.
Beitrag automatisch zusammengeführt:

Ich habe aktuell eine Nvidia P40 drin, zwar älter ab passt auf das Board.

Ein paar Seiten vorher würde das Thema auch besprochen. Zwei Sata-Anschlüsse sind dann verdeckt und halt wie vorher schon gesagt der m2 Slot verdeckt, aber ne normale m2 passt weiterhin rein.

OFFTOPIC:
Fall jemand noch eine P40 kaufen möchte, gerne per PM anfragen. :P
 
Es kommt darauf wie das IPMI konfiguriert ist. Ist der NIC im IPMI auf "shared" konfiguriert ist es möglich, dass PVE den IPMI Port verwendet.
Im Regelfall präferiert PVE die auf dem Mainboard befindlichen Ports nach numerischer Reihenfolge. Erst dann werden Add-In PCIe Karten betrachtet.
Ob PVE auf dem Mainboard befindliche Ports nach Geschwindigkeit unterscheidet kann ich leider nicht sagen.
Beitrag automatisch zusammengeführt:



OFFTOPIC:
Fall jemand noch eine P40 kaufen möchte, gerne per PM anfragen. :P

Was ist letzte Preis? 😁
 
Zuletzt bearbeitet:
Ich habe mich jetzt für den hier (Intel 226-V) mit 2.5GbE für den normal Size PCIe entschieden. [...] Als Choice/Bundle Artikel 8,99 € [...].
Das ganze sieht für meine Augen neben einem überraschend leeren PCB aber erstmal unverdächtig aus. Der Chip ist mit Intel S2363L54 SRKTU beschriftet.
Was mich irritiert der riesige Kühlkörper für so einen kleinen Chip. Anderseits ist der "Kühlkörper" auch mehr eine Aluminiumplatte mit kaum vorhandenen Kühlfinnen. Vielleicht muss das so. Mal sehen wann ich dann zum Umbau/Test komme.

Falls jemand das "WISE" beschriftete Bauteil zuordnen kann, wäre ich sehr interessiert (Neugierde):
1719320231846.png
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh