[Sammelthread] Gigabyte MC12-LE0 (AM4, B550, servertauglich: IPMI, Dual Lan, ECC)

Vorvorwort:
Danke an @pumuckel für das ursprüngliche Erstellen des Threads. Ich habe mich bereit erklärt den Thread zur Pflege zu übernehmen und um neue Inhalte zu ergänzen. Der ursprüngliche starter bleibt vorerst als Spoiler im letzten Abschnitt angehängt, damit keine Inhalte verloren gehen.

Vorwort:
Erstmalig in Erscheinung ist das Gigabyte MC12-LE0 kurz vor Weihnachten 2023 auf mydealz getreten. Mit einem Preis von 50€ Neuware war (ist) es ein no-brainer um noch einen günstigen Server auf AM4-Basis zusammen zu stellen. Aktuell (21.10.2024) liegt der Preis bei ~60€, wobei es in der Vergangenheit zwischen 80 und 30 € für Neuware geschwankt hat. Ähnliche Boards (AsRock Rack) und auch der Nachfolger MC13 liegen meist bei >300 €.

Von Gigabyte ist es als mATX Enterprise-Workstation-Motherboard eingestuft und eignet sich insbesondere wegen IPMI/BMC auch für den Servereinbau.

Eine nett gemeinter Hinweis vorweg: Wenn du neu bist wärst du nicht der erste, welcher mit dem Updateprozess (BMC & BIOS) und der Hardwareauswahl (Kompatibilität) Probleme hättest. Lies gerne den Starter, bevor du mit Planung und Umsetzung startest.

Viele Dinge werden auch im Thread diskutiert, es ist jedoch mein Bestreben die wichtigsten Dinge im Starter als zentrales Nachschlagewerk zu sammeln und würde dich bitten zunächst einmal dort nach deinem Problem zu suchen oder auch die Suchfunktion des Threads nach ähnlichen Beiträgen zu nutzen. Ich bin über jeden Hinweis zu fehlenden Inhalten im Starter dankbar und ergänze dieser gerne.

---

Inhaltsverzeichnis​

1. Das Angebot
2. Technische Daten
3. Prozessor Support
4. Anleitungen & Guides
   1. BIOS und BMC Update
   2. Reset BMC Passwort
5. Bekannte Probleme
6. FAQs
7. Verbrauchswerte
8. Linksammlung
9. Vorheriger Starter

---

1. Das Angebot Nach oben​

Das Board ist alleine oder oft für wenige Euro mehr mit einem kleinen Gelid Kühler erhältlich. Erster Händler, welcher es zu einem sehr günstigen Preis angeboten hat war piospartslab über ebay bzw. den eigenen Onlineshop. In beiden Fällen konnte man in Kombination mit Gutscheincodes nochmals günstigere Preise erreichen. Die meiste Zeit ist/war dieser Händler auf einem der Verkaufswege am günstigsten und ist nicht bei geizhals gelistet.
Wenn einem das Board zusagt, jedoch weniger Leistung braucht oder noch weniger ausgeben möchte und bastelwillig ist kann ein Blick auf das Nachbarboard mit SoC quadcore Epyc MJ11-EC1 lohnen.

		(ehemals Bestpreise, aktuell am teuersten)	(ehemals Bestpreise, aktuell am teuersten)
Nur Mainboard MC12-LE0	geizhals	ebay Piospartslap	Piospartslap
Mit Gelid Kühler	RAM-König	eBay Piospartslap	Piospartslap

In der Vergangeheit gab es sowohl bei eBay als auch Piospartslab immer mal wieder Rabattgutscheine. Die Zeit scheint vorbei.

Erste Erwähnung im Luxx:

Gigabyte Mainboard MC12-LE0 Re1.0 AMD B550 AM4 Ryzen 5000 4000 3000 Server Board (NEU) Projekte 2xLAN 1x management port | mydealz

www.mydealz.de

---

2. Technische DatenNach oben​

• mATX B550 AM4 Board für 3000-5000 AMD Ryzen (Achtung: keine 3000er Zen+ Picasso!)
• bis zu 128 GB unbuffered (UDIMM) ECC oder non ECC (DDR4 2133-3200) (Achtung: KEIN registred/RDMM und KEIN LRDIMM!)
• 2 x 1GbE LAN ports (Intel® I210-AT)
• 1 x 10/100/1000 dedizierter management LAN port
• Integrated in Aspeed® AST2500
  • "mini" onboard GPU zur Administation
  • 2D Video Graphic Adapter with PCIe bus interface
    1920x1200@60Hz 32bpp
• Erweiterungsslots
  • 1 x PCIe 4.0 x16 (Gen4 x16 bus)slot from CPU
    • CPUs: Bitfuraction 8/8, 8/4/4 und 4/4/4/4 möglich
    • APUs: Bitfuraction nur 8/8 und 8/4/4 bzw 4/4/8 möglich
  • 1 x PCIe 4.0 x4 (Gen4 x4 bus)slot from CPU
    • (im Gegensatz zu anderen Boards direkt von der CPU = weniger Latenz und Probleme) ... die meisten Boards nutzen die Anbindung für die NVMe [@pumucke]
  • M.2 slot (über Chipsatz angebunden):
    • M-key
    • PCIe 3.0 x1 (max brutto 0,97 GByte/s)
• Aspeed® AST2500 management controller
  GIGABYTE Management Console (AMI MegaRAC SP-X) web interface
  
  Spoiler: Features (unvollständig getestet)

  • Dashboard
  • HTML5 KVM
  • Sensor Monitor (Voltage, RPM, Temperature, CPU Status …etc.)
  • Sensor Reading History Data
  • FRU Information
  • SEL Log in Linear Storage / Circular Storage Policy
  • Hardware Inventory
  • Fan Profile
  • System Firewall
  • Power Consumption
  • Power Control
  • LDAP / AD / RADIUS Support
  • Backup & Restore Configuration
  • Remote BIOS/BMC/CPLD Update
  • Event Log Filter
  • User Management
  • Media Redirection Settings
  • PAM Order Settings
  • SSL Settings
  • SMTP Settings
• nur bedingt für normale Desktop Systeme zu empfehlen
  • sehr wenig I/O-Ports (2x USB 3.1)
  • VGA nur für onboard Grafik, keine Bildausgabe einer APU
  • kein onboard Sound

---

3. Prozessor SupportNach oben​

• [Herstellerseite] Download: QVL Liste (mehr aber nicht alle CPUs aus der Tabelle unten)
• Bei den 3000er Picasso APUs könnte man wegen der Namensgebung vermuten, dass sie laufen. Tun sie aber nicht (Zen+)

ACHTUNG: Die Tabelle vertauscht immer wieder die Spalten APU und ECC! Ich arbeite an der Fehlersuche.

CPU	Passmark multicore	Passmark singlecore	Support?	APU	ECC (+/Nein)	iGPU
Intel N100	5504	1943	Nein
i5-8500	9581	2452	Nein
3100	11598	2420	QVL	-	+
4650G Pro	16166	2653	QVL	APU	+	+
3600	17748	2567	QVL	-	+
3600x	18919	2652	QVL	-	+
i5-12400	19363	3519	Nein
E5-2690v4	19470	2074	Nein
5500 (kein ECC)	19398	3058	APU	APU	Nein	N
5600G (kein ECC)	19874	3190	APU	APU	Nein	+
5650G Pro	20771	3252	y	APU	+	+
5600	21576	3258	y	-	+
5600x	21888	3361	QVL	-	+
3700x	22542	2660	QVL	-	+
5700 (kein ECC)	24268	3250	?	APU	Nein	N
5700x	26658	3382	y	-	+
5800X3D	28304	3233	siehe #2.893 @JVN	-
i5-13500	31854	3884	Nein
3900x	32620	2706	y	-	+
5950x	45599	3468	QVL, *Kühlung beachten	-	+

Grafischer Vergleich (danke @Haldi):

*Beim 5950X und teilweise auch anderen "großem" CPUs mit vielen Kernen wurde von Instabilitäten berichtet, da die Spannungsversorgung wohl realativ knapp bemessen ist. Unterschiedliche Nutzer haben die CPU mit unterschiedlichen Methoden stabil bekommen:

• Wasserkühlung
• Top-Blower (Thermalright baut große, leise)
• Undervolting
• Begrenzung der Leistungsaufnahme (PBO?)
• hoher Airflow im Gehäuse
• die Spannungswandler sind beim silbernen Kühlkörper links unter dem CPU Sockel (stimmt das?)

---

4. Anleitungen / GuideNach oben​

4.1 UpdatesNach oben​

Treiber, BIOS/UEFI und Firmware Updates gibt es auf der Herstellerseite.
Es gibt zwei Möglichkeiten das BIOS und die BMC Firmware zu upgraden: per UEFI oder BMC. Ich habe nur letzteres verwendet, andere finden das Update per UEFI einfacher.

per BMC:

• eine unterstütze CPU einsetzen (bei mir ging es auch mit einem 5650G, welcher nicht auf der QVL steht)
• einen Ramstick in Slot A1
• Managment Lan mit Router verbinden
• Board Starten (es muss laufen für den Update Prozess)
• IP des Managment Interfaces Herausfinden (z. B. über ein fritzbox Menü)
• mit der IP mit einem anderen Recher im gleichen Netzwerk verbinden
• die Zugangsdaten stehen auf dem Karton und auf dem x16 PCIe Slot
• die Flashvorgänge können bis zu 15 Minuten dauern, in der Zeit auf keinen Fall vom Strom trennen!
• bei mir war nach erfolgreichem BIOS Update ein komplett stromlos machen des Boards für mehrere Minuten erforderlich
• wenn man nur eine CPU hat, welche erst ab einerhöheren BIOS-Version unterstützt wird wäre meine Präferenz zuerst das BIOS zu updaten (wegen möglichem "BMC Passwort Brick")
• BIOS Update
  • image.RBU Datei in Mode:Bios flashen
  • Bilder: [externe Seite] BIOS Update Gigabyte Server
• BMC Update
  • rom.ima_enc in Mode:BMC flashen
  • Bilder: [externe Seite] IPMI Update Gigabyte Server

per UEFI (von @pumuckel):

• eine CPU die auf der QVL ist einsetzen (aber die meisten 3er und 5er non -APUs klappen)
• einen Ramstick in Slot A1 (hier sind 2133er wohl problemfreier als 3200er)
• Tast/Maus/mon anschließen
• System starten und abwarten (erster Start dauert etwas)
• Achtung: der Browser sollte keinen Popup/script Schutz haben (notfalls einfach kurz ausmachen)
• dann entweder per BMC oder per UEFI den BMC updaten (kann locker > 15 Min dauern, achtet auf die grüne "Heartbeat LED") - Full Flash
• dann (wenn nötig) kurz restarten
• dann das Bios entweder per BMC oder per UEFI updaten
• dann runterfahren
• Power trennen vom Board für 1-2 Minuten (aka das Netzteil abziehen)
• nach 1-2 Minuten wieder anstecken und Spass haben

4.2 Reset BMC PasswortNach oben​

Bei mir konnte ich mich bei einem von drei Boards nach einem BMC Update nicht mehr einloggen. Andere berichten von ähnlichen vorfällen. Ein Rücksetzen des BMC-Passwortes brachte abhilfe.

Ich habe gerade keine Zeit einen ganzen Guide zu machen, aber dir PDF dort sollte helfen:

BMC Unique Pre-Programmed Password Implementation Announcement | Security & Technical Advisory - GIGABYTE U.K.

Dear Valued Customers & Partners,Beginning in March 2020, GIGABYTE will begin implementing a new security feature for the BMC firmware stack on all our ...

www.gigabyte.com

to-DO:

• Anbindung vom M2, sinnvollste Nutzung der PCIe
• iGPU

  • Also auch mit F18 gehts mit VirGL, musst UMA_specified einstellen.

  • mir hat für erfolgreiches Passthrough folgender Link geholfen:
    

    

    GitHub - isc30/ryzen-7000-series-proxmox: Get the Ryzen 7000 series processors with AMD Radeon 680M/780M integrated graphics or RDNA2/RDNA3 GPUs running with Proxmox, GPU passthrough and UEFI included.

    Get the Ryzen 7000 series processors with AMD Radeon 680M/780M integrated graphics or RDNA2/RDNA3 GPUs running with Proxmox, GPU passthrough and UEFI included. - isc30/ryzen-7000-series-proxmox

    github.com

    Habe einen 5650G mit Bios Version F15 im Einsatz.

  • Ich habe mal testweise meinen Jellyfin Server runtergefahren und getestet, ob nach dem Hochfahren das transcoding noch funktioniert. Das war gar kein Problem, hat alles geklappt.
    Danach habe ich die iGPU an eine Windows 10 VM durchgereicht und war nicht in der Lage, einen Treiber zu installieren.

---

5. Problembehandlung Nach oben​

• Reset BMC-PW
• 5950X Abstürze

---

6. FAQsNach oben​

• Lüfterprofil
• Stromverbrauch zu hoch (im BIOS gemessen, Systeamatisches Abklemmen von Komponenten, Minimalkonfiguration, 30W Thread)
• KVM-Konsole öffnen
• Web-BIOS aufrufen

---

7. VerbrauchswerteNach oben​

• 5600x Idle: 22W
• 5650G Idle: 16W
• die Liste soll später ergänzt werden, evtl. auch als Tabelle oder Online Sheet

Low Power Fetischisten könnten im folgenden Link Inspiration suchen. Wie man an den beiden Messwerten erkennen kann ist das MC12 bisher eher durch einen erhöhten Verbrauch (wegen dem BMC und u. A. den chiplet CPUs) aufgefallen.

[Sammelthread] - Die sparsamsten Systeme (<30W Idle)

++ Update ++ Die Liste ist jetzt als Google online Tabelle verfügbar (vielen Dank dafür an -DDD-) und wird nur noch dort weitergepflegt http://goo.gl/z8nt3A Es wurde ja schon öfter vorgeschlagen, mal in einem Thread nur die Mess-Ergebnisse der sparsamsten Systeme zu posten und da sich Niemand...

www.hardwareluxx.de

---

8. LinksammlungNach oben​

• [Herstellerseite] MC12-LE0 Rev. 1.x
• [Herstellerseite] Download: Datenblatt beim Hersteller
• [Herstellerseite] Download: QVL Liste
• [geizhals] Preisvergleich und Daten
• [externe Seite] IPMI Update Gigabyte Server
• [externe Seite] BIOS Update Gigabyte Server
• Forum: servethehome (STH)
• Forum: level1techs (L1T)

---

9. Früherer StartbeitragNach oben​

Danke an @pumuckel für das ursprüngliche Erstellen des Threads. Ich habe mich bereit erklärt den Thread zur Pflege zu übernehmen und um neue Inhalte zu ergänzen. Der ursprüngliche Starter bleibt hier vorerst (oder auch für immer) angehängt, damit keine Inhalte verloren gehen.

Spoiler: Alter Starter

------------- Vorwort, Credits und Angebote

Vorwort:


Wer mir ein vergleichbares NEUWARE Mainboard zu dem Preis mit den Features nennen kann, der darf dies gern tun.... bisher fand ich keines unter 200-400€
hingewiesen darauf hat @sch4kal zuerst im Marktplatz Link Thread

Vergleichbare MBs (ab 390€ mit PCIe 4.0):

Mainboards AMD Sockel AM4 mit Formfaktor: µATX, Besonderheiten: IPMI Preisvergleich Geizhals Deutschland

Preisvergleich und Bewertungen für Mainboards AMD Sockel AM4 mit Formfaktor: µATX, Besonderheiten: IPMI

geizhals.de

Unterstützte CPUs: AMD 3000er und 5000er (und mit F15 wohl auch APUs mit intern - aka für VMs nutzbarer aber nicht extern - nutzbarer IGP)

Bestpreise lagen um die 35€ für das Board (ultra low war mal 27€ bei 4 Stück inkl kühler)


mit low profile Kühler:

Gigabyte Mainboard MC12-LE0 AMD B550 AM4 Ryzen 5000 Server Board+Kühler NEU /NEW | eBay

Gigabyte Mainboard MC12-LE0 Re1.0 AMD B550 AM4 Ryzen 5000 4000 3000 Server Board NEU / NEW + Kühler. für AMD Ryzen 5000 Series / 4000 Series / 3000 Series. Gigabyte Mainboard MC12-LE0 Re1.0 AMD B550 AM4 Ryzen 5000 4000 Server Board NEU.

www.ebay.de

ohne low profile Kühler

Gigabyte Mainboard MC12-LE0 Re1.0 AMD B550 AM4 Ryzen 5000 4000 Server Board NEU | eBay

Für AMD Ryzen 5000 Series / 4000 Series / 3000 Series. P/N: MC12-LE0 Rev. 1. 1 x Mainboard MC12-LE0 NEU / NEW. AMD Socket AM4. 1x Blende wie auf dem Foto. Technical data / Technische Daten. Drucker & Zubehör.

www.ebay.de

(hier die Gutscheine beachten!)



im Webshop von Pio (Ergänzung auf Userwunsch):

Gigabyte Mainboard MC12-LE0 Re1.0 AMD B550 AM4 Ryzen 5000 4000 3000 Server Board NEU / NEW - Piospartslap

GIGABYTE Mainboard für AMD Ryzen 5000 Series / 4000 Series / 3000 Series P/N: MC12-LE0 Rev 1 x microATX (W244 x D244 mm) NEW / NEU Tec

www.piospartslap.de

(hier die Widerrufsbelehrung beachten!)





------------- Zur Hardware

Gigabyte Mainboard MC12-LE0​

MC12-LE0 (rev. 1.x) | Workstation Motherboard - GIGABYTE Germany

Single AMD Ryzen™ 5000/4000/3000 Series ProcessorsDual Channel UDIMM DDR4, 4 DIMMs2 x 1Gb/s LAN ports via Intel® I210-AT6 x SATA 6Gb/s ports1 x M.2 slot wit...

www.gigabyte.com

mAtx B550 Am4 Board für 3000-5000er AMD CPUs
bis zu 128GB unbuffered ECC oder non ECC (DDR4 2133-3200) (ACHTUNG: KEIN REGISTERED ECC sondern unbuffered ECC)

2 x 1GbE LAN ports (Intel® I210-AT)
1 x 10/100/1000 management LAN

Integrated in Aspeed® AST2500
2D Video Graphic Adapter with PCIe bus interface
1920x1200@60Hz 32bpp


Expansion Slots

1 x PCIe x16 (Gen4 x16 bus) slot from CPU (Bifurcation 4/4/4/4 fähig mit NON -APUs)

Kommentar: setzt hier also normale CPUs ein . der 5600 (non x) ist imho hier ein sweetspot oder auch ein gebrauchter 3600x/3700x/3900x ...
generell würde ich bei 65W CPUs bleiben oder entsprechend die CPU limitieren (cTPU)
APUs können keine 4/4/4/4 bifurcation

1 x PCIe x4 (Gen4 x4 bus) slot from CPU (im Gegensatz zu anderen Boards direkt von der CPU = weniger Latenz und Probleme)
... die meisten Boards nutzen die Anbindung für die NVMe


1 x M.2 slot (über Chipsatz angebunden): (imho gut für ne kleine 128/256GB M2 SSD fürs OS - sowas bekommt ja nachgeworfen aus EDU stores und viele davon haben oft eh nur 2x PCIe 3.0)
- M-key
- PCIe Gen3 x1 (max brutto 0,97 GByte/s)
- Supports NGFF-2242/2280 cards




Board Management

Aspeed® AST2500 management controller
GIGABYTE Management Console (AMI MegaRAC SP-X) web interface

• Dashboard
• HTML5 KVM
• Sensor Monitor (Voltage, RPM, Temperature, CPU Status …etc.)
• Sensor Reading History Data
• FRU Information
• SEL Log in Linear Storage / Circular Storage Policy
• Hardware Inventory
• Fan Profile
• System Firewall
• Power Consumption
• Power Control
• LDAP / AD / RADIUS Support
• Backup & Restore Configuration
• Remote BIOS/BMC/CPLD Update
• Event Log Filter
• User Management
• Media Redirection Settings
• PAM Order Settings
• SSL Settings
• SMTP Settings

------------- Kühlerempfehlung

Top Blow der die Spawas links unter dem CPU Sockel abdeckt (Thermalright baut nette)
.. damit ist der silberne Kühlkörper links unter dem CPU Sockel gemeint

------------- Bios, BMC Firmware, Treiber

offizielle:

BMC: 12.61.21
Bios: F15


hier: https://www.gigabyte.com/de/Enterprise/Server-Motherboard/MC12-LE0-rev-1x#Support



die einfachste Weise das Board auf den aktuellen Stand zu bringen:

eine CPU die auf der QVL ist einsetzen (aber die meisten 3er und 5er non -APUs klappen)
einen Ramstick in Slot A1 (hier sind 2133er wohl problemfreier als 3200er)
Tast/Maus/mon anschließen
System starten und abwarten (erster Start dauert etwas)

Achtung: der Browser sollte keinen Popup/script Schutz haben (notfalls einfach kurz ausmachen)

dann entweder per BMC oder per UEFI den BMC updaten (kann locker > 15 Min dauern, achtet auf die grüne "Heartbeat LED") - Full Flash
dann (wenn nötig) kurz restarten
dann das Bios entweder per BMC oder per UEFI updaten
dann runterfahren
Power trennen vom Board für 1-2 Minuten (aka das Netzteil abziehen)
nach 1-2 Minuten wieder anstecken und Spass haben


es geht auch komplett per BMC aber für viele ist das schwieriger als es rein mit CPU und Ram gleich zu machen
ich z.B. hab grad 2 Boards von F06 (Auslieferungszustand) direkt auf aktuelle BMC und BIOS F15 per BMC (mit CPU/Ram eingesetzt) ohne Probleme geupdated (21-9-2024)


------------- Reset des BMC Passwort

BMC Unique Pre-Programmed Password Implementation Announcement | Security & Technical Advisory - GIGABYTE U.K.

Dear Valued Customers & Partners,Beginning in March 2020, GIGABYTE will begin implementing a new security feature for the BMC firmware stack on all our ...

www.gigabyte.com

... hier das PDF beachten


------------- Q&A


Passmark Scores ausgewählter CPUs zum Vergleich :

i5-8500: 9581 (6 Core S1151)
3600: 17776 (Zen2)
3600x: 18227 (Zen2)
i5-12400: 19557
E5-2690v4 : 19619 (S2011-3)
5600: 21592 <------ P/L
5600x: 21926
3700x: 22598 (Zen2)
5700x: 26738
i5-13500: 32250
3900x: 32678 (Zen2)
5950x: 45633 (hier muss aber wohl manuell die Spannung begrenzt werden (glaube unter 1,4V)) - aber gute Performance/W/€


------------- Links zu anderen Forendiskussionen


STH: https://forums.servethehome.com/ind...oard-mc12-le0-re1-0-amd-b550-am4-ryzen.42579/
L1T: https://forum.level1techs.com/t/gigabyte-mc12-le0/183692/21



------------- User Anmerkungen (selbst nicht geprüft)

@BobbyD:

• Das BMC Passwort steht auf dem (Anmerkung: brauner Außenkarton an der Seite) Karton
• Fürs BMC-Update über das BMC ist folgende Datei auszuwählen: "rom.ima_enc" Mode:BMC
• Fürs BIOS-Update über das BMC ist folgende Datei auszuwählen: "image.RBU" Mode:Bios

#
#

 

[pwnbert]

Welche SSDs wären denn empfehlenswert?

Imho ist die SN700 vernünftig von den TBW her und so, ist halt nur eine PCIe 3.0... hat dafür neben der FireCuda 530 (welche man kaum noch bekommt) gute TBW.

Wenns schnell sein soll tät ich ein Raid 1 aus SN850X und KC3000 machen, weiss nicht ob das schlau ist, somit würde man aber zumindest 2 verschiedene Typen haben und sich etwas gegen Synchronableben durch Firmwarebug schützen...

Hat halt kein PLP, aber COW wirds schon richten. 100% Schutz gibts halt nicht und die Data-Center SSDs hätte man vor 1 Jahr kaufen müssen. Dank KI Boom sind die Preise am Mond.

 

[asche77]

Nachdem ich jetzt etwas gelesen habe, sollte man wohl doch Enterprise SSDs nehmen, zumindest als Boot-Drive.

Gerade/nur für das Boot Drive fände ich eine Enterprise SSD eher Overkill - der hypervisor ist doch schnell wieder installiert und viel geschrieben werden sollte auf das Boot Drive auch nicht. VM-storage fände ich da wichtiger, Enterprise SSD zu nehmen.

 

[pwnbert]

Ich hätte gerne einen hyper-fast datastore für VMs, also wohl RAID0, Storage ist ausgelagert (10gbit nic) und sicher.

Naja, ob das Raid0 bei den kleinen Zugriffen tatsächlich schneller ist (Latenz) ist halt die Frage.
Ich glaub ehrlich gesagt nicht, dass das lohnt.

Gerade/nur für das Boot Drive fände ich eine Enterprise SSD eher Overkill - der hypervisor ist doch schnell wieder installiert und viel geschrieben werden sollte auf das Boot Drive auch nicht. VM-storage fände ich da wichtiger, Enterprise SSD zu nehmen.

Ich würd einfach irgend ne sinnvolle Backup-Routine überlegen.
Ich weiss, No-Backup ist ein sexy Gedanke, aber... naja.

Um das Geld einer brauchbaren PLP SSD bekommt man ATM leider 2 schnelle Highend-.Consumer-SSDs (also SN850X, KC3000) oder zumindest SN700s ... oder ne große HDD oder so.

 

[eehm]

Um das Geld einer brauchbaren PLP SSD bekommt man ATM leider 2 schnelle Highend-.Consumer-SSDs (also SN850X, KC3000) oder zumindest SN700s ... oder ne große HDD oder so.

Stimmt und solange man kein ZFS nutzt ist das auch die bessere Option, wenn man die Sicherheit ein wenig außen vor lässt.
Bei ZFS kann ich aus Erfahrung nur von Consumer abraten. Die Schreibrate bricht nach ein paar Sekunden extrem ein, wenn der Cache voll ist .... Eigener Test vor Jahren. Wollte es damals auch nicht glauben

 

[pwnbert]

Das ist doch so nicht richtig. Wir reden ja nicht von billigheimer "Consumer" (Transcend etc.).
Selbst ne "eingebrochene" SN850X oder FireCuda 530 ist immer noch schneller als eine "ausgeschlafene" Micron 7400 pro.

Da musst schon mit einer Nytro ( https://geizhals.at/seagate-nytro-5050-1dwpd-5350h-read-intensive-3-84tb-xp3840se70005-a3317456.html ) etc. angestunken kommen, damit sich da ernsthaft was tut.
Und sooo viel mehr TBW hat die jetzt auch nicht (so ca. das 3-fache der SN850X / KC3000 und 1,5 Fache von FireCuda 530 und SN700).

Wird schon besser sein (vor allem lesend), aber kostet halt das Doppelte, und 6W idle / 20W Load sind auch eine Hausnummer.


Ich hab auch so nen IT-Kumpel der mit so einer Aussage angekommen ist... seine "Consumer" war auch irgend so ein Dreck.
Mit Consumer mein ich jetzt einfach Endkundenmarkt und nicht Datacenter, nicht billigheimer.

 

[Urbi]

Zum Thema Backup: Ich hatte mir überlegt meinen alten Server zu behalten und ihn als Proxmox Backup Server zu nutzen.

Zu den SSDs: Die SN700 sieht echt interessant aus. Ich hatte jetzt noch selbst die Micron 7400 Pro entdeckt. Die hat PLP. Gibt es zu der Platte Meinungen?

Insgesamt bin ich bei den Optionen ein bisschen erschlagen. Ich habe habe bei meiner Konfiguration den x16-Slot bisher komplett frei. Meine Idee war es, einen 4x m2-Adapter zu nehmen und dann auf zwei bis vier NVMes mein "Betriebssystem" - die SATA-Anschlüsse blieben dann für Datenplatten frei.

Dann fasste ich den Entschluss, Proxmox auszuprobieren. Nach allem was ich dazu gelesen habe ist es ganz gut Boot- und VM-Platten zu trennen. Danach verlässt es mich endgültig. Man kann echt viel dazu lesen aber häufig gibt es sehr gegensätzliche Meinungen. Einige sagen Consumer SSDs reichen, andere sagen, dass man für die Boot-Platte nur Enterprise SSDs oder SLC-Speicher nehmen sollte. Auch bezüglich den Fragen, ob man ein Raid 1/ ZFS nutzen sollte oder ob man einfach einzelne Platten ohne Spiegelung nimmt und wie groß die Bootplatte sein sollte scheiden sich die Geister...

Was wäre denn wenn ich jetzt wirklich erstmal eine 500gb SN700 (oder Micron 7400 Pro oder zwei Micron mit/für ZFS?) als Proxmox Bootplatte nehme nehme und eine 1TB consumer SSD für die VMs?

Gerade/nur für das Boot Drive fände ich eine Enterprise SSD eher Overkill - der hypervisor ist doch schnell wieder installiert und viel geschrieben werden sollte auf das Boot Drive auch nicht. VM-storage fände ich da wichtiger, Enterprise SSD zu nehmen.

Ich habe gelesen, dass durch das Logging die Nutzung des Boot-Drives heftig ist, während das VM-Drive nicht stärker belastet wird als eine Betriebssytem-SSD in einem "normalen" Endbenutzerpc.

 

[Cloud Runner]

Ich hab alles auf consumer SSDs.
1x S70 Blade als Boot/Proxmox, primär wegen den TBW.
2x MX500 im ZFS Mirror für VMs.
1 x P210 als ZFS single drive, für die chia blockchain.

Die S70 ist immer noch bei 12% wear, die NVMe stammt aus meinen Chia Plotter, wurde auch gut gequält.
Eine P210 ist mir bei dem Versuch einen BTC Node zu betreiben verreckt, hier werd ich wohl die wieder auf bare metal gehen.

 

[pwnbert]

Ich hatte jetzt noch selbst die Micron 7400 Pro entdeckt. Die hat PLP. Gibt es zu der Platte Meinungen?

Das Ding braucht idle 8W. Besonders schnell ist sie auch nicht.
Hab sie (noch) drin.

edit:
500 GB SN700 hat doch ein sch.. P/L, würd min. 1 TB kaufen.
Kauf dir eine 1 TB SN700 und mach dort mal alles drauf, also Proxmox und virt-HDDs für die VMs.

Reicht zum Spielen und eine 1 TB SN700 ist auch später noch zu gebrauchen und nicht die ultimative Slotverschwendung.

 

[eehm]

Darf ich mal fragen, was ihr alle mit diesen SSD-Pools macht?
Jetzt mal angenommen diese SSDs leisten selbst unter ZFS das was im Datenblatt steht. Wobei auch hier meine Erfahrung eher die ist, das Consumer-Platten eher das Maximum angeben und bei Enterprise etwas realistisches im Datenblatt steht.

Dann komme ich bei einem ZFS-Mirror auf etwa folgende Werte:
Schreiben: 6 GB/s
Lesen: 14 GB/s
IOPS Schreiben: 800k
IOPS Lesen: 2000k

Mir erschließt sich hier für den Heimgebrauch der Sinn einfach nicht, aber wahrscheinlich habe ich etwas nicht auf dem Schirm.

 

[pwnbert]

Naja, M.2 SSDs sind billiger als SATA SSDs.... und wenn man keinen spinning rust will, landet man eben da...

 

[asche77]

Ich nutze auch allein SSD (bei mir noch gebrauchte Enterprise SATA) im Server.

1. Grund sind vor allem die höheren IOPS (damals gab's die Special vdevs noch nicht).

2. Sie sind auch leiser.

3. Die HDD gingen immer schön in den Schlaf, wachten für das tägliche automatische Veeam Backup aber nicht schnell genug auf so dass das Backup dann keines war.

Jetzt nur HDD im Backup NAS.

 

[fallenguru]

Ich habe gelesen, dass durch das Logging die Nutzung des Boot-Drives heftig ist, [...]

Ganz ehrlich, was loggt Proxmox jetzt für Datenmengen, die ein normaler (Linux-)PC nicht auch loggt? (Gut, vielleicht sind sie überkorrekt und flushen nach jeder Logzeile, aber dann dreht man das halt ab. Wenn man im Crashfall was sehen will, braucht man sowieso remote logging.)

Einen Server booten kann man von HDD übrigens auch, die kost nix und schreibt Dir auch 10 Jahre durch. Performance wirst nicht merken – booten tut man ja nur alle heiligen Zeiten; sync writes (logging, updates) müssen nicht schnell sein und alles Andere läuft eh über den page cache bzw. ARC.

Ganz abgesehen vom Typus – wenn einmal eine Bootplatte eingeht, isses im Grund egal. Proxmox neu installieren und Konfiguration vom Backup wiederherstellen, erledigt. Natürlich kann man, wenn das nicht akzeptabel ist, auch spiegeln. Idealerweise zwei verschiedene Modelle/Marken, dann kann's wirklich auch der ärgste Schrott sein. Ich brauch so gern alte Drives auf. :-p Und für "mission critical" hat's keinen Sinn, so viel Geld in die eine Fehlerquelle zu stecken. Dann gleich zwei (günstige) Boxen + QDevice und HA.

 

[Kurzschluss[A]]

Ich glaube alle Vorschläge sind da Recht gut zu vertreten und möglich. Ich glaube die Ansichten, das Wissen und die Erfahrung ändern sich natürlich.

Als Bootplatte habe ich mir damals eine Kingston dc600m in 960 GB zugelegt. Würde ich heute wahrscheinlich nicht mehr machen. Zu der Zeit wusste ich z.b. nicht dass da wirklich nur Truenas drauf kommt und mehr nicht.

Als App Pool sind es nun 2x Samsung SSD PM893 480GB als mirror geworden. Jeweils für entspannte 35 Euro geschossen mit einem Jahr Gewährleistung. Smart Werte vorhanden, jeweils nur 11 Betriebsstunden.

 

[pwnbert]

Weiß leider keinen, werfe aber mal Link Aggregation in den Raum. Vielleicht würden dir 2 GB/s auch reichen, wenn du den zweiten Port nicht unbedingt benötigst!

... wie stell ich das an?
Ich fürchte, dass mein Switch kein Link Aggregation kann (alle 3 einstellbaren Modi getestet).

Ich hätte nix dagegen, mich belehren zu lassen.

Ich hab diesen hier:

TRENDnet TEG-S Desktop 2.5G Switch, 8x RJ-45 (TEG-S380) ab € 85,58 (2024) | Preisvergleich Geizhals Österreich

✔ Preisvergleich für TRENDnet TEG-S Desktop 2.5G Switch, 8x RJ-45 (TEG-S380) ✔ Bewertungen ✔ Produktinfo ⇒ Funktion: Switch • Typ: Standalone • Netzwerkanschlüsse: 8x RJ-45 • Geschwindigkeiten: 8x RJ-45 (100/1000… ✔ Switches ✔ Testberichte ✔ Günstig kaufen

geizhals.at

Scheint mir vom Gehäuse her der gleiche zu sein wie der QNAP, ich fress nen Besen, wenn da nicht die gleiche Hardware drin ist. Drum hab ich den gekauft, 84€ beim Händler nebenan waren imho okay. Hab gute Bewertungen bezügl. Verbrauch und so gelesen.

Also, geht da was, oder brauch ich da spezielle Hardware?


PS:
Hab grad TrueNAS am MC12 aufgesetzt als Testinstallation auf einer 250GB 2,5" WD-Black Laptop-Harddisk... man kann zwar in Ruhe mitlesen, was beim Booten so geschrieben wird, aber länger als gefühlte 2 Minuten dauerts auch nicht. Performance ist gut, liegt wohl im RAM.

 

[wenzilinho]

Ich habe gelesen, dass durch das Logging die Nutzung des Boot-Drives heftig ist, während das VM-Drive nicht stärker belastet wird als eine Betriebssytem-SSD in einem "normalen" Endbenutzerpc.

Wenn du keinen Cluster hast kannst du pve-ha-crm und pve-ha-lrm deaktivieren, glaube das tteck Script bietet das auch an. Log2ram ist ebenfalls eine Option.
Ich hab nur eine MX300 als Boot-Laufwerk, lag noch rum, Wearout hat sich nach nun einem Jahr nicht verändert. Allerdings auch LVM und nicht ZFS. Neben Proxmox liegen da aber auch nur paar ISOs, da laufen keine VMs/LXCs.

Einige sagen Consumer SSDs reichen, andere sagen, dass man für die Boot-Platte nur Enterprise SSDs oder SLC-Speicher nehmen sollte. Auch bezüglich den Fragen, ob man ein Raid 1/ ZFS nutzen sollte oder ob man einfach einzelne Platten ohne Spiegelung nimmt und wie groß die Bootplatte sein sollte scheiden sich die Geister...

Weil sich das halt pauschal nicht sagen lässt und immer vom Usecase und den eigenen Vorlieben/Wünschen abhängig ist.

Mir erschließt sich hier für den Heimgebrauch der Sinn einfach nicht, aber wahrscheinlich habe ich etwas nicht auf dem Schirm.

Ich habe zB nested einen Hyper-V Failover Cluster laufen, da ging der MX500 die Puste aus. Da half die NVME echt viel.

 

[pwnbert]

btw. meine Gurke hier braucht jetzt wohl so 45W (lt. einem shelly plug mit total schlechter Verbindung, kein Plan wie das schwankt).
MC12, 5650G, 1x 32gb crucial-ram (kein ecc)
980(nonpro), 840evo, 850pro, 1x 2,5" 250gb, 2x WD red 8tb, 1x WD gold 10tb...

Hab noch nix besonderes gezaubert, laufen tut grad Proxmox frisch installiert.

Also... bissl meh.
Wobei es eigentlich okay ist, mein "großer" 5750G braucht mit 4x Ultrastar HC560 und ner heizenden 7400pro auch so 55W...


Also eigentlich eh im Rahmen. Muss mal schauen, wieso der Shelly so mies ist.

 

[eehm]

btw. meine Gurke hier braucht jetzt wohl so 45W (lt. einem shelly plug mit total schlechter Verbindung, kein Plan wie das schwankt).
MC12, 5650G, 1x 32gb crucial-ram (kein ecc)
980(nonpro), 840evo, 850pro, 1x 2,5" 250gb, 2x WD red 8tb, 1x WD gold 10tb...

Das klingt doch gut. Meine Kiste läuft jetzt auch mit einem RAM Stick und der CPU. BMC geht. Morgen mach ich das Bios und dann kann ich die Tage auch mal Verbrauchswerte liefern.

 

[pwnbert]

Das Board hat mich total fertig gemacht am Anfang. Einfach kein Bild, extra VGA Kable gesucht und lauter so Dreck, keine Chance.

Hab dann wie ein blöder meinen ganzen DHCP Range manuell durchprobiert (der ganze Mobile-Dreck, der da drin hängt) und bin letztendlich doch gelandet, wo ich hin soll.
Dann per BMC Bios Update und BMC Update gemacht, ist 1A gelaufen.
Dann per BMC TrueNAS installiert, erstaunlich, dass das doch so gut ging.
Bei Proxmox gings irgendwie nicht so toll, hab dann abgebrochen und nen USB-Stick mit dem ISO angesteckt, ging schneller/besser.

Hachja, wie konnte ich bisher ohne IPMI leben?

 

[eehm]

Hachja, wie konnte ich bisher ohne IPMI leben?

Mich macht das IPMI fertig ... aktuell wird der RAM nicht richtig erkannt (nur 1 Stick gesteckt) er sieht vier von irgendwelchen Herstellern und den 5650G erkennt er als Ryzen 5 3600 ....
Hoffe, dass das dann morgen nach BMC und BIOS Update besser wird.
Aktuell hab ich noch Bios F06 .....

 

[pwnbert]

aktuell wird der RAM nicht richtig erkannt (nur 1 Stick gesteckt) er sieht vier von irgendwelchen Herstellern

Lol ja, wurde das gleiche angezeigt egal ob der cucial oder ein Kingston ECC

Hoffe, dass das dann morgen nach BMC und BIOS Update besser wird.

Nö, wirds nicht, aber es funktioniert.


Wie bekomm ich Proxmox dazu die iGPU statt dem AS2500 zu verwenden? Würde gern Vir-GL ausprobieren.

 

[eehm]

Lol ja, wurde das gleiche angezeigt egal ob der cucial oder ein Kingston ECC

Hab hier aktuell nur Kingston ECC hier

 

[ebniv]

Hoffe, dass das dann morgen nach BMC und BIOS Update besser wird.

Wird es. Bis die Hardware Info im BMC aktualisiert wird kann es aber eine Zeit dauern oder ein komplettes stromlos machen erfordern. Achtung: Nicht versehentlich aus ungeduldt einen Flash-/Updatevorgang durch Steckerziehen unterbrechen!
Sonst gibt es eine Chance auf einen Brick.

Edit:
Vielleicht ist der Inhalt der beiden Links in ähnlicher Weise auch nochmal etwas für den Starter

Gigabyte MC12-LE0

I just tested mine. CPU is required (I used 5650G) and I had one stick of RAM in slot A1. The IP of Managment I got out of my fritzbox (you neet to connect the managment port with your network first). Connecting to the IP required the password (on the box or the mainboard itself). The System...

forum.level1techs.com

BIOS Update Gigabyte Server

Grundsätzlich sollte ein BIOS Update nur vorgenommen werden, wenn ein System Probleme verursacht, oder wenn durch ein BIOS Update neue Sicherheitsupdates fürs System eingespielt werden. Bei einem BIOS Update werden die Standardeinstellungen wi...

support.sysgen.de

 

[pwnbert]

IPMI allein braucht ca. 3,5W wenn die Kiste "steht".

Was muss ich im Bios einstellen, damit die iGPU verwendet wird?

 

[eehm]

Also ich habe bei mir jetzt BMC Update auf 12.61.21 geschafft.
Mich wundert nur, dass die IPMI LED jetzt blinkt anstatt we zuvor dauerhaft zu leuchten .... Ist das so korrekt?
Was bedeutete das blinken?

Ich möchte nur sicher sein, dass am BMC Update alles passt bevor ich mich ans BIOS ranmache.

 

[besterino]

Was genau meinst Du mit IPMI LED? Die LED fürs BMC? Wenn ja: ist normal. Die fängt an zu blinken, wenn’s einsatzbereit ist. Vorher leuchtet die z.B. nach stromlos-Zustand durchgehend.

 

[eehm]

Was genau meinst Du mit IPMI LED? Die LED fürs BMC? Wenn ja: ist normal.

Danke, genau das meinte ich!

 

[eehm]

Wie bekomm ich Proxmox dazu die iGPU statt dem AS2500 zu verwenden? Würde gern Vir-GL ausprobieren.

Echt eine gute Frage
Habe jetzt mal das Remote Bios durchsucht, aber auf Anhieb auch keine Option gefunden.
Hoffe, dass es auf dem Board dann überhaupt geht .....

 

[pwnbert]

Angeblich ja, aber kein Plan, wie man das genau anstellt.

Beitrag automatisch zusammengeführt: 30.09.2024

Gerade F15 installiert:

iGPU meines 4650G wird unter Linux (TrueNAS Scale) erkannt (UMA AUTO unter GFX configuration)
ansonsten nicht wirklich Neues im BIOS gefunden

Muss ich mir daheim dann nochmal ansehen.

 

[ebniv]

Muss ich mir daheim dann nochmal ansehen.

Halte uns gerne auf dem laufenden. Bisher hatte ich noch nicht die Notwendigkeit oder Muße mich der iGPU der APU zu widmen.

 

[pwnbert]

Mein Ziel ist es Virtual-GL zu probieren.
Spice GXL ist nämlich von der Performance her meh (je nach dem was man tut ist es aber brauchbar).
SR-IOV / GVT-g gibts nicht.
Durchreichen ist so ne Sache (selbst dafür muss es "sichtbar" sein, momentan bekomm ich mit lshw nur den 2500er. Einerseits weil ich dann wieder auf 1 Maschine beschränkt bin, zweitens wegen dem Reset-Bug wofür es wohl unter Proxmox ne Lösung gibt.

Ich probier gern, brauch aber ein wenig Unterstützung, da ich (leider) kein richtiger ITler bin, bin Ausbildungsmäßig dann von IT Richtung Automatisierung und so Kram geschwenkt, sogesehen hab ich das ganze Netzwerk-Server-Clienten Wissen nicht, welches die richtigen ITler hier haben.