Die Suche nach der eierlegenden Wollmilchsau...

[java4ever]

Moin,

Ich quäle mich seit einiger Zeit mit der Auswahl der Komponenten für drei neue Server rum.

Die Server machen: DNS, DHCP, Firewall, Router, Wifi Controller (Ruckus Virtual SmartZone), NTP Server, PTP Master Clock, Plex, Block Storage (Ceph), Syslog Server, sporadisch Compile /Testsklave (und evtl. noch mehr...)

Die Server werden bestückt mit 2 NICs (aufgrund des benötigten PPS inputs für PTP leider nicht anders realisierbar), 1x HBA und 1x GPU für En/De/Transcoding

Sie werden 24/7 laufen, deswegen wäre es schön, wenn die Kisten nicht allzu viel Strom brauchen, aber trotzdem irgendwie Leistung haben. Zudem ist ECC Pflicht.

Zusammengefasst also als Anforderung:
- PCIe Slots: Mindestens 2x x8 elektrisch (NIC1 + HBA), 1x x4 (NIC2) + 1x x1 (GPU)
- ECC Support (ob UDIMM oder RDIMM ist erstmal egal)
- Ausreichend sparsam, Ziel < 30W im IDLE (ohne irgendwelche Erweiterungskarten, nur Board + RAM + ggf. Lüfter)
- Nicht zu teuer (max ca. 1000€ Board + CPU)
- IPMI / BMC ist nett, aber nicht notwendig


Folgende Möglichkeiten habe ich in Betracht gezogen:

EPYC SP3:
Pro:
- Ausreichend Leistung
- Kein Stress mit PCIe Slots, da sind definitiv genug vorhanden
- Anderweitig wiederverwendbar wenn CPU geupgraded wird
- ECC Support auch definitiv gegeben
- PCIe4.0 -> Zukunftssicher

Contra:
- Teuer! Board mindestens 550€ (H12SSL-i)
- Stromverbrauch vermutlich höher als die 30W im IDLE
- Damit das Budget im Rahmen bleibt, maximal Zen 2 CPU möglich, bspw. gebrauchter 7282 mit 16C aus China

Cascade Lake LGA3647:
Pro:
- Ausreichend Leistung
- Kein Stress mit PCIe Slots, da sind definitiv genug vorhanden
- Anderweitig wiederverwendbar wenn CPU geupgraded wird
- ECC Support auch definitiv gegeben
- Optane DCPMM Support für ZFS

Neutral:
- Preis gerade so akzeptabel (Board 400€)
- div. CPUs auf dem Gebrauchtmarkt zu finden (in allen Farben und Formen) im Budget

Contra:
- Kein PCIe4.0
- Stromverbrauch vermutlich höher als die 30W im IDLE (müsste ich mal messen - Ich hab drölf Kisten aber noch nie so wirklich bewusst den Stromverbrauch von einer Single Socket gemessen)

Broadwell-EP Sockel 2011-3:
Pro:
- PCIe Slots ausreichend vorhanden
- ECC Support mit passendem Board gegeben (C612)
- CPUs günstig

Contra:
- Kein PCIe4.0
- Preis für Board erstaunlich hoch, Single Socket C612 boards (wie X10SRi-F, X10SRL-F) schwierig zu finden bzw. gar nicht so häufig??
- Leistung dürfte nicht so besonders toll sein aufgrund des Alters
- Stromverbrauch vermutlich höher als die 30W im IDLE (müsste ich ebenfalls mal messen, eine X10SRi-F + E5-2680 v4 Kiste ist vorhanden)

Zen4 AM5:
Hier gibt es nur ein Board, welches die Anforderungen irgendwie erfüllt: ASUS ProArt B650-Creator

Pro:
- Neueste Generation, ordentlich Leistung
- Platform upgradebar auf neuere CPUs in Zukunft
- Preis im Budget (350 für board + 600 für 7950X)
- Stromverbrauch ziemlich sicher unter den 30W realisierbar
- ECC Support

Contra:
- Board hat nur PCIe4.0 - Was soll das?! Ryzen 7000 hat doch 28 Lanes, also könnte man easy 3*5.0 x8 + Chipsatz mit 5.0 x4 bauen, wo dann noch ein x4 Slot rausfällt
- DDR5 UDIMM ECC ist unendlich teuer (doppelt so teuer wie DDR4 UDIMM ECC)

Alder Lake / Raptor Lake LGA1700:
Hier gibt es kein Board, was die Anforderungen erfüllt (X13SAE-F: nur PCIe x4 slots elektrisch nur x1, MW34-SP0: Nicht genug Slots)


AM4:
Hier gibt es ein Board, welches die Anforderungen erfüllt: ASUS Pro WS X570-Ace

Pro:
- Ausreichend Leistung auf absehbare Zeit
- Preis im Budget (330 für das Board + 509 für 5950X)
- Stromverbrauch ziemlich sicher unter den 30W realisierbar
- ECC Support
- DDR4 UDIMM, die preislich vertretbar sind

Neutral:
- RAM Kapazität auf 128GB limitiert

Contra:
- Die Lanes sind nicht "echt": Nur die beiden ersten x8 Slots hängen an der CPU, zweiter x8 hat nur bei PCIe3.0 volle x8 (weil über Chipset der mit x4 4.0 angebunden ist) und teilt sich die Bandbreite mit dem x1



Wie man sieht, hat alles irgendwie seine Vor- und Nachteile. Die Kombination, bei der alles passt, gibt es nicht.
Als Rangliste würde ich folgendes sehen:
1. AM4 (bester Kompromiss mit ein paar kleinen Abstrichen)
2. SP3 (Weil zukunftssicher, aber teuer und viel Strom)
3. LGA3647 (Viel Strom, preislich gerade so)


Was meint ihr?

 

[besterino]

Epüüüüük!!!!

Ich bin aber nicht objektiv.

 

[java4ever]

Epüüüüük!!!!

Ich bin aber nicht objektiv.

Wenn da nicht die ca. 60W IDLE wären mit einem 7282 auf H12SSL.. Und die 550€ für H12SSL und überhaupt.

Quasi durch Strom + Anschaffungskosten die teuerste Platform von allen

 

[besterino]

Na und. Is aber EPÜÜÜÜÜÜK!

 

[java4ever]

Na und. Is aber EPÜÜÜÜÜÜK!

Wenn du mir nen epischen Geldscheißer besorgst bin ich dabei

 

[Holt]

Wenn es vor allem um die Leistungsaufnahme geht, wie wäre es damit:

Supermicro X12SDV-4C-SP6F retail ab € 963,86 (2023) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Supermicro X12SDV-4C-SP6F retail ✔ Produktinfo ⇒ Formfaktor: Flex-ATX • CPU: Intel Xeon D-1718T, 4C/8T, 2.60-3.50GHz, 10MB+5MB Cache, 46W TDP, Codename "I… ✔ Mainboards mit CPU ✔ Testberichte ✔ Günstig kaufen

geizhals.de

 

[java4ever]

Wenn es vor allem um die Leistungsaufnahme geht, wie wäre es damit:

Interessante Idee, aber es geht nicht vorrangig um die Leistungsaufnahme - Sonst hätte ich die kleinen LGA1700 Systeme mit 12400 die im IDLE < 10W brauchen nicht wieder verkauft

Zudem leider nicht genug PCIe Slots. Diese Anforderung ist fest

EDIT: Selbst wenn man durch die onboard 25G NIC eine Slot einspart und den x16 Slot durch Riser auf 2x x8 aufteilt, wird dadurch der x4 geblockt.
Und ob man einen Riser mit x8+x4+x4 findet.. Puh

 

[v3nom]

Auch wenn ich damit auf taube Ohren stoße... spalte die Router/FW Geschichte ab, denn wenn dein Server/NAS/Router einmal Probleme hat steht ALLES.
Es gibt sehr sparsame Mini-PCs mit mehreren LAN Ports die dafür geeignet sind.

 

[java4ever]

Auch wenn ich damit auf taube Ohren stoße... spalte die Router/FW Geschichte ab, denn wenn dein Server/NAS/Router einmal Probleme hat steht ALLES.
Es gibt sehr sparsame Mini-PCs mit mehreren LAN Ports die dafür geeignet sind.

Dafür stehen da ja drei Stück im HA Verbund Und im Notfall wird einfach auf einen anderen Port auf der fritz box umgesteckt, auf Port 1 läuft nämlich immer der integrierte fritz box router und lässt sich auch nicht bypassen

 

[Trambahner]

Per Riserkarte/-kabel können AM4+AM5 Boards, wenn implementiert was öfters der Fall ist, mindestens ab Zen2 flexibel den x16-Slot aufteilen auf x8x8, x8x4x4 und x4x4x4x4 . Letzteres nur bei bei Prozessoren, die nicht auf APU-Architektur basieren. Nennt sich PCIe-Bifurcation. Aktuelle Intel Gens bieten ohne PLX-chips nur x16 oder x8x8 an, wie Du weiter oben schon festgestellt hast. AM4/5 ist da flexibler.

Damit hast Du bei einigen Boards AM4+AM5 die nur einen x16 Slot haben, die Möglichkeit mehrere Karten oder SSDs zu nutzen. Ist halt etwas adaptierei, aber geht.
Bei so einer Adaptierei beachte aber bitte, dass PCIe4 deutlich signalkritischer ist als PCIe3.
Ferner kannst Du ja per Adapter einen m.2 PCIe-Slot jederzeit wieder zu einem PCIe x4 Slot machen und dort z.B. NICs, unterbringen. Je nach Karte braucht man da dann aber auch ein Stromkabel z.B. von einem Sataport dran.
Sprich Du kannst max. 6 x4 Geräte an der CPU dran haben bei AM5 oder zwei x8 plus zwei x4. Bei AM4 ist es einmal x4 weniger.

Reicht das, zusammen mit dem I/O vs Chipsatz nicht, oder wird 128GB Ram zum Limit, dann bleiben Dir nur noch die große Sockel.

Beachte ferner, dass bei AM4+5, das die Chipsätze da maximal mit x4 PCIe4 an der CPU hängen. Je nach Anfoderung kann da ggf. ein Engpass entstehen. bei Sockel 1700 ist es wenigstens x8 gen4. Das gleicht die weniger flexible Aufteilung der CPU-Lanes bei Intel ggf. aus.


Wenn 128GB und IO reichen, dann halte ich AM4 nachwievor interessant, weil übersichtliche Leistungsaufnahme, ordentlich CPU-Power und recht günstige Preise.. Das X570D4U-2L2T mit den Intel X550er NICs ist ja leider nicht mehr verfügbar, die Version mit den Broadcom-NICs (X570D4U-2L2T/BCM) wird gerade verfügbar.

Btw, für die Version mit zwei X550 (siehe Signatur) hab ich beim Kauf ~450 Euro bezahlt. Leistungsaufnahmen verschiedener AM4-Konstrukte siehst Du ebenfalls in der Signatur.
30W Idle mit Zen4 und X670E? Das wird nichts. Das schaffst Du auch nur mit Hängen und Würgen (sprich eingeschränkter Hardware) mit AM4, wenn es kein B550-System ist.

Denke dran: eine typische 10G NIC Kupfer zieht schon mind. 7W. Der I/O-Die in einer Non-APU zieht schon 6-7W und geht kaum in den Idlemodus. Dito verbraucht ein X570-Chipsatz für sich. Ein alter PCIe 2.0x8 LSI HBA braucht 7-8W, die neueren mehr. 12-13W.
Unterm Strich: hohe I/O-Leistung bekommst Du nicht für niedrigste Leistungsaufnahme.

 

[danielmayer]

+1 für Epük oder wie die jetzt heißen
Ich fahre den Server aus der Sig bei 140W idle, ohne den 6x14TB-Verbund aber bei 99W. Also der ganze Rest inklusive 100gbit cx4. Idle 30w sind das natürlich nicht, aber 32 Kerne mit der IO-Leistung, Potenz als VM-Host etc…
7282 lieber nicht, der ist RAM-Busbreite-kastriert. Nimm den 7302(p), kostet gleich und besser.
Gigabyte Mz31 sind bei eBay für 280€ aus fernen Landen erhältlich.

 

[java4ever]

7282 lieber nicht, der ist RAM-Busbreite-kastriert. Nimm den 7302(p), kostet gleich und besser.

Stimmt... Da war was.
7302 stand sowieso auf der Liste anstatt 7282, nachdem ich gesehen hab dass der quasi genau so viel kostet und ich mir 128MB Cache statt 64MB Ccache nicht entgehen lassen wollte

Aber danke für den Hinweis! Dass der 7282 zu den Quad-Channel Optimised SKUs gehört hatte ich gar nicht mehr auf dem Schirm

Gigabyte Mz31 sind bei eBay für 280€ aus fernen Landen erhältlich.

Ja - Das sind allerdings alle Rev 1 (MZ31 und MZ32). Rev 1 MZ31 kann offiziell nur EPYC 7001, Rev 1 MZ32 7002 - Ich hätte gerne den Upgrade Pfad auf Milan.

Zudem habe ich mir damals nach der Aktion mit dem MZ71-CE0 geschworen, nie wieder ein Gigabreit Board zu kaufen... 4 RMAs, davon zwei oder drei Mal Dead on Arrival. Das muss man auch erstmal schaffen.

Ich denke ich investiere lieber die ~65% Aufpreis in H12SSL, die sind dann nämlich neu und KEIN Gigabreit

 

[sch4kal]

Wenn du mir nen epischen Geldscheißer besorgst bin ich dabei

Ich hab nen 7443 auf ebay KA für 700 € bekommen, nur die Mainboards sind teuer. Gibt aber auch manchmal Bundles aus Rome + Naples Board recht günstig, afaik auch unter 1000 €. Frag mal @Sir Diablo , der hatte glaub auch recht günstig einen Epyc ES aus China bekommen.

 

[java4ever]

Ich hab nen 7443 auf ebay KA für 700 € bekommen, nur die Mainboards sind teuer.

Ich hab auf EKA 7H12 für 1000€ gekauft - Sind aber eher Einhörner :P

Kostenmäßig bleibt EPYC die teuerste Platform, vA wenn man alle Slots bestückt

 

[danielmayer]

Nunja, ich sinniere ja auch immer über den Threattitel.
Epyc siehe SIG, daneben stehen ein Epyc3101 und ein Atom3758.
Der Atom zieht am wenigsten, ca25W real mit RAM und einer nvme. Nur die beiden 10g Ports laufen davon aber schon bei 10W im "off". Aber 12x SATA sind nett. Nur 1 x4 PCIe.
Der 3101 hat die gleichen 10G-Ports bei 6W im off, 30W real, aber ein x16 Slot, der Bifurcation inkl 4x4 kann.
Der Atom wäre durch 8 Kerne und QAT prädestiniert für Firewall, dann wäre SATA verschwendet. Besser als Filer. AIO ist aber nix, weil PCIe zu knapp bemessen.
Der 3101 als Firewall perfekt (wenngleich dafür zu teuer), kann aber über SAS etc massiv aufgerüstet werden und fühlt sich trotz der vier Kerne flotter an als der Atom. Aber eben nur vier Kerne und damit nix für VM-Host.
Ideal: beide zusammen. Dann aber 55-60W idle und da bin ich bereits beim 7551p gelandet, der ca 55 w idle (RAM, boot-SSD) hat. Und viiiiel mehr kann. Leistung und Steomleistung natürlich.
Daher: für die Wollmilchsau muss man flexibel bleiben, was dann eben auch für die Watt gilt.

 

[java4ever]

Daher: für die Wollmilchsau muss man flexibel bleiben, was dann eben auch für die Watt gilt.

Naja, die Wollmilchsau wäre quasi ein EPYC mit 10W IDLE gewesen

Aber ja, dass es das nicht geben wird war ja erwartet und der Sinn eben die Suche nach dem besten Kompromiss. Das scheint mir in der Tat EPYC zu sein...

 

[myBerg]

Naja, die Wollmilchsau wäre quasi ein EPYC mit 10W IDLE gewesen

Aber ja, dass es das nicht geben wird war ja erwartet und der Sinn eben die Suche nach dem besten Kompromiss. Das scheint mir in der Tat EPYC zu sein...

Die EPYCs sind in der Regel auf Sparsamkeit optimiert. Ausnahmen sind die z.B. "F"-Modelle, die auf hohen Kerntakt ausgelegt sind.
Diese Messung habe ich 2020 mal gemacht als ich das System neu hatte und spasseshalber mal Windows drauf hatte:

Asus KRPA-U16, EPYC 7282 16/32. Ohne irgendwelchen PCIe Klimbim. So grundsätzlich sind 37W mit so einem Mainboard und 5 Lüftern schon ziemlich OK. Der Chipsatz fällt als Extra-Energieverbraucher ja auch weg, da in der CPU integriert. Das dürfte effizienter sein als ein Extrachip.

Im Endausbau lande ich allerdings trotzdem bei > 120W weil TV-Karte, 40Gb/s Netz, Hardware RAID, HDDs und Tralala. Aber es ist halt echt eine andere Welt, als alles was ich vorher hatte. Da kann man halt VMs draufschmeißen wie man will und das Ding zuckt nicht mal. Und natürlich Sorglos-IO in Hülle und Fülle. Das ist schon sehr geil.

Rückblickend würde ich das so wieder machen, allerdings wohl mit Supermicro statt Asus. So richtig professionell ist Asus einfach nicht. Gibt zwar lange BIOS Updates und Co, aber die Anleitungen sind manchmal so, als hätte sie ein 12-jähriger geschrieben.

Ein Punkt ist noch, dass EPYC kompatibel mit Plattformen wie ESX ist. Da muss man bei den Ryzens schon etwas Daumendrücken.

Ärgerlich ist, dass mit jeder neuen EPYC Generation die Einstiegspreise nach oben gehen. Das hattest Du oben ja auch schon festgestellt. Während Zen2 noch ab 360€ zu haben war, geht es bei Zen3 erst bei 1000€ los und bei Zen4 sind wir aktuell bei 3000€. Die Nachfrage ist einfach zu groß und Konkurrenz quasi nicht vorhanden. Der Markt für Homeserver ist tot

AM5 dürfte aus Energiespargründen spannend sein. Einerseits hat man zwar den neuesten 5nm Prozess. Andererseits ist da alles drin was neu und energiehungrig ist (z.B. PCIe 5). Dürfte schwierig werden mit 30W. "ASRock Rack" AM5? Gibt's da was?

Broadwell-EP? Das ist doch steinaltes Zeug, oder? >> Zu wenig Leistung pro Watt.

Könnte man von den 3 Servern nicht einen wegoptimieren, wenn du eine potente Plattform wie EPYC nimmst? Das ist ja eigentlich grade der Witz, dass man durch höhere Integration weniger Blech braucht. Also 2 x Supermicro H12SSL-NT + 2 x AMD Epyc 7313P 16/32 > 3414€. Entspricht einem Einzelpreis bei 3 Servern von 1138€ pro Gerät. Und du kannst vergleichsweise günstigen ECC RAM in quasi jeder Menge verbauen. Netzwerk ist mit 2 x 10GBs Broadcom auch schon drin. Und du kannst GPUs stecken bis der Arzt kommt.

 

[tolga9009]

Ich kann meinem Vorredner nur Zustimmen. EPYC und die verfügbaren Plattformen sind sehr stromsparend Out-of-the-Box. Man darf hier nicht außer Acht lassen, dass es sich hierbei um einen "großen" Sockel handelt und dafür sind die Werte wirklich gut. Ich habe das Supermicro H12SSL-i + EPYC 7252 (8C/16T) mit 8x 16GB DDR4-2400 (ja, läuft), 5x 140mm 1200rpm + 2x 120mm 1500rpm Lüftern, 2 NVMe SSDs und aktiviertem BMC (6 - 7W) mit insgesamt 42W im Idle unter RedHat Linux am Laufen. Manuell habe ich nur ASPM aktiviert.

Möchte nicht zu sehr ins Detail gehen, aber einige Stichpunkte zum H12SSL-i:

• BMC ist ein schlechter Witz
• BMC stürzt auch ab und zu mal ab
• Wahl für KVM zwischen HTML5 und Java ist wie Wahl zwischen Pest und Cholera, jede Implementierung hat seine eigene Macken. HTML5 KVM kann mit Tastatur-Layouts nicht umgehen, reicht aber meistens um Festplatte zu entschlüsseln, kurze Installation oder SSH zu starten
• ISOs müssen zum Einbinden auf Samba v1 Share liegen (Hallo?). Lizenz für ~20€ nötig, um "brauchbaren" Funktionsumfang zu nutzen. Nichts im Vergleich zu z.B. Dell's iDRAC.
• Redfish ganz lustig und viel Potenzial für Automatisierung, da braucht man aber eine noch viel teurere Lizenz, um damit irgendetwas einstellen zu können.
• HTTP Boot wäre eine Alternative zum Einbinden der ISOs. Funktioniert tatsächlich sehr gut!
• BMC lässt sich per Jumper deaktivieren
• Solides Board, stabil, exzellente Material-Qualität, BIOS umfangreich und sehr flexibel
• Einzigartige IO-Flexibilität, bspw. SlimSAS x8 zu 2x U.2 (~75€) direkt von Supermicro als Kabel erwerbbar, alternativ auch SlimSAS x8 -> 8x SATA (25€ - 40€), wie man's gerade braucht.
• kein dTPM oder fTPM integriert. Falls TPM erforderlich, muss es nachträglich als Hardware-Modul für ca. ~45€ seperat erworben werden.
• es gibt Supermicro Rack-Gehäuse, die auf dieses Mainboard zugeschnitten sind. Heißt: man kann "klein" als Einstiegs-Homelabber in einem Consumer Tower anfangen, da auch die Stecker alle Standard sind und bei Bedarf in einen perfekt zugeschnittenen Supermicro 2U umziehen. Gibt sehr coole Optionen mit bspw. 12x 3,5" Einschüben (~800€ inkl. redundantes Netzteil, Backplanes, Lüfter, Einschübe etc.), die man flexibel mit SAS/SATA/U.2/2,5"/3,5" bestücken kann.
• CPU-Kühler ist 90° gedreht, das kann zwecks Airflow kompliziert werden. Die guten & leisen 120mm / 140mm TR4/SP3 Noctua-Kühler lassen sich nur vertikal installieren, sonstige horizontale 92mm Optionen sind vergleichsweise laut oder bieten nicht ausreichend Kühlleistung für manche CPU-Optionen. Ich habs bei einem Noctua U12S belassen mit horizontalem Airflow, da unkritisch beim 8C/16T, sollte man aber bei den Modellen mit hohen TDP-Werten nicht außer Acht lassen.
• Ebenfalls kritisch: VRM-Kühlung. Die VRM-Kühlfinnen sind für Server-Airflow optimiert, heißt, eigentlich sind sie unterdimensioniert für ein Consumer-Gehäuse. D.h. i.d.R. braucht man einen guten Front-to-Back Airflow, das beißt sich etwas mit dem Punkt davor. Auch hier: unkritisch bei 8C/16T, bei größeren CPUs muss man das auf dem Schirm haben. Auch der RAM produziert so einiges an Wärme!

Ich habe alles in allem, mit Gehäuse, Netzteil, RAM, Noctua-Kühler und -Lüfter etc. ca. 1800€ ausgegeben und bin insgesamt zufrieden. Enterprise Plattform, angenehme Laufruhe und Stromverbrauch vergleichbarer Systeme von der Stange sind mindestens 100W+.

Zu AM4 kann ich nur sagen, dass ich damals mit einem 45€ ASUS A520M-K, Ryzen PRO 4650G 6C/12T und funktionierendem ECC inkl. Reporting an das OS (Fehler absichtlich provoziert mit mildem OC) ca. 16W im Idle gelandet bin, ohne HDDs. Mit entsprechendem Board / Chipsatz natürlich mehr zu erwarten. Bei X570 oder X670/E würde ich aber generell davon ausgehen, dass <30W eng bzw. unrealistisch sind. Bzgl. AM5 könnten die neuen 65W TDP CPUs ohne X noch interessant sein.

 

[java4ever]

Hey!

Danke für eure Tipps. Im Großen und Ganzen stimme ich zu, aber hier noch ein paar Kommentare:

Diese Messung habe ich 2020 mal gemacht als ich das System neu hatte und spasseshalber mal Windows drauf hatte:

Asus KRPA-U16, EPYC 7282 16/32. Ohne irgendwelchen PCIe Klimbim. So grundsätzlich sind 37W mit so einem Mainboard und 5 Lüftern schon ziemlich OK. Der Chipsatz fällt als Extra-Energieverbraucher ja auch weg, da in der CPU integriert.

Mit welcher Steckdose wurde gemessen? Sieht fast aus wie AVM?
Welches Netzteil? Welcher RAM war bestückt?

Da kann man halt VMs draufschmeißen wie man will und das Ding zuckt nicht mal. Und natürlich Sorglos-IO in Hülle und Fülle. Das ist schon sehr geil.

Definitiv! Und man kann die Kiste später dank genug Optionen einfach auf 64 Kerne aufrüsten, bei Ryzen ist bei 16 schlicht Schluss... Oder 64GB (oder 128GB) DIMMs reinwerfen

Ein Punkt ist noch, dass EPYC kompatibel mit Plattformen wie ESX ist. Da muss man bei den Ryzens schon etwas Daumendrücken.

Richtig. Ich bin aber eher ein Proxmox Freund und so

Ärgerlich ist, dass mit jeder neuen EPYC Generation die Einstiegspreise nach oben gehen. Das hattest Du oben ja auch schon festgestellt. Während Zen2 noch ab 360€ zu haben war, geht es bei Zen3 erst bei 1000€ los und bei Zen4 sind wir aktuell bei 3000€. Die Nachfrage ist einfach zu groß und Konkurrenz quasi nicht vorhanden. Der Markt für Homeserver ist tot

Ja das stimmt... Wobei der 7232P auch mal eher so 550€ gekostet hat... Aber ja, der 7313 geht bei 1000 los

AM5 dürfte aus Energiespargründen spannend sein. Einerseits hat man zwar den neuesten 5nm Prozess. Andererseits ist da alles drin was neu und energiehungrig ist (z.B. PCIe 5). Dürfte schwierig werden mit 30W. "ASRock Rack" AM5? Gibt's da was?

ASRock Rack hat was, aber nur Micro ATX

Broadwell-EP? Das ist doch steinaltes Zeug, oder? >> Zu wenig Leistung pro Watt.

Ja, dafür sind aber die CPUs billig (14C für 70$). Leider sind die Boards doch recht teuer, wenn man ECC will (und kein X99)

Hab eben mal X10SRi gemessen:

X10SRi, Supermicro 501P-1R an Steckdose, 3 Lüfter + Aktiver 2U CPU Kühler, 2680v4, 4*16G 2400er RDIMM

Off BMC only 9.0W
X10SRi nur SSD + 3 Lüfter + aktiver CPU Kühler, Expander Backplane vom Strom getrennt ca. 51W
X10SRi mit LSI 9300-8i (S3008L-L8e) Controller, Expander Backplane vom Strom getrennt 61W
Backplane angeschlossen, aber keine SAS Verbindung zum HBA 74W
Backplane mit SAS HBA verbunden 77W

Könnte man von den 3 Servern nicht einen wegoptimieren, wenn du eine potente Plattform wie EPYC nimmst? Das ist ja eigentlich grade der Witz, dass man durch höhere Integration weniger Blech braucht. Also 2 x Supermicro H12SSL-NT + 2 x AMD Epyc 7313P 16/32 > 3414€. Entspricht einem Einzelpreis bei 3 Servern von 1138€ pro Gerät. Und du kannst vergleichsweise günstigen ECC RAM in quasi jeder Menge verbauen. Netzwerk ist mit 2 x 10GBs Broadcom auch schon drin. Und du kannst GPUs stecken bis der Arzt kommt.

Man könnte sogar auf einen Server konsolidieren - Will man aber nicht
Die 3 Server sind ja nicht aus Leistungs-, sondern aus Redundanzgründen. Und auch 3 und nicht 2, weil die ganzen Sachen mit Quorum, wie Ceph oder SmartZone, eben eine ungerade Anzahl an Servern erfordern. Und da ist zwei dann eben doof...

Ich kann meinem Vorredner nur Zustimmen. EPYC und die verfügbaren Plattformen sind sehr stromsparend Out-of-the-Box. Man darf hier nicht außer Acht lassen, dass es sich hierbei um einen "großen" Sockel handelt und dafür sind die Werte wirklich gut.

Relativ zur Leistung ja, Absolut nur der Stromverbrauch halt nicht so. Aber das ist halt so. Man kann nicht alles haben.

• BMC ist ein schlechter Witz
• BMC stürzt auch ab und zu mal ab

Hm, damit hatte ich bisher keine Probleme (hab schon H12SSL)

Wahl für KVM zwischen HTML5 und Java ist wie Wahl zwischen Pest und Cholera, jede Implementierung hat seine eigene Macken. HTML5 KVM kann mit Tastatur-Layouts nicht umgehen, reicht aber meistens um Festplatte zu entschlüsseln, kurze Installation oder SSH zu starten

Jo... Ich stelle die Server mittlerweile immer auf US-Layout, dann geht's...

• ISOs müssen zum Einbinden auf Samba v1 Share liegen (Hallo?). Lizenz für ~20€ nötig, um "brauchbaren" Funktionsumfang zu nutzen. Nichts im Vergleich zu z.B. Dell's iDRAC.

Jo, richtig. Aktuell aber nicht schlimm, weil die Server in Zugriffsreichweite stehen.

• Einzigartige IO-Flexibilität, bspw. SlimSAS x8 zu 2x U.2 (~75€) direkt von Supermicro als Kabel erwerbbar, alternativ auch SlimSAS x8 -> 8x SATA (25€ - 40€), wie man's gerade braucht.

Von letzterem ist ja sogar eins dabei, meine ich. Aber nur bei Retail.

• kein dTPM oder fTPM integriert. Falls TPM erforderlich, muss es nachträglich als Hardware-Modul für ca. ~45€ seperat erworben werden.

Brauche ich nicht, geht über Yubikeys (das was ich für meine eigene Cert Authority brauche)

• es gibt Supermicro Rack-Gehäuse, die auf dieses Mainboard zugeschnitten sind. Heißt: man kann "klein" als Einstiegs-Homelabber in einem Consumer Tower anfangen, da auch die Stecker alle Standard sind und bei Bedarf in einen perfekt zugeschnittenen Supermicro 2U umziehen. Gibt sehr coole Optionen mit bspw. 12x 3,5" Einschüben (~800€ inkl. redundantes Netzteil, Backplanes, Lüfter, Einschübe etc.), die man flexibel mit SAS/SATA/U.2/2,5"/3,5" bestücken kann.
• CPU-Kühler ist 90° gedreht, das kann zwecks Airflow kompliziert werden. Die guten & leisen 120mm / 140mm TR4/SP3 Noctua-Kühler lassen sich nur vertikal installieren, sonstige horizontale 92mm Optionen sind vergleichsweise laut oder bieten nicht ausreichend Kühlleistung für manche CPU-Optionen. Ich habs bei einem Noctua U12S belassen mit horizontalem Airflow, da unkritisch beim 8C/16T, sollte man aber bei den Modellen mit hohen TDP-Werten nicht außer Acht lassen.
• Ebenfalls kritisch: VRM-Kühlung. Die VRM-Kühlfinnen sind für Server-Airflow optimiert, heißt, eigentlich sind sie unterdimensioniert für ein Consumer-Gehäuse. D.h. i.d.R. braucht man einen guten Front-to-Back Airflow, das beißt sich etwas mit dem Punkt davor. Auch hier: unkritisch bei 8C/16T, bei größeren CPUs muss man das auf dem Schirm haben. Auch der RAM produziert so einiges an Wärme!

Ich habe demletzt (wie man in dem einen Post im letzte Anschaffungen Thread sieht), Supermicro Gehäuse importiert.

Ich kann dich beruhigen, die Server werden in 2U Supermicro Gehäuse kommen (826er). Die Gehäuse sind in einem APC CX Schrank (Gedämmter Serverschrank), sodass Lärm kein extrem wichtiger Faktor ist. Deswegen habe ich den Schrank nämlich gekauft, weil die ständige suche nach flüsterleisem Equipment mir auf den Nerv gegangen ist.

800€ für ein 826er ist übrigens vieeeeeel zu teuer. So 250 + Steuer sind in Ordnung

Ich überlege noch ob passiver Kühler + Air Shroud oder aktiver Kühler. Da ich da aber auch Mellanox Karten reinpacken will, die Airflow brauchen, tendiere ich zu passivem Kühler + originalem Shroud

 

[myBerg]

Mit welcher Steckdose wurde gemessen? Sieht fast aus wie AVM?

Ja genau. DECT200.

Welches Netzteil? Welcher RAM war bestückt?

Seasonic Prime GX-850
128GB Kingston Server Premier RDIMM 32GB, DDR4-3200, CL22-22-22, reg ECC

Richtig. Ich bin aber eher ein Proxmox Freund und so

ESX läuft schon sehr gut. Aber die Featurebeschränkungen der kostenlosen Version nerven. Bisher habe ich den Wechselaufwand gescheut. Wüsste auch nicht genau ob Proxmox oder XPC-NG.

Ja, dafür sind aber die CPUs billig (14C für 70$). Leider sind die Boards doch recht teuer, wenn man ECC will (und kein X99)

Meine Wahrnehmung ist, dass in den letzten 3-5 Jahren richtig viel an der Leistungsfähigkeit der Rechner passiert ist. In jeder Dimension: IPC, Kernanzahl, Caches, IO/PCIe, Speicher, Performance pro Watt. Ich würde mal schätzen, dass jeder aktuelle 6-Kerner dem alten 14-Kerner überlegen ist. Singlethreaded ist der über den Daumen doppelt so schnell. Und das merkt man.

Man könnte sogar auf einen Server konsolidieren - Will man aber nicht
Die 3 Server sind ja nicht aus Leistungs-, sondern aus Redundanzgründen. Und auch 3 und nicht 2, weil die ganzen Sachen mit Quorum, wie Ceph oder SmartZone, eben eine ungerade Anzahl an Servern erfordern. Und da ist zwei dann eben doof...

Irgendwie merkwürdig, dass einerseits um Watts gefeilscht wird, aber andererseits die Ausfallsicherheit so hoch gehängt wird. Wie ist denn das konfiguriert? 3-fach-mirror?

Bei zwei Servern bräuchtest du entsprechend 4 VMs. Also 4-fach-mirror. Plus ausreichend großer Startverzögerungen zwischen den VMs beim Hochfahren des Rechners, so dass es nicht zum Patt kommen kann. Dann ist zwar die Hardwareredundanz um eins runter und du benötigst 1/4 mehr Speicher. Dafür sparst du einen kompletten Rechner, die Energie dafür und die Wartung.

 

[thalooka]

Ich kann meinem Vorredner nur Zustimmen. EPYC und die verfügbaren Plattformen sind sehr stromsparend Out-of-the-Box. Man darf hier nicht außer Acht lassen, dass es sich hierbei um einen "großen" Sockel handelt und dafür sind die Werte wirklich gut. Ich habe das Supermicro H12SSL-i + EPYC 7252 (8C/16T) mit 8x 16GB DDR4-2400 (ja, läuft), 5x 140mm 1200rpm + 2x 120mm 1500rpm Lüftern, 2 NVMe SSDs und aktiviertem BMC (6 - 7W) mit insgesamt 42W im Idle unter RedHat Linux am Laufen. Manuell habe ich nur ASPM aktiviert.

Hallo Tolga,

kannst du Auskunft über deine BIOS Einstellungen geben? Habe aktuell:
H12SSL-i + EPYC 7302 + 4x 32gb DDR4 + 7x 80mm default Supermicro Lüfter + 2x NVMe SSDs + Supermicro AOC-STGN-i2S ~4-10W (2x 10G SFP+) mit power draw dafür aber die onboard LAN's via Jumper deaktiviert. Aktueller Idle mit einem clean debian ~220W lt. powertop aber >99% in C2...
Denke jetzt nicht, dass der Epyc 7252 so viel weniger idle als der 7302 hat, vermute eher irgend einen Hardwarefehler aktuell...

 

[danielmayer]

Das klingt nach Vollleistung. Oder „V“, nicht „W“
Mit cat /proc/sys/cpuinfo die aktuelle Taktung der Cores geprüft? Wenn tatsächlich C2 und damit irgendwo bei 1000Mhz, dann ist das Messgerät defekt.

Beitrag automatisch zusammengeführt: 19.01.2023

Ansonsten hier mal schauen?

https://developer.amd.com/wp-content/resources/56745_0.80.pdf

 

[thalooka]

IPMI sagt den Stromverbrauch an, wenn ich eine WLAN Steckdose mit "Messung", anstecke (ja die sind auch nicht genau) kommt +/- 20W dabei raus. Den Guide bin ich schon paar mal durch ohne erfolge.

 

[sch4kal]

Weils gerade so schön in den Thread reinpasst bin ich mal so frech, und verlinke meinen Thread:

[Guide] - Gigabyte MZ32-AR0 rev 1.0 auf 3.0 flashen

Moin, falls sich jemand ein AMD Epyc Milan Homeserver Build zusammenstellen will, und vielleicht auch ein Auge auf das Gigabyte MZ32-AR0 geworfen hat: - 2DPC Bestückung - Mezzanine Port für günstige NIC-Erweiterungen (passende SFP+ NICs werden gerade samt Adapter auf PCIe auf Ebay und Co...

www.hardwareluxx.de

Aktuell für ~279 € aus China zu bekommen (mit Preisvorschlag evtl. etwas weniger).

 

[hrezwgf2]

Hallo zusammen, wie wäre es mit einem AMD EYPC Board als mITX Variante, das folgende ASRock Rack Board bietet nur grundlegene Anschlussmöglichkeiten und somit müsste der Stromverbrauch auch geringer ausfallen, siehe auch den Stromverbrauch auf der STH Page 3 an (Idle Power: 47W / Load Power: 137W)

ASRock Rack ROMED4ID-2T (~640€)

ASRock Rack ROMED4ID-2T ab € 623,42 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für ASRock Rack ROMED4ID-2T ✔ Bewertungen ✔ Produktinfo ⇒ Formfaktor: Deep Mini-ITX • Sockel: AMD SP3 • Chipsatz: System-on-Chip (SoC) • CPU-Kompatibilität: Epyc 7… ✔ AMD Epyc ✔ Testberichte ✔ Günstig kaufen

geizhals.de

ASRock Rack ROMED4ID-2T mITX-ish AMD EPYC Motherboard Review

The ASRock Rack ROMED4ID-2T is a mITX-ish AMD EPYC motherboard that crams a big CPU into a small form factor

www.servethehome.com

Deep Mini-ITX und SP3: Das ASRock Rack ROMED4ID-2T im Test - Hardwareluxx

Deep Mini-ITX und SP3: Das ASRock Rack ROMED4ID-2T im Test.

www.hardwareluxx.de

Dazu ein "günstige" EPYC CPU (~380€)

AMD Epyc 7252, 8C/16T, 3.10-3.20GHz, tray ab € 295,98 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für AMD Epyc 7252, 8C/16T, 3.10-3.20GHz, tray ✔ Produktinfo ⇒ Kerne: 8 (8C) • Threads: 16 • Turbotakt: 3.20GHz • Basistakt: 3.10GHz… ✔ AMD ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Und als RAM kann man 2x64GB DDR4-3200 (je 170€) die beiden Slots belegen, so das auch in Bezug auf Stromverbrauch nur 2 Slots mit je 1,2V verbraucht werden:

Samsung RDIMM 64GB, DDR4-3200, CL22-22-22, reg ECC (M393A8G40AB2-CWE) ab € 159,00 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Samsung RDIMM 64GB, DDR4-3200, CL22-22-22, reg ECC (M393A8G40AB2-CWE) ✔ Produktinfo ⇒ Typ: DDR4 RDIMM 288-Pin, reg ECC • Übertragung: 3200MT/s (3200MHz effektiv - abgeleitet von 1600MHz I/O-T… ✔ Speicher ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Dann kommt man bei den Kernkomponenten auf grob 1370€

Würde mich interessieren wie der Stromverbrauch mit dem Setup wäre

 

[danielmayer]

Matx, atx oder E-atx spielen bei Epyc keine Rolle, da alle IO-Funktionen auf der CPU liegen. Stromtreiber wären lediglich SAS- oder 10G-Chips. Oben war schon das Gigabyte mz32 empfohlen. Oder -wenn ohnehin xxx2 CPU: ein h11ssl-i von supermicro.
Zur CPU: Finger weg, die ist RAM-Bandbreiten-kastriert. Preis-/Leistung 7302p oder 7402p (16 resp. 24 Cores), manchmal bei ebucht auch ohne p für den gleichen Preis erhältlich.

 

[Potz]

Interessante Idee, aber es geht nicht vorrangig um die Leistungsaufnahme - Sonst hätte ich die kleinen LGA1700 Systeme mit 12400 die im IDLE < 10W brauchen nicht wieder verkauft

Zudem leider nicht genug PCIe Slots. Diese Anforderung ist fest

Hi,
mich quälen derzeit mal wieder ähnliche "Probleme". Ob ich den Schritt zu einem Cluster gehen möchte, weiß ich noch nicht. Am Ende werde ich es vmtl. wie beim letzten Versuch vor zwei Jahren nicht mit meinem Gewissen vereinbaren können für mich alleine so viel Strom zu verbrauchen. Zumal bei mir die NAS-Performance im Vordergrund steht und ein Cluster da erst einmal Nachteile mit sich bringt.

Aber kommen wir zu meinen verwegenen Vorschlägen:
Direkt vorweg stellt sich mir die Frage, warum du denn wie oben zitiert deine LGA1700 Systeme verkauft hast. Damit verknüpft ist die Frage nach den PCIe Slots. Sind die Slots selbst gesetzt, oder ist die Funktionalität gesetzt, die du damit erzielen möchtest? Ich frage z.B. in Bezug auf die GPU. Ist eine integrierte GPU für deine Zwecke ausreichend? Was brauchst du für eine gesteckte Karte an Bauraum?
Mein Gedanke ist nämlich folgender: Ich habe extrem gute Erfahrungen mit der C242 Plattform gemacht und ich denke die kann man auf C246 übertragen. Hier hättest du jetzt sehr unterschiedliche Möglichkeiten:

Auf einem X11SCA-F hättest du exakt die von dir geforderten Slots. Allerdings ist es vom Airflow nicht auf Rackgehäuse optimiert und der völlig überflüssige PCI-Slot kostet zusammen mit Sound sicher ein kleines bisschen Strom (vmtl. allerdings egal verglichen mit SP3).
Ein X11SCW-F finde ich schon viel passender, allerdings passt es nicht zu deinen formulierten Anforderungen. Der Slot für die GPU fehlt. Allerdings könntest du eben eine integrierte GPU nutzen.
(Ich betreibe übrigens ein X11SCL-iF 24/7 (SP3, C422 nur bei Bedarf) und überlege auf eine X11SCL-F zu wechseln um zwei U.2, 25GbE NIC und evtl eine P4801x betreiben zu können)

Eine andere Plattform mit etwas höheren Boardpreisen und vor allem ohne so genial billige CPUs wie den i3-9100 wäre C252/C256:
Das X12STW-TF merzt durch den eingebauten X550 die Einschränkungen des X11STW-F bzgl. der Slots aus.
Das X12STL-F hat trotz µATX alle von dir gewünschten Slots.

Ganz allgemein stellt sich mir die Frage, ob dein Maßstab (<30W idle für CPU/MB/RAM) zu deinen sonstigen Anforderungen passt, denn mit den zwei NICs, dem HBA und der GPU explodiert deine Leistungsaufnahme plötzlich. Unterschiede im "Leerverbrauch" von ~10-20W haben also nur einen geringen Einfluss. Also meiner Meinung nach ist entweder das 30W Ziel ungeeignet (persönlich finde ich das Ziel sehr gut) oder aber der Rest des Systems "passt nicht". Warum brauchst du z.B. den HBA? Hast du Berge an SAS-Platten? So ein EPYC könnte 16 SATA-Platten ohne HBA ansprechen, was den Verbrauch der Plattform deutlich relativiert. Ähnliches Spiel bei der GPU (Karte vs. iGPU). Zusammengefasst meine ich, dass du deine Anforderungen noch nicht vollständig genug aufgeschrieben hast um möglicherweise Lösungen zu finden, die du nicht bedacht hast.

Viele Grüße von jemandem der gerade realisiert hat, dass er vor über 20 Jahren auf dieser Plattform begonnen hat (und die meiste Zeit inaktiv war)!

 

[java4ever]

Damit verknüpft ist die Frage nach den PCIe Slots. Sind die Slots selbst gesetzt, oder ist die Funktionalität gesetzt, die du damit erzielen möchtest?

Teils teils.

Ich muss allerdings auch dazu sagen, dass sich die Anforderungen mittlerweile weiterentwickelt haben.

- x4 Slot: Definitiv notwendig für die Solarflare NIC mit PPS Eingang für PTP Synchronisation
- x8 Slot: Auch zu 99% gesetzt für die 2*25G Mellanox NIC - Wäre ggf. gegen Onboard 25G NIC verkraftbar, aber ggf. soll auch auf 2*100G aufgerüstet werden (hängt eh an nem 16*100G switch). Zudem müsste die onboard-NIC RoCE v2 unterstützen.
- x8 Slot 2: Auch zu 99% für den HBA gesetzt. Meine Quelle für günstige gebrauchte Platten ist primär SAS. Ursprünglich war auch mal eine Expander Backplane angedacht.
- x1 Slot für die GPU: Theoretisch einsparbar, aber ich möchte AV1 Encoding und das kann aktuell keine CPU...

X11SCA-F

Puh.. Auch wenn das Board schön ist, in so eine alte Platform wollte ich eigentlich nicht mehr investieren.
Xeon-E 2200 wäre notwendig für ECC Support, mit maximal 8 Kernen, und die sind mit 600€+ (8 Kerne) leider gar nicht mal so günstig und gebraucht eher selten.

X11SCW-F

Gleiches Spiel leider hier auch

Das X12STW-TF merzt durch den eingebauten X550 die Einschränkungen des X11STW-F bzgl. der Slots aus.

Leider bringt mit X550 nichts. Kein 25G (nur 10), habe generell kein 10GBase-T (nur Fiber / SFP28) und RoCE kann die X550 leider auch nicht.
Gleiches Problem mit den CPUs auch (Xeon-E)...

X12STL-F

Gleiches Problem mit den Xeon-E

Ganz allgemein stellt sich mir die Frage, ob dein Maßstab (<30W idle für CPU/MB/RAM) zu deinen sonstigen Anforderungen passt, denn mit den zwei NICs, dem HBA und der GPU explodiert deine Leistungsaufnahme plötzlich.

NICs, HBA: Jeweils 10W
GPU: ca. 7W

Ja, macht 47W jeweils an Karten. Deswegen war die Hoffnung ja den Basis-Stromverbrauch der Platform etwas zu drücken, damit es nicht zu sehr ausufert. Dass das mit den restlichen Anforderungen nicht wirklich vereinbar ist, war quasi abzusehen. Deswegen ja auch schon der Thread-Titel

Warum brauchst du z.B. den HBA? Hast du Berge an SAS-Platten?

Ja

So ein EPYC könnte 16 SATA-Platten ohne HBA ansprechen

Bitte nicht.. Von den SATA Controllern von AMD (und ASMedia) versuche ich mich möglichst weit fernzuhalten. Die sind super schlecht

Zusammengefasst meine ich, dass du deine Anforderungen noch nicht vollständig genug aufgeschrieben hast um möglicherweise Lösungen zu finden, die du nicht bedacht hast.

Dann nutze ich mal die Gelegenheit, um die weiterentwickelte Planung jetzt mit EPYC zu beschreiben:

- 3 Kisten
- MB H12SSL-NT (10GBase-T NIC wird zwar nicht benötigt... Aber geht nicht anders)
- CPU EPYC 7302
- 8x 32G RAM
- 1x Boot NVMe
- HBA LSI 9300-8i mit 8x 14T SAS Platten
- 4x NVMe SSDs (über die 2x SlimSAS 8i, deswegen das -NT, das -i hat nämlich nur 1x SlimSAS 8i), vmtl. PM9A3 1.92TB. Zwei sind für VM local storage, eine / zwei für Ceph
- NIC 1: Mellanox CX4121A-ACAT (schon vorhanden), 2x25G, perspektivisch Aufrüstung auf 2x 100G ConnectX-4/5
- NIC 2: SolarFlare SFN7322F für PPS und PTP
- GPU: Offen. Sobald Verfügbar Intel Arc A310 (zwecks AV1 encoding)

 

[Potz]

Xeon-E 2200 wäre notwendig für ECC Support, mit maximal 8 Kernen, und die sind mit 600€+ (8 Kerne) leider gar nicht mal so günstig und gebraucht eher selten.

Nur der Vollständigkeit halber, da es dich nicht interessieren wird: Das schöne an dem i3-9100 ist sein ECC Support.

Bitte nicht.. Von den SATA Controllern von AMD (und ASMedia) versuche ich mich möglichst weit fernzuhalten. Die sind super schlecht

Habe aktuell kein SATA-Gerät an meinem H11SSL-i hängen (Kiste ist komplett disk-less) und in der Vergangenheit auch nur mal eine Boot-SSD. Womit muss man da rechnen?

- MB H12SSL-NT (10GBase-T NIC wird zwar nicht benötigt... Aber geht nicht anders)
- CPU EPYC 7302
- 4x NVMe SSDs (über die 2x SlimSAS 8i, deswegen das -NT, das -i hat nämlich nur 1x SlimSAS 8i), vmtl. PM9A3 1.92TB. Zwei sind für VM local storage, eine / zwei für Ceph

Dass es statt dem H12SSL-i nicht einfach ein H12SSL-N gibt ärgert mich auch massiv. Beim H13 haben sie das zum Glück geändert. Wenn es darum geht maximal Strom zu sparen, könnten ja noch die beliebten Adapterkarten herhalten mit denen man eine U.2 "direkt" in den PCIe-Slot stecken kann. Ich persönlich würde sogar eher über eine AOC-SLG4-2E4T-O als über das -NT nachdenken, weil ich so eine Aversion gegen die aufgelöteten 10GbaseT Chips habe, die in Tower-Gehäusen nervig zu kühlen sein können (nicht dein Problem).

Ich habe keine Ahnung, welche CPU-Last du erwartest, aber ich finde auch den 7F32 sehr attaktiv. Für meine Zwecke wäre er besser geeignet.

Aus Mangel an eigener Erfahrung würde mich persönlich noch interessieren, warum du sowohl VM local storage als auch Ceph vorsiehst.

 

[java4ever]

Nur der Vollständigkeit halber, da es dich nicht interessieren wird: Das schöne an dem i3-9100 ist sein ECC Support.

Oh, interessant. Aber scheint ja nur bei vereinzelten Core-i Modellen so zu sein, dass sie ECC unterstützen.. Typisch Intel

Ich persönlich würde sogar eher über eine AOC-SLG4-2E4T-O als über das -NT nachdenken

Hatte ich auch überlegt - Aber zusammen mit den Adapterkabeln auf SFF8643 ist das am Ende teurer als der Aufpreis -i auf -NT

Aus Mangel an eigener Erfahrung würde mich persönlich noch interessieren, warum du sowohl VM local storage als auch Ceph vorsiehst.

Weil Ceph ein übler IOPS Fresser ist, aber die schmerzfreiste Lösung für replizierten und selbstheilenden Speicher...
Ceph wird also das Datengrab.
Die VMs laufen ohnehin alle dreifach repliziert im HA Verbund, da nehme ich lieber dann vernünftige IOPS anstatt die ins Ceph zu legen