[Kaufberatung] PCIe Karte für 4 NVMEs

[proxi532]

Hallo zusammen,

ich plane mir ein Hypervisor mit nur NVME für die VMs zu bauen, ich bin dann auf so eine nette Erweiterungskarte gestoßen, die 4x NVME aufnehmen kann:

ASUS Hyper M.2 X16 Gen 4 Card ab € 56,88 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für ASUS Hyper M.2 X16 Gen 4 Card ✔ Bewertungen ✔ Produktinfo ⇒ Wandlung: PCIe -> M.2 PCIe • Host: 1x PCIe 4.0 x16 (male) • Ziel: 4x M.2/M-Key (PCIe 4.0 x4, 22110/2280/2… ✔ Adapter/Konverter ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Meine Frage, wie werden diese im Betriebssystem Linux angezeigt, wenn ich 4x 1TB NVMEs einbaue, jeweils als einzelne oder kann man diese dann zusammenführen als ein großen Pool?

 

[Firebl]

Zumindestens unter Windows werden diese als vier einzelne Laufwerke angezeigt. Welches Mainboard soll damit genutzt werden? Da mit dieser Karte ein 4+4+4+4-Bifurcation notwendig ist, sollte das Mainboard dies auch unterstützen (z.B: AMD X399).

 

[proxi532]

Hi, als Board war dieses angedacht:

MSI PRO B760M-P ab € 125,93 (2023) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für MSI PRO B760M-P ✔ Produktinfo ⇒ Formfaktor: µATX • Sockel: Intel 1700 • Chipsatz: Intel B760 • CPU-Kompatibilität: Core i-13000 , Core i-… ✔ Intel Sockel 1700 ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Was ich mich noch Frage, passt die Karte in ein 3HE Server Gehäuse oder muss es gleich ein 4HE werden?

3HE Case:

Inter-Tech IPC 3U-3098-S ab € 104,98 (2023) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Inter-Tech IPC 3U-3098-S ✔ Bewertungen ✔ Produktinfo ⇒ Extern: 4x 5.25" • Intern: 5x 3.5", 2x 2.5" • I/O: 2x USB 2.0 • Lüfter (vorne): N/A… ✔ 19

geizhals.de

4HE Case:

Inter-Tech IPC 4U-4098-S ab € 129,55 (2023) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Inter-Tech IPC 4U-4098-S ✔ Bewertungen ✔ Produktinfo ⇒ Extern: 6x 5.25" • Intern: 5x 3.5", 6x 2.5" • I/O: 2x USB 2.0 • Lüfter (vorne): N/A… ✔ 19

geizhals.de

 

[Spieluhr]

Das Board unterstützt kein Bifurcation, weder x8/x8 noch x8/x4/x4 und erst recht nicht x4/x4/x4/x4, kannst du also getrost vergessen.

Meine Frage, wie werden diese im Betriebssystem Linux angezeigt, wenn ich 4x 1TB NVMEs einbaue, jeweils als einzelne oder kann man diese dann zusammenführen als ein großen Pool?

Ich denke mal, jede dort gesockelte SSD dürfte dir einzeln angezeigt und entsprechend konfigurierbar sein. Wenn du die zusammen legen möchtest kommt es halt darauf an ob die Karte eine Software anbei hat die dir einen Raid-Manager anbietet und ob diese dann überhaupt unter Linux läuft. Unter Windows dürften SSDs die über diese Karte gesockelt werden -und via Bifurcation auch ansprechbar wären- entweder via Intel VMD in ein Volume zusammen schaltbar sein bzw. direkt unter Windows in einen Speicherpool (was meiner Meinung nach die komfortablere und keineswegs schlechtere Lösung zu Intel VMD wäre).

 

[Firebl]

Die Karte hat keine Software (Ich hab die Karte auch). Die SSDs werden mit Bifurcation direkt angebunden.

Z690 (12900KS, MSI MAG Z690 TomaHawk Wifi) kann nur noch 8+8, also nur zwei SSDs auf der Karte. Im Zweifel einfach im Handbuch des Mainboards nachlesen.
Hier sind Infos von ASUS zur Kompatibilität

[Motherboard] Kompatibilität der PCIe-Bifurkation zwischen Karten der Hyper M.2-Serie und Add-On-Grafikkarten | Offizieller Support | ASUS Deutschland

 

[Spieluhr]

Gibt es überhaupt noch x4/x4/x4/x4 auf ein paar aktuellen Boards mittlerer Preisregion 200~300€.

ps: Mein MSI Pro Z690-A (DDR4) hat ja "normalerweise" auch kein Bifurcation Support. In meinen disgepatchten UEFI kann ich aber für PCIe x8/x8 bzw. x8/x4/x4 auswählen.
Ob das praktisch funktioniert oder ob es dazu noch weiterer (bauteilebedingerter) Voraussetungen benötigt, keine Ahnung.

 

[Trambahner]

Aktuelle Intel gen12/13 können generell nur x16 oder x8x8. Kein x4x4x4x4 oder x8x4x4. Diese beiden Optionen gehen im Desktopbereich aktuell nur auf CPUs für AM4 (4000er+5000er APUs nur x8x4x4, ältere APUs haben eh nur 8 gpu-lanes) und AM5. Sockel 1700 => alles andere als x8x8 benötigt dann Karten mit PLX-Chipsatz oder ähnliches (Broadcom Tricore HBA z.B..)
Ob Bifurcation dann unterstützt wird, hängt dann noch natürlich vom Board und Bios ab, Meine Asus und Asrocks können es alle.

 

[Firebl]

Wie ich gerade bei ASUS gesehen habe, scheinen die neuen Xeon 3400 und 2400 wieder 4+4+4+4 zu können.

 

[Spieluhr]

Aktuelle Intel gen12/13 können generell nur x16 oder x8x8. Kein x4x4x4x4 oder x8x4x4.

Wie kommt das dann, dass ich mit einen Z690 und Gen13 CPU im Dispatch Mode x8/x4/x4 auswählen kann?
Ghost Setting?

 

[Firebl]

Bei ASUS sollte es 16/8+8 erst ab Z790 geben. Z690 sollte 8/8+8 gehen. Ggfs bei MSI anders.

 

[Trambahner]

Wie kommt das dann, dass ich mit einen Z690 und Gen13 CPU im Dispatch Mode x8/x4/x4 auswählen kann?
Ghost Setting?

Das kann ich Dir nicht beantworten. Lt. Intel Ark-Produktdaten geht nur 16+4 und x8x8 + 4 (die +4 sind ja die dedicated SSD-Lanes der CPU)
Ark, z.B. 13900K . Das findest Du so bei allen Alder Lake und Raptor Lake Desktop CPUs.
Nur weil ein Boardsettings vorhanden ist, heisst ja nicht, dass es die CPU auch so ausführt (wie z.B. Stichwort OC mit Multipplikatoren oder Ram-Takten bei gelockten CPUs; kann man ggf. einstellen, wirkt aber nicht).

Wenns die CPU nicht anbietet => Boardsetting wertlos (schlimmstenfalls störts evtl sogar die PCIe-Kommunikation) . Oder bedarf eines PCIe-Switches, manche Boards hatten sowas früher.
Es kann natürlich auch sein, dass vielleicht einzelne spezifisch gefertigte OEM-CPU-Varianten es können . Oder es die normalen CPUs nicht "offziell" können (siehe damalige AVX512-Thema beim gen12 anfangs, was dann ja weggepatched wurde),

 

[Spieluhr]

Das beschreibt jetzt aber eher die Anzahl PCIe Slots und dessen max. Beschaltung. PCIe x16 + PCIe x4 (und halt 2x PCIe x1) hat mein Board ja auch. Das ist so richtig.
Ich meine aber Bifurcation des ersten/obersten PCIe Gen5 x16 Slot. Da bietet mir das dispatched UEFI x8/x8 bzw. x8/x4/x4 an. Kann auch ein Fake Setting sein aber im UEFI kann man es setzen (nach Modifikation).
Mir fehlt aber leider die HW. um das zu prüfen da meine Pixelschleuder eh nur via 8 Lanes (Gen4) beschaltet ist. Wäre aber mal interesant zu wissen, ob das gehen würde, rein über Software (UEFI), die Boards schon von der HW. her dafür fit sind, halt nur dass UEFI diesbezüglich gelockt um das auf teureren Brettern dann frei zu geben.

ps: Weil wenn das rein nur über UEFI gehen "würde", dann könnte ich mir gut vorstellen, dass man auch in der AMITSE zum B760M entsprechende Settings dispatchen und damit im UEFI zugänglich machen kann.

 

[Trambahner]

Das ist mir schon klar, dass es Dir um die Aufteilung des x16 Slot geht.

Und genau das gibt Intel in der Ark unter "PCIE-Configuration" auch an, wenns offiziell geht. Nicht nur die Maximalzahl.
siehe hier 11900K : "Up to 1x16+1x4, 2x8+1x4 , 1x8 +3x4 ". einmal x4 für die SSD-Lanes geht in der Aufzählung wieder weg => 11900K kann x16 , x8x8 und x8x4x4 auf dem x16 Slot.

Wie oben gesagt, eventuell hat das eine oder andere Board nen Tweak a la PCIE-Switchchip drauf oder kann es irgendwie als nicht spezifiziertes Feature freischalten (solche Dinge gabs ja hin und wieder), aber verlassen würde ich mich nicht drauf.

Will man derzeit mit x4x4x4x4 wirklich sicher gehen: go AM4 non-APU (also R5 5600 Minimum) oder AM5 mit passendem Board. Meine Boards aus der Signatur können es alle.

Btw, wenn Proxmox als Hypervisor: das erkennt die so angeschlossenen SSDs problemlos, wie allermeistens, als einzelne SSDs und können dann out-of-the-box zu einem ZFS-Pool (Mirror, Raidz, etc.) kombiniert werden.

 

[Spieluhr]

Gut, dann wird das x8/x4/x4 Setting ein Fake Seting sein, dass die Boardpartner übernommen haben aus AMITSE @ Z590 Gen11.
DLVR (CPU+WAN) kann ich ja auch setzen, obwohl nur (derzeit) im mobile Sektor genutzt, daher ein Ghost Setting.

 

[Firebl]

Will man derzeit mit x4x4x4x4 wirklich sicher gehen: go AM4 non-APU (also R5 5600 Minimum) oder AM5 mit passendem Board. Meine Boards aus der Signatur können es alle.

Hier stand etwas falsches.

 

[Holt]

Meine Frage, wie werden diese im Betriebssystem Linux angezeigt, wenn ich 4x 1TB NVMEs einbaue, jeweils als einzelne oder kann man diese dann zusammenführen als ein großen Pool?

Es sind für Betriebssystem immer Einzellaufwerke, sofern man sie nicht schon direkt im BIOS zu seinem RAID konfiguriert.

Da mit dieser Karte ein 4+4+4+4-Bifurcation notwendig ist, sollte das Mainboard dies auch unterstützen (z.B: Intel Z590).

Ja, aber beim Z590 wäre ich mir da nicht sicher!

Z690 (12900KS, MSI MAG Z690 TomaHawk Wifi) kann nur noch 8+8, also nur zwei SSDs auf der Karte.

So ist es, die neuen S. 1700 CPUs können die 16 Lanes "für die Graka" nur noch in x8+x8 aufteilen, ihre Vorgänger konnte noch x8+x4+x4.

Da ich selbst zwei Z590 Systeme habe, kann ich dort auf jeden Fall bestätigen das es dort mit 4+4+4+4 geht. Im Zweifel einfach im Handbuch des Mainboards nachlesen.

Was mich extrem wundert, da Intel selbst z.B. zum 11700K schreibt:

PCI Express Configurations ‡ Up to 1x16+1x4, 2x8+1x4, 1x8+3x4

1x16+1x4 ist klar, alle 16 Lanes für die Graka und die x4 sind die für einen M.2 Slot direkt von der CPU, was ja bei den CPUs der 11ten Generation gerade neu war, 2x8+1x4 ist eben x8+x8 plus die extra 4 Lanes für den M.2 Slot und 1x8+3x4 ist eben dann x8+x4+x4 im Slot der Graka plus den M.2 Slot. x4+x4+x4+x4 kann kein S. 1200 System von sich aus, vielleicht macht das Board es möglich indem es z.B. die 4 Lanes die meist für den M.2 Slot genutzt werden dann auf den x16 Slot umschaltet und dort als Lane 4 bis 7 nutzt, aber sonst laufen garantiert nicht 4 SSDs in so einen Adapter ohne PCIe Lanes Switch (aka PLX Chip) im x16 Slot eines S.1200 Systems, keine Chance!

Aktuelle Intel gen12/13 können generell nur x16 oder x8x8. Kein x4x4x4x4 oder x8x4x4.

Eben, von daher muss Firebl sich irren oder das Board schaltet da eben 4 Lanes von woanderes drauf und man nutzt dann in Wahrheit nur 12 der 16 Lanes die eigentlich an den Slot gehen oder seine Karte ist doch eine mit einem PLX Chip.

scheinen die neuen Xeon 3400 und 2400 wieder 4+4+4+4 zu können

Das ist klar, dass konnten die Xeons schon früher, schon beim S.2011-3 gab es einzelne Boards wo dies bei einem oder zwei Slots unterstützt wurde, beim S. 2066 war es dann normal und ich meine oft sogar für alle x16 Slots. Aber die Mainstream Sockel konnten es bei Intel nie und mit dem S. 1700 ist sogar noch der x8+x4+x4 Modus entfallen der es ermöglicht hat wenigstens 3 der 4 M.2 Slots so eine billigen Adapterkarte nutzen zu können. Beim AM4 geht es zumindest bei einigen Boards, technisch ist es also bei AM4 möglich, nur unterstützen es wohl nicht so viele Mainboards.

 

[proxi532]

Wow, soviele Rückmeldungen in der Zwischenzeit, ich dachte das wäre ein einfacher Fall
Ich möchte ein Proxmox Hypervisor mit einem Intel i5-13500 (https://geizhals.de/intel-core-i5-13500-bx8071513500-a2871148.html) bestücken.
Anscheinend klappt nun das oben genannte MSI Mainboard (B760) nicht, welches Mainboard/Chipsatz würde überhaupt passen für die Erweiterungskarte, oder muss ich das kleinere Modell mit nur 2xNVME Slots nehmen? Möchte im Prinzip soviele wie möglich keine HDD, sondern NVMEs oder im WorstCase 2,5" SSD (Sata) verbauen.

Es gibt noch eine Karte aber mit langsameren PCI 3.0: https://geizhals.de/asus-hyper-m-2-x16-card-v2-90mc06p0-m0eay0-a2267663.html

 

[Holt]

Anscheinend klappt nun das oben genannte MSI Mainboard (B760) nicht, welches Mainboard/Chipsatz würde überhaupt passen für die Erweiterungskarte

Nein, man kann die 16 PCIe Lanes nur bei Mainboards mit einem Z (oder dem W680) Chipsatz aufteilen, die B und H Chipsätze erlauben dies nicht.

muss ich das kleinere Modell mit nur 2xNVME Slots nehmen?

Das würde nichts bringen bzw. eben bei einem passenden Mainboard noch weniger, da man ja die 16 Lanes nur in x8+x8 aufteilen kann, man also bei der PCIe x16 Karte also den 1. und 3. M.2 Slot nutzen kann und bei einer solchen Karte mit nur zwei M.2 Slots könnte man immer nur eine SSD verbauen.

Es gibt noch eine Karte aber mit langsameren PCI 3.0: https://geizhals.de/asus-hyper-m-2-x16-card-v2-90mc06p0-m0eay0-a2267663.html

Das ändert nichts, denn die hat auch keinen PCIe Lane Switch (aka PLX Chip) und Karten mit so einem Chip, die bräuchten dann keine PCIe Bifurcation um alle Slots nutzen zu können, kosten ab einige Hundert Euro.

 

[Trambahner]

@proxi532 :
Die Aufteilung x4x4x4x4 geht auf Sockel 1700 nicht. Egal welche CPU der Generation 12/13/14 oder Board. Nur mit aktiver Controllerkarte mit PLX-Chip oder vergleichbar.
Kostet mehrere hundert Euro und zieht nicht wenig Idle-Power.

Willst Du x4x4x4x4 im 16er Sockel ohne PLX-Chip, bleibt Dir aktuell nur der Weg: AM4 mit Ryzen 5600 oder besser oder AM5.

Budget-Empfehlung für sowas: Ryzen7 5700X, B550 oder X570-Chipsatz. Mit dem richtigen Board kannst Du dann auch ECC-Ram einsetzen, manche Boards booten auch Headless ohne Graka (die brauchst Du dann nur zum Installieren in solchen Fällen ). B550 hat etwas niedrigeren Stromverbrauch im Idle, X570 mehr Konnektivität am Chipsatz (der ist dann auch mit x4 Lanes PCIe gen4 angebunden und kann etwas mehr als 7 Gbyte/s pro Richtung wuppen). Brauchst Du mehr Kerne für VMs: go 5900X oder 5950X.
Das B550M Tuf Gaming Plus z.B. kann Bifurcation als auch Ram mit ECC-Funktion benutzen, ist günstig (etwa 120-125 Euro), sparsam und kann headless booten. Ferner hat es nur 4 Sata, so dass relativ viel PCIe-Konnektivität am B550 bleibt. Die Spannungsaufbereitung des Boards kann auch nen 5950X handlen.

Woher weiss ich das? Steht bei mir grad keine 2m entfernt und hat Proxmox drauf: 5600X auf B550M Tuf Gaming Plus. 7m entfernt ein 5950X auf X570D4U-2L2T und hat ESXI am laufen. Beide stehen auf "x4x4x4x4", was ich auch mit Bifurcation-Karten wie der oben genannten "Hyper M2" getestet habe.
Das X570D4U hat zwei Slots für die 16GPU-Lanes, die kann man x4x4x4x4 auf einem oder x4x4 + x4x4 (also je 8 Lanes geteilt auf die zwei Slots, die sich in x4x4 aufteilen lassen, sie können aber auch x4x4 + x8 oder x8 + x4x4 laufen).

 

[proxi532]

Hallo zusammen, erstmal danke für euren Input, dass mit den ganzen Einschränkungen bezogen auf Chipsätze mit den Lanes (4x4x4x4) war mir so nicht klar.

Nein, man kann die 16 PCIe Lanes nur bei Mainboards mit einem Z (oder dem W680) Chipsatz aufteilen, die B und H Chipsätze erlauben dies nicht.

Laut @Trambahner ist keiner der Intel aktuellen Consumer CPUs für Sockel 1700 ohne dedizierte PLX Karte möglich, so fällt dann wohl Intel für mich leider raus, obwohl dieser gegennüber AMD wie ich öfters gelesen haben energieeffizienter sind. Wenn das so final stimmt gucke ich dann rüber auf die AMD Plattform.

Es gibt evtl. noch eine weitere Option, anstatt eine Adapterkarte mit 4x NVMe einzubauen, wäre eine Adapterkarte mit mehreren zusätzlichen SATA Ports für viele 2,5" SDDs möglich, dann wäre ich weiterhin mit Sockel 1700 unterwegs. Im Kern will ich viele non-mechanic HDDs für VMs einbauen und genug Puffer für Storage haben. Welche Karte/Setup würdet ihr dann empfehlen?

 

[Trambahner]

Pauschal "Hersteller A ist effizienter als B" funktioniert nicht, "Energieeffienz" ist schwierig zu greifen.
Es kommt immer auf die genaue Konfiguration an, was im Detail für Hardware im Detail verbaut ist, welches Betriebssystem, was die Nutzung/Auslastungsgrad ist. Du kannst ein AMD-System konfigurieren, dass es relativ sparsam ist, Du kannst ein Intel-System konfigurieren dass es unnötig Strom zieht.

Schau einen 13900K an, der ballert bei vollem Boosttakt Strom durch und produziert Abwärme, das einem Hören und Sehen vergehen kann Gleichzeitig kann er bei richtiger Komponentenauswahl aber auch niedrige Idle-Werte haben.
Ein 5600X kann auf einem sparsamen B550-Board mit 25W im Idle laufen. ein 5600G kann auf einem Deskmini mit 7-8W im Idle laufen..
Du kannst aber einen 5950X auch mit 250W unter voller Last und OC powern lassen.
Ein 7800X3D-System auf B650/X670 ist z.B. supereffizient im Gaming, aber wird nicht die ganz niedrige Idle-Leistungsaufnahme eines z.B. B760 mit 13500 erreichen.

=> Sorgfältige Komponentenauswahl für den jeweiligen Einsatzzweck ist notwendig, egal ob Intel oder einer der AMD-Plattformen.

Btw: bzgl. Bifurcation rede ich nur von x4x4x4x4 und x8x4x4 bei Sockel 1700. Aufteilen x8x8 geht wie es Holt erwähnt hat.

----------
Wenn Du viele SAS/Sata-Ports willst, go Broadcom 9400-16i oder 9500-16i . Wenn 8 reichen, go for 9300-8i . Das sind SAS-Hostbusadapter die annähernd jedes OS kennt, ganz besonders im Serverbereich,
Bedenke aber: Solche Karten ziehen auch Strom.Je nach Typ 10-15W Idle.
Bedenke: jede SSD erhöht auch die Leistungsaufnahme.

Ferner: Wähle SSDs bitte nach anfallender Schreib- und Leselast aus, nicht nach Preisen und Werbeseiten. Halte Dich da fern von Billig-SSDs ohne Dram-Cache und/oder mit QLC-Flash. Damit wirst Du keine Freude haben. Mit 870QVOs wirst Du z.B. nicht happy, wenn da z..B. dauernd VMs drauf schreiben, für reines Ablegen von Musik oder Videos, wenn dannach weitgehend nur gelesen wird, sind die dagegen akzeptabel.
Es kann im Homeserver durchaus sinnvoll sein, Datacenter-SSDs zu nutzen. Bedenke dann aber, dass es für OEM-Hardware (was Datacenter-Hardware oft ist) nicht alle Hersteller support für Endkunden übernehmen (Firmware-Updates, Herstellergarantie). Datacenter-SSDs haben ferner meist deutlich höhere Idle-Leistungsaufnahmen als Consumer-Hardware.

=> Auswahl von SSDs kann also auch sehr spannend sein.
Im großen Homeserver hab ich daher Datacenter (Samsung PM9A3 7.68TB, zwei stück derzeit) , im kleinen zwei WD SN850X 4TB.

 

[Holt]

Laut @Trambahner ist keiner der Intel aktuellen Consumer CPUs für Sockel 1700 ohne dedizierte PLX Karte möglich

Richtig, dies hatte ich ja auch geschrieben, denn beim S. 1700 geht nur die Aufteilung in x8/x8 und dies nur mit dem passenden Chipsatz und wenn das BIOS es erlaubt. Dafür haben die großen Chipsätze von Intel aber mehr PCIe Lanes vom Chipsatz und der Chipsatz selbst ist auch per PCIe 4.0 x8 angebunden.

"Energieeffienz" ist schwierig zu greifen.

Eben, da spielt viel rein und nicht zuletzt die BIOS Einstellungen.

Schau einen 13900K an, der ballert bei vollem Boosttakt Strom durch und produziert Abwärme, das einem Hören und Sehen vergehen kann

Aber nur wenn man das Long Term Power Limit aka PL1 nicht entsprechend im BIOS angepasst hat. Leider stellen die meisten Retail Mainboards, vor allem solche mit Z Chipsatz, da per Default viel zu hohe Werte ein, teils von über 4000W. Wer die Leistungsaufnahme und damit Abwärme geringer haben will, der stellt sich das einfach passend im BIOS ein, dies ist kein Hexenwerk und jedes dieser Retail Mainboards hat diese BIOS Einstellung, manchmal muss man nur ein wenig danach suchen. Zumindest bei AM5 berücksichtigt AMD übrigens bei dem Eco Mode auch nur die Leistungsaufnahme der Kerne, für das I/O Dies und die IF kommen da noch mal locker 20W drauf, bei Intel ist das Power Limit für die CPU Package Power, also für alles was unter dem HS steckt.

Ein 5600X kann auf einem sparsamen B550-Board mit 25W im Idle laufen. ein 5600G kann auf einem Deskmini mit 7-8W im Idle laufen..

Die Chiplet Designs von AMD haben eine recht hohe Idle Leistungsaufnahme, die monolithischen APU Designs sind in der Hinsicht weit besser, aber da muss man dann wegen der ECC RAM Unterstützung zu den Pro greifen und auch schauen wie es da jeweils bzgl. der PCIe Lanes und Bifurkation aussieht. Mein 13900K kommt unter Win 10 im Idle nur mit HWInfo64 Sensor übrigens auf so 2,25W Package Power! Wenn die BIOS Einstellungen aber vergurkt sind, kann man da auch bei 30W landen, da hat man selbst viel in der Hand und Raptor Lake kann eben auch sparsam, sparsamer als viele Leute glauben.

Btw: bzgl. Bifurcation rede ich nur von x4x4x4x4 und x8x4x4 bei Sockel 1700. Aufteilen x8x8 geht wie es Holt erwähnt hat.

Eben und x4+x4+x4+x4 gab es meines Wissens nach nie bei den Mainstream Plattformen von Intel, sondern nur x8+x4+x4, was leider mit dem S. 1700 auch nicht mehr geht, nun ist x8+x8 die einzige Möglichkeit die 16 Lanes für die Graka aufzuteilen und dies eben auch nur mit dem Z oder W Chipsatz (oder dem großen Q, aber gibt es den jetzt überhaupt noch?).

 

[Spieluhr]

Es gibt evtl. noch eine weitere Option, anstatt eine Adapterkarte mit 4x NVMe einzubauen, wäre eine Adapterkarte mit mehreren zusätzlichen SATA Ports für viele 2,5" SDDs möglich, dann wäre ich weiterhin mit Sockel 1700 unterwegs. Im Kern will ich viele non-mechanic HDDs für VMs einbauen und genug Puffer für Storage haben. Welche Karte/Setup würdet ihr dann empfehlen?

Ich persönlich hatte zu Z77 Zeiten noch zwei der SAS9211-8i von LSI mit bis zu 16 der guten, alten WD Blue SSDs (erste Gen.) völlig problemlos im Einsatz.
Die Karten waren bootfähig, bieten ein eigenes Boot Menü Bios das man so konfigurieren kann, dass sich der Bootvorgang um keine Sekunde verzögert und sind W10/11 kompatibel.
Bei Broadcom findest du aber viele weitere Treiber für alle möglichen Betriebssysteme inkl. Linux.
Da solltest du allerdings, wie @Trambahner schon geschrieben hatte darauf achten, die verbrauchen auch ein bischen was an Strom und benötigen einen PCIe 3.0 x16 Slot der minimum elektrisch x4 angebunden ist.
Mein damaliges OC-Formula war diesbezüglich entsprechend ausgestattet:


(8x WD Blue Sata @ PCIe3.0x8 / 8x Barracudas @ PCIe2.0 x4)

..auf einen B760 wirst du so etwas mit zwei dieser Karten nur realisieren können, wenn du auf die Pixelschleuder verzichtest.
Bei einer Karte (PCIe3.0 x16 (elektrisch x4)) wären dann immer noch bis zu acht Sata3 SSD mit Kapazitäten 1~4 TB pro SSD, also 8 bis 32TB gesamt, kein Problem.
Schon damals hatte ich auf der zweiten Karte via HDDs (Seagate Barracudas) 32TB in 2 Volumes gesetzt, die problemlos erkannt wurden.
Inkl. Sas-Multiplierkabel wirst du da aber so um die 100~150€ (je Karte) investieren müssen. Sind mittlerweile sehr teuer geworden.
Vor ein paar Jahren hast du die zeitweise noch für 20~40€ neu bekommen.

edit: Bezüglich der Bifurcation Diskussion habe ich mir gerade noch einmal das UEFI meines MSI Pro Z690-A WiFi | Biosfile E7D25 Version 1D0 (1E0 ist die aktuellste) angeschaut:



..im Dispatchmode wird mir das so auch im UEFI angeboten, kann allerdings auch ein Ghost/Fake-Setting sein, wie halt CPU/RFIM DLVR (beides auf Z690/790 @ default enabled aber nicht aktiv).

Oder es die normalen CPUs nicht "offziell" können (siehe damalige AVX512-Thema beim gen12 anfangs, was dann ja weggepatched wurde),

Auch wenn Offtopic aber egal: Konnte ich, egal ob bei Asus oder MSI, mit einer 12100 und 12400 immer wunderbar aktiv dispatchen.
Nur bei meiner zweiten 12400 (Nachkauf / Stepping H0) war dann Ende, da Intel da wohl schon den lasercut durch geführt hatte.

...

 

[Firebl]

Eben, von daher muss Firebl sich irren

Und genau das hat er getan. Ich hatte die Karte nicht in den Z590 Boards, sondern vorher im ASUS Strix X399-E mit TR1950. Da ging es ohne Probleme.
Tut mir leid, hab alle falschen Aussagen editiert.

 

[corross]

Für ein paar VM's tut es auch eine einzelne 4TB M.2-NVMe-SSD.
Energieffizienz ist Einstellungssache. Leider besitzt längst nicht jedes Mainboard die Möglichkeit, den Energieverbrauch über das BIOS merklich zu begrenzen. (Spannungseinstellungen, Powerlimits, Multiplikatoreinstellungen, aktive Kerne, abschalten von nicht gebrauchten Komponenten usw.)

Was ich mich noch Frage, passt die Karte in ein 3HE Server Gehäuse oder muss es gleich ein 4HE werden?

3HE wird zu knapp für die Hyper M.2 x16 Gen 4, es sei denn, du lässt den Deckel offen - ausgemessen in Supermicro CSE-836: Abstand Mainboard (PCB) zu Deckel: 123mm.
Mit 4 HE sind ~44mm mehr Platz nach oben, was dann auch höhere CPU-Kühler und Consumer-Grafikkarten erlaubt.

 

[Spieluhr]

Aktuelle Intel gen12/13 können generell nur x16 oder x8x8. Kein x4x4x4x4 oder x8x4x4.

Habe das mal kurz im UEFI eingestellt und Screenshots gemacht:



..kann dann halt nur ein Fehler im UEFI sein (siehe Post #23) oder die AMITSE wurde von älteren Chipsets (Z590 usw.) ohne Änderung diesbezgl. so in neuere Chipsets übernommen.

 

[Trambahner]

Das "*" an den Optionen wär interessant, ob das irgendwo erläutert wird. Ich würde vermuten in der Art "hängt von den Fähigkeiten der eingesetzten CPU ab".

 

[Spieluhr]

Das kann ich dir auch nicht beantworten, im UEFI wird nur das angezeigt was das Infofenster rechts daneben ausgibt.
Ich gehe aber mal schwer von einen Fehler in der AMITSE aus, dass sind eher die PCIe Settings zu zb. einer 11500 / LGA1200.
Werde ich mal den MSI HQ drauf hinweisen.

 

[Holt]

sondern vorher im ASUS Strix X399-E mit TR1950. Da ging es ohne Probleme.

Je bei den großen Sockeln ist dies anders, seit dem S. 2066 sollte es bei den Intel Boads eigentlich üblich sein das man dies auch bei allen x16 Slots mit 16 Lanes so einstellen kann. Bei 2011-3 ging es nur vereinzelt.

Tut mir leid

Kein Problem, irren ist menschlich und kommt eben auch leicht mal vor, wenn man mit vielen verschiedenen Systemen arbeitet. In den Mainstream Systemen von Intel ging es aber eben nie und bei AM4 ist es zwar möglich, aber ich glaube es wird nur von relativ wenigen Mainboards auch unterstützt. Die Zielgruppe für die Mainstream Plattformen ist eben weniger daran interessiert und steckt meist eine Graka in den Slot mit den Lanes.

Für ein paar VM's tut es auch eine einzelne 4TB M.2-NVMe-SSD.

Eben, denn während sich bei HDDs parallele Zugriffe wegen der Kopfbewegungen massiv gegenseitig ausbremsen, ist es bei SSDs kein Problem, zumindest bei denen mit DRAM Cache. Die DRAM less SSDs sind da ein wenig problematischer, selbst wenn sie mit HMB einen größeren Teil der Mappingtabelle cachen können, so reden wir da i.d.R. von genug für einen Adressraum von 32GB und mehrere VMs können halt doch schon leicht mal Zugriffe über einen größeren Adressraum erzeugen. Also lieber eine ordentliche 4TB und da 4 VMs drauf hosten als vier 1TB SSDs um für jede VM eine eigene zu haben.

Leider besitzt längst nicht jedes Mainboard die Möglichkeit, den Energieverbrauch über das BIOS merklich zu begrenzen. (Spannungseinstellungen, Powerlimits, Multiplikatoreinstellungen, aktive Kerne, abschalten von nicht gebrauchten Komponenten usw.)

Keine Ahnung wie es bei den Mainboards für AMD CPUS aussieht, aber bei den Mainboard für Intel CPUs kann man dies bei jedem Retail Mainboard einstellen, außer vielleicht dem allerbilligsten H610 Board welches eigentlich mehr für OEMs und Systemintegratoren gedacht ist und eben OEM Mainboards. Von denen abgesehen, die dann aber auch in aller Regel die Intel Vorgaben eingestellt haben, sind die Einstellungen z.B. für die Power Limits bei allen vorhanden, man muss nur lieder etwas suchen und vielleicht auch bestimmte Einstellungen nicht auf AUTO lassen.

 

[Trambahner]

Bei vernünftigen AMD-Boards kannst Du im PBO-Menü die TDP und PPT (beides in Watt oder Milliwatt) bzw. EDC (Ampere) begrenzen und ein bissl Undervolten. Also wie Overclocken einzustellen, nur dass es eben "oben rum" dann abriegelt.
In manchen gibt es auch vordefinierte Eco-Einstellungen.
Hat aber auf Idle natürlich keinen Einfluss, sondern limitiert nur nach oben.

Btw: mit den oben geschriebenen 25W Idle als Basissetup meinte ich nicht Package-Power der CPU , sondern durchaus das Gesamtsystem gemessen an der Steckdose. Mit dem richtigen Board+NT geht das durchaus, trotz I/O-Die und IF. Bei mir sinds etwa 28-30W Idle an der Steckdose beim Proxmox-Zwerg (Hw-Setup siehe Signatur), weil ich halt Ram-Vollausbau und einiges an SSDs drin hab.