Wie ist das nun mit den PCI Lanes beim Z590, ginge das... ?

[BrainSchlumpf]

Ich möchte zwei M.2 4.0 SSDs (980 Pro) verbauen. Geht das? Werde da nicht so richtig schlau ob dann die GPU noch mit x16 4.0 läuft? Die Plattform hat ja 24 lanes.

Zusätzlich möchte ich den Controller verbauen:

HighPoint NVMe RAID Controller, PCIe 4.0 x16 (SSD7540) ab € 1449,00 (2024) | Preisvergleich Geizhals EU

✔ Preisvergleich für HighPoint NVMe RAID Controller, PCIe 4.0 x16 (SSD7540) ✔ Produktinfo ⇒ Anbindung: PCIe 4.0 x16 • Schnittstellen: 8x M.2 (PCIe/NVMe) • Intern: 8x M.2/M-Key (PCIe 4.0 x4, 2280/22… ✔ Storage Controller ✔ Testberichte ✔ Günstig kaufen

geizhals.eu

Läuft das alles so und reichen die lanes?
Danke euch!

 

[Infin1tum]

Die CPU hat nur 20 Lanes für 16+4
Sobald du den Controller einbaust sollten sich die Lanes aufteilen auf 8+8+4 wenn mich nicht alles täuscht.

 

[FM4E]

Wobei ausschließlich mit einer Rocket-Lake-S-CPU 20 PCIe-4.0-Lanes bereitgestellt werden. In dem Fall sind vier Lanes für eine M.2-SSD reserviert und die restlichen 16 Lanes gehen an die PEG-Slots. Wenn dann das Z590-Mainboard (das genaue Modell wurde leider nicht genannt) zwei PEG-Slots für den LGA1200-Prozessor bietet und beide Steckplätze belegt sind (1x Grafikkarte und 1x der NVMe-RAID-Controller), arbeiten beide Karten mit jeweils 8 Lanes. In dem Fall würde der NVMe-RAID-Controller mit der PCIe-4.0-x8-Anbindung nicht genügend Bandbreite bereitstellen, um alle acht PCIe-3.0-x4-SSDs mit voller Leistung betreiben zu können.

In den meisten Fällen haben die Z590-Mainboards einen M.2-Steckplatz über den Prozessor (Rocket Lake-S, max. PCIe 4.0 x4) und mindestens einen M.2-Anschluss über den Z590-PCH selbst, der die zweite Samsung 980 Pro allerdings aufgrund der PCIe-3.0-x4-Anbindung limitieren würde.

 

[IronAge]

Es gibt Z590 Boards die können bis zu drei M.2 NVMe SSDs via PCIe 4.0 Lanes der CPU anbinden, und sogar noch eine vierte via PCH mit PCIe 3.0

Z590 VISION G (rev. 1.0) Key Features | Motherboard - GIGABYTE Global

Lasting Quality from GIGABYTE.GIGABYTE Ultra Durable™ motherboards bring together a unique blend of features and technologies that offer users the absolute ...

www.gigabyte.com

Ob die GPU nun mit 8 PCIe 4.0 Lanes oder 16 PCIe 4.0 Lanes läuft dürfte keinen großen Unterschied machen.

 

[BrainSchlumpf]

Danke euch erst mal.
MB ist das Maximus XIII Hero, sorry, vergessen anzugeben. Wißt ihr wie es da genau aussieht?

 

[fdsonne]

Sollen denn die beiden SSDs im Controller stecken oder auf dem Board?
Und wenn im Board - was kommt in den Controller? In welcher Config?

Am Ende kommt es wohl eher drauf an, was du genau erwartest. Gehen tut das alles - mit ggf. eben weniger Bandbreite. Ob das für dich ein Problem ist, hängt vom Nutzungsszenario ab und was deine Anforderungen sind. Sagen wir du ballerst da in Größenordnung Random auf den SSDs rum, dann ist die Bandbreite definitiv nicht das Problem. Willst du hingegen massiv sequentielle Datentransfers durchführen, dann wirst du eben auch in die Schnittstellenlimits laufen.

Abseits von einem Raid 0 mit 8x SSDs im Controller, dürfte ne 8x Anbindung ihm aber auch sequenziell nicht weh tun. Sobald da im Raid 10 gefahren wird, also mit Redundanz, verliert man ja die "Hälfte". Das dürfte sich sequenziell lesend bei um die 10-12GB/sec einordnen. Schreibend Abhängig vom SSD Modell.

Was auch geht, ein Board suchen, was den Controller am Chipsatz anbinden lässt. Hab jetzt keine Übersicht, aber früher gab es vereinzelt Boards, wo der dritte PCIe 16x Slot am Chipsatz klemmte. Mit 4x PCIe 4.0 sind das ~7-7,5GB/sec pro Richtung. Mehr macht eh keinen Sinn, weil der Uplink zur CPU mit 4x eh limitiert. Dafür gibts aber keinen Split der PCIe Lanes der CPU.


Wenn das alles nicht reicht - dann kommst du stand heute nur mit den 3000er TR (einzige HEDT Plattform mit PCIe 4.0) weiter. Weil deutlich mehr PCIe Lanes als Mainstream.

 

[Ampere]

Deine Frage wird im Handbuch ganz gut erklärt.

Stecken 2 Pcie 4.0 SSD´s in M.2_1 und M.2_2 dann wird die Grafikkarte auf PCIEX16_1 nur noch mit Pcie 4.0 x8 angesteuert, steckst du jetzt noch die Controllerkarte in PCIEX16_2 dazu läuft die Graka auf x8 die Controller Card auf x4 und jede SSD auch auf x4.
Die anderen M.2 und Pcie Slots sind über den Z590 Chipsatz angebunden und können nur Pcie 3.0 mit x4 und werden geteilt wenn du sie mehrfach belegst bzw werden dann die SATA Ports deaktiviert, die Controller Card dort anzubinden bringt nichts da nur eine SSD die auf der Controller Card funktionieren wird und das dann auch noch mit pcie 3.0.
Du brauchst für dein Vorhaben eine andere CPU mit mehr PCIe Lanes.

 

[FM4E]

Was auch geht, ein Board suchen, was den Controller am Chipsatz anbinden lässt. Hab jetzt keine Übersicht, aber früher gab es vereinzelt Boards, wo der dritte PCIe 16x Slot am Chipsatz klemmte. Mit 4x PCIe 4.0 sind das ~7-7,5GB/sec pro Richtung.

Und genau da liegt das Problem, denn es gibt kein Z590-Mainboard, das einen x16-Slot über den Chipsatz mit acht Lanes anbindet und dann ist es auch "nur" PCIe 3.0. Daher lautet meine Meinung, wenn man solche Experimente mit einer NVMe-RAID-Karte unternimmt, dass man dies wenn dann auf einer HEDT-Plattform macht. Andernfalls muss man sich mit einer maximalen x8-Anbindung an der GPU begnügen.

 

[fdsonne]

Und genau da liegt das Problem, denn es gibt kein Z590-Mainboard, das einen x16-Slot über den Chipsatz mit acht Lanes anbindet und dann ist es auch "nur" PCIe 3.0. Daher lautet meine Meinung, wenn man solche Experimente mit einer NVMe-RAID-Karte unternimmt, dass man dies wenn dann auf einer HEDT-Plattform macht. Andernfalls muss man sich mit einer maximalen x8-Anbindung an der GPU begnügen.

Dachte der Chipsatz führt auch PCIe 4.0 Lanes raus? Wenn das natürlich nicht so ist, ja dann ist das die denkbar ungünstigste Methode und bestenfalls zur Vollständigkeit halber erwähnt, zu gebrauchen.

Von 8x Lanes schrieb ich btw. auch nix 4x PCIe 4.0 Lanes bei nem Raidcontroller, der eh nur PCIe 3.0 M.2 Slots hat ist meiner Ansicht nach verkraftbar. Schreibend wird man dort bei ~7-7,5GB/sec eh ins Limit der Drives laufen. Und lesend verliert man oben zwar, aber jetzt auch nicht soooo ultra krass. Die Frage, für was das Konstrukt sein soll, ist halt entscheidend. Nur lesen oder nur schreiben und dann als Ziel/Quelle den RAM - ja das wäre problematisch. Wenn die anderen M.2 Streifen aber Quelle oder Ziel sind, ist eh nicht mehr als besagte Transferrate drin, weil irgendwo immer eine der Verbindungen deckelt.

 

[FM4E]

Dachte der Chipsatz führt auch PCIe 4.0 Lanes raus? Wenn das natürlich nicht so ist, ja dann ist das die denkbar ungünstigste Methode und bestenfalls zur Vollständigkeit halber erwähnt, zu gebrauchen.

Die einzigen Consumer-Chipsätze, die selbst PCIe 4.0 bieten, sind der AMD X570, TRX40 und WRX80. PCIe 4.0 in Verbindung mit den neuen Intel-500-Mainboards wird rein von den Rocket-Lake-S-Prozessoren bereitgestellt. Sprich genau so, wie es mit den AMD-B550-Mainboards und den Ryzen-3000/5000-CPUs der Fall ist.

 

[fdsonne]

OK, dann bringt das so nur was, wenn einem die 3,6GB/sec oder was dann da über bleiben, reichen... THX für die Aufklärung
Bleibt also nur HEDT oder auf Lanes der CPU zu verzichten für die Grafikarte.

 

[BrainSchlumpf]

Danke noch mal.
Nehme wohl doch den kleineren Controller hier:

M.2 - Gen4 | HighPoint-tech.com

HighPoint’s 7500 Series combine dedicated, cutting edge PCIe Gen4 x16 host connectivity with our industry proven RAID technology to deliver unbeatable storage performance. The dedicated PCIe 4.0 x16 host interface enables each NVMe SSD to interface directly with the system CPU to ensure maximum...

highpoint-tech.com

HighPoint NVMe RAID Controller, PCIe 4.0 x16 (SSD7505) ab € 834,00 (2024) | Preisvergleich Geizhals EU

✔ Preisvergleich für HighPoint NVMe RAID Controller, PCIe 4.0 x16 (SSD7505) ✔ Produktinfo ⇒ Anbindung: PCIe 4.0 x16 • Schnittstellen: 4x M.2 (PCIe/NVMe) • Intern: 4x M.2/M-Key (PCIe 3.0 x4, 22110/2… ✔ Storage Controller ✔ Testberichte ✔ Günstig kaufen

geizhals.eu

Auf einem:

Asus ROG Maximus VIII Hero
Dort sollen 2x 980 Pro (im RAID1) in die M.2 PCIe 4.0. Zusätzlich vier weitere in den Controller, welche dann @raid10 laufen.

Der Controller ist ja PCIe 4.0 x16. Läuft der dann nur mit x4? die beiden SSDs auf dem MB auch x4 und die GPU x8? Ich blick da gerade nicht mehr durch.

 

[FM4E]

Wenn du die Karte beim ASUS ROG Maximus XIII Hero in den untersten Slot steckst, arbeitet die Karte höchstens im PCIe-3.0-x4-Mode. Wäre daher meiner Ansicht nach schon eher suboptimal.

 

[IronAge]

Ist die falche Plattform für den Einsatz eines M2 Controlers/Adapters der mit 16 PCIe Lanes versorgt werden will, wenn gleicheitig eine dedizierte GPU genutzt werden soll.

Sowieso die Frage wozu das ganze dienen soll.

 

[BrainSchlumpf]

Wenn du die Karte beim ASUS ROG Maximus XIII Hero in den untersten Slot steckst, arbeitet die Karte höchstens im PCIe-3.0-x4-Mode. Wäre daher meiner Ansicht nach schon eher suboptimal.

Hm, aber ich habe das eigentlich nicht vor.

GPU (x8)
M2_1
M2_2
Controller in den zweiten PCIe 4.0

Läuft letzterer dann mit x4 oder x8?
Wenn vier 980 Pro drauf sind und im RAID10 laufen. Dann fehlt mir schon Bandbreite?

 

[FM4E]

Die Rede war vom untersten Steckplatz, dieser ist mit maximal PCIe 3.0 x4 über den Z590-Chipsatz angebunden. Wenn du die Grafikkarte ganz oben und den RAID-Controller in den mittleren x16-Slot steckst, arbeiten beide Karten jeweils im x8-Mode, da die Lanes dann von der CPU kommen. Dann sieht das schon bedeutend besser aus, müsstest dich dann aber damit arrangieren, dass deine Grafikkarte nicht voll angebunden ist.

 

[BrainSchlumpf]

Ja GPU @x8 wäre voll ok.
Kommen vier 980 Pro @raid10 nicht auf ca. 14GB/s max? Man sagt doch, dass der Durchsatz sich da bei vier SSDs gerade mal verdoppelt? Da müssten doch die x8 vom Controller reichen? x8 PCIe 4.0 sind doch theoretisch 15GB rum?

 

[FM4E]

PCIe 4.0 x8 liefert brutto fast 16 GB/s, ja. Ein RAID-10-Verbund mit vier Laufwerken besteht ja aus zwei RAID-1-Legs, die miteinander via RAID 0 verbunden werden. Wenn man nun davon ausgeht, dass gerade durch den zusätzlichen RAID-0-Status die Bandbreite theoretisch verdoppelt wird, reicht die PCIe-4.0-x8-Anbindung also aus.

 

[BrainSchlumpf]

Ich hoffe ich (bzw. wir) hab hier nur keinen Denkfehler. Wenn der Controller doch nur mit x4 läuft, das wäre schon schlecht.

Beitrag automatisch zusammengeführt: 06.05.2021

Hm schande, schaut mal in die Anleitung:

Das sind ja insgesamt dann doch nur x20 und der controller liefe mit x4... =(

 

[IronAge]

Highpoint has actually tested on the AMD X570 platform and achieved 20GB/s throughput using Phison E16 SSDs, and almost 28GB/s on an AMD EPYC platform (out of a theoretical limit of 31.5 GB/s).

Quelle: https://www.anandtech.com/show/16247/highpoint-updates-nvme-raid-cards-for-pcie-40-up-to-8-m2-ssds

 

[BrainSchlumpf]

Danke, aber die Info ist ja für mich nicht so relevant, da nicht zutreffend. Oder verstehe ich dich falsch?

Beitrag automatisch zusammengeführt: 06.05.2021

Ich frag mich sowieso warum da laut dem Bild max. 20 lanes genutzt werden können und nicht die 24 der CPU?

 

[FM4E]

Weil vier Lanes von den insgesamt 20 Stück für einen M.2-Steckplatz reserviert sind. Die restlichen 16 Lanes gehen an den/die PEG-Slot(s). Dies gilt jedoch nur für die Rocket-Lake-S-Prozessoren.

 

[IronAge]

@BrainSchlumpf

Du wolltest wissen ob Du bandbreitenmäßig beschränkt wirst durch deine Plattform, und das wirst du sobald du eine dedizierte GPU und den "Controler" einsetzen willst.

Ganz zu schweigen von zwei zusätzlichen M.2 PCI 4.0 SSDs on Board, was ist eigentlich der Einsatzzweck ?

 

[BrainSchlumpf]

Ich wollte das natürlich genau für meinen Fall wissen und da ist das mit x8 und RAID10 mit vier 980 Pro nicht der Fall.

Weil vier Lanes von den insgesamt 20 Stück für einen M.2-Steckplatz reserviert sind. Die restlichen 16 Lanes gehen an den/die PEG-Slot(s). Dies gilt jedoch nur für die Rocket-Lake-S-Prozessoren.

Also kannst du sicher sagen, dass GPU+Controller @x8 laufen? Das steht so ja nicht da...
Ich hab auch schon gesucht, aber finde da keine Bestätigung zu. :/

 

[FM4E]

Nur, wenn du den mittleren M.2-Anschluss (M.2_2) freilässt. So steht es auch in der von dir geposteten Tabelle aus dem Handbuch.

 

[BrainSchlumpf]

Ja ok, also doch nur 20 lanes.

Beitrag automatisch zusammengeführt: 06.05.2021

Mal so rein aus Interesse, wie wäre das am Dark Hero?

https://dlcdnets.asus.com/pub/ASUS/mb/SocketAM4/ROG_CROSSHAIR_VIII_DARK_HERO/E17453_ROG_CROSSHAIR_VIII_DARK_HERO_UM_V2_WEB.pdf

 

[FM4E]

Da wäre es ebenfalls so, dass die beiden oberen x16-Steckplätze über den Ryzen-Prozessor mit x8/x8 versorgt werden. Die obere M.2-Schnittstelle agiert ebenfalls über die CPU mit eigenständigen vier Lanes und der untere M.2-Anschluss wird über den X570-Chipsatz angesteuert.

 

[BrainSchlumpf]

Hm, aber die CPU hat doch 24 lanes und der Chipsatz 16? Insgesamt also 40.
Auf Computerbase steht:

"Vom X570-Chipsatz selbst kommen 16 weitere PCIe-4.0-Leitungen hinzu, sodass AMD mit insgesamt 40 PCIe-4.0-Lanes für die Plattform wirbt."

In der Anleitung vom Dark Hero steht:

D.h. die zweite M.2 auf dem Board klaut dann schon mal nichts von der CPU?

Angenommen also:

GPU (reduziert auf x8 Speed)
M.2_1 x4
M.2_2 x4
HighPoint SSD7505 x? Speed

Asus Dark Hero Anleitung Download

Kriegt man damit den Controller auf x8? CPU ist ein 5950X.

 

[FM4E]

D.h. die zweite M.2 auf dem Board klaut dann schon mal nichts von der CPU?

Angenommen also:

GPU (reduziert auf x8 Speed)
M.2_1 x4
M.2_2 x4
HighPoint SSD7505 x? Speed

Asus Dark Hero Anleitung Download

Kriegt man damit den Controller auf x8? CPU ist ein 5950X.

So, wie ich es geschrieben habe. Die Grafikkarte und der RAID-Controller würden beide im x8-Mode laufen. Wenn du in beiden M.2-Slots eine 980 Pro drin hast, laufen beide dennoch jeweils mit PCIe 4.0 x4 (1x über CPU und 1x über den X570-PCH). Und ja, die Ryzen-CPUs selbst haben 24 Lanes. Vier davon fallen für die Kommunikation zum Chipsatz weg, weitere vier für einen M.2-Steckplatz (in den meisten Fällen) und übrig bleiben eben 16 Lanes.

 

[BrainSchlumpf]

Mich irritierte "ebenfalls mit x8/x8" etwas. Beim Intel hab ich mit zwei M.2 im MB ja kein X8/x8, sondern nur x4 am Controller.
Kann das vielleicht noch jemand bestätigen, dass das bei AMD möglich ist und dem Intel nicht?