8 TB Datacenter SSDs: Samsung PM1733 vs. Intel D7 5510 - Qual der Wahl

[Holt]

Im Homeuse gibt es keinen Anwendungsfall, der 32 parallele 4k-Zugriffe erzeugt.

Eben, bei Heimanwendern sind schon 4 parallele Zugriffe sehr viel und kommen normalerweise schon praktisch nicht vor, Deshalb ist die Performance bei QD1 und QD2 wichtig, nicht aber wie viele IOPS eine SSD maximal packen könnte. Ganz ähnlich ist es mit dem sequentiellen Zugriffen, die maximalen Leseraten bekommt man nur bei langen und einigen parallelen Zugriffen aus der SSD gekitzelt, CDM bencht je nach Einstellung entweder mit 8 parallelen Zugriffen über je 1MB (SEQ1M Q8T1) oder sogar mit 32 Zugriffen über je 128k (SEQ128K Q32T1). aber man kann eben auch mit nur einem 1MB Zugriff (SEQ1M Q1T1) benchen und wie man sieht, schafft die PM9A1 dann rund 3,5GB/s, während die Enterprise SSDs irgendwo zwischen 1,4 und 2,65GB/s liegen. Die Enterprise SSDs sind eben nicht auf die Art von Zugriffen optimiert wie sie bei Heimanwendern vorkommen und sind daher bei der typischen Nutzung von Heimanwender nicht schneller sondern sogar langsamer.

Ich habe jetzt übrigens einfach mal die P5800X in 1.6TB bestellt.

Die Optane sind in jeder Hinsicht eine andere Hausnummer.

 

[tackleberry]

Was ich trotzdem noch nicht verstehe ist der Unterschied zwischen Queues und Threads in der Storage Terminology.

Ich Code u.a. auch Skripte / Programme wo mal eben 100-1000 Dateien parallel geöffnet oder geschrieben werden. Das benutze ich die Multithreading oder Multiprocessing Funktionen der Programmiersprache. Sind das dann in der Sprache von Crystaldisk Threads oder Queues?

Wenn ich per Robocopy Files hin unter her kopiere und 128 parallele Operationen mit /MT:128 definiere, sind das in der Crystaldisk Terminilogy Threads oder Queues?

Neben wir an, dass ich in Adobe Premiere 10 Videotracks habe und nun das Video exportiere. Premiere muss einen Frame aus 10 verschiedenen Videodateien (aus einem der 10 Videotracks, die alle auf der gleichen SSD liegen) auslesen um diesen Frame zu rendern. Sind die Zugriffe auf die SSD Threads oder Queues in der Crystaldisk Terminology?

 

[Holt]

Das benutze ich die Multithreading oder Multiprocessing Funktionen der Programmiersprache. Sind das dann in der Sprache von Crystaldisk Threads oder Queues?

CDM ist OpenSource, schau doch einfach nach. Ich würde Threads vermuten und das jeder Thread eben eine bestimmte Anzahl paralleler Anfragen erzeugt, was dann die Queues wären.

Wenn ich per Robocopy Files hin unter her kopiere und 128 parallele Operationen mit /MT:128 definiere, sind das in der Crystaldisk Terminilogy Threads oder Queues?

Dazu müsste man den Quellcode von Robocopy kennen bzw. wenigstens im Taskmanager unter Details schauen wie viele Threads Robocopy dann jeweils öffnet.

 

[tackleberry]

Btw es gibt Samsung Magician für Datacenter SSDs und ein Samsung Datacenter SSD Tool Kit für Datacenter SSDs. Samsung Magician für Datacenter SSDs erkennt auf meinem System kein einziges Samsung Gerät. Das Samsung Datacenter SSD Tool Kit dagegen findet die 2 TB PM9A1 und die 7.68 TB PM1733. Ist halt alles auf Kommandozeile. Mal gucken was ich damit anstellen kann. Die Capacity Anzeige bei der PM1733 ist auf jeden Fall lustig.

 

[tackleberry]

So, nach Monaten habe ich die scheiße Teile endlich bekommen. 4 TB nur aber immerhin. Kann ein anderer PM9A3 Besitzer bestätigen, dass seine SSDs genauso aussehen und ich hier keine Imitate vom Fischmarkt geliefert bekommen habe? Hatte eigentlich erwartet, die haben auch Dual Port.

Wer will Benchmarks?

 

[Holt]

Mache die Benchmarks, dann sollte schnell klar sein, ob die echt oder Fakes sind und Dual Port funktioniert bei U.2 SSDs eigentlich so, dass die genauso aussehen wie Single Port, aber je 2 PCIe Lanes an einen Host gehen, von daher sieht man denen das nicht an.

 

[underclocker2k4]

Genau.
Dadurch, dass SAS ja eine single lane Verbindung ist, braucht man für Dual Port eine zweite single lane und das wiederum bedeutet, dass man weitere Kontakte braucht. Daher hat ein SAS Dual Port Gerät zwei Kontaktsätze für Daten.
Anders ist das bei PCIe SSDs. Dort ist PCIe bereits als quad lane ausgeführt (im Idealfall), die dann den Single Port bilden.
Bei Dual Port werden dann einfach zwei dual lane Verbindungen realisiert und keine zwei quad lane Verbindungen.
Daher ändert sich an den Anschlüssen nix.
Nachteil der Lösung ist dann, dass man den Dual Port nicht für eine Bandbreitenerhöhung nehmen kann, anders als bei SAS.

 

[tackleberry]

Also ich habe jetzt ne neue Lieblings SSD. Test halt auf dem Threadripper System direkt an der CPU angebunden. Die Screens von den anderen SSDs waren am Ryzen Via Chipsatz. 1 TB Schreiben am Stück mit 3,2 GB/s.

Kein Wunder, dass das verdammte Ding seit Release überall ausverkauft ist.

PS: Threadripper läuft noch mit normalen 3200 Mhz UDIMMs. Die RDIMMs wurden nicht pünktlich geliefert...

 

[Trambahner]

Ich kämpf ja grad in mir gegen den Bastelschweinehund, der zwei PM9A3 7.68TB will. Sind halt wieder 2400 Euro und ohne Herstellerarantie, d.h. nach 6 Monaten kanns ggf. unschön werden.

Die beiden würden dann als Mirror-Zpool laufen. Hab grad diesbzgl. mit zwei 970 Evo Plus (alte Version) und FreeBSD bissl rumexperimentiert. Drum auch die im Mainboard-Thread erwähnten Bifurcation-Versuche mit dem X570D4U. Mit FreeBSD zumindest in Version 11, was ich derzeit über Xigmanas als Storage noch einsetze, scheint bzgl. PCIe-SSDs die Performance noch nicht so toll zu sein und hat schnell limitiert. Mit aktuellem FreeBSD 13 (vom original FreeBSD-Image) war der Durchsatz deutlich besser.

 

[tackleberry]

Ich kämpf ja grad in mir gegen den Bastelschweinehund, der zwei PM9A3 7.68TB will. Sind halt wieder 2400 Euro und ohne Herstellerarantie, d.h. nach 6 Monaten kanns ggf. unschön werden.

Die beiden würden dann als Mirror-Zpool laufen. Hab grad diesbzgl. mit zwei 970 Evo Plus (alte Version) und FreeBSD bissl rumexperimentiert. Drum auch die im Mainboard-Thread erwähnten Bifurcation-Versuche mit dem X570D4U. Mit FreeBSD zumindest in Version 11, was ich derzeit über Xigmanas als Storage noch einsetze, scheint bzgl. PCIe-SSDs die Performance noch nicht so toll zu sein und hat schnell limitiert. Mit aktuellem FreeBSD 13 (vom original FreeBSD-Image) war der Durchsatz deutlich besser.

Was sol da bitte kaputt gehen. Entweder die SSDs sind DOA oder laufen ewig.

 

[j-x-n]

ich wundere mich, dass im PM9A3 whitepaper auf Seite 8 (leicht zu finden bei google: "PM9A3 whitepaper pdf) ein Wert von ca. 120k IOPS beim Lesen Random QD1 angegeben ist. 120k/s x 4kB wären ja 480MB/s... wieso sind es dann RND4kQ1T1 in Crystal "nur" knapp 60MB/s. Hat da wer eine Idee zu?

 

[Holt]

Erstmal Willkommen im Forum!

Lies auch die Fußnote auf Seite 17 dazu:

※ Evaluation results may vary depending on the server environment and settings.
Performance measurements are based on fio 3.3. Performance may vary based on SSD’s firmware version,
system hardware & configuration.
Test system configuration: AMD_X570, DDR4 16GB, and CentOS 7.6 with Kernel 4.15 / Physical

Gerade die 4k QD1 Werte hängen sehr vom System und auch dessen Einstellungen, vor allem den Energiespareinstellungen ab! Hier sieht man dies am Beispiel der Intel DC P5800X deutlich am Vergleich zwischen dem Intel Z590 und dem AMD X570 System:

(Quelle)

Dann fehlt was für ein Filesystem verwendet wurde, ob da Caches aktiv waren, meins Wissens bringt Linux da einiges mit und keine Ahnung ob fio 3.3 so einen Cache mitbencht oder wie CDM im Zweifel versucht diesem zu umgehen, sofern er von OS ist, denn auch Windows nutzt ja normalerweise sonst unbelegtes RAM als Disk Cache, vor allem als Lesecache, aber Benchmarks wie CDM können diesen umgehen um die wirklich Laufwerksperformance zu benchen. Bei 3rd Party Caches geht das nicht und da CDM ja die Daten schreibt und sofort wieder liest, stehen sie dann auch immer artig im Cache. Auch kenne ich fio 3.3 nicht, habe also keine Ahnung wie der funktioniert und konfiguriert ist bzw. konfigurierbar ist.

120k/s x 4kB wären ja 480MB/s

Das wäre mindestens das Niveau der Optane 5800, aber die Zahlen und Striche der Diagramme auf Seite 8 passen auch nicht so reicht zusammen, wenn man da mal genau hinschaut. Ist wohl nur illustrativ, ohne Anspruch auf Genauigkeit und nicht zuletzt steht es ja auch so am Ende des Dokumentes:

Products and specifications discussed herein are for reference purposes only. All information discussed herein is provided on an "AS IS" basis, without
warranties of any kind.

"without warranties of any kind" bedeutet wohl auch, dass es sinnlos ist, sich bei Samsung darüber zu beschweren. Im Zweifel würden sie sonst aber sicher eine Konfiguration hinbekommen, eben mit Diskcaches und Co., die solche Werte liefert. Ich denke da bist Du wohl den Werbern auf den Leim gegangen.

Im übrigen ist die PM9A3 ja eine Enterprise SSD und bei denen steht die 4k QD1 Performance nicht unbedingt im Vordergrund, da diese anderes als bei Heimanwendern typischerweise mit recht hohen QD betrieben werden, also auch darauf optimiert sind.

 

[tackleberry]

Ich booste mal den Thread. Die Optane hatte ich dann damals doch wieder zurückgegeben ohne sie auszupacken. Kosten / Nutzen (3000 Euro YOLO) hat dann doch nicht gestimmt. Mir ist nun meine 2TB PM9A1 M.2. System SSD abgeraucht und ich brauche wieder eine neue SSD. Details siehe anderer Thread.

Ich bin nun kurz davor einer meiner beiden PM9A3 3.86 TB aus dem Server auszubauen und als System SSD im Haupt-PC zu verwenden. Ich brauche halt einfach 4 TB auf der System SSD. Bin halt Datenmessi...

Seit PM9A3 und Optane 5800 Release habe ich den Markt nicht mehr weiter beobachtet. Meinen Benches oben zu folge ist die PM9A3 abseits der Optane das aktuell performanteste U.2 Produkt auf dem Markt. Kam seitdem noch irgendwas neues raus, was sich zu testen lohnen würde?

*edit*

Wie wahrscheinlich ist es eigenlich, dass die PCIe 5.0 SSDs abwärtskompatibel zu PCIe 4.0 sein werden?

 

[massaker]

Wie wahrscheinlich ist es eigenlich, dass die PCIe 5.0 SSDs abwärtskompatibel zu PCIe 4.0 sein werden?

Absolut wahrscheinlich. Ich werde sogar sehr wahrscheinlich bei PCIe4.0 bleiben und einfach eine PCIe5.0-SSD holen, die dann alles aus der Gen4 Schnittstelle rausholt. Die Geschichte wiederholt sich halt. War beim Gen3->Grn4 Aufstieg auch nicht anders.

Beitrag automatisch zusammengeführt: 19.01.2022

Ich bin nun kurz davor einer meiner beiden PM9A3 3.86 TB aus dem Server auszubauen und als System SSD im Haupt-PC zu verwenden. Ich brauche halt einfach 4 TB auf der Daten SSD. Bin halt Datenmessi...

Hmmm... Nun, "als System SSD" oder "Daten SSD"... Ich hab Schwierigkeiten das jetzt zuzuordnen... Und "Datenmessi" braucht sicherlich keine Optane, da reicht eine 8TB QVO...

Beitrag automatisch zusammengeführt: 19.01.2022

Kam seitdem noch irgendwas neues raus, was sich zu testen lohnen würde?

Wenn ich Dich jetzt richtig verstanden habe und Deine Ambitionen richtig einschätze, dann würde ich an Deiner Stelle einen Blick auf die neuen M.2s mit dem Phison-E18 und dem Micron 176L-NAND werfen, gibt's schon 5-6 verschiedene. Wäre bestimmt ein guter Ersatz für Deine abgerauchte Samsung. Benchmarks kann ich liefern, falls Dich was bestimmtes interessiert.

 

[Trambahner]

Das "Problem" mit der PM9A3 im Desktop ist halt, dass sie konstant 3-4W Idle zieht. Bei einem größeren System sicher kein Thema, für ein auf Sparsamkeit getrimmtes System wäre es suboptimal.

Btw, vorgstern kam meine PCIe x8 zu Dual U.2 Steckkarte. Hab mich nur noch nicht ganz durchgerungen, zwei PM9A3 (sollen ja siehe oben jeweils die 7.68er sein) dafür zu kaufen. Aber auf halbem Weg bin ich.
Die 900P U.2 funktioniert aber schonmal auf beiden Einbauplätzen.

Storagereview.com hat ja mittlerweile die PM9A3 7.68TB als Review drin. Resümee: nicht der Top-Performer und auch ein paar Inkonsistenten bei den Latenzen (SQL-Test war super, VDI hatte schlechte Ausreisser), aber wohl ordentliche SSDs mit gutem Preisleistungsverhältnis und flexibel da verschiedenste Bauformen und Kapazitäten verfügbar.

 

[tackleberry]

Wenn ich Dich jetzt richtig verstanden habe und Deine Ambitionen richtig einschätze, dann würde ich an Deiner Stelle einen Blick auf die neuen M.2s mit dem Phison-E18 und dem Micron 176L-NAND werfen, gibt's schon 5-6 verschiedene. Wäre bestimmt ein guter Ersatz für Deine abgerauchte Samsung. Benchmarks kann ich liefern, falls Dich was bestimmtes interessiert.

Hmm,

da geht 4 TB aber bei 800 Euro los und bei M.2 habe ich das Problem mit der Kühlung... Die U.2 drosselt halt gefühlt nie, selbst wenn man mal 1 TB am Stück schreibt. Meine Lust auf M.2 ist extrem gering nach dem Spassen, die ich in der Vergangenheit durch hatte. Inklusive 4 / 8 TB MP510. Weiß nimmer genau ob das ne 4 TB oder 8 TB war. Die war aber auf jeden Fall ständig am Drosseln.

Festplatten & SSDs Solid State Drives (SSD) mit Kapazität (dezimal/SI) ab 3.84TB, Speichermodul-Stack: 176 Layer Preisvergleich Geizhals EU

Preisvergleich und Bewertungen für Festplatten & SSDs Solid State Drives (SSD) mit Kapazität (dezimal/SI) ab 3.84TB, Speichermodul-Stack: 176 Layer

geizhals.eu

Beitrag automatisch zusammengeführt: 19.01.2022

Hmmm... Nun, "als System SSD" oder "Daten SSD"... Ich hab Schwierigkeiten das jetzt zuzuordnen... Und "Datenmessi" braucht sicherlich keine Optane, da reicht eine 8TB QVO...

Sorry, habe es korrigiert. 2 TB für die System SSD reichen nicht. Brauche 4 TB oder mehr. Die Optane war für schnelle Programmstarts gedacht. Ich öffnet teilweise in einer Stunde das selbe Programm 20 mal. Ich schließe es, öffne Programm B, schließe es, Öffne Programm A wieder, repeat.

 

[freekymachine]

Datenmessi bin ich auch (aber gut sortiert)

hab aber angefangen Daten einfach auszulagern - Hab jetzt einfach n kleinen externen Stapel mit alten Samsung 850er, 10TB Daten, alles nochmal gespiegelt auf Magnet.

- im Rechner sind nur noch 2x M.2 - mit Verlängerungskabeln, so das sie direkt vorm Gehäuselüfter sitzen = 30° C
Soviel brauch ich dann doch nie jederzeit verfügbar, komm doch überraschend gut mit meinem 3TB klar, sind nichtmal voll.

Selbst wenn ich mehrfachn falsches Ramdrive Image lade, Platten drosseln selten - passtschon

Klar, wenn das nicht reicht - alles was drüber oder mehr bräuchte, würde ich wohl auch nur zu der Samsung PM9A3 greifen wollen.
Sind auch recht weit verbreitet, kenn die und die Vorgänger aus diversen Kundensystemen - sind echt gut, beliebt, zuverlässig.

Was anderes gibs kaum - alles andere ist dann entweder Raid, n ganzer Verbund, halber Schrank, sündhaft teuer.
Klär hätt ich gern 4x 1TB PCI-E 4.0 NVME Raid..aber frag nicht nach Preis^^

Alternativ, Rechner dicker machen - 20x gleiche Programm schließen ?! Warum nicht einfach auflassen ? Oder es einfach gleich in Ramdrive packen - Rechner einfach nie ausmachen :P Threadripper geht bis 512GB Ram

 

[massaker]

...Ich öffnet teilweise in einer Stunde das selbe Programm 20 mal. Ich schließe es, öffne Programm B, schließe es, Öffne Programm A wieder, repeat.

Ha-ha...dann brauchst Du definitiv erstmal noch mehr RAM und andere Arbeitsweise 😅

da geht 4 TB aber bei 800 Euro los und bei M.2 habe ich das Problem mit der Kühlung... Die U.2 drosselt halt gefühlt nie, selbst wenn man mal 1 TB am Stück schreibt.

1TB am Stück ist überhaupt kein Problem. Wenn da was gedrosselt wird, dann eher weil pSLC ausgeht und nicht wegen den Temps. Wenn Du einen guten Kühler inklusive willst, dann definitiv Corsair MP600ProXT ansehen (gibt's übrigens auch mit WaKü).

 

[tackleberry]

Wenn man meine historischen Benchmarks zur 4 TB PM9A3 und jene von Storagereview zur 8 TB PM9A3 vergleicht. Welche meint Ihr, ist performanter? Hätte jetzt erwartet die 8 TB wäre fixer weil mehr Speicher in der gleichen Baureihe meist mehr Kanäle bedeutet.

Ich hatte ja 4000 MByte/s bzw. 3,2 GB/s mit der 4 TB Variante bei sequentiell Writes erreicht während Storagereview nur knapp 2 GB/s mit der 8 TB Variante schafft...

Auf Basis des Storage Review 8 TB U.2 SSD Vergleichs. Welche würdet Ihr als System SSD nehmen? Evtl. doch die Kioxia statt der Samsung PM9A3?


Um Eure Postings zu beantworten...

Ha-ha...dann brauchst Du definitiv erstmal noch mehr RAM und andere Arbeitsweise 😅

1TB am Stück ist überhaupt kein Problem. Wenn da was gedrosselt wird, dann eher weil pSLC ausgeht und nicht wegen den Temps. Wenn Du einen guten Kühler inklusive willst, dann definitiv Corsair MP600ProXT ansehen (gibt's übrigens auch mit WaKü).

Der Witz ist ja, dass ich im Threadripper Pro Server 512 GB RDIMM Samsung 3200 Mhz habe...

Den Corsair Wasserkühler hatte ich schon da, zum Release der Wasserkühlers, bevor ich auf U.2 Umgestiegen bin. Das Ding ist der größte Müll ever. Die MP510 hatte damals auch nicht reingepasst wegen der Chips + Controller auf der Rückseite und weil Chips und Controller unterschiedlich hoch waren. Wenn man Schläuche verwendet verrutscht einem der Block gerne auf der SSD. Auch richtig geil! Am Ende habe ich 3 Stück der Wasserkühlblöcke geschrottet weil die Verarbeitung und Halterung so mies ist. Wie gesagt. M.2 my ass. Mit dem Format ärgere ich mich nicht mehr weiter rum.

Datenmessi bin ich auch (aber gut sortiert)

hab aber angefangen Daten einfach auszulagern - Hab jetzt einfach n kleinen externen Stapel mit alten Samsung 850er, 10TB Daten, alles nochmal gespiegelt auf Magnet.

- im Rechner sind nur noch 2x M.2 - mit Verlängerungskabeln, so das sie direkt vorm Gehäuselüfter sitzen = 30° C
Soviel brauch ich dann doch nie jederzeit verfügbar, komm doch überraschend gut mit meinem 3TB klar, sind nichtmal voll.

Selbst wenn ich mehrfachn falsches Ramdrive Image lade, Platten drosseln selten - passtschon

Klar, wenn das nicht reicht - alles was drüber oder mehr bräuchte, würde ich wohl auch nur zu der Samsung PM9A3 greifen wollen.
Sind auch recht weit verbreitet, kenn die und die Vorgänger aus diversen Kundensystemen - sind echt gut, beliebt, zuverlässig.

Was anderes gibs kaum - alles andere ist dann entweder Raid, n ganzer Verbund, halber Schrank, sündhaft teuer.
Klär hätt ich gern 4x 1TB PCI-E 4.0 NVME Raid..aber frag nicht nach Preis^^

Alternativ, Rechner dicker machen - 20x gleiche Programm schließen ?! Warum nicht einfach auflassen ? Oder es einfach gleich in Ramdrive packen - Rechner einfach nie ausmachen :P Threadripper geht bis 512GB Ram

Verlängerungskabel sind sicher ne coole Idee. Hatte ich bisher noch nicht auf dem Schirm. Aber beeinflusst das nicht die Latenz?

Habe hier auch noch 18x Seagate 18 TB Exos. Also Auslagerungsplatz ist genug vorhanden.

Das mit den Programmen ist kompliziert. Selbst im Main-PC habe ich schon die maximalen 128 GB (5950X System) drin. Das hängt mit meinem einzigartigen Workflow zusammen. Programme öffnen und schließen ist performanter als offen lassen. Evtl. würde ne zweite 3090 im Main System das Problem lösen aber alle PCIe Slots sind dicht. Bin gespannt auf den neuen Threadripper. Wenn die Single Core Performance äquivalent zum normalen Ryzen wird, steige ich evtl. um. Die X570 limitiert mich schon massiv. Zweite 3090 zum Einbau in den Server und zum Testen liegt hier mittlerweile seit 2 Monaten in OVP rum. ;D Server auf Wakü umbauen steht auch schon länger auf der DoTo Liste. Werde aber wohl zwei Moras für die beiden 3090 brauchen und habe keine Ahnung wo ich die hinstellen soll.

 

[massaker]

... Den Corsair Wasserkühler hatte ich schon da, zum Release der Wasserkühlers, bevor ich auf U.2 Umgestiegen bin. Das Ding ist der größte Müll ever. Die MP510 hatte damals auch nicht reingepasst wegen der Chips + Controller auf der Rückseite und weil Chips und Controller unterschiedlich hoch waren. Wenn man Schläuche verwendet verrutscht einem der Block gerne auf der SSD. Auch richtig geil! Am Ende habe ich 3 Stück der Wasserkühlblöcke...

Der Corsair-Wasserkühler war ja auch nur nebenbei erwähnt. Eigentlich halte ich sowieso nichts davon M.2-SSDs mit Wasser zu kühlen. Ich dachte eher an Corsair-Passivkühler mit vertikalen Rippen - dieser ist doch optimal und reicht vollkommen. Noch bessere Wärmeabfuhr ist kaum nötig, es sei denn die Luft in Deinem OC bewegt sich kein bisschen.

 

[tackleberry]

Nochmal zur 4 TB vs 8 TB PM9A3. Welche meint Ihr wäre besser als System SSD? Hätte mittlerweile auch wegen dem TB/€ Preis (4 TB ~680 CHF, 8 TB ~1170 CHF) lieber die 8 TB aber nur wenn die mindestens genauso performant wäre und ja ich nutze die Bandbreite der SSDs aus...

 

[Trambahner]

Ich konnts nicht lassen; heute ging eine Bestellung über zwei PM9A3 7.68TB raus.

Werden als ZFS-Mirror zum Einsatz kommen und sollen mein bisheriges Stripe von 3 Mirror-Päärchen (Sata) ablösen.
Anschluss: beabsichtigt Dual U.2 zu PCIe x8 Adapterplatine (also per Bifurcation) , also keine Kabel. Hoffe mal, das haut stabil dann hin mit PCIe gen 4.

 

[Trambahner]

Da sind se:

PM9A3, 7.68TB, PCIE 3.0 , 5750G @ B550M Tuf Gaming, Windows 10 21H2:

PM9A3, 7.68TB, PCIE 4.0 , 5600X @ X570D4U-2L2T per per Passthrough in ESXI 7.0 VM, Windows 10 20H2 , x4x4 Bifurcation im zweiten x8 Slot (im ersten x8 steckt der HBA).
(=> x8x4x4 funktioniert also in dem Board).

Ob ich sie nativ PCIe 4.0 mit Windows direkt am Blech testen kann, weiss ich noch nicht da nur mein ESXI PCI 4.0 hat.

 

[massaker]

Naja, über PCIe4.0 sehe ich nur beim Seq-Lesen eine bedeutende Steigerung, Rest sogar leicht schlechter (was wohl dem anderen System verschuldet ist). Aber warum nur CDM6 und ein halber ATTO? Lässt sich ja heutzutage schlecht vergleichen. Hast doch früher schon schöne Benches gepostet mit Standardeinstellungen.

 

[Trambahner]

Hab die Dinger doch grad mal erst ein paar Minuten gehabt und in der Mittagspause schnell gemacht was ging.
Btw, vergiss hier bei PCI 3.0 vs 4.0 nicht, dass 3.0 am Blech war , 4.0 aber per VM mit vCPUs. D.h. hier schlagen dann potentiell durchaus kleine zusätzlichen Latenzen durch bei den 4K Blöcken in der VM.

ATTO ist ganz einfach: unter 4k und über 2MB Blöcken fällt bei mir quasi nix an an Transfers und oberhalb 1MB ändert sich ja eh nix mehr. ATTO in der VM hat ich nicht laufen, aber das wird sich im Verhältnis zu CDM nicht sooviel anders verhalten.
Oracle Orion Bench hatte ich noch am laufen am B550, ZFS-Krempel kommt schon noch
PCI 4.0 "am Blech" ist noch nicht sicher, weil dazu müsst ich den produktiven Server temporär umbauen, Test-SSD mit Win einrichten etc. Maybe. Da brauch ich mehr Zeit, das ist eher was fürs Wochenende.


Edit 22:45 Uhr: Also happy bin ich mit dem Passthrough noch nicht. Derzeit nicht stabil mit 2 SSD.

 

[Trambahner]

Update 08.02.2022: Hab die Dual-U.2 Adapterkarte (wo die SSDs aufgeschraubt werden) rausgeworfen und eine ordentliche, für PCIe 4.0 spezifizierte Bifurcation-Karte mit SlimSAS-Kabel eingebaut (Delock 90077, Kabel für vier U,2 sind dabei).
Board nach wie vor X570D4U-2L2T, CPU 5600X. SSDs PM9A3 7.68TB. "Test am Blech", nicht mit vCPU oder Passthrough.
Das schaut nun unter Windows schonmal anders (=besser) aus:

Bifurcation geht nun mit ner PCIe gen3 Karte (HBA 9400-16i) im oberen 8x Slot und die zwei PM9A3 als PCIe gen4 im unteren 8xSlot (Bifurcation auf x8x4x4 geschaltet). Crystaldisk info bestätigt dabei 4.0x4 bei den beiden SSDs. Interessant, dachte dass die gen3-Karte bei bifurcated Lanes den anderen evtl. auch auf 3.0 zwingt. Nope, gut so, ist gen4.

weitere Tests folgen. mal sehn was Passthrough, ESXI und ZFS sagen.

 

[Holt]

"Test am Blech", nicht mit vCPU oder Passthrough.
Das schaut nun unter Windows schonmal anders (=besser) aus:

Dies dürfte aber eher daran liegen das nun "am Blech" und nicht mit vCPU oder Passthrough getestet wurde als daran das der Adapter gewechselt wurde.

 

[Trambahner]

Da hast Du sicher recht, das macht sicher was aus.
Ich hatte aber beim Passthrough als auch später am Blech auch Probleme, die zweite SSD anzusprechen. Die hat sich während Zugriffen ständig verabschiedet und ist sogar aus dem Gerätemanager verschwunden. Wenn sie ansprechbar war, waren die Datendurchsätze unter alle Kanone. Kleiner 1GB/s. Damit war ein Einsatz unmöglich, die erste SSD war dagegen da. Damit lag die Vermutung bei mir nahe, dass es an der Karte bzw. deren Leiterbahnlayout zur 2. Karte lag.
Ob das so war, werden final die ESXI-Tests zeigen.

Evtl. kommt das Pärchen aber auch in die B550M Maschine, dort geht der 2. SSD-Platz auf der Steckkarte grundätzlich nicht weil diese vier Lanes bei dem Board+CPU (Renoir 4750G) bei Bifurcation nicht ansprechbar sind. Der Slot kann sozusagen x16 oder x4x0x4x4. D.h. dort bräuchte ich dann eh ne Quad U.2-Karte.


Update on ESXI:
Der bietet die SSDs nun ohne aktiviertes Passthorugh auch sauber als local Datastore mit VMFS an, was er mit der Anschraub-Karte vorher nicht getan hat.

Und auch die Datenraten im Passthrough sind teilw. deutlich besser als vorher mit dem "Anschraub-Adapter" (siehe unten). Auch die zweite SSD ist nun stabil und mit annähernd gleichen Durchsätzen. Das weist denke ich schon auf ein vorher bestehendes Kommunikationsproblem zwischen CPU/Board und den SSDs hin.

 

[tackleberry]

Da hast Du sicher recht, das macht sicher was aus.
Ich hatte aber beim Passthrough als auch später am Blech auch Probleme, die zweite SSD anzusprechen. Die hat sich während Zugriffen ständig verabschiedet und ist sogar aus dem Gerätemanager verschwunden. Wenn sie ansprechbar war, waren die Datendurchsätze unter alle Kanone. Kleiner 1GB/s. Damit war ein Einsatz unmöglich, die erste SSD war dagegen da. Damit lag die Vermutung bei mir nahe, dass es an der Karte bzw. deren Leiterbahnlayout zur 2. Karte lag.
Ob das so war, werden final die ESXI-Tests zeigen.

Evtl. kommt das Pärchen aber auch in die B550M Maschine, dort geht der 2. SSD-Platz auf der Steckkarte grundätzlich nicht weil diese vier Lanes bei dem Board+CPU (Renoir 4750G) bei Bifurcation nicht ansprechbar sind. Der Slot kann sozusagen x16 oder x4x0x4x4. D.h. dort bräuchte ich dann eh ne Quad U.2-Karte.


Update on ESXI:
Der bietet die SSDs nun ohne aktiviertes Passthorugh auch sauber als local Datastore mit VMFS an, was er mit der Anschraub-Karte vorher nicht getan hat.

Und auch die Datenraten im Passthrough sind teilw. deutlich besser als vorher mit dem "Anschraub-Adapter" (siehe unten). Auch die zweite SSD ist nun stabil und mit annähernd gleichen Durchsätzen. Das weist denke ich schon auf ein vorher bestehendes Kommunikationsproblem zwischen CPU/Board und den SSDs hin.
Anhang anzeigen 726574

Sieht doch nice aus. Könntest bitte mal nen Test mit den Einstellungen machen, die ich oben für die 4 TB verwendet habe?

 

[Trambahner]

Hi, würde ich selbstverständlich gerne tun. Die beiden SSDs sind aber schon seit Freitag nun im Server als ZPool in Aktion, wo ich sie nicht mehr rausnehmen kann.