8 TB Datacenter SSDs: Samsung PM1733 vs. Intel D7 5510 - Qual der Wahl

[tackleberry]

Servus

Nachdem ich nun monatelang gar nicht er an einer gesuchte Datacenter SSD ab 8 TB gekommen bin, wartet nun eine Samsung OEM Enterprise SSD PM1733 7.68TB, U.2 darauf von mir abgeholt zu werden und auch die Intel D7 5510 soll nächste Woche für mich verfügbar sein.

Nun frage ich mich welche von den beiden ich nehmen soll, ob nicht sogar beide und für welchen Einsatzwerk welche SSD besser ist. Ich hatte auch schon mit dem Gedanken gespielt eine Intel Optane PX5800 1.6 TB als System SSD anzuschaffen aber die sind mir dann doch zu teuer bezüglich Preis pro TB vs. Mehrnutzen.

Ich überlege im Grunde alle M.2 SSDs aus dem System zu werfen und nur noch Datacenter SSDs zu verwenden. Auch weil dann eine weitere Hitzequelle vom Mainboard verschwindet (Die aktuelle System SSD, eine 980 Pro OEM, gurkt trotz Heatspreader die ganze Zeit bei 50°C im Idle rum). Vorteil für Intel ist auf jeden Fall Endkunden Support mit Treibern, Firmware etc. Von Samsung gibt es garnichts für Endkunden (auch keine Garantie) weil die SSDs eigentlich nur für OEM und deren Kunden gedacht sind. Die Garantie ist mir aber eh egal, da mir bisher noch keine SSD oder HDD im Betrieb verreckt ist. Der Chipsatz würde vermutlich auch entlastet werden. Der war bevor ich dort einen Wasserkühlblock montiert habe vorher immer bei mindestens 60°C.

Nehmen wir an ich würde beide einfach mal beide beschaffen. Wie könnte ich testen welche SSD besser als System SSD und welche besser als Daten SSD geeignet ist?

Ich hätte gerne auf der System SSD so geringe Zugriffszeiten wie möglich (daher auch Optane geprüft). Wenn ich sogar auf 2 SSDs im System reduziere, würden dort auch größere Dateien (ProRes Video Export via Adobe Premiere) sequentiell geschrieben werden (mit 2 GB/s aufwärts). Die SSD darf also nicht einbrechen nur weil da mal gerade 100-500 GB Dateien am Stück geschrieben werden. Würde ich da einfach HD Tune laufen lassen und gucken wann der Speed einbricht bzw. damit die Zugriffszeiten testen?

Bei der Daten SSD wären Zugriffszeiten nicht so wichtig. Wichtiger ist sequentieller Lesespeed wenn ich mehrere hundert GB große ProRes Video Dateien einlese. Das beeinflusst nämlich wie schnell ich die Tonspuren in Premiere sehe und wann ich endlich mit Cutten anfangen kann. auf diese SSD würden auch seqentiell geschrieben werden, aber maximal mit 500 mb/s. Dafür aber auch mal gerne 1 TB am Stück.

Welche Nachteile bezüglich Latenz und Bandbreite sind eigentlich zu erwarten, wenn die SSDs an den Chipsatz des X570 Mainboards statt der CPU angebunden werden?

Datenblätter des SSDs gibt es hier:
Intel
Samsung

Spoiler: Datenblätter aggregiert

Feature	Samsung 1.92 TB drive	Samsung 3.84 TB drive	Samsung 7.68 TB drive	Samsung 15.36 TB drive	Intel 7.68 TB
Interface	PCIe 4.0 x4*	PCIe 4.0 x4*	PCIe 4.0 x4*	PCIe 4.0 x4*
Capacity	1.92 TB	3.84 TB	7.68 TB	15.36 TB	7.68TB
Lithography Type	3D-NAND TLC, Samsung, 96 Layer (V-NAND v5)	3D-NAND TLC, Samsung, 96 Layer (V-NAND v5)	3D-NAND TLC, Samsung, 96 Layer (V-NAND v5)	3D-NAND TLC, Samsung, 96 Layer (V-NAND v5)	144L TLC 3D NAND
Endurance	3504 TB	7008 TB	14,016 TB	28,032 TB
(total bytes written)
Endurance (drive	1 DWPD	1 DWPD	1 DWPD	1 DWPD
writes per day for 5 years)
Data reliability	< 1 in 1017 bits read	< 1 in 1017 bits read	< 1 in 1017 bits read	< 1 in 1017 bits read
(UBER)
MTBF	2,000,000 hours	2,000,000 hours	2,000,000 hours	2,000,000 hours
Performance & Power - PCIe 4.0 host interface
Random Read (100% Span)					930.000​
IOPS reads (4 KB blocks)	800.000​	1.500.000​	1.450.000​	1.450.000​
Random Write (100% Span)					190.000​
IOPS writes (4 KB blocks)	100.000​	135.000​	135.000​	135.000​
Sequential Bandwidth - 100% Read (up to)					7000 MB/s
Sequential read rate (128 KB blocks)	7000 MBps	7000 MBps	7000 MBps	7000 MBps
Sequential write rate (128 KB blocks)	2400 MBps	3500 MBps	3500 MBps	3500 MBps
Latency - Read					84 µs
Latency - Write					16 µs
Latency (random R/W)	100 µs / 25 µs	100 µs / 25 µs	100 µs / 25 µs	100 µs / 25 µs
Latency (sequential R/W)	220 µs / 80 µs	220 µs / 80 µs	220 µs / 80 µs	220 µs / 80 µs
Power - Active					<18W
Power - Idle					<5W
Typical power (R/W)	15 W / 15 W	20 W / 20 W	20 W / 20 W	20 W / 22 W
Performance & Power - PCIe 3.0 host interface

Ich nehme am an das Angaben für Read/Write, IOPS und Zugriffszeiten nicht genormt sind und man die Datenblätter nicht direkt vergleichen kann, oder? Mich irritiert vor allem, dass die Samsung 50% mehr IOPS beim Lesen hat aber 33% weniger beim Schreiben. Die Intel wird allgemein mit niedrigeren Zugriffszeiten angegeben. Bin über jeden Input weiter bevor ich hier eine 1500 Euro SSD rumliegen habe, auf die ich eigentlich keinen Bock habe.


Edit am 26.04.2021

Die Samsung PM1733 läuft bei mir nun und ich bin begeistert. Ich werde nun alle m.2 SSDs gegen Datacenter SSDs tauschen. Hier die verwendeten Adapter und Kabel um eine U.2 SSD an einen M.2 Port des X570 Mainboards (oder jedes anderen Mainboards mit m.2 Slots) anzubinden.

Adapter: https://amzn.to/3ewQ5OH
Kabel: https://amzn.to/3dPsJVu

Da ich beim Umbauen aus Wasserkühlung die ganzen m.2_3 Abstandshalter rausgerissen habe (welche man für die Standardlänge der Consumer SSDs nicht braucht), habe ich nun auch noch diesen Adapter hier bestellt:

Delock Adapter M.2 Key M zu SFF-8643 NVMe 22110/2280 / 2260: Amazon.de: Computer & Zubehör

Delock Adapter M.2 Key M zu SFF-8643 NVMe 22110/2280 / 2260: Amazon.de: Computer & Zubehör

amzn.to

 

[Mojo]

Tach auch
Kurzfassung: Nimm, was deinem Bauchgefühl besser zusagt. Spürbare Unterschiede wirds keine geben. Selbst ein 1TB Clip ist auf allen Drives in unter 1 Sekunde im Ram. Theoretisch. Aber Premiere (bei mir halt Resolve) braucht zum Öffnen des Projekts gleich lang, egal, von welchem Speicher der Medienpool kommt (HDD ausgenommen). In der Praxis werden ja beim ersten Import die Hüllkurvendateien angelegt und da ist deine CPU gefragt. Beim zweiten Öffnen dauerts von beiden SSDs bestimmt nicht spürbar unterschiedlich lang. Vom Programmstart an bis ich die Timeline scrubben kann, dauerts eigentlich immer ca 18s, davon gehen 15s an Resolve und drei Sekunden ans Projekt. Resolve ist aber auch kein Schnellstarter, scheint in Java geschrieben zu sein
Ich bin da selbst auch so ein Fetischist: Was? Es gibt eine schnellere SSD? Her damit, ich öffne/kopiere ja dauernd TB-Projektdateien. Und am Ende vom Umbau brauche ich viel Einbildungskraft, um einen Unterschied bemerken zu wollen/können Eine SATA-SSD schafft 500GB/s (<-Tippfehler...MB/s!). Da dauerts halt "2" Sekunden. Auf der PCIe4 M2 ist es schneller. Maximales Einsparpotenzial: 2s. Und das vor einer Session, die dann 2 bis 8 Stunden dauert. Ich habe für mich daher entschieden, dass mein Tag nicht länger oder produktiver wird, wenn ich alle X Stunden "2" Sekunden einsparen kann. Ich suche nach immer schnellerem Rendern, weil sich da die Millisekunden-Einsparungen eben mit mehreren Millionen Vorgängen multipliziert. Habe ich so entschieden, kaufe aber trotzdem schnellere SSDs :/
Vermutlich wäre ein Setup mit einem 9361-Raidcontroller und einem Rudel SAS3-SSDs günstiger, flexibler, leistungsfähiger...aber das will ich auch nicht, weil die Bootzeit durch so einen Controller mal schnell 30s länger wird. Eigentlich auch unlogisch...den Rechner starte ich einmal, hole den Kaffee (auch wenn die Kiste derzeit in unter 10s im Desktop landet), was mind. zwei Minuten dauert. Da hätten die zusätzlichen 30s auch Platz. Dann bleibt er viele Stunden gebootet. Aber ich bin da auch nur ich: Unlogisch, irrational, alles muss auf PCIe4.0 SSD liegen. Aber wehe ich kontrolliere mich mit einer Stoppuhr
Bitte nicht falsch interpretieren: Ich verstehe den Ansatz (weil ich mich selber immer wieder dabei erwische), aber kann viel leichter anderen davon abraten als mir selbst Faktisch: IOPS sind für Videoschnitt völlig wurscht. Das Drive soll nicht nach 100GB einbrechen, was aber auch alle vorgestellten Kandidaten nicht tun...eher nach 1TB und da ists dann egal, weil der "Job" erledigt ist.
Damit dieser Post eben nicht total sinnlos ist: Wie eingangs erwähnt, nimm, womit du dich besser fühlst - sind alles TOP-Drives. Bei mir würden es Samsung PM1643a an einem 9361, wenn ich täglich 30s geduldiger wäre :P.
Zur Thematik mit den Temperaturen kann ich wenig sagen, da Laufwerke aus der Datacenter-Kategorie die Temperaturen, die für sie gut sind, nicht überschreiten. Ob das nun bei 30° oder 60° ist, ist mir egal. das sind kurzzeitige Peaks und führen nicht zur Drosselung. Die Drosselung kommt, weil der SLC Cache voll/leer gelesen/geschrieben ist, aber er ist trotzdem größer, als die Projektdaten. Nach Latenzen würde ich erst bei enem Datenbankserver schauen wollen Die Zeiten von 10ms Zugriffszeiten bei HDDs sind ja vorbei, was also im Desktopalltag keine Rolle mehr spielt. Nur beim Benchmarking Manchmal reicht mir das allerdings auch schon aus - erwischt...

 

[Firebl]

äh 500GB/s bei einer SATA-SSD? Du hast da einen leichten Kommafehler
Wenn du 100-500GB schreiben willst, schau nach einer Optane, die kann das.

 

[Mojo]

500MB/s latürnich.

 

[Holt]

für welchen Einsatzwerk welche SSD besser ist.

Beide haben 1 DWPD, sind also direkte Konkurreten bzgl. der Frage wie schreibintensiv die Anwendung sein darf.

Vorteil für Intel ist auf jeden Fall Endkunden Support mit Treibern, Firmware etc. Von Samsung gibt es garnichts für Endkunden (auch keine Garantie) weil die SSDs eigentlich nur für OEM und deren Kunden gedacht sind.

So ist es.

Die Garantie ist mir aber eh egal

Das mag ja sein, aber wo bekommst Du FW Updates her, wenn man eines nötig sein soll? Du hast die als "Datenblatt" die Lenovo Seite (was kein echtes Datenblatt ist) verlinkt, ich nehme also an Du wirst sie von Lenovo kaufen wollen, aber bekommst Du da dann auch FW Updates? Wenn es eine Lenovo Version ist und sie FW Updates öffentlich zugänglich rausbringen, wäre dies kein Problem.

Ich hätte gerne auf der System SSD so geringe Zugriffszeiten wie möglich (daher auch Optane geprüft).

Da sind Enterprise SSDs aber nicht so stark darauf optimiert, die sind eher auf gute und vor allem beständige Performance bei vielen parallelen Zugriffen optimiert, da dies viel eher deren normalem Einsatzzweck entspricht.

Die SSD darf also nicht einbrechen nur weil da mal gerade 100-500 GB Dateien am Stück geschrieben werden.

Die werden wohl keinen Pseudo-SLC Schreibcache haben, dies ist bei Enterprise SSDs auch nicht üblich, da sie meist gar nicht so lange Idle sind um diesen auch leeren zu können und daher sollte dies hier kein Thema sein.

Welche Nachteile bezüglich Latenz und Bandbreite sind eigentlich zu erwarten, wenn die SSDs an den Chipsatz des X570 Mainboards statt der CPU angebunden werden?

Das hängt vom Mainboard ab und offensichtlich den dort vorgenommenen Energiespareinstellungen ab. Schau mal hier, da sieht man das beim ASRock X570 Taichi Razer Edition im Review die Latenz (also 4k QD1 Lesend) an der CPU viel schlechter als am X570 war, während sie beim ASUS ROG Crosshair VIII Dark Hero im Gegenteil minimal besser ausfiel. Die Unterschiede dürften durch BIOS Einstellungen, vermutlich die Energiespareinstellungen verursacht werden.

Achte übrigens darauf das die Adapter und Kabel wirklich für PCIe 4.0 geeignet sind und wohl AER nur für Lanes direkt von der CPU funktioniert, normalerweise wohl im BIOS per Default deaktiviert ist und am X570 offenbar gar nicht unterstützt wird. Schlechte Kabel oder M.2 auf U.2 Adapter können dann zu WHEA 17-Fehler im Windows Log führen.

Ich nehme am an das Angaben für Read/Write, IOPS und Zugriffszeiten nicht genormt sind und man die Datenblätter nicht direkt vergleichen kann, oder?

So ist es, die IOPS Schreibend werden meist im Steady State angegeben, also bei ständigem Schreiben auf die volle SSDs über den vollen Adressraum und sind daher Mindestangaben, weshalb sie auch so viel geringer als bei Consumer SSDs sind, bei denen diese Angaben für den Bestfall sind, also bei leerer SSD über einen Adressraum von teils nur 1GB.Wie die Haltbarkeit gemessen wird, sollte im echten Datenblatt irgendwo in einer Fußnote stehen, entweder auch Steady State oder nach JESD219 Workload, wie z.B. hier bei anderen SSDs der beiden Hersteller angegeben ist:

Samsung SM863: "TBW is measured while running 100% random 4 KB writes across the entire SSD"

Intel DC S3500: "Endurance Rating While running JESD218 standard and based on JESD219 workload"

Ob Samsung und Intel dies immer noch so machen, müsstest Du selbst mal raussuchen und die Angabe nach JESD219 workload werden etwas weniger fordernd, aber dies dürfte bei 14PD letztlich egal sein, da Du die wohl kaum je ausschöpfen wirst.

Vermutlich wäre ein Setup mit einem 9361-Raidcontroller und einem Rudel SAS3-SSDs günstiger, flexibler, leistungsfähiger...

Aber auch ausfallgefährteter und würde, vor allem im Idle, auch mehr Strom brauchen, denn gerade bei Enterprise SSDs ist die Idle Leistungsaufnahme nicht zu verachten, da sind die "Power - Idle: <5W" jetzt keine 2 oder 3W, sondern eher über 4,5W und noch mehr ist auch nicht ungewöhnlich. Typischerweise werden Enterprise SSDs eben ständig belastet und daher ist die Idle Leistungsaufnahme bei denen nicht wichtig, sondern es ist wichtiger das sie schnell antworten, also keine Verzögerungen beim Aufwachen aus Energiesparzuständen haben, weshalb man diese dann lieber gleich ganz weglässt. Von der Latenz her käme so eine SAS RAID Konfiguration auch nicht an NVMe ran.

Beitrag automatisch zusammengeführt: 17.04.2021

Hier kann man das wirklich Datenblatt der Intel D7 P5510 Reihe downloaden, für die PM1733 habe ich das nicht nicht gefunden. Beachte in solchen Unterlagen immer auch die Fußnoten!

Beitrag automatisch zusammengeführt: 17.04.2021

Außer dem bei Geizhals finde sich keines für die PM1733, da steht was von 8,5W Idle Leistungsaufnahme und der Hinweis auf custom firmware implementation, von denen bei solchen SSDs natürlich immer einiges anhängt. Wenn ein Hersteller diese SSD in Workstation anbieten will, so könnte er sich z.B. eine FW mit aktiven Energiesparfeatures wünschen und so eine viel geringere Idle Leistungsaufnahme erreichen. Vermutlich gibt es von Samsung daher kein Datenblatt, sondern man überlässt dies den OEMs und außer man kauft direkt von einem der OEMs, weiß man im Zweifel nicht für welche OEM die FW auf der SSD gemacht ist oder ob es die Vanilla FW ist, also welche Auslegung die FW hat.

 

[Mojo]

Aber auch ausfallgefährteter und würde, vor allem im Idle, auch mehr Strom brauchen, denn gerade bei Enterprise SSDs ist die Idle Leistungsaufnahme nicht zu verachten, da sind die "Power - Idle: <5W" jetzt keine 2 oder 3W, sondern eher über 4,5W und noch mehr ist auch nicht ungewöhnlich. Typischerweise werden Enterprise SSDs eben ständig belastet und daher ist die Idle Leistungsaufnahme bei denen nicht wichtig, sondern es ist wichtiger das sie schnell antworten, also keine Verzögerungen beim Aufwachen aus Energiesparzuständen haben, weshalb man diese dann lieber gleich ganz weglässt. Von der Latenz her käme so eine SAS RAID Konfiguration auch nicht an NVMe ran.

Stimmt alles. Ausfallgefährdeter aber nur beim Striping, was ja gar nicht erforderlich ist. Der Anteil am Gesamtverbrauch eines Videoschnittplatzes dürfte aber im einstelligen Prozentbereich bleiben. SAS3 kommt auf dem Papier weder von der Latenz noch vom Durchsatz an NVMe ran. Läuft aber eben rock-solid. Treiber&Firmware-Sorgen gibts da keine. In der Serverlandschaft habe ich jedenfalls 9361 und SAS3 mehr als genug gesehen. U.2 auf einem Konsumer-Board in Betrieb zu nehmen, dürfte nach den ganzen Kabel&Adaptern, die _vielleicht_ kompatibel sind - auch da hast du Recht - auch irgendwas zwischen Latenz und Lag ergeben Ich wollte ursprünglich mal einen U2-Wechselrahmen am Schnittplatz, habe es dann aber eben wegen selbiger Adaptergeschichte verworfen. Den Anwendungsfall des Fragestellers wieder hin den Fokus rückend, darf ich trotzdem mutmaßen, dass fast alle Ansätze den gleichen flüssigen Workflow liefern werden, die sich nicht auf eine einzelne SATA-SSD stützen. Die Unterschiede werden im Benchmarking liegen, nicht in der Zeit zum Öffnen eines Premiere-Projekts mit 1TB.

 

[Firebl]

Kurzer Erfahrungsbericht zum Thema U.2 auf Konsumenten-Hardware:
Ich hatte mir mal eine Intel DC P 4510, 8 TB, angeschaut. Diese habe ich mit dem DeLock-Adapter U.2/M.2+DeLock-Kabel (zusammen fast 90 Euro, wenn ich es richtig in Erinnerung habe) sowohl an einem 1151 (MSI C236A Workstation) als auch 1151v2 (MSI Z390 Gaming Pro Carbon AC) erfolgreich betrieben. Bei den dort verfügbaren Benchmarks gabs keine Probleme.
Mir fällt gerade ein: Gab es nicht mal Probleme mit X570 und SATA-SSD's? Oder gabs da schon eine Abhilfe?

Alle Lösungen per PCIe-Steckplatz kosten dich ja auch wieder Lanes. Das kann z.B. bei einer NVIDIA PCIe Gen3 Grafikkarte schon was ausmachen bei x8-Betrieb.

 

[Holt]

Ausfallgefährdeter aber nur beim Striping, was ja gar nicht erforderlich ist.

Ausfallgefährdeter ist man schon, weil man statt einer SSD mehrere hat und dazu noch den SAS HBA/RAID Controller.

Der Anteil am Gesamtverbrauch eines Videoschnittplatzes dürfte aber im einstelligen Prozentbereich bleiben

Während der Arbeit ja, aber wie hoch ist der Anteil der Zeit in der der Videoschnitt erfolgt im Verhältnis zur der Zeit die der Rechner insgesamt eingeschaltet ist?

Läuft aber eben rock-solid.

Warum sollte U.2 dies nicht auch tun?

Treiber&Firmware-Sorgen gibts da keine.

Mit NVMe gibt es noch viel weniger Treiberprobleme, da jeder halbwegs aktuelle Betriebssystem einen NVMe Treiber hat und damit jede NVMe SSD ansprechen kann, was man nicht von den Treibern für SAS HBAs/RAID Controllern behaupten kann und wieso die FW von U.2 SSD mehr Sorgen machen sollte als die von SAS SSDs und zusätzliche die FW eines SAS HBAs/RAID Controllers müsstests Du mir auch mal genauer begründen. So neu ist U.2 nun auch wieder nicht mehr.

Gab es nicht mal Probleme mit X570 und SATA-SSD's? Oder gabs da schon eine Abhilfe?

Wäre mir nicht bekannt, die hatten das doch auf die Boardhersteller geschoben und im Gegensatz zu dem Problem der USB Verbindungsabbrüche gar nicht angegangen. Aber als Redakteur könntest Du da ja nochmal direkt bei AMD nachfragen, vielleicht auch mit dem Hinweis das man ja das USB Problem doch gelöst hat.

 

[Mojo]

@Holt:
Ich habe doch nie gesagt, dass U2 nicht läuft oder dass es Firmwareprobleme gibt. Ich sagte nur, dass es mit SAS und HBA keine gibt. Firebl hat festgestellt, dass die DeLock Adapter/Kabel-Kombi funktioniert hat. Das ist gut zu wissen, weil das wohl eine Hürde von U2 auf Konsumerbrettern sein könnte. Ich habe die Artikelnummern nicht mehr im Hirn, aber mental zusammengestellt hatte ich das alles mal mit einem Wechselrahmen, dann aber nicht umgesetzt. Vielleicht wieder einen Versuch wert...Oh jeee, man ist halt nie fertig mit dem System...

Was ich aber weiterhin bemerke ist, dass bei den üblichen Hypervisoren keine M2/U2-Geschichten zertifiziert sind. Zugegeben, das prüfe ich nicht täglich. Ich habe auch nicht empfohlen, Raid 0 zu nutzen. Was man aber eben könnte, um dann fast das Niveau von NVMe zu haben. Die meisten SSC sind doch auch nichts anderes als ein Raid0-HBA-Gebilde. Eigentlich habe ich das SAS/HBA-Konstrukt sogar nicht "empfohlen", weils echt lange durchs BIOS braucht. Aber den Komfort, bei einem System - meistens eben Server - von vorne auf 24 Stück 2.5" SSDs während des Betriebes zugreifen zu können, elektrisch wie mechanisch dank Hotswap, und dabei noch echt viel Performance (also pro Drive halt 12Gb/s) zu haben, ist nicht zu verachten. Alles mit einem einzigen 9361, der auch nach 6 Jahren quasi noch aktuell ist. Das gilt für andere Modelle sicher auch. Vor 25 Jahren war der Vorgänger SCSi mit Adaptec in der Workstation auch unumgänglich Wenn Geld eben keine Rolle spielte...

Bevor ein 9361 stirbt, ist aber fünfmal früher irgendwas vom Chipsatz des Konsumerbretts unregelmäßig geworden. Die Treiber werden dermaßen gut getestet, hmm, nein, hier behaupte ich echt frech, dass es Goldstandard im Server ist. Hier wird aber auch kein Server umgerüstet, sondern eine Videoworkstation. Und zumindest meine ist nicht so viel im idle. Ich kann guten Gewissens so viel Strom veridlen, wie nötig, denn alles regenerativ. Ich finde ökologische Aspekte immer vorbildlich; diese muss der Threadstarter aber doch selbst bewerten. Keine seiner befragten SSDs hatte weniger als 5W idle. Das persönliche zeitliche Verhältnis Idle zu Last kann auch nur der Threadstarter bewerten.

@Firebl:
Wenn man eine SSC oder einen HBA verwendet, ließen sich dann die onboard Controller vielleicht deaktivieren, um die Lanes frei zu bekommen?

Zu Problemem mit USB/SATA an X570 kann ich nichts sagen. Bei mir tuts/tats anstandslos auch vor dem AGESA-Update mit einem RME-Interface am USB und 5 SATA Drives neben den zwei M2.

 

[JohnnyBGoode]

@tackleberry

Damit hier eventuell noch andere Nutzer erreicht werden, eine Kopie meines Kommentars:

Bezüglich der von mir geschilderten Auffälligkeiten (WHEA 17-Fehler am CPU-PCIe-M.2-Slot, WENN im UEFI des Mainboards PCIe AER aktiviert wird, was standardmäßig deaktiviert ist), laufen meine Untersuchungen noch:

Eine Zusammenfassung:

• Die WHEA 17-Fehler treten nicht am X570-M.2-Slot auf;
  
  
• Bei einem anderen Mainboard (ASUS Pro WS X570-ACE statt ASRock X570 Taichi Razer Edition) treten die WHEA 17-Fehler beim CPU-PCIe-M.2-Slot mit den gleichen Delock-Adaptern, Kabeln und Icy Dock 4 x U.2-Backplane dagegen NICHT auf, auch wenn auch hier PCIe AER aktiviert wird;
  
  
• Versuche gerade noch ein zweites Exemplar des ASRock X570 Taichi Razer Edition in die Finger zu bekommen, eventuell ist der CPU-PCIe-M.2-Slot des ersten fehlerhaft, das wäre "lustig"...
  
  
• Da es keine M.2-zu-SFF-8673-Kabel aus "einem Guss am Stück" gibt, wäre es eventuell noch testenswert, ob man die notwendige zusammengesteckte Kabel/Adapter-Kombination nachträglich zusätzlich abschirmen kann;

Frage von mir:

@Holt

Habe Physik leider beim Wechsel zur Oberstufe abwählen müssen, da ein LK mir zu heftig gewesen wäre:

Macht es Sinn, eine zusammengesteckte Adapterkette, M.2-zu-SFF-8643-Adapter + 0,5 m SFF-8673-SFF-8673-Kabel "irgendwie" durch Folien o. ä. zusätzlich abzuschirmen, um einen PCIe 4.0 x4-Link zu "beschützen"?

 

[Holt]

Ich habe doch nie gesagt, dass U2 nicht läuft oder dass es Firmwareprobleme gibt. Ich sagte nur, dass es mit SAS und HBA keine gibt.

Auch das ist ja nicht garantiert und wahrscheinlicher, wenn man die vielen möglichen Kombinationen von SAS HBAs und SAS SSDs anschaut. Wie oft gab es FW Updates bei SSDs um Kompatibilitätsprobleme mit SAS HBAs zu beheben? Wenn man die SSDs nicht selbst hat, erfährt man es meistens nur für Consumer SSDs wie hier bei der MX500:

M3CR033 includes the following changes:

Fixed SATA protocol error that causes start-up failure on certain data center RAID systems

Was ich aber weiterhin bemerke ist, dass bei den üblichen Hypervisoren keine M2/U2-Geschichten zertifiziert sind.

Da waren LSI SAS RAID Controller betroffen. Ich würde annehmen, dass man mit U.2 einfach weniger Fehlerquellen (eben einen Controller weniger) hat und daher auch weniger Risiko für FW Probleme.

Aber den Komfort, bei einem System - meistens eben Server - von vorne auf 24 Stück 2.5" SSDs während des Betriebes zugreifen zu können, elektrisch wie mechanisch dank Hotswap, und dabei noch echt viel Performance (also pro Drive halt 12Gb/s) zu haben, ist nicht zu verachten.

Das kann man mit U.2 ja auch, der Formfaktor ist ja gerade deshalb bei Enterprise SSDs so verbreitet, weil er Hot-Swap erlaubt.

Keine seiner befragten SSDs hatte weniger als 5W idle.

Aber die Samsung PM1643 SAS SSDs sind im Datenblatt ebenfalls mit 5W im Idle angegeben. Dazu kommt dann noch die Leistungsaufnahme des SAS HBA, die ich im Datenblatt von Broadcom auf die Schnelle nicht gefunden haben, aber so gering dürfte sie nicht ausfallen, als dass die beides zusammen weniger als eine U.2 SSD nimmt.

Das persönliche zeitliche Verhältnis Idle zu Last kann auch nur der Threadstarter bewerten.

Das ist natürlich richtig, man sollte den Aspekt aber nicht vergessen.

Wenn man einen ordentlichen SAS HBA liegen hat und das Board auch einen passenden PCIe Slot bietet, was ja bei den Mainstream Consumerboards auch nicht selbstverständlich ist, dann mag SAS eine Alternative sein, aber wenn man beides erst Anschaffen muss, würde ich keinen Gedanken mehr an die veraltete SAS Technologie verschwenden, sondern direkt auf U.2 setzen!

Wenn man eine SSC oder einen HBA verwendet, ließen sich dann die onboard Controller vielleicht deaktivieren, um die Lanes frei zu bekommen?

Firebl bezog sich ja wohl auf die 16 PCIe Lanes direkt von der CPU und die kann man nicht freibekommen indem man Controller deaktiviert, die an den Lane des Chipsatzes hängen. Da gibt es nur, je nach Board, die Wahl zwischen SATA Ports und PCIe Lanes, die dann auch je nach Board meist an M.2 Slots, ggf. auch normale PCIe Slots und seltener an U.2 Ports gehen.

Zu Problemem mit USB/SATA an X570 kann ich nichts sagen. Bei mir tuts/tats anstandslos

Das Problem bei SATA am X570 ist die Performance, genau die maximalen IOPS. Schnelle SATA SSDs sollten z.B. bei AS-SSD 4k_64 auf fast 400MB/s lesend komme, schaffen an den SATA Ports eines X570 aber nur etwas über 200MB/s. Hast Du das mal gebencht?

Bei einem anderen Mainboard (ASUS Pro WS X570-ACE statt ASRock X570 Taichi Razer Edition) treten die WHEA 17-Fehler beim CPU-PCIe-M.2-Slot mit den gleichen Delock-Adaptern, Kabeln und Icy Dock 4 x U.2-Backplane dagegen NICHT auf, auch wenn auch hier PCIe AER aktiviert wird

Dann frage ich mich ob die hier beobachteten Latenzunterschiede zwischen den PCIe Lanes direkt von der CPU und denen über den X570, nicht damit in einem Zusammenhang stehen. Dort war es beim ASRock X570 Taichi Razer Edition ja so, dass die Latenz (also 4k QD1 Lesend) an der CPU viel schlechter als am X570 war, während sie beim ASUS ROG Crosshair VIII Dark Hero im Gegenteil minimal besser ausfiel. Wenn bei Dir an einem ASUS Board mit aktivem AER trotzdem keine Fehler auftreten, könnte es dann sein, dass AER die höhere Latenz verursacht, aber beim ASUS Board im Gegensatz zur BIOS Einstellung gar nicht aktiv war? Könntest Du auf dem ASRock mal mit CDM die 4k QD1 (also Q1T1) benchen, einmal mit AER und einmal ohne? Das wäre super.

 

[Firebl]

Hier hab auch nochmal eine FireCuda 120, 4 TB, an einem B350 und X570 Chipsatz getestet. Genau wie erwartet nur 200 MB/s statt 400 MB/s am B350.

@Mojo ich hab mal unseren SSD-Redakteur angehauen. Wenn der nichts neues weiß, schreibe ich mal einen AMD Kontakt direkt an.

 

[Holt]

an einem B350 und X570 Chipsatz getestet. Genau wie erwartet nur 200 MB/s statt 400 MB/s am B350.

Wobei der B550 wohl auch betroffen ist, wenn auch nicht so massiv wie der X570. Ich kann echt nicht nachvollziehen wieso dies passiert, die übrigen Werte unterscheiden sich ja nicht so stark, die 4k QD1 sind nicht massiv schlechter, was für eine weitaus höhere Latenz sprechen würde und die sequentiellen Werte zeigen ja auch, dass die Bandbreite nicht das Problem ist.

 

[massaker]

Hier hab auch nochmal eine FireCuda 120, 4 TB, an einem B350 und X570 Chipsatz getestet. Genau wie erwartet nur 200 MB/s statt 400 MB/s am B350.

Danke für den Test... 200 statt ~400MB/s ist offensichtlich, sollte aber im Text mMn schon als "Q32" erwähnt werden, damit dem Leser gleich klar ist um was es geht.... und auch der 490MB/s-Cap beim Schreiben kotzt etwas an - zögere deswegen auch etwas mit dem MB-Upgrade, werde evtl. x570S-Bretter abwarten und hoffen, dass x570S an allem Fronten zum "x570 done right" wird.

@Mojo ich hab mal unseren SSD-Redakteur angehauen. Wenn der nichts neues weiß, schreibe ich mal einen AMD Kontakt direkt an.

Je öfter AMD darauf hingewiesen wird, desto mehr Chancen auf einwandfreie Bretter gibt es... Siehe USB-Problem-Lösung.

Zitat TEST:
Bei Hardwareluxx konnten wir gerade die 8-TB-Variante der Samsung 870 Evo ankündigen.

Wie meinst Du das? Verlinkt ist die Meldung zur QVO =uninteressant. Eine 870Evo 8TB wäre fine.

 

[Firebl]

Damit meinte ich, dass aufgrund des geringen Füllgrads des Gehäuses vlt auch noch eine 8 TB FireCuda möglich wäre. Im Sinne von andere Hersteller trauen sich ja auch in diese Kapazitätsregionen bei einfachen SSDs. Leider kam da aber nichts bisher

 

[Holt]

Damit meinte ich, dass aufgrund des geringen Füllgrads des Gehäuses vlt auch noch eine 8 TB FireCuda möglich wäre.

Der Platz ist nicht der begrenzende Faktor, sondern die Kosten. Doppelt so viel NAND kostet eben auch das Doppelte und bei SSDs mit solchen Kapazitäten machen die Kosten der NANDs eben den Löwenanteil von deren Kosten aus. Entweder fehlt einfach die Nachfrage nach solchen SSDs, vielleicht weil den meisten fürs Datengrab eben doch eine HDD reicht oder es sind einfach die Preise die abschrecken, wobei ja beides Hand in Hand geht. Jedenfalls hat Mindfactory von der 870 QVO gerade mal über 110 verkauft, während es von der 4TB immerhin über 280 waren, dem stehen über 870 2TB und sogar über 2940 1TB 870 QVO. Das sind über 26 mal so viele 1TB wie 8TB!

Wie viel wichtiger Preis als Performance zu sein scheint, zeigt auch der Vergleich zu 870 Evo, von denen MF (nur die veröffentlichen ja Verkaufszahlen, oder kennt jemand noch einen anderen Händler der dies macht?) von denen von den 4TB gerade über 50 verkauft wurden, weniger als halb so viele wie 8TB QVO und nur 18% dessen was an 4TB QVOs verkauft wurde. In den 2TB EVOs wurden über 240 verkauft, wieder weniger als halb so viele wie von den doppelt so großen QVOs und 28% dessen was an QVO 2TB verkauft wurde, obwohl wie hier aktuell gerade mal etwa 25€ Preisunterschied bestehen. Von den Evo 1TB wurden über 450 verkauft, auch nur etwas mehr als die Hälte dessen was an der doppelt so großen 2TB QVOs verkauft wurde und nur etwa 15% dessen was an 1TB QVOs "über den Ladentisch" ging, bei aktuell nicht einmal 12€ Preisunterschied.

Man mag argumentieren das die QVO schon länger etwas auf dem Markt ist, aber ich denke die Zahlen zeigen eher, wie preissensibel der Bereich ist, die meisten dürften entweder nur auf den Preis schauen oder eine NVMe SSD als Systemlaufwerk haben und die SATA SSD dann nur als Datengrab oder für Spiele nehmen und da denn eben vor allem auf den Preis schauen. Der gering Anteil der SSDs mit hohen Kapazitäten zeigt auch klar, wie schwach die Nachfrage danach ist und daher dürfte es sich für die Hersteller einfach nicht lohnen solche Modelle zu bringen. Eine 870 Evo würde kaum wenig als 800€ kosten und MF würde vermutlich nur gut ein Dutzend davon verkauft haben, wäre sie damals zusammen mit den anderen erschienen.

 

[JohnnyBGoode]

Könntest Du auf dem ASRock mal mit CDM die 4k QD1 (also Q1T1) benchen, einmal mit AER und einmal ohne? Das wäre super.

Konnte noch ein zweites X570 Taichi Razer Edition zum A/B/C-Testen beschaffen. Damit sollte ich kommende Woche jeweils zwei Stück vom "Ur"-ASRock X570 Taichi von 2019 (Rev 1.05), X570 Taichi Razer Edition und ASUS Pro WS X570-ACE vergleichen können.

Habe drei Stück der PM1733-SSDs und Icy Dock 4 x U.2-Backplanes da, fünf mal Delock M.2-zu-SFF-8643-Adapter und einige SFF-8673-SFF-8673-Kabel.

CPUs zum Testen: 2 x 3700X, 1 x 3900 PRO, 1 x 3950X, 1 x 5950X

Habe von kompetenteren Quellen "hinter vorgehaltener Hand" gehört, dass, obschon der X570-Chipsatz ja der gleiche IO-DIE sein soll wie bei Matisse und Vermeer, dessen PCIe AER-Feature deaktiviert sein soll und dementsprechend die UEFI-Option im AMD NBIO Options-Untermenü nur für CPU-PCIe und nicht Chipsatz-PCIe gelten soll.

Von den bisherigen Erfahrungen ist das ASUS Pro WS durch sein mittlerweile ziemlich bugfreies UEFI und die einwandfrei funktionierende PCIe-Bifurcation-Funktion mein Lieblingsboard, selbst den einmaligen elektrischen x8-Slot vom X570-Chipsatz kann man zu x4/x4 schalten.

Die Taichis sind dagegen meine erste Wahl, wenn es darum geht, Thunderbolt 3 mit voller Power Delivery-Funktion nachrüsten zu können, das geht leider beim Pro WS nicht.

Ich bin eigentlich nur ein ambitionierter GUI-Nutzer, wenn jemandem neben CrystalDiskMark noch anderes zum Testen einfällt, bin ich gerne bereit zu gucken, da ich der Sache mit den WHEA 17-Fehlern bei aktiviertem PCIe AER selber auf den Grund gehen will, da mir das etwas Bauchgrummeln bereitet.

 

[Holt]

dementsprechend die UEFI-Option im AMD NBIO Options-Untermenü nur für CPU-PCIe und nicht Chipsatz-PCIe gelten soll.

Wobei es eben interessant wäre, ob die AES Option die höhere Latenz verursacht die an den PCIe Lanes des ASRock X570 Boards verantwortlich ist und wenn dies so ist, dann steht halt der Verdacht im Raum das die Option beim ASUS Board in BIOS gar nicht funktioniert. Dies wäre dann ein Bug der ASUS zu melden wäre.

selbst den einmaligen elektrischen x8-Slot vom X570-Chipsatz kann man zu x4/x4 schalten.

Ja was PCie Bifurkation angeht, ist der I/O Die besser als die alten Zen und Zen+, bei denen nur x8/x8 oder x4/x4/x4/x4 möglich waren, aber eben nicht die nun mögliche x8/x4/x4 Kombination die auch bei Intel möglich ist, während die Intel Mainstream CPUs zumindest bisher dafür keine x4/x4/x4/x4 Aufteilung erlaubt haben. Keine Ahnung ob sich da mit RKL etwas geändert hat, bisher habe ich dazu nichts gelesenm, aber solche Details werden eben auch kaum je in Reviews erwähnt.

bin ich gerne bereit zu gucken, da ich der Sache mit den WHEA 17-Fehlern bei aktiviertem PCIe AER selber auf den Grund gehen will, da mir das etwas Bauchgrummeln bereitet.

Das kann ich verstehen, die Hardware sollte schon fehlerfrei funktionieren, zumindest weitgehend und wenn Fehler auftreten, sollte man davon erfahren können. Aber AMD hat offenbar aus gutem Grund AM4 nie als eine professionelle Plattform in Konkurrenz zu Intels Xeon-E und nun Xeon-W herausgebracht und die dafür relevanten Dinge wie ECC RAM nie offiziell als Features beworben. Die ECC RAM Funktion war bei den CPUs und Pro APUs einfach nur nicht deaktiviert, auch bei Dingen wie PCIe Passthrough steht man alleine und nicht selten mit einem Haufen Problemen da. Die Plattform zielt eben auf Heimanwender und macht da ja auch eine gute Figur, erhebt aber nicht den Anspruch eine professionelle Plattform zu sein, dafür hat AMD im Serverbereich nur die EPYCs, für Workstation die TR Pro und für Embedded die EPYC 3000.

 

[Mojo]

Guten Morgen zusammen,

@Holt:
Bis gestern hatte ich keine Probleme mit SATA Also habe ich gebencht und wache heute mit einem nicht mehr einwandfreien System auf :P Im Ernst: Alle SATA-SSDs kommen wie von euch vermutet nicht über 228MB/s beim 4k_64. Im Betrieb merke ich davon natürlich gar nichts, weil ich dort lediglich erledigte Projektdaten mit dem erwartbaren SATA-Maximum entsorge. Bleibt zu hoffen, dass das in der Praxis weiterhin keine Relevanz hat und/oder noch behoben wird.

Ein bisschen haben wir den Thread aber schon zweckentfremdet...?

"PM1733-SSDs + Icy Dock 4 x U.2-Backplane + Delock M.2-zu-SFF-8643-Adapter + SFF-8673-SFF-8673-Kabel" wenn das sauber tut und ich auf dem Weg endlich auch die M.2/U.2 im Wechselrahmen betreiben kann, vllt der Threadstarter dann eben auch, wäre das natürlich prima.

 

[tackleberry]

@JohnnyBGoode
Könntest Du vielleicht bitte ein paar Benches der PM1733 posten? CrystalDisk, HD Tune etc.

 

[JohnnyBGoode]

Hatte schon einmal HD Tune Pro 5.xx gekauft, daher kann ich es auch in der aktuellsten Version testen. Allerdings kenne ich mich mit den Testmethodiken nicht aus, daher wäre ich dankbar, wenn jemand kurze Kommentare dazu abgeben kann, wenn man irgend etwas von Standardeinstellungen verändern sollte.

Habe auch ein paar Icy Dock U.2-Adapter für M.2-SSDs da, allerdings keine Gen4 M.2-SSD, nur 3 x WD Black SN750 2 TB und 1 x Blue SN550 2 TB.

Beitrag automatisch zusammengeführt: 18.04.2021

@Firebl

In der Funktion als Redakteur wäre es vielleicht erstrebenswert herauszufinden, was es mit der neuen X570-Revision "X570S" auf sich haben soll, wurden hier eventuell die SATA-Performance-Probleme und USB-Geschichten in Hardware gelöst?

 

[tackleberry]

Hatte schon einmal HD Tune Pro 5.xx gekauft, daher kann ich es auch in der aktuellsten Version testen. Allerdings kenne ich mich mit den Testmethodiken nicht aus, daher wäre ich dankbar, wenn jemand kurze Kommentare dazu abgeben kann, wenn man irgend etwas von Standardeinstellungen verändern sollte.

Habe auch ein paar Icy Dock U.2-Adapter für M.2-SSDs da, allerdings keine Gen4 M.2-SSD, nur 3 x WD Black SN750 2 TB und 1 x Blue SN550 2 TB.

Beitrag automatisch zusammengeführt: 18.04.2021

@Firebl

In der Funktion als Redakteur wäre es vielleicht erstrebenswert herauszufinden, was es mit der neuen X570-Revision "X570S" auf sich haben soll, wurden hier eventuell die SATA-Performance-Probleme und USB-Geschichten in Hardware gelöst?

Hau einfach mal die Lese und Schreibbenches bei HD Tune Pro durch und den Standard Bench bei CrystalMark. Mein HD Tune Pro ist abgelaufen und ich kann gerade nicht nachgucken unter welchem Tabs was ist. Mich interessiert primär die Performance am Mainboard und nicht über USB 3.2. Gen 2x2.

 

[JohnnyBGoode]

@tackleberry

Bin noch etwas mit dem Freimachen der SSDs beschäftigt, hier ein einfacher CDM-Bench, die PM1733 ist in der Icy Dock-Backplane mit einem 50 cm langen Kabel zum M.2-Adapter verbunden.

 

[Holt]

Die QD1 Werte RND4K und vor allem SEQ1M sind nicht gerade berauschend, aber dies wundert mich auch nicht wirklich, da Enterprise SSDs eben stärker auf eine gute Performance bei vielen parallelen Zugriffen als auch einzelne Zugriffe optimiert sind.

 

[JohnnyBGoode]

Ja, das juckt mich nicht, da die SSDs zum größten Teil für Blackmagic RAW verwendet werden, die Auswahlkriterien waren für mich:

- > 4 TB pro SSD
- Konstante Leistungswerte (kein pseudo-SLC-Cache)
- Preis pro Speichereinheit
- Powerloss Protection
- U.2 oder M.2, damit man sie irgendwie in Wechselrahmen betreiben kann

 

[tackleberry]

Bin noch etwas mit dem Freimachen der SSDs beschäftigt, hier ein einfacher CDM-Bench, die PM1733 ist in der Icy Dock-Backplane mit einem 50 cm langen Kabel zum M.2-Adapter verbunden.

Danke für den Test. Das ist genau der Grund warum ich noch gezögert habe mit der PM1733. Die Performance in Q1T1 Lesen ist für mich verwunderlich gering. Das hatte ich schon bei einem anderen User gesehen. Nun frage ich mich, wenn das Videobearbeitungsprogramm eine 200 GB Videodatei einliest Q1T1 oder Q1T8 eher relevant ist? Wobei... Adobe hat es ja nicht so mit Threading... Nehmen wir mal an ich würde Davinci Resolve Studio nutzen...

Könntest Du vielleicht mal eine 100-200 TB Videodatei erstellen und in einem Videobearbeitungsprogramm wie Adobe Premiere (Trial) oder Davinci Resolve (ohne Studio ist Free) einlesen und im Task Manager gucken wie der Lesespeed auf der SSD ist? So eine 200 TB Videodatei in ProRes kann man easy erstellen. Komplett schwarzes Bild mit 1920x1080 Auflösung erstellen, im Videobearbeitungsprogramm einfügen, Bild auf 30 minuten Standbild strecken, als ProRes 422 HQ oder ProRes 4444 exportieren. Neustarten. Diese Datei dann einlesen.

 

[Holt]

im Task Manager gucken wie der Lesespeed auf der SSD ist?

Dafür würde ich eher HWInfo64 und dort Sensors nehmen.

 

[Mo3Jo3]

Macht es Sinn, eine zusammengesteckte Adapterkette, M.2-zu-SFF-8643-Adapter + 0,5 m SFF-8673-SFF-8673-Kabel "irgendwie" durch Folien o. ä. zusätzlich abzuschirmen, um einen PCIe 4.0 x4-Link zu "beschützen"?

Generell ist das möglich, beispielsweise durch Alufolie, es gibt auch Abschirmband zu kaufen.
Allerdings würde ich eine Abschrimung auch erden.
Ob das in deinem Fall sinnvoll oder nötig ist, bleibt fraglich.

 

[JohnnyBGoode]

@Mo3Jo3

Macht Alu oder Kupfer hier einen Unterschied von den physikalischen Eigenschaften her?

Führt das Abschirmen (und Erden der Abschirmung) für andere Komponenten im System zu eventuellen Problemen?

(Meine damit nicht WLAN- oder Bluetooth-Empfang und natürlich auch keine offensichtlichen Dinge wie dass man sorgfältig arbeiten sollte, damit man mit Metallfolien keine offenen Kontakte kurzschließt)

Bin an der Sache noch dran und habe aufgeschappt, dass "bald" neue Kabel aus Taiwan kommen sollen, womit man sich das vielleicht sparen kann.

Aber mich würde dennoch auch interessieren, ob man es irgendwie doch selber hinbekommt.

 

[tackleberry]

So, beide Händler bei denen ich die Intel D7 5510 bestellt hatte, habe mir nun mitgeteilt, dass der Lieferant nicht (pünktlich) liefern konnte. Werde wohl heute die PM1733 abholen damit ich endlich die 4 TB Corsair MP510 aus dem System werfen kann.