PCIe für speziellen Use-Case! PCIe 5.0 eine Option?

[omc1984]

Hallo Leute,

ich müsste meinen Workflow etwas verbessern und habe das Szenario, dass über ein Skript viele kleine Bilder geladen werden und bearbeitet und dann wieder gespeichert werden. Das ist purer Stress für eine SSD und ich könnte es so modifizieren, dass es von einer SSD (nicht mehr die System-SSD) geladen werden und auf einer weiteren SSD (auch nicht die System-SSD) gespeichert werden. Mit 2 weiteren 2TB SSD sollte ich auch für die Zukunft gut aufgestellt sein.

Die Frage ist, welcher synthetische Benchmark ist representativ für diese Use-Case. Und ich frage mich ob ich von der Power von PCIe 5.0 SSDs profitieren obwohl ich diese dann auf dem Board auf 4.0 limitieren werde, weil es zu wenig Lanes gibt).

 

[HisN]

Ich versteh die Fragestellung nicht richtig. Wenn Du sowieso nur PCIe 4 anliegen hast, von welcher PCIe 5.0-Power redest Du?
Die PCIe 5-Power gibts auch nur wenn PCIe 5 anliegt.

Ein Benchmark, dass die uns unbekannte Bildbearbeitung simuliert fällt mir leider gerade nicht ein
Nachher versauerst Du im CPU-Limit, weil Deine CPU nicht in der Lage ist 7GB/sec an Daten zu laden, zu ver- bzw. bearbeiten und wieder 7GB/sec Daten zu speichern.

 

[Infin1tum]

ist eine RAMdisk ne option oder sind die Bilder dafür dann doch zu groß/zu viel?

 

[omc1984]

Für eine Ram-Disk ist es zu viel.
Was ich zumindest beim optimieren bemerkt habe, ist der Fakt, dass meine SSDs diese Menge an Dateien gar nicht schaffen mit der typischen PCIe4.0 Geschwindigkeit zu schicken....was auch zu erwarten ist

 

[Holt]

Das ist purer Stress für eine SSD und ich könnte es so modifizieren, dass es von einer SSD (nicht mehr die System-SSD) geladen werden und auf einer weiteren SSD (auch nicht die System-SSD) gespeichert werden.

Das wäre eine gute Maßnahme, da gleichzeitiges Lesen und Schreiben bei allen SSDs mit NAND Flash die Performance verringert, nur de Intel Optane lassen sich davon nicht beeindrucken. Die wären hier optimal, da sie bei kleinen Dateien hohe Transferraten erreichen, aber die sind kaum noch zu bekommen und selbst wenn, dann pro TB sehr teuer.

Und ich frage mich ob ich von der Power von PCIe 5.0 SSDs profitieren obwohl ich diese dann auf dem Board auf 4.0 limitieren werde

Nein, denn um auf die hohen Transferraten zu kommen, brauchen sie vor allem Lesend auch viele lange und parallele Zugriffe, bei nur einem 4k Zugriff, also z.B. 4K Q1T1 Lesend bei CrystalDiskMark sind sie kaum besser als gute PCIe 4.0 SSDs, kommen also auf knapp 100MB/s oder maximal leicht darüber. Bei Laden vieler kleiner Bilder wirst Du mit keiner SSD mehr als einige 100 MB/s, vielleicht wenige GB/s bekommen, erst recht wenn diese der Reihe nach passiert und nicht massiv parallel.

 

[pwnbert]

Ein ZFS mit ausreichend ARC Cache (Lesecache im RAM) könntest noch testen... ka obs das besser macht... ZFS selbst ist eher lahm, aber der ARC reissts evtl. raus.
Geht auch auf Windows, solang du nicht davon booten willst (ob das auch geht, kein Plan).

Müsstest dir halt die Treiber runterladen, die Konfig-Software für Windows (napp-it) und einfach mal ne PCIe 4.0 SSD damit "ausrüsten"... einfach als Single-Drive mit Standardwerten, was rec-size und wie sie nicht alle heißen betrifft... und den ARC Cache halt rauf drehen, was der RAM so her gibt (kA wo das in napp-it unter win geht, wird schon irgendwo sein).

Im Home-Server Forum findest mehr Info.

Und ich frage mich ob ich von der Power von PCIe 5.0 SSDs profitieren obwohl ich diese dann auf dem Board auf 4.0 limitieren werde, weil es zu wenig Lanes gibt).

Wsl. eher nicht, die sind zwar sequentiell ganz interessant, random aber nicht viel schneller als guter 4er.

Beitrag automatisch zusammengeführt: Montag um 15:12

...nur de Intel Optane lassen sich davon nicht beeindrucken...

Sehe ich aber auch recht kritisch, sind mittlererweile doch recht alt, auch nicht sooooo überlegen und bei den Preisen... da kaufst dir lieber einen gebrauchten Zen 3 Epyc und machst dir einfach RAM-Vollausbau.
Recht teuere Gebrauchtware, großteils China-Import mit Steuer und Zoll...

Klar, die letzten Optane Reihen sind schon nice, aber das Preis<->Sinnhaftigkeits Verhältnis ist imho recht überschaubar.

 

[omc1984]

Dann sind die 4K Q1T1 das wonach ich Ausschau halten muss?
Das ist ein guter Sachdienlicher Hinweis. In Anbetracht der "niedrigen" Lese-und Schreibrate ist es so, dass meine Grafikkarte (die das verarbeitet) das locker schafft. Daher war der Ansatz, dass ich beschleunigen kann in dem ich von einer SSD lese und auf die andere dann schreibe

 

[Holt]

Das Trennen von Lesen und Schreiben auf zwei SSDs wäre auf jeden Fall hilfreich und dann sollte die SSD von der Gelesen wird, auch einen vollen DRAM Cache haben, damit der Controller nicht alle Nase lang immer erst den passenden Teil der Mappingtabelle aus dem NAND lesen muss.

 

[pwnbert]

Joa, R/W trennen kann schon okay sein.

Ist halt die Frage, wie deine Software arbeitet.
Mit etwas "Glück" wirds einfach mal vom Speicherort (z.B. D:/) ein ein Temp auf C:/ geladen, dort verarbeitet, und nachher ins Ziel (z.B. E:/) "entladen"...

Weiß der Geier, was du da genau verwendest, und wie das intern funktioniert.

 

[omc1984]

Joa, R/W trennen kann schon okay sein.

Ist halt die Frage, wie deine Software arbeitet.
Mit etwas "Glück" wirds einfach mal vom Speicherort (z.B. D:/) ein ein Temp auf C:/ geladen, dort verarbeitet, und nachher ins Ziel (z.B. E:/) "entladen"...

Weiß der Geier, was du da genau verwendest, und wie das intern funktioniert.

Genau so ist es

 

[Techlogi]

Um was für Datenmengen geht es denn? Die Optane 900P gibt es in der kleinsten Größe (280GB) schon für relativ schmales Geld, d.h. so um die 150-200€.