Schreibgeschwindigkeit von Festplatten erhöhen

[Dabbelju]

Hallo

Eines meiner Probleme ist die Wartezeit, wenn große PS Dateien gespeichert werden. Die sind schon mal einige 100mb groß. Da stellt sich mir die Frage, inwieweit sich ein RAID0 oder anderes RAID lohnt, die Geschwindigkeit zu erhöhen. Da es Massendaten sind (Bilder/Video Rohmaterial) ist eine SSD ausgeschlossen.

Zur Zeit sind je eine Seagate STR320000641AS (Bilder) und ST4000VN000 (Video) verbaut.

Bin bereit z.B. 2 oder 4 WD Red/Black einzubauen um die Wartezeit beim speichern zu verringern. Sollte auch die Lesegeschwindigkeit erhöht werden, um so besser. Mir geht es hier rein um die Geschwindigkeit, Datensicherheit ist gewährleistet.

Würde mich über entsprechende Hinweise sehr freuen.

 

[passat3233]

Da kommt bei HDDs eigentlich nur RAID 0 in Frage. Jeder andere RAID-Level ist langsamer.
Das geht auch mit mehr als 2 Platten.
Mit jeder zusätzlichen Platte steigt die Geschwindigkeit, aber die Ausfallsicherheit sinkt mit jeder zusätzlichen Platte.
Ist nur 1 Platte defekt, können die Daten i.d.R. nicht wiederhergestellt werden.

Was SSDs angeht: Selbst gegen eine lahme SSD kommt kein RAID 0 aus herkömmlichen HDDs an.
Und die Ablehnung verstehe ich auch nicht.
SSDs gibts derzeit bis zu 2 TB und die Haltbarkeit von SSDs übersteigt inzwischen sogar die von HDDs.

Mir kommt keine herkömmliche HDD mehr in den Rechner.

 

[H_M_Murdock]

RAID 0.
Und wie mein Vorredner auch schon gesagt hat, heutige SSDs sind sehr haltbar.
Gab ja in letzter Zeit einige Tests bei denen bei 800 TB noch nicht Ende war.

 

[Snipa]

Verstehe die Abneigung gegen SSDs auch nicht. Vor allem, da sowohl teurere Festplatten, als auch mehrere davon in Betracht gezogen werden.

Kauft man sich 2-3stk WD Black, kommt man auch an den Preis einer SSD heran, die viel schneller ist.

Ausserdem: RAID 0 = mehr Stromverbrauch & mehr Lärm.

 

[fidel1971]

SSD is ja schön und gut aber rechne das mal zB auf 12TB um. Is ja fast unbezahlbar.

 

[sr-71]

Hier sieht man ganz deutlich die Unterschiede:
Seagate Enterprise Capacity 3.5 HDD V.5 ST8000NM0055 8TB Review (Page 3 of 10) | APH Networks

Und das bei einer Festplatte , die auch schon fast 500 Euro kostet.

 

[Blacky66]

Ich habe noch ne ssd von Ende 2009 im Einsatz, benutze für Spiele noch eine 2tb hybrid hdd, weil die nichts kosten und für Spiele reichen

 

[Dabbelju]

Vielen Dank

Aber warum lesen einige ne SSD Abneigung aus meinem Post? Nutze gleich mal 3 in dem System, insgesamt 10 in allen Rechnern. Hier gehts um TB und nicht ein paar hundert MB. Eine 2TB SSd ist zZ für ~630 € zu haben, aber was sind 2 TB bei schon 1,6 TB Bilder und dann die Menge Videodaten die ständig wächst. Für den gleichen Betrag bekomme ich 4 Western Digital Red a 4TB oder 4 Black mit 3TB. Da denke ich erst gar nicht über eine SSD nach, jedenfalls nicht zur Zeit.

Irgendwo mein ich gelesen zu haben dass man wohl Raid0 und ein anderes kombinieren kann, um einerseits die Lesegeschwindigkeit zu erhöhen aber auch ein wenig mehr Sicherheit zu bekommen. Ist das so richtig?


Link gefunden. Dort wird im Bild RAID 0+1 gezeigt.

 

[commanderdb]

Hallo, bin gerade mit einer anderen Anfrage unter SSD vertreten und habe beim durchstöbern dieses Thema gefunden.
Der Einsatzzweck für Fotos ist bei mir derselbe...

Also Raid 0+1 besteht meines Wissens nach aus 4 Platten, die Hälfte der Kapazität geht für Sicherheit drauf, ist aber so schnell wie Raid0...

Ich kann nur sagen, es lohnt sich (bei regelmäßigen Backups) ein Raid 0 zu betreiben.
2x WD Black habe ich im Raid0 die lesen und schreiben 440MB/s. Das ist schon was feines...

Und ich möchte auch keine 12TB SSD bezahlen...

 

[Dabbelju]

In einigen Jahren wird es sicherlich auch bezahlbare SSDs mit hoher Kapazität geben.

Ich frage mich, wie ein RAID1+0 realisierbar ist. Ist dies mit dem Asus x99 deluxe machbar? In der Beschreibung steht nichts davon drin. Auch nicht, welche Connections des MB von den 10 genutzt werden sollten.

 

[Saramarisu]

Die Abneigung gegen SSDs wird impliziert, sobald jemand HDD und Geschwindigkeit gleichzeitig in den Mund nimmt. In meinen Augen ist dies durchaus nachvollziehbar, denn der auch mit SSDs erschwingliche Kapazitätsbereich von bis zu 1 TB reicht für viele normale Nutzer eben vollkommen aus. Komplett ausgeblendet wird dabei, dass bei höheren Kapazitäten der Preispunkt sich extrem deutlich in Richtung HDD verschiebt und es tatsächlich Leute gibt, die derartige Kapazitäten benötigen.

Zu deinem Problem, die Ausfallwahrscheinlichkeit steigt mit jeder weiteren Platte, dementsprechend ist sie mit einem RAID 10 auch höher als mit einem RAID 0 mit gleicher Kapazität. Allerdings hast du bei ersterem eine höhere Verfügbarkeit der Daten - nur ist dir das wirklich wichtig? Verfügbarkeit ist für mich nur bei der Bereitstellung für die Kunden relevant, das läuft aber über ein eigenes System auf dem selbstverständlich nicht produktiv geschafft wird. Ich halte es schon für sinnvoll, das voneinander zu trennen.

Und wenn es wirklich nur um Geschwindigkeit bei gleichzeitiger Kapazität geht, dann eben RAID 0. Ich mache es mit nur zwei HDDs und es läuft super, nutze es aber auch meist nicht direkt, sondern mit SSD (bzw. RAMDISK) als Puffer. Das ist dann das Höchstmaß an Geschwindigkeit und Kapazität zum jetzigen Zeitpunkt.

 

[Eye-Q]

Ja, alle aktuellen Mainboards haben RAID-fähige Chipsätze, meistens RAID 0/1/5/10. Im Handbuch steht, wie man ein RAID erstellen kann. Im BIOS/UEFI sollten sich die einzelnen SATA-Anschlüsse von AHCI auf RAID umstellen lassen, dann kann ein RAID erstellt werden.
Die Boot-SSD (ich gehe davon aus, dass eine SSD im Einsatz ist) muss auf jeden Fall an einem Anschluss angeschlossen sein, der auf AHCI bleibt, sonst wird Windows wahrscheinlich nicht mehr starten.

 

[Dabbelju]

Verfügbarkeit hat keine Priorität für mich, allein Geschwindigkeit. Insofern würde ein Raid0 wohl die Lösung sein. Die WD Blacks werden hoffentlich für den Job gut sein.

Bisher hab ich nur ins Manual geschaut und nicht ins UEFI. Klar bootet das System von einer SSD, PS Arbeitsvolumen eine weitere SSD und LR-Kataloge sowie sämtliche Cache-Dateien (Cr,Pr,Ae) ebenfalls auf SSD.

Vielen Dank für die Hinweise.

 

[passat3233]

Werden die 1,6 TB permanent gebraucht?

Wenn nicht, dann nimm doch eine SSD als Arbeitsplatte und eine große HDD als Ablage, bei der es auf Geschwindigkeit nicht so ankommt.

 

[Holt]

Zur Zeit sind je eine Seagate STR320000641AS (Bilder) und ST4000VN000 (Video) verbaut.

Die Seagate NAS ist schon eine Anständige Platten, aber die hat eben auch nur 5900rpm, die Red ist mit 5400rpm aber noch langsamer und eine Seagate Enterprise NAS wäre die bessere Wahl gewesen.

Bin bereit z.B. 2 oder 4 WD Red/Black einzubauen

Die sind beide nicht zu empfehlen, weil die Red wie gesagt noch langsamer ist und die Black ist hat nur eine 1:10^14er UBER und weder eine 24/7 Zulassung noch ist sie für größere RAID wirklich geeignet, nicht einmal den Workload gibt WD an, das machen sie offenbar erst bei HDDs die 180TB/Jahr und mehr haben. Die Seagate Enterprise NAS hat 300TB/Jahr Workload Rating, eine 1:10^15er UBER und RV Sensoren für bis zu 16 HDDs in einem Gehäuse. Wenn Dir das mit dem Workload Ratung nichts sagt, schau Dir diese Video an! Auch das "Right Drive, Right Job" Video sollte man mal vor dem HDD Kauf gesehen haben, die Eigenschaften von HDDs sind nämlich unterschiedliche und die Unterscheide sieht man ihnen nicht an oder kann alle davon im Preiwsvergleich abfragen.

 

[Dabbelju]

@passat3233
Die Überlegung stand auch im Raum, doch ware das zu viel kopiererei.

@Holt
Danke für die Info. Das Video ist wirklich nett gemacht. Es würde demnach eine weitere ST4000VN001 reichen um RAID0 aufzubauen, was es einfacher für mich macht. Bisher hab ich die Daten (Bilder/Video) strickt bzgl. Platten getrennt, mit Raid0 wird es so wohl nicht mehr möglich sein. Bleibt die Frage, inwieweit eine ST4000VN000 mit einer ST4000VN001 kombiniert werden kann oder ist dem RAID0 egal welche Platten da zusammen laufen?

 

[Elmario]

Also RAID0 wird im Allgemeinen keine wesentliche Leistungssteigerung nachgesagt, vor allem weil die Zugriffszeiten immer noch schlecht sind, bzw. durch das RAID-Layer sogar noch ein wenig langsamer werden. Einen großen Nutzen bringt es in der Regel nur, wenn größere Datenmengen über einige Zeit gestreamt werden (und keine Fragmentierung vorliegt).

Ich denke für deinen Anwendungsfall hingegen wäre die Nutzung einer schnellen und ausreichend großen SSD als Cache vor den Festplatten gut geeignet.

Z.B. über Intel Smart Response, wie es ein X99 Board schon mitbringt. Smar Response unterstützt maximal 64GByte als Cachegröße.

Wenn eine von dir gespeicherte Datei also kleiner als 64GByte ist, dann wird diese zu erst vollständig auf die SSD geschrieben, und dann unsichtbar im Hintergrund auf die Festplatten kopiert, während du einfach weiterarbeiten kannst. Damit erreichst du eine Geschwindigkeit, die ein Festplatten Array genau so alt aussehen lassen wie eine einzelne Festplatte.

Falls die gespeicherten Daten über 64GByte groß sind, dann würden entsprechend die ersten 64GByte mit voller SSD-Geschwindigkeit gespeichert werden, aber alle darüber hinausgehenden Daten nur mit langsamer Festplattenleistung, bis der Cache komplett auf der Festplatte gelandet ist und wieder zur Verfügung steht.

Der Maximised Modus (volle SSD Geschwindigkeit) birgt zwar ein gewisses Risko des Datenverlustes, falls z.B. der Strom ausfallen sollte, bevor die Daten auch wirklich auf der Festplatte gelandet sind, aber du meintest ja das sei kein Problem; deshalb halte ich das für die am Besten passende Lösung.

Ähnliches liesse sich auch über die bereits genannte RAM-Disk im Einsatz als Cachespeicher erreichen, wobei der für den Cache genutzte RAM dann natürlich dem restlichen System fehlt und es könnte bei seher großen Dateien schon knapp werden.

 

[Holt]

Dabbelju, für ein RAID sollte man am Besten gleiche Platten nehmen um die optimale Performance zu erhalten, aber beides sind mit maximal 180MB/s angegeben, von daher sollte es zumindest bzgl. gleicher Performance passen. Ob es Sinn macht die Videos und andere Daten zu trenen hängt vor allem davon ab, ob Du häufig auf beide gleichzeitig zugreift. Und denk an die Backups, von wichtigen Daten hat man immer ein Backup zu haben und das gehöhrt auf ein Medium welches in einem anderen Gehäuse steckt, wie z.B. eine USB Platte extra und nur dafür, ein NAS oder in die Cloud.

Elmario, bist Du sicher das der SSD Cache des RST auch als Schreibcache arbeitet? Die meisten SSD Caches arbeiten nur als Lesecaches und wäre hier damit nutzlos. Zumindest der Maximised Modus klingt mir auch sehr nach einem Lesecache der eben keine Schreibzugriffe beschleunigen kann.

 

[Saramarisu]

Eine SSD (aber keine RAMDISK!) lässt sich schon per RST nutzen, auch als Schreibcache. Nur ist es eine Frage des Arbeitsablaufes, ob das nun Vorteile bringt oder nicht. Wenn beispielsweise große Datenmengen per Batch verarbeitet und weggespeichert werden müssen, dann bleibt der Engpass auch weiterhin die Geschwindigkeit der HDDs (und hier kann ein RAID 0 dann schon zu spürbar kürzeren Zeiten führen). Werden hingegen einzelne Dateien von Programm zu Programm geschoben (bspw. Entwicklung im RAW-Converter, Batch-Verarbeitung im HDR-Programm, anschließend Verrechnung im Panoramaprogramm), dann ist eine RAMDISK die mit Abstand schnellste Variante, sofern diese groß genug ist (hier lohnt sich dann aber unter Umständen eine Aufrüstung). Geht es um das unregelmäßige Wegspeichern der Daten, etwa wenn man ein Bild nach dem anderen bearbeitet, dann kann ein SSD-Cache seine Vorteile ausspielen. Auch dann kann es aber sinnvoll sein, die HDDs im RAID 0 hinten dran hängen zu haben.

PS: Ich nutze alle drei Varianten auf der Arbeit und richte mir das gerade auch zu Hause ein

 

[Elmario]

Ja, Intel Smart-Response arbeitet im maximized Modus als write-back Cache, bietet also volle SSD Geschwindigkeit, eben bis zur Grenze von 64GByte, und dann muss erst mal weggeschrieben werden.

Das würde also schon für über 600 Bilder mit jeweils ca. 100MByte ausreichen, bis man dann eine kleine Zwangswartezeit einlegen müsste, sofern die ersten nicht schon weggeschrieben wurden - ich denke bei dieser Art Anwendung würde man da praktisch keine Einschränkung erleben.
Bei Videos könnte man natürlich schon leichter an die Grenzen stossen, da würde es tatsächlich unter Umständen Sinn machen, hinter den Cache ein schnelles Array zu hängen.

Wegen der Verteilung der hier im Thread geschilderten Arbeitslast halte ich aber den SSD-Cache halt sogar für die erste Lösung, weil es für die Bildbearbeitung (bis auf seltene Extremfälle) wohl kompromisslos volle Leistung bieten würde und auch bei Videos eben erst ab besagter 64GB Grenze nur noch eingeschränkt nützt.

Die Ram Disk meinte ich nicht unbedingt zur Nutzung per Smart-Repsonse, aber es gibt ja auch andere Tools, die auch eine Ram Disk als HDD-Write-Cache verwenden können, z.B. Super Cache.

 

[Saramarisu]

Super Cache kannte ich noch nicht, da werde ich mich gleich informieren. Ich habe die RAMDISK bisher nur in der genannten Art und Weise verwendet.

Ansonsten sind wir ja einer Meinung, abgesehen davon, dass ich RAID 0 auch hinter einem SSD-Cache bei großen Datenmengen fast immer für sinnvoll halte. Zum einen, weil die Daten früher oder später immer weggeschrieben werden müssen und sich die Geschwindigkeit auch im Hintergrund lohnt, zum anderen aber, weil es ja in der Regel keine Einbahnstraße ist und die weggespeicherten Daten ja durchaus auch wieder verwendet werden sollen. Und so schlecht, wie RAID 0 häufig gemacht wird, ist es gerade für diesen Anwendungszweck nicht.

 

[Dabbelju]

@all

das sind wirklich gute Informationen. Vielen Dank.

Dateien werden nie über 64GB groß (zumindest nicht zZ), daher scheint die Lösung Intel Smart Response die richtige, solange ich nicht selbst hin und her kopieren muss. Dahinter ein RAID0. Allerdings hab ich da jetzt mal versucht mehr Informationen zu erhalten, aber blicke noch nicht richtig durch. Der Treiber speichert also erst in ein SSD Laufwerk, wofür eben dieser Treiber (RST oder RSTe) von Intel installiert werden muss. Sobald der Cache voll ist oder nicht mehr geschrieben wird, werden die Daten zur Platte geleitet. Das kann ja ein RAID0 sein. So richtig verstanden? Und die SSD kann auch eine M.2 sein?

Jetzt muss ich nur noch klären ob mein X99deluxe das kann.


@Holt
eine umfangreiche Backuplösung ist natürlich installiert und automatisiert.

 

[Elmario]

Weitestgehend richtig verstanden, ja

Die Daten werden aber auch schon von der SSD zur Festplatte kopiert, während der Speichervorgang (z.B. aus Photoshop) noch läuft. Da die Festplatte aber ja deutlich langsamer als die SSD ist, kann es bei sehr großen Datenmengen am Stück halt passieren, dass kein Platz mehr auf der SSD ist, weil dieser Verschiebevorgang eben nicht mitkommt. Sofern man also nicht ständig und schnell hintereinander große Dateien abspeichert, wird es schwierig die 64GByte komplett aufzufüllen, und einige Sekunden bis wenige Minuten später ist dann das Verschieben auf die Hard Disk ja auch schon wieder erledigt.
In Verbindung mit einem RAID0 kannst du also die Zeit verringern, die es dauert den Cache auf der SSD wieder zu leeren, so dass du entweder größere Dateien in der selben Zeit speichern kannst, oder häufiger.

Die Cache-Technik selbst nennt sich bei Intel Smart-Response und ist Bestandteil von RST.
Von Intel gibts Treiber und ein Konfigurationstool, über welches man diese Funktion aktivieren kann, also z.B. zwischen Enhanced (sicherer) und Maximum (schneller) Mode umschalten kann.

 

[Dabbelju]

Danke Elmario

Allerdings wohl zu früh gefreut. Unterstützte Chipsätze:

************************************************************
* 1. OVERVIEW
************************************************************
Intel(R) Rapid Storage Technology is designed to provide
functionality for the following Storage Controllers:
RAID Controllers:
- Intel(R) Desktop/Workstation/Server Express Chipset SATA RAID Controller
- Intel(R) Mobile Express Chipset SATA RAID Controller
- Intel(R) ICH7MDH SATA RAID Controller
- Intel(R) ICH7R/DH SATA RAID Controller

AHCI Controllers:
- Intel(R) 7 Series/C216 Chipset Family SATA AHCI Controller
- Intel(R) 7 Series Chipset Family SATA AHCI Controller
- Intel(R) Desktop/Workstation/Server Express Chipset SATA AHCI Controller
- Intel(R) Mobile Express Chipset SATA AHCI Controller
- Intel(R) 5 Series/3400 Series SATA AHCI Controller
- Intel(R) 5 Series 4 Port SATA AHCI Controller
- Intel(R) 5 Series 6 Port SATA AHCI Controller
- Intel(R) ICH10D/DO SATA AHCI Controller
- Intel(R) ICH10R SATA AHCI Controller
- Intel(R) ICH9M-E/M SATA AHCI Controller
- Intel(R) ICH7M/MDH SATA AHCI Controller
- Intel(R) ICH7R/DH SATA AHCI Controller

Kein X99, also wird das nichts. Eine zweite Platte und RAID0 wird dann reichen müssen.

Hier noch ein Link.

 

[Saramarisu]

Ein Blick in die Spezifikationen vom X99-Chipsatz oder auch von deinem Mainboard verraten, es funktioniert. Und falls dir das nicht reicht, wie bereits gesagt, habe ich das genau so laufen - auf X99 (allerdings MSI, aber das macht nichts ).

 

[Holt]

Im UEFI von X79 und X99 Board wird zuweilen die Kennung der SATA Host Controller des Chipsatz von der des Enterprise Controller der dort in Wahrheit verbaut ist auf die eines Consumer Controller verbogen, damit eben die Treiber die für diese Technologien nötig sind, auch installiert werden können.