ZFS Cache SSD, welche M.2 SSD ist geeignet?

[Knogle]

Ich gruesse euch liebe Kommunität,
Ich werde bald meinen Server etwas aufpeppen, aktuell ist ein RAID 5 mit 12x 2TB Festplatten verbaut, und manchmal sind die Schreibraten echt unterirdisch, wahrscheinlich deswegen, weil der Controller zu warm wird.
Daher habe ich mir gedacht, ach komm, hast ja ZFS, warum nicht eine SSD als Cache nutzen?

Habe damals normales Gigabit Ethernet über den Marvell Controller genutzt, habe jetzt aber hier auf Glasfaser mit SFP+ Ethernet Karten gesetzt, also bis zu 10GBit/s.

Ich würde gerne Schreibraten von bis zu 1GB/s gerne zustande bekommen auf dem Server (Clientseitig kann ich bis zu 2GB/s lesen), und da frage ich mich: Welche SSD ist geeignet?
Habe in allen Fällen die 256GB Varianten der PM961, SM961 und Samsung EVO 960 in Betracht gezogen.
Die Frage ist nun auch: Welche der SSDs kann am besten mithalten wenn es auch um viele kleine Dateien geht?
Sonst habe ich mir gedacht die PM961 kann ja nicht schlecht sein für ca. 80 Euro 256GB als Cache, jedoch finde ich kaum Daten zu Random read/write etc. für alle SSDs.

Bitte um Rat.

 

[Holt]

Die PM und SM von Samsung sind alles OEM Modelle und daher bekommt man als normaler Endkunden weder Garantie noch Support von Samsung. Die PM haben TLC, die SM MLC NANDs und halten daher mehr TBW auf und haben auch bessere Schreibraten, kosten dafür aber auch mehr. Ob sich die Mehrausgabe lohnt hängt davon ab wie hoch die Datenvolumen sein werden die dort geschrieben werden.

Wenn Du einen HW RAID Controller hast, dann schau mal ob der Schreibcache aktiv ist und dies ist er meist nur, wenn man eine BBU dort angeschlossen hat, ggf. kann man den Schreibcache aber auch ohne BBU aktivieren.

 

[Knogle]

Ja der Schreibcache ist an.
Also ich kopiere oft Datenmengen von 300-400GB, da habe ich ausgerechnet dass ich bei einer 256GB M.2 SSD ungefaehr 244 288 Sekunden lang mit 10GBit/s uebertragen koennte bevor die Schreibrate einbricht.
Die paar MB vom Cache des Controllers reissens da wohl irgendwie nicht raus.

Also ich komme pro Jahr bestimmt dann auf 100-200TB, aber schaffen die SSDs auch konstant 1000MB/s zu halten? Das waere so mein Wunschdurchsatz
Ob OEM oder nicht ist mir ziemlich egal, waere nur cool zu wissen ob die PM961 auch einen vernuenftigen Durchsatz bei 1-2 Minuten Schreiben hat, und eventuell auch nen vernuenftigen Durchsatz bei kleinen Dateien

Leider habe ich auch keine BBU :/ die sind sowas von teuer, da habe ich mir lieber ein USV geholt

 

[gea]

Ich gruesse euch liebe Kommunität,
Ich werde bald meinen Server etwas aufpeppen, aktuell ist ein RAID 5 mit 12x 2TB Festplatten verbaut, und manchmal sind die Schreibraten echt unterirdisch, wahrscheinlich deswegen, weil der Controller zu warm wird.
Daher habe ich mir gedacht, ach komm, hast ja ZFS, warum nicht eine SSD als Cache nutzen?
.

Verstehe ich das jetzt richtig.
Vorhanden ist ein Hardware Raid-5 mit 12 Platten über das ZFS läuft?

Ich würde mir jetzt zuallererst keine Gedanken über Performance machen sondern über Datensicherheit. Fällt einer der Platten aus und tritt beim Rebuild ein Fehler auf ist das ganze Raid-5 vermutlich verloren. Ein ZFS Software Raid-Z1 würde sich zwar etwas gutmütiger verhalten da da nur die betroffende Datei verloren wäre, aber auch das würde ich mit 12 Platten als grob fahrlässig einstufen.

Mein Rat wäre
- Hardware Raid-5 gegen ZFS Software Z2 Raid tauschen. Kann man mir Sata/AHCI machen oder mit einem HBA (Controller ohne Raid.) Ich würde mir vermutlich überlegen neue, schnellere Platten zu kaufen. Aktuelle Platten gehen bis 12TB

- Miese Schreibraten bei ZFS gibts vor allem wenn man sicheres Schreiben benötigt/aktiviert (sync-write).
Das mal deaktivieren. Wird es besser und man braucht sicheres Schreiben, ein gutes Slog kaufen (Intel P/DC3700, P750 etc)

ZFS nutzt ausschließlich RAM als Schreibcache, per default bis zu 4GB.
Eine SSD bringt normalerweise (bis auf sync-write) daher nur bessere Lese-Performance oder read-ahead

 

[Holt]

Knogle, bs 100 bis 200TB pro Jahr und 1000MB/s würde ich die statt der PM961 auf jeden Fall die SM961 empfehlen, zumal wenn nur eine 256GB SSD geplant ist. Die 256GB PM961 ist zwar auch mit einer Schreibrate von 1100MB/s angegeben, aber wohl nur im TurboWrite genannten Pseudo-SLC Schreibcache:

Performance measurements based on TurboWrite technology

Die [URL="https://gzhls.at/blob/ldb/c/4/4/9/618ff48c1c0dc799c9442fd598fa06935527.pdf]SM961 256GB ist mit 1400MB/s angegeben[/URL] und dürfte keinen Pseudo-SLC Schreibcache haben, also über die ganze Kapazität statt nur einige GB mit der Geschwindigkeit beschreibbar sein.

Aber keine SSD die auf NAND Flash basiert, kann unter allen Umstände die volle Schreibrate halten. Dies geht selbst bei denen die keine Pseudo-SLC Schreibcache oder -modie benutzen nur, wenn die NAND Blöcke vorher gelöscht waren, sonst muss der Controller dies während der Schreibvorgänge machen und dies drosselt die Schreibraten. Gelöscht werden die NANDs z.B. dann, wenn die SSDs getrimmt wird. Macht ZFS dies für die Cache SSD?

Dann ist gerade bei den M.2 SSDs die Kühlung zuweilen ein Problem und wenn die SSDs zu warm werden, drosseln sie die Schreibraten. Wenn schon der RAID Controller zu warm wurde, scheint die Gehäuselüftung nicht optimal zu sein und damit wäre dies auch durchaus zu befürchten. PCIe SSDs im 2.5" oder AddIn Formfaktor wie die Intel 750 oder DC P3xxx haben damit wegen der großen Kühlkörper weit weniger Probleme.

gea, wie hoch die Chance eines erfolgreichen Rebuilds eines RAID 5 aus 12 2TB HDDs ist, hängt von deren UBER ab. Bei 1:10^14 wäre die theoretische Chance mit weniger als 13,5% in der Tat gering, bei einer UBER von 1:10^15 sind es hingegen über 83%. Dazu kommt noch, ob die HDDs überhaupt dafür geeignet sind das 12 in einem Gehäuse betrieben werden. Da RAIDs aber keine Backups ersetzen und es daher ein Backup geben müsste, wenn die Daten wirklich wichtig sind, sehe ich da jetzt auch nicht das große Problem.

Darauf wie das ganze konstruiert ist, wollte ich nicht eingehen, da ist fürchte es ist ein RAID 5 am HW RAID Controller mit einem ZFS Filesystem drauf und kein ZFS RAID-Z1 bei dem ZFS das RAiD über die Platten kontrolliert und der RAID Controller nur als HBA fungiert. Letztlich ändert es wenig, außer das im ersten Fall auf die Verwendung RAID-fähiger HDDs wegen der TLER Problematik noch wichtiger ist.

 

[Zidane]

Was spricht den gegen Raid-6 ?

Welcher Controller wird den verwendet, viele Servercontroller haben keinen Lüfter drauf, habe bei meinem damaligen Dell Perc5i einen 40er Lüfter drauf geschraubt, das hat ordentlich was gebracht.

 

[Holt]

Server HW hat oft keinen Lüfter, weil bei Servern meist in der Mitte eine Reihe sehr potente Lüfter sitzt und für einen ausreichenden Luftstrom über das Board und alle Karten sorgt. Deshalb haben oft sogar die CPU Kühler keine eigene Lüfter, sondern sind rein passiv.