[Kaufberatung] SSD Storage für ZFS mit NAP-IT AiO

[Tandaril]

Hallo zusammen,

vor geraumer Zeit habe ich folgendes System zusammen gestellt und konnte dies auch erfolgreich nutzen:

[Kaufberatung] ESXi Hardware + napp-it VM

In folgendem Theme ging es dann bereits um den Aufbau des Storage Pool:

NAP-IT AiO Storage Konfiguration (SLOG/L2ARC)

In diesem wurde schon davon abgeraten den Pool mit den WD REDs (3TB) zu starten. Jedoch lief das ganze für den Anfang recht nutzbar, von daher passt das soweit. Mittlerweile laufen auf dem System um die 16 VMs teilweise mit Datenbanken und dauerhaften Schreibvorgängen (wenn auch bei dem Großteil der VMs nicht die riesen Masse).

Mittlerweile nervt mich seit einiger Zeit auch das die Performance eben nicht die beste ist und die VMs teilweise etwas träge sind, was sich auch in den Antwortzeiten wieder spiegelt.

Daher würde ich das Storage gerne austauschen und durch SSD ersetzen. Die REDs sollen nicht in dem Server verbleiben, zum einen aus Platzgründen in dem Case, Wärmeentwicklung sowie Lautstärke.

Die vorhandenen WD REDs werden in das Backup Storage verfrachtet um diesen zu erweitern.

Nun würde ich gerne auf eure Expertise zurück greifen um einen Empfehlung für optimale SSDs für diesen Zweck zu finden. Was mir aus anderen Themen schon klar geworden ist es muss einen Datacenter SSD sein und Powerloss-Protection haben.

Die Idee ist es wieder einen RaidZ-1 Pool aus 4 x 1,92TB Platten zu erstellen (um die Kapazität zu halten). Die Optane würde ich als SLOG/L2ARC lassen oder macht die dann keinen Sinn mehr?

Da das gesamte Storage eh neu aufgebaut werden muss, würde ich den Pool gerne auch direkt verschlüsseln.

Einen ersten Überblick an SSD habe ich mir bereits verschafft:

Samsung OEM Datacenter SSD PM893
Samsung OEM Datacenter SSD PM883
Kingston DC500R Data Center Series Read-Centric SSD

Dann sind mir noch die Microns aufgefallen natürlich auch wegen dem Preis ;-) die scheinen aber im Schreiben "deutlich" langsamer zu sein. Daher habe ich die wieder etwas nach hinten gestellt:
Micron 5210 ION

Oder habt Ihr eine deutlich bessere Alternative?

Um das ganze dann auch etwas Wartungsfreundlicher und optimaler in dem Case unter zu bekommen, würde ich gerne auch noch ein HDD Case anschaffen.
Ich hatte da an soetwas gedacht:

Icy Dock MB324SP-B
oder
Chieftec CMR-425

Auf jeden Fall eines wo der Lüfter der hinten sitzt entfernt oder wenn nötig ausgetausch werden kann. Hat einer von euch Erfahrungen mit den Dingern oder gerne auch eine bessere Alternative?

Vielen Dank schonmal im Voraus für eurer Unterstützung.


VG
tandaril

 

[Trambahner]

Falls genug PCIe-Lanes (und Geld) da sind: Mirror aus zwei Samsung PM9A3 und dafür die Optane eher raus.
Die og. Micron sind halt QLC-Speicher. Zwar Datacenter, aber trotzdem eher nix für Datenbanken oder VMs mit permament Schreibzugriff.

Bedenke aber bitte bei allen Samsung Datacenter SSDs: kein Endkundensupport und keine Garantie für Endkunden durch Samsung! D.h. Firmwareupdates können beschränkt bis nicht verfügbar sein sowie Du bist auf die gesetzliche Gewährleistung gegenüber Deinem Händler beschränkt. Nach 6monaten im Zweifelsfall: Pech gehabt für das Geld,
Eine SM863 ist mir mal kaputtgegangen (Powerloss Protection-Kondensatoren/Steuerung defekt, damit schreibt das Ding nur noch mit ~40MB/s) nach 8 Mt Einsatz. goodbye 400 Euro damals dann...bzw. nur noch als bessere USB2-SSD nutzbar.

 

[underclocker2k4]

Die og. Micron sind halt QLC-Speicher. Zwar Datacenter, aber trotzdem eher nix für Datenbanken oder VMs mit permament Schreibzugriff.

Wobei alles SSD laut datasheet die selbe TBW haben. Dafür ist die Micron etwas langsamer. Also aus Sicht der Performance ne Frage des use cases.

EDIT:
Es gibt auch hot swap cases, die bringen 8 SSD im 5,25" Bay unter. Dafür dürfen die nur max 7mm dick sein, was bei den angedachten so ist.
Die wirklichen Datacenter SSDs sind dicker.

 

[asche77]

Die wirklichen Datacenter SSDs sind dicker.

Die "üblichen" enterprise SATA SSD vom Gebrauchtmarkt passen alle in so einen 8fach Hotwswap Gehäuse:
- Intel DC S3xxx / DC S4xxx
- Samsung SM963(a)/PM963(a)
- Sandisk CloudSpeed II
- Micron 5100
- Micron 5200
Alle mit PLP.

 

[Tandaril]

Falls genug PCIe-Lanes (und Geld) da sind: Mirror aus zwei Samsung PM9A3 und dafür die Optane eher raus. ~snip~

Der Controller auf dem Board (Supermicro X11SPH-NCTF) ist an die NAP-IT Storage durchgereicht, und bietet keine PCIe Anschlussmöglichkeiten. Daher würde ich die M2 Varianten erstmal ausschließen da nicht genug Konnektoren vorhanden sind und bleibe bei SATA.

~snip~ Bedenke aber bitte bei allen Samsung Datacenter SSDs: kein Endkundensupport und keine Garantie für Endkunden durch Samsung! ~snip~

Danke für den Hinweis ich hatte das beim überfliegen auch grob gesehen, war mir nur nicht sicher ob sich das generell auf Samsungs bezieht oder auf die Shops. Ist dann aber wohl eher generell.
Das fällt dann natürlich eher auf die negative Seite. Wie sind denn die Kingston SSDs, hat da jemand Erfahrungen? Generell klingen die recht gut sind auch laut Datenblatt Stromsparender (was jetzt kein Argument sein soll).

~snip~ Es gibt auch hot swap cases, die bringen 8 SSD im 5,25" Bay unter. ~snip~

Ja die gibt es in den unterschiedlichsten Größen, wobei mir 4bay ausreicht da nur 4 SSDs zum Einsatz kommen sollen. Das würde ich daher auch auf den Bedarf ausrichten, somit haben die mehr Luft.

Die Microns scheinen dann ja wie schon vermutet nicht die erste Wahl zu sein, dann würde ich die mal aus meinen Überlegungen streichen.

 

[underclocker2k4]

Ja die gibt es in den unterschiedlichsten Größen, wobei mir 4bay ausreicht da nur 4 SSDs zum Einsatz kommen sollen. Das würde ich daher auch auf den Bedarf ausrichten, somit haben die mehr Luft.

Die Microns scheinen dann ja wie schon vermutet nicht die erste Wahl zu sein, dann würde ich die mal aus meinen Überlegungen streichen.

Wäre etwas für die Zukunft, falls denn mal Bedarf bestünde ohne pyhs. mehr Platz zu brauchen.
Kostet ~ Faktor 2.
Wärmeabfuhr ist kein Problem. Die angedachten SATA SSDs brauchen 3W. Die betreibe ich komplett passiv ohne Luftstrom. Gefühlt kann man da sogar die Lüfter abschalten. Die größeren inkl. SAS rumpeln da mit stellenweise >10W rein, dafür sind die Lüfter eigentlich da.
Solange du das nicht hast, könnte man sorgenlos auf ne höhere Packdichte gehen.

 

[maxblank]

Schau dir mal noch die Micron 5300 Pro an.

 

[Tandaril]

Schau dir mal noch die Micron 5300 Pro an.

Sicherlich auch nicht schlecht aber preislich nochmal eine ordentliche Schippe mehr als die aufgelisteten. Gibt es hier denn Vorteile gegenüber den genannten?

 

[underclocker2k4]

Produktvergleich Micron 5300 PRO - Read Intensive 1.92TB, 2.5

Produktvergleich für Micron 5300 PRO - Read Intensive 1.92TB, 2.5

geizhals.de

 

[sch4kal]

Was für ein System hast du denn jetzt genau?
Wenn ich die Specs der SATA SSDs so mit U.2/SFF-8639 (PCIe 4.0 x4) SSDs vergleiche, sind die Werte der SATA Dinger ein Witz, bei fast demselben Anschaffungspreis.
Samsung PM9A3 z.B.

 

[underclocker2k4]

Dürfte das sein:

ESXi_napp-it_v2 | Wunschlisten Geizhals Deutschland

ESXi_napp-it_v2 | Wunschlisten

geizhals.de

Hat nur 2x OCuLink.

Wenn man den Speed der Samsung nicht braucht, wozu.
Zumal für Samsung in dem Bereich Garantie ein Fremdwort ist.

 

[Tandaril]

Dürfte das sein:

ESXi_napp-it_v2 | Wunschlisten Geizhals Deutschland

ESXi_napp-it_v2 | Wunschlisten

geizhals.de

Hat nur 2x OCuLink. ~snip~

Korrekt das ist das gesamte System. Daher das Problem mit den genannten Samsung PM9A3.

 

[sch4kal]

Dürfte das sein:

ESXi_napp-it_v2 | Wunschlisten Geizhals Deutschland

ESXi_napp-it_v2 | Wunschlisten

geizhals.de

Hat nur 2x OCuLink.

Wenn man den Speed der Samsung nicht braucht, wozu.
Zumal für Samsung in dem Bereich Garantie ein Fremdwort ist.

Das gilt dann aber auch für die o.g. OEM SATA-SSDs.

@Tandaril: deine Optane hängt doch am M.2, oder ? Dann hättest du da ja noch 2 OCuLink für die PM9A3 übrig

 

[underclocker2k4]

Das gilt dann aber auch für die o.g. OEM SATA-SSDs.

Korrekt, daher auch:

Bedenke aber bitte bei allen Samsung Datacenter SSDs: kein Endkundensupport und keine Garantie für Endkunden durch Samsung! D.h. Firmwareupdates können beschränkt bis nicht verfügbar sein sowie Du bist auf die gesetzliche Gewährleistung gegenüber Deinem Händler beschränkt. Nach 6monaten im Zweifelsfall: Pech gehabt für das Geld,
Eine SM863 ist mir mal kaputtgegangen (Powerloss Protection-Kondensatoren/Steuerung defekt, damit schreibt das Ding nur noch mit ~40MB/s) nach 8 Mt Einsatz. goodbye 400 Euro damals dann...bzw. nur noch als bessere USB2-SSD nutzbar.

sowie dann:

Danke für den Hinweis ich hatte das beim überfliegen auch grob gesehen, war mir nur nicht sicher ob sich das generell auf Samsungs bezieht oder auf die Shops. Ist dann aber wohl eher generell.
Das fällt dann natürlich eher auf die negative Seite.

 

[Tandaril]

~snip~ @Tandaril: deine Optane hängt doch am M.2, oder ? Dann hättest du da ja noch 2 OCuLink für die PM9A3 übrig

Korrigiert mich gerne wenn ich falsch liege aber das Board hat doch gar kein OCuLink oder?
Weiterhin habe ich das Problem das zwei SSDs nicht ausreichen, bzgl. des gewünschten Volumen daher 4 x 1,92TB.

Edit:

2x Port NVMe PCI-E 3.0 x4 via OCuLink Quelle

Wenn ich das richtig deute ist auch bereits einer in Nutzung durch die verbaute Optane oder?

 

[sch4kal]

Korrekt, daher auch:

sowie dann:

Via Mindfactory einfach die Schutzversicherung der Allianz dazu buchen ? Kostet afaik so 30 € Aufpreis.

Beitrag automatisch zusammengeführt: 13.10.2021

Korrigiert mich gerne wenn ich falsch liege aber das Board hat doch gar kein OCuLink oder?
Weiterhin habe ich das Problem das zwei SSDs nicht ausreichen, bzgl. des gewünschten Volumen daher 4 x 1,92TB.

Edit:

Wenn ich das richtig deute ist auch bereits einer in Nutzung durch die verbaute Optane oder?

Das Board hat doch noch einen M.2, oder ? Da könntest du die Optane dran anschließen.
Und ob es nachher 4x 1,92TB oder 2x 3,84TB sind, ist ja auch egal.

 

[maxblank]

Auf der anderen Seiten, wie viele IOPS werden denn benötigt, damit SATA-Datacenter-SSD‘s an ihre Grenze kommen sollen? Dann sollte man über „stripped mirror“ bei ZFS nachdenken anstatt RAID-Z1.

Edith: Lass dich von den etwas niedrigeren IOPS bei den Enterprise-SSD‘s nicht irritieren, die halten diese auf Dauer und nicht nur bis der Cache voll ist. Die Micron 5300 Pro gibt es auch als „write intensive“, da von Datenbanken die Rede war.

 

[gea]

Wenn man einen 12G SAS Kontroller hat und was schnelles nah an NVMe sucht, kann man auch 2x12g Multipath SAS machen.
Im Gegensatz zu NVMe hat man dann kein Problem mit Hotplug und vielen Platten.

http://napp-it.org/doc/downloads/sas.pdf

 

[Tandaril]

Das Board hat doch noch einen M.2, oder ? Da könntest du die Optane dran anschließen.~snip~

Evtl. verstehe ich ja etwas nicht an dem Aufbau aber wie soll ich denn an dem einen verbleibenden zwei SSDs anschließen, da einer ja durch die Optane belegt ist.
Das Problem ist aber ein ganz anderes wie erwähnt lässt sich der Controller nicht für die NAP-IT VM verwenden respektive durchreichen.

~snip~ Und ob es nachher 4x 1,92TB oder 2x 3,84TB sind, ist ja auch egal.

Das ist absolut nicht egal da ich eine gewisse Verfügbarkeit durch den Aufbau erreichen will zusätzlich dazu aber eine gewisse Kapazität vorhalten muss / möchte. Da komme ich mit den 3,84TB nicht soweit.

Wenn man einen 12G SAS Kontroller hat und was schnelles nah an NVMe sucht, kann man auch 2x12g Multipath SAS machen. ~snip~

Das wäre mit dem Board so wie ich das sehe machbar, jedoch weiss ich nicht ob ich das wirklich benötige?

Bei der von mir verlinkten Kingston ist mir gerade aufgefallen das diese Read intensive ist. Wie viel Unterschied macht das eigentlich aus z,B, im Gegensatz zu Mixed Workload oder gar Write intensiv? Sollte ich davon liebe die Finger lassen?

 

[asche77]

Das ist absolut nicht egal da ich eine gewisse Verfügbarkeit durch den Aufbau erreichen will zusätzlich dazu aber eine gewisse Kapazität vorhalten muss / möchte. Da komme ich mit den 3,84TB nicht soweit.

Weder hinsichtlich Kapazität noch hinsichtlich Verfügbarkeit gibt es einen Unterschied zwischen 2x3.84 (als mirror) und 4x1.92 (als RAIDZ1).

EDIT: das ist natürlich Unfug, vergleichbar wären insoweit nur 2x3.84 vs 3x1.92.

 

[underclocker2k4]

Die Frage ist, was du denn vorhast.
An sich braucht für SAS erstmal nen SAS-Controller.
Ob man dann dual Port SAS ist ne Frage des Speeds. Die machen erstmal mehr seq. Speed aber auch IOPS.
Wie schon gesagt, ob man das dann braucht, ist ne andere Frage.

Zu den Loadklassen:

Produktvergleich Kingston DC500R Data Center Series Read-Centric SSD - 0.5DWPD 1.92TB, Kingston DC500M Data Center Series Mixed-Use SSD - 1.3DWPD 1.92TB Geizhals Deutschland

Produktvergleich für Kingston DC500R Data Center Series Read-Centric SSD - 0.5DWPD 1.92TB, SED, 2.5

geizhals.de

Einfach mal die Zahlen vergleichen. Und ja, das macht einen Unterschied. Die Frage ist, erreicht man das?

Weder hinsichtlich Kapazität noch hinsichtlich Verfügbarkeit gibt es einen Unterschied zwischen 2x3.84 (als mirror) und 4x1.92 (als RAIDZ1).

Kannst du das mal bitte rechnerisch herleiten.
Hier meine:
RAID-Z1 heißt, es gibt "eine" Parityplatte, sprich es wird im gesamten Array die Kapazität einer Platte für Parity hergenommen.
(4-1)*1,92TB=5,76TB
Im Mirror hast du bei 2x 3,84TB die Gesamtkapazität von 3,84TB.
3,84TB<5,76TB
In beiden Arrays darf eine Platte ausfallen, dann ist es degraded. Bei Ausfall einer 2. Platte ist das Array komplett defekt.

RAID-Z1 entspricht in der grundsätzlichen Betrachtung einem klassischen RAID5.

 

[Tandaril]

Weder hinsichtlich Kapazität noch hinsichtlich Verfügbarkeit gibt es einen Unterschied zwischen 2x3.84 (als mirror) und 4x1.92 (als RAIDZ1).

Raid-Z1 ist vom Aufbau annähernd mit RAID 5 zu vergleichen (lediglich grob bezogen auf Parität)
4 x 1,92TB = 7,68TB - 1,92TB für Parität = 5,76TB (theoretische Werte)
2 x 3,84 TB = 7,68TB - 3,84TB für Parität = 3,84TB (theoretische Werte)

Das macht einen Unterschied von 1,92TB. Daher würde mich deine Rechnung dazu interessieren? Ausfall klar es darf immer nur eine Platte ausfallen.


Edit:
Da war der underclocker etwas schneller.

Beitrag automatisch zusammengeführt: 14.10.2021

An sich braucht für SAS erstmal nen SAS-Controller.

Den habe ich ja auf dem Board das wäre somit sogar gegeben. Was ich vorhabe ist ja definiert ich möchte das Storage etwas "schneller" haben.

Einfach mal die Zahlen vergleichen. Und ja, das macht einen Unterschied. Die Frage ist, erreicht man das?

Die hatte ich mir auch angeschaut und genau diese Frage ist dabei aufgekommen, wie im Post erwähnt.
Bei der Mixed Load Variante ist der TBW deutlich höher, was evtl. auch noch ein zu bedenkender Punkt ist.

Es schleicht sich so langsam der Gedanke bei mir ein das es fast egal ist welche SSD man nimmt Hauptsache die gesetzten Merkmale sind vorhanden und die Werte passen so einigermaßen....

 

[asche77]

Ah sorry, natürlich hätte die Rechnung nur für 3x1.92 RAIDZ1 gepasst ...

 

[underclocker2k4]

Den habe ich ja auf dem Board das wäre somit sogar gegeben. Was ich vorhabe ist ja definiert ich möchte das Storage etwas "schneller" haben.

Aufpassen, der kann keine höheren RAID-LVL. Daher extra Controller.

Grundsätzlich gibt es nicht nur die TechSPECs. Es gibt dann Erfahrungswerte, Garantie, Support usw.
Kann man ignorieren und SPEC oder Preis > alles sagen, oder aber eben auch sein lassen.
Genauso kann man auch billigSSDs nehmen und da dann einfach mit Menge drauf hauen, frei nach dem Motto, der Aschenbecher im Porsche ist voll -> verschrotten, neu kaufen.

 

[Tandaril]

Aufpassen, der kann keine höheren RAID-LVL. Daher extra Controller.

Du wirfst hier Dinge durcheinander, was der Controller kann ist nicht relevant. Wie erwähnt ist der Controller durchgereicht an die NAP-IT VM und diese macht das Platten handling.

Der Controller ist ein SAS Controller und kann die Platten ansprechen - den Rest macht die Software.

Grundsätzlich gibt es nicht nur die TechSPECs. Es gibt dann Erfahrungswerte, Garantie, Support usw.
Kann man ignorieren und SPEC oder Preis > alles sagen, oder aber eben auch sein lassen.

Gneau das versuche ich ja abzufrgane ob es jemanden gibt der mir SSD für den genannten Einsatzzweck empfehlen kann. Die Resonanz darauf war bisher recht gering, sondern ging es eher in andere Richtungen.

Daher ist mir die Überlegung gekommen das es darauf hinaus laufen könnte einfach die Daten zu vergleichen und es dann egal ist welche man kauft. Evtl. auch aufgrund mangelnder Erfahrung in dem use case.

 

[underclocker2k4]

Du wirfst hier Dinge durcheinander, was der Controller kann ist nicht relevant. Wie erwähnt ist der Controller durchgereicht an die NAP-IT VM und diese macht das Platten handling.

Stimmt, war beim "klassichen Aufbau". Sowas steht nämlich gerade neben mir.

Grundsätzlich ist das nen Thema der Workload. Sprich, was heißt dauerhafte Schreibvorgänge?
Daher gibt es bei SSDs den Wert DWPD - disk writes per day
Also, wie oft am Tag kann ich die SSD komplett beschreiben, über die Lebensdauer.
Und da gibt es welche <1 und welche über 10.
du kannst also eine mit 1, 3, 5 oder auch 10 nehmen. Mal ist die zu schreibfest und mal ist die nach 1 Jahr platt.

EDIT:
GummelSSDs eher Lappi, WS
Micron IONs und Co. eher Storage oder moderates Schreiben
Micron MAX, öfter schreiben, viele VMs, Datenbanken
da drüber dann: Datenbanken mit viel Interaktionen
Es treiben wie die Karnickel: Optanes

Das gilt bei Produktivumgebungen, meiner Meinung nach.

VMware hat VSAN readynodes (also Storage) mit read intensive aufgelistet, die Masse ist mixed use.
Write intensive ist der Cache Tiar only.

 

[asche77]

- Intel DC S4xxx
- Samsung SM963(a)/PM963(a)
- Sandisk CloudSpeed II
- Micron 5100
- Micron 5200
Alle mit PLP.

Die laufen bei mir seit ca 1 Jahr im RAID50 und ich kann keine besonderen Ausreißer erkennen. Mein Pool ist aber nicht sonderlich belastet.

QLC würde ich aus Prinzip meiden und daher von den IONs abraten.

 

[p4n0]

QLC würde ich aus Prinzip meiden und daher von den IONs abraten.

Ich nicht. Je nach Workload auf dem Pool sind QLCs (Grad die 5210) eine der wenigen Moeglichkeiten um auf Full-FLash (bezahlbar) im priv. Bereich zu gehen.
Laeuft hier jetzt seit > 6 Monaten absolut stressfrei. Wuerde ich jederzeit wieder machen!

 

[underclocker2k4]

Ich denke auch. Gerade für nen Cold Storage gut verwendbar. Auch für leichte Workloads, ich sachma ein paar WindowsVM ala Office und Co. evtl. noch ein paar Tools, durchaus OK. Ja, die TBW ist etwas geringer. Allerdings sind die Micron QLC bei der TBW auf TLC-Niveau, laut Datenblatt. Man wird dann sehen, ob das so passt.
Weiterhin haben die PLP, was gegenüber den ConsumerSSDs ein Vorteil ist.
Man sollte nicht vergessen, dass das von der Zellentechnologie abhängt. Früher hat man auch gesagt, niemals TLC und heute sind die 10er DWPD auch schon TLC-Zellen.
Und so wird das auch mit QLC kommen. Sicherlich nicht bis Ende des Jahres, aber früher oder später...

 

[Tandaril]

Vielen Dank schonmal für die Antworten dann werde ich nochmal schauen.