NVMe-SSD Intel 750 mit PCIe-Interface und 1.200 GB im Test

[freeman303]

OK, angenommen ich bekomme die Intel SSD 750 auf dem besagten Supermicro Board zum booten. Entsprechende Anfrage und ggf. sogar die Lösung wird von Supermicro angedacht. Bisher haben sie mir sogar neue BIOS-Versionen geliefert. Hoffe das mit der UEFI NVMe Unterstützung klappt für's booten. Gehen wir mal davon aus, dass es so wäre.

Wie oben beschrieben, hat das Board dank den vier integrierten LAN-Ports und dem ingegrierten SATA-RAID-Contorller mit zahlreichen Anschlüssen einige PCIe Lanes schon selbst in Verwendung, so dass nicht viele Lanes für die PCIe-Slots übrig blieben. Leider!!!

Das Supermicro hat die folgenden beiden Slots:

1x PCIe 3.0 x16
1x PCIe 3.0 x2 in einem x8-Slot

Ich hätte dann darin einzubauen:

1x LSI 9271-8i RAID-Controller an dem erst Mal 6xSeagate Enterprixe NAS 4TB HDDs im RAID-6 Modus hängen würden
1x Intel SSD 750 400GB

Vielleicht sollte ich die Intel SSD 750 in den PCIe 3.0 x16 Slot stecken, um die volle Leistung des Laufwerks zu haben.

Vielleicht sollte ich den LSI 9271-8i RAID-Controller in den PCIe 2.0 x2 Slot stecken. Vermutlich wird er dort funktionieren, obwohl der LSI Controller für 3.0 x8 Lanes ausgelegt ist. Das ist aber ja Abwärtskompatibel.

Der Rechnung hier aus dem Forum, sollten die 2 PCIe-Lanes in 2.0 Version ca. 800 MB/s an Daten liefern. Die Frage ist: Schaffen 6-8 HDDs von Seagate mit 7.200 RPM überhaupt dauerhaft im RAID-6 Modus Daten miit 800 MB/s zu schreiben oder zu lesen? Im Zusammenhang mit dem Cache, ja ganz sicher. Aber ohne Cache? Erfahrungsgemäß habe ich auch am Areca 1882ix-24er Modell keine solche Datenraten dauerhaft, ausser es kommt der Cache ins Spiel.

Was denkt ihr, wäre das eine denkbare Konfiguration, um möglichst wenig leistung der schnellen Intel SSD und des Daten RAID-6 zu vergeuden?

Bzw. würde man da den LSI durch die 2 Lanes in 2.0 Version des PCI-Steckplatzes überhaupt so drastisch beschneiden, dass man das merken würde? Ich würde erfahrungsgemäß eher zu einem vorsichtigen Nein tendieren.

Aber ich denke, die Erfahrung einiger User hier im Forum ist bei weitem höher als meine. Daher die Frage hier.

So muss nun schlafen. Freue mich schon auf Eure Antworten von morgen. Vielleicht haben wir damit ja die Lösung für das Problem gefunden?

Board, Xeon und 32 RAM würde ich ungern jetzt komplett auf neueste Generation umbauen, nur um die Intel SSD 750 einsetzen zu können. Ich wollte erst auf den nächsten oder übernächsten Xeon in der nachsten oder übernächsten Strukturbreite warten, so dass ich dann auch ordentlich DDR4 Ram zum akzeptablen Preis dazuordern kann. Dann gleich 64 bis 128 GB.

Andererseits hätte ich noch die Möglichkeit statt der Intel 750 im PCIe-Slot, zwei Samsung 850 Pro (oder Server-Schwesternmodelle) mit 512 GB im RAID-1 am Intel Mainboardcontroller zu betreiben. So einen megamäßigen Leistungsbruch bei den IOPs solle es auch da nicht geben.

Zumindest wenn man diesem Blog glaubt und den Messungen, die da veröffentlicht sind.

Aber ich wil Euch nicht auf die Folter spannen. Hier der kurze und knackige Vergleich der Super-Schnellen-SSDs von heute. Link: Some Quick Comparative CrystalDiskMark Results | Glenn Berry

Grüße
Freeman

 

[Holt]

angenommen ich bekomme die Intel SSD 750 auf dem besagten Supermicro Board zum booten.

Warum ist das denn so wichtig, hänge doch sonst einfach eine SATA SSD als Bootlaufwerk rein, die 750er ist ja doch für die Images der VMs gedacht, dafür muss ja nicht von ihr geboot werden.

Vielleicht sollte ich die Intel SSD 750 in den PCIe 3.0 x16 Slot stecken, um die volle Leistung des Laufwerks zu haben.

Das würde ich vorschlagen, die Einschränkung wäre für das RAID weit geringer.

Vermutlich wird er dort funktionieren, obwohl der LSI Controller für 3.0 x8 Lanes ausgelegt ist. Das ist aber ja Abwärtskompatibel.

Das sollte er, die Frage ist bei dem wie bei der Intel 750 ob sie den PCIe x2 Modus unterstützen, sonst hängen sie am Ende an nur einer PCIe Lane, dann sind maximal so 400MB/s möglich, aber das wirst Du ja beim Benchen schnell merken.

Der Rechnung hier aus dem Forum, sollten die 2 PCIe-Lanes in 2.0 Version ca. 800 MB/s an Daten liefern. Die Frage ist: Schaffen 6-8 HDDs von Seagate mit 7.200 RPM überhaupt dauerhaft im RAID-6 Modus Daten miit 800 MB/s zu schreiben oder zu lesen?

Die schnellsten 3.5" HDDs mit 7200rpm komme so auf knapp 230MB/s, das wären z.B. die 8TB von Seagate oder HSGT wegen deren hohen Datendichte. Laut dem Datenblatt der Enterprise NAS sollten Deine 4TB maximal 216MB/s schaffen[/URL], aber die Werte gelten immer nur auf den äußeren Spuren, auf den inneren ist es nur knapp die Hälfte, weil da weniger Sektoren pro Spur vorhanden sind. Mit 6 davon im RAID 6 werden also effektiv von 4 gleichzeitig Daten gelesen und damit maximal so 840MB/s, wenn die äußeren Spuren wirklich seq. gelesen werden. Bei zufälligen Zugriffen ist es weniger, real dürften selten mal wirklich überhaupt 800MB/s übertragen werden, wenn da ständig mehrere Zugriffe auf die Platten erfolgen, weil die sich bei HDDs wegen der Kopfbewegungen eben starke gegenseitig ausbremsen.

Im Zusammenhang mit dem Cache, ja ganz sicher. Aber ohne Cache?

Die paar MB Cache machen doch den Kohl nicht fett, außer in Benchmarks die nur über einen sehr kleinen Adressraum benchen und daher gut von dem Cache profitieren.

Was denkt ihr, wäre das eine denkbare Konfiguration, um möglichst wenig leistung der schnellen Intel SSD und des Daten RAID-6 zu vergeuden?

Also ich würde nicht eine Sekunde zögern der Intel 750 den PCIe 3.0 x16 Slot zu gönnen und den RAID Controller mit den HDDs auf die PCIe 2.0 x2 zu setzen, das wirst Du bei dem kaum merken, während der SSD 2/3 der möglichen Leistung verloren gehen und da wird das sehr oft wirklich begrenzend sein, schafft die doch schon bei einem Zugriffe über wenige 100kB schon deutlich mehr als diese 800MB/s.

Bzw. würde man da den LSI durch die 2 Lanes in 2.0 Version des PCI-Steckplatzes überhaupt so drastisch beschneiden, dass man das merken würde? Ich würde erfahrungsgemäß eher zu einem vorsichtigen Nein tendieren.

Das sehe ich auch so, aber schau halt mal nach was denn da wirklich für Transferraten zustande kommen, bei Windows im Resourcen Monitor und bei Linux z.B. mit iostat, dann weiß Du was da bei Last real für eine Bandbreite nötig ist.

Andererseits hätte ich noch die Möglichkeit statt der Intel 750 im PCIe-Slot, zwei Samsung 850 Pro (oder Server-Schwesternmodelle) mit 512 GB im RAID-1 am Intel Mainboardcontroller zu betreiben. So einen megamäßigen Leistungsbruch bei den IOPs solle es auch da nicht geben.

Wenn man der 850 Pro 25% OP gönnt, also z.B. nur 206GB von einer 256GB 850Pro nutzt, dann kommt diese auf 40.000 IOPS Schreibend im Steady State, wie Anandtechs Review der 850 Pro gezeigt hat:



Für Enterpriseeinsatz würde ich aber die SM863 (die Enterprise Schwester der 850 Pro) empfehlen oder wenn Du schon den SAS Controller hast, dann eben SAS SSDs. Aber probiere es halt mal mit zwei 850 Pro 512 oder SM863 480GB (die kosten ja nur 10€ mehr) im RAID 1 am Chipsatz aus und lege nur für 400GB Partitionen an und lasse den Rest als OP unpartitioniert, dann sollte es mit den IOPS keine Probleme geben, da sollten ja dann 80.000 IOPS Schreibend im Steady State möglich sein.

Die Intel 750 400GB ist zwar mit 230.000 IOPS Schreibend angegeben, aber selbst die schnellste Enterprise Schwester DC P3700 400GB ist aber nur mit 75.000 IOPS Schreibend angegeben, die mittlere DC P 3600 in 400GB mit 30.000 und die kleinste Enterprise DC P 3500 gerade mal mit 23.000 und der entsprechent die Intel 750 am meisten. Warum hat die dann 10 mal so viele IOPS? Weil sie die nicht hat, die Angaben von Enterprise SSDs sind im Steady State, die von Consumer SSDs wie eben der Intel 750 aber für leere SSDs im Neuzustand und nur über ein paar GB hinweg. Am Ende würe die Intel 750 also zwar günstiger als ein RAID 1, würde aber bei den IOPS wohl den kürzeren Ziehen, wobei ich leider nicht weiß wie die sich mit mehr OP schlägt, das hat Anandtech nicht getestet.

 

[freeman303]

Du meinst, im Steady State könnte ein RAID-1 Verbund aus Samsung 850 Pro 512GB mit 25% OP eine höhere IOPs Zahl erreichen als eine Intel SSD 750 im PCIe 3.0 x4 Slot? Habe ich das so richtig rausgelesen?

Gruss
Freeman

 

[Holt]

Das würde mich nicht wundern, aber mangels entsprechender Test kann ich es auch weder be- noch widerlegen. Aber ich zweigel mal stark, dass das hier einen Unterschied machen würde, denn ich glaube kaum das Deine Anwendungen so viele IOPS erzeugen können, die werden zwar mehr IOPS erzeugen als Dein RAID 6 schafft, aber das ist ja auch kein Wunder, denn ein RAID 6 hat eine hohe Write Penalty und HDDs haben sowieso sehr wenig IOPS, erst recht wenn das über den ganze Adressbereich geht. Die meisten Benchmarks ermitteln die IOPS ja nur über einen sehr kleinen Adressraum, da kommt es also nicht zu langen Kopfbewegungen und damit erscheinen die IOPS dann auch weit höher als sie real sind und der Cache des Controller rettet da im Dauerbetrieb auch nicht viel, dafür ist er einfach mit meist 256 oder 512MB zu klein.

Nimm mal erstmal eine SSD und schau wie viele IOPS dann dort überhaupt anfallen, ich wette da macht es keinen Unterschied ob man nun 20.000 oder 40.000 könnte, die werden sowieso nicht gebraucht werden und die Intel 750 dürfte total oversized sein.

 

[freeman303]

@Holt:

Ich habe hier ein paar Grafiken zum Steady State der Intel 750 400GB gefunden.

Link: Intel 750 Series 400GB Versus Samsung SM951 512GB

Allerdings frag mich nicht, was die Leute von THW da zusammen ermitteln. Ich werde daraus nicht schlau und kann auch die IOPS von THW nicht mit den Quellen für Steady State vergleichen, die Du mir nanntest.

Wirst Du daraus schlau?

Hier bestätigt sich das, was Du ausgeführt hast. Die Intel DC P3700 frisst bei IOPS und hoher Queue die Intel 750 auf.

Link: http://techreport.com/review/28050/intel-750-series-solid-state-drive-reviewed/3

Ich brauche die Intel 750 aber trotzdem als Boot-Device.

Habe mir überlegt auf einen Xeon Skylake E3 umzusteigen. Da hätte ich dann bis zu 64 GB RAM ausbau und garantierten NVMe Support im Bios, sowie ein vergleichbares Board von Supermicro, das alle 3 Slots mit PCIe 3.0 ausgestattet hat und sogar mit einer sinnvollen Anzahl an Lines. Da hätte ich dann kein Problem mehr die Intel 750 und den LSI Controller standesgemäß unterzubringen, als im jetzigen Board mit zu wenigen Lanes in den PCIe Steckplätzen.

[OFFTOPIC]
Als ich da so dabei war, fielen mir die Haswell-DP Prozessoren und Boards auf. Da würde ein E5 Xeon reichen, der in einem Single Socket 2011-3 Board steck. Da könnte ich dann bis zu 128 GB RAM ausbauen und hätte eine menge an gut mit Lanes ausgestatteten PCIe 3.0 Slots. Dazu kommt der Quad Channel DDR4 RAM Controller. Wobei ich nicht weiß, wie stark der sich auswirkt. ALLERDINGS: Ist der NVMe Support bei den Haswell-EP Boards von Supermicro sehr durchwachsen. Die letzte Frage ist, ob man denn jetzt noch Geld in eine Haswell E5 CPU + Board + RAM investieren sollte. Ist da nicht bald was bezüglich E5 Xeons und Boards auf Broadwell basis geplant?

Fragen über FRagen. Die hier in diesen Thread leider nicht hingehören. Ich würde diesbezüglich einen Thread mit Anfórderungen, dem was ich hab und dem was ich möchte schreiben. Den stelle ich in den Workstation/Server Bereich. Kann sein, dass es mehrere Threads wegen unterschiedlichen Themen werden. Also bitte nicht steinigen. Würde gerne was gescheites zusammenbauen und habe da so viele Ideen, jedoch nicht die zündende Lösung dabei.

Hoffe Ihr könnt mir hier aus der Patsche helfen, denn mit dem Server, so wie es ist, kann es nicht bleiben. Möchte was haben, womit ich glücklich bin und es die Arbeit schnell erledigt. Nicht was zum angeben. Eher was profesionelles, nur selbst gebaut. Denn daran habe ich Spaß!
[/OFFTOPIC]

Grüße
Freeman

 

[walross]

Gedanken eines Laien zu deinem Vorhaben:
Du hast bisher einen einzigen Datenträger (eben besagtes RAID0 oder 6? aus mehreren Festplatten), auf welchem sowohl dein Hostsystem als auch die VMs liegen (ich vermute mal eine Hyper-V-Umgebung auf Server 2008 R2). Jedes deiner Systeme (VM oder Host) behindern sich somit gegenseitig beim Zugriff auf den Massenspeicher. Zudem ist ein RAID0 zwar angenehm schnell, wenn es um sequentielle Zugriffe geht; bei kurzen, verteilten Zugriffen aber keineswegs schneller, als eine einzelne Platte. Ich kenne deinen Aufbau und Vorhaben nicht. Eventuell wäre es für dich denkbar, das RAID0/6 aufzusplitten in z.B. 4xRAID1. Damit könntest du dem Hostsystem und deinen VMs je ein RAID1-System spendieren und diese Systeme würden sich bei Zugriff auf die Platten deutlich weniger gegenseitig behindern. Weiterhin denkbar wäre es, Hostsystem und die Systempartitionen der VMs auf einer SSD zu haben, ebenso Datenbanken bei datenbankintensiven Anwendungen. Auf den RAID1-Systemen bzw. auch dem bisherigen RAID0/6-Verbund könnten dann halt die Daten liegen, auf welche eher weniger intensiv zugegriffen werden muß. Dazu kann man ja verschiedene vhd-Dateien anlegen und den jeweiligen VMs zuordnen(quasi als 2. Festplatte). Der Performance zuliebe wäre es außerdem sinnvoll, diesen vhds ihre Kapazität statisch anstatt dynamisch zuzuordnen.

soviel oder eher -wenig erstmal von meiner Seite zu dem Thema
Gruß, walross

 

[freeman303]

@walross:

Nein, das kam hier falsch rüber.

In einem Server mit Xeon E3-1240v2 mit 32 GB RAM hängt ein Areca 1882ix-16 Controller mit folgenden RAIDs:

RAID 10 aus 4x Cheetah 15.k.7 15.000rpm. Darauf ist das Betriebssystem und die VMs.

RAID-6 mit mehreren Seagates Constellation HDDs für das Datengrab.

Die VMs und Win 2000 R2 laufen nur auf dem RAID-10.

Das ist zu langsam. Deshalb soll das RAID-10 durch zwei Samsung SSDs (850er oder die, welche Holt vorschlug) mit ca. 500 GB im RAID-1 Verbund ersetzt werden oder eben gegen die Intel 750 400GB. Dort soll dasnn das BS + Vmware drauf.

Das RAID-6 soll bleiben, zieht aber auf einen LSI 9271-8i um, der sowieso da liegt. Der Areca ist overkill (lüftermäßig und stromhungermäßig für das Datengrab).

 

[walross]

Ja, ok. Aber du hast in deiner Konfiguration sämtliche Systeme (Hostsystem und VMs) auf nur einem "Datenträger" - eben dem RAID10 - liegen. Und somit bremsen sich alle Systeme beim Zugriff auf ihre jeweiligen Systempartitionen gegenseitig aus. Du könntest das RAID10 aufsplitten in zumindest 2xRAID1 und die Systeme darauf einigermaßen sinnvoll verteilen. Damit erreichst du zumindest eine teilweise Entkoppelung der Systeme - je nachdem wieviele VMs du einsetzt.

 

[freeman303]

Ja, ok. Aber du hast in deiner Konfiguration sämtliche Systeme (Hostsystem und VMs) auf nur einem "Datenträger" - eben dem RAID10 - liegen. Und somit bremsen sich alle Systeme beim Zugriff auf ihre jeweiligen Systempartitionen gegenseitig aus. Du könntest das RAID10 aufsplitten in zumindest 2xRAID1 und die Systeme darauf einigermaßen sinnvoll verteilen. Damit erreichst du zumindest eine teilweise Entkoppelung der Systeme - je nachdem wieviele VMs du einsetzt.

Das Stimmt. Das habe ich noch nicht so bedacht. Mir fehlt da die Erfahrung. Bin eher der Softwareentwickler.

Auch die Areca Controller, von welchen ich momentan einen nutze, würde dieses Vorhaben zunichte machen. Er hat ein Multiarray Problem. Das würde dafür sorgen, dass wenn auf einem Array Last anliegt, die anderen Arrays mit der Datenübertragungsrate bis auf 50 MB/s einbrechen. Areca ist das Problem bekannt.

Dieses Aufsplitten dürfte sich aber erübrigen, wenn man eine entsprechend potente SSD nimmt? Sehe ich das so richtig?

Würde Deiner Ansicht nach für ein solches Szenario eine Intel 750 reichen oder eine Samsung SM863? Oder wäre das immer noch zu schwach für die 8 VMs? Oder eher die SSDs dann ein Overkill für nur 8 VMs?

Gruss
Freeman

 

[Holt]

Wirst Du daraus schlau?

Ja, da wird auf den Seiten 10 und 11 mit gemischten Lese- und Schreibzugriffen im Steady State gebencht, was auch ein wichtige Aspekt ist, denn man hat ja selten nur Schreib- oder nur Lesezugriffe und die meisten synthetischen Benchmarks wie AS-SSD oder CrystalDiskMark benchen nur das eine und dann nur das andere, aber eben keine zeitgleichen Zugriffe. Praktisch sind je nach Anwendung so grob 1/3 Schreiben zu 2/3 Lesen in unüblich, wie man an den S.M.A.R.T. Werte von SSD die die Volumen von beiden aufzeichnen auch oft ablesen kann.

Im Test auf S. 13 sieht man gut, dass die SM951 bei reinen Schreibzugriffen der Intel 750 unterlegen ist, die hat da auch nur so 10.000 IOPS wie die 850 Pro ohne zusätzliches OP und dürfte mit mehr OP dann ebenso wie die 850 Pro (der Controller dürfte an der Stelle ja dem der 850 Pro entsprechen, der hat eben nur ein PCIe statt eines SATA Interfaces) auch noch mal deutlich zulegen. Nur gibt es dazu leider keinen Test, ich meine bei Anandtech steht auch, dass man dies bei den NVMe SSDs beim Test mit IOMeter nicht realisieren kann, weil Low-Level gebencht wird und man bei den NVMe SSDs eben keine HPA zu Verkleinerung der Nutzkapazität einrichten kann. Damit wird dann immer über deren volle Kapazität gebencht und die hohe OP die die Intel ab Werk haben, bringen ihnen halt einen großen Vorteil.

Hier bestätigt sich das, was Du ausgeführt hast. Die Intel DC P3700 frisst bei IOPS und hoher Queue die Intel 750 auf.

Link: Intel's 750 Series solid-state drive reviewed - The Tech Report - Page 3

Das Verfahrungen von Techreport scheint mir dem von Anandtech recht ähnlich zu sein, aber wie weit man die Werte aufgrund unterschiedlicher Testsysteme und ggf. Vorkonditionierung nun wirklich vergleichen kann, weiß ich auch nicht. Das die DC P3700 die 750er bei den IOPS im Steady State locker abhängt, war aber genau so zu erwarten, alles andere wäre eine Überraschung gewesen. Steady State Performance ist ja gerade was die Enterprise DC SSDs auszeichnet und die teuren Baureihen von den günstigere unterscheidet, neben den TBW/DWPD, aber die Notwendigkeit mehr DWPD auszuhalten ergibt sich ja letztlich auch daraus, dass eben die SSD mit mehr IOPS dann auch mehr Daten schreiben werden.

Ich brauche die Intel 750 aber trotzdem als Boot-Device.

Wieso? Du brauchst doch vor allem ein Laufwerk wo die Images der VMs drauf liegen, die machen doch so viel IOPS, oder habe ich das falsch verstanden? Die Images müssen doch nicht auf dem Bootlaufwerk liegen und ebensowenig die Datafiles der Datenbank, die ja ggf. auch viele IOPS brauchen. Zwar kenne ich Deine SW Lösung nicht, aber ich kann mir wirklich nicht verstellen, dass diese nicht auch auf einem anderen Laufwerk liegen dürfen.

Dieses Aufsplitten dürfte sich aber erübrigen, wenn man eine entsprechend potente SSD nimmt? Sehe ich das so richtig?

Ja, die SSDs über die wir hier reden haben so viele IOPS, da kann alles drauf zugriefen, deine kleine CPU muss das erst einmal wuppen die überhaupt zu generieren, dafür ist ja auch einiges an CPU Performance nötig.

Würde Deiner Ansicht nach für ein solches Szenario eine Intel 750 reichen oder eine Samsung SM863? Oder wäre das immer noch zu schwach für die 8 VMs? Oder eher die SSDs dann ein Overkill für nur 8 VMs?

Eher Overkill als zu schwach, aber das hängt natürlich letztlich von den Anwendungen ab, die dort laufen.

 

[walross]

Eine SSD wird prinzipiell weit weniger durch parallele Zugriffe ausgebremst, als Festplatten bzw. RAIDs aus Festplatten. Allerdings habe ich mit so einem Szenario keine Erfahrung. Die Intel 750 ist sicher eine gute, aber auch teure SSD und außerdem dürfte deren Firmware kaum für Serverszenarien optimiert sein - ist halt ein Consumer-Produkt mit Enthusiasten als Zielgruppe. Ich würde das Problem eher "langsam" angehen. Zunächst hast du dich wohl schon von einem RAID-Verbund für deine Systeme gedanklich verabschiedet, wenn du auf die 750er schielst. Für das Geld einer 750er mit 400GB bekommt man auch etwa 2 Samsung 850 Pro á 500 GB. Du könntest es zunächst mit nur einer 850er probieren und z.B. das Hostsystem und ein oder zwei i-o-intensive VMs auf die SSD umziehen. Sollte das gut funktionieren, kannst du vielleicht dann abschätzen, ob es sinnvoll ist, die restlichen VMs ebenfalls auf diese SSD mit umzuziehen, oder besser noch eine zweite 850 Pro für die restlichen VMs einzubauen. Eventuell sind aber ja auch VMs dabei, welche nur wenig Verkehr auf ihren "Festplatten" erzeugen. Diese könnten dann möglicherweise auch auf dem RAID10 verbleiben. Aber das kannst du sicherlich besser abschätzen, auch mit Hilfe von Taskmanager/Ressourcenmonitor. Diese SATA-SSDs würde ich dann auch nicht an den RAID-Controller anschließen, sondern am SATA-Controller des Mainboardchipsets im AHCI-Mode betreiben. Das hätte den Vorteil, daß TRIM wahrscheinlich funktioniert.

 

[Holt]

Die Samsung 850 ist eine Consumer SSD, der fehlen im Gegensatz zur SM863 und sogar zur Intel 750 zwei wichtige Enterprise SSD Features:
Full-Power-Loss-Protection
Internal-Data-Path-Protection
Das mag Dir beides nichts sagen und daher nicht wichtig erscheinen, trotzdem würde ich dies als Grund sehen die 850 Pro bei einem Server nicht einzusetzen, zumal die SM863 nun auch nicht so viel teurer ist. Man mag darüber streiten ob man davon zwei im RAID 1 haben sollte, zumal wenn man dies bei einer Intel 750 für verzichtbar ansieht.

 

[freeman303]

Problem bei der SM863 ist aktuell für mich die Verfügbarkeit. Momentan zahlt man 80-100 EUR Aufpreis für die Verfügbaren im Vergleich zur 850 Pro.

Dann würde ich gerne wissen, wie ich einen Steady State IOP-Messer aufbauen kann. Welche Software, etc. So könnte ich dann beide Samsungs im RAID-1 gegen die Intel 740 antreten lassen.

Wäre auch sinnvoll dass der Steady State mit gleichzeitigen Reads und Writes belastet wird, um die IOPs zu ermitteln.

Mein Server hängt an einer USV. Von daher könnte ich evtl. auf die Stützkondensatoren verzichten. In den letzten 5 Jahren, ist mein Server noch nie abgestürzt oder das Netzteil ausgefallen. Wenn er unvorhergesehen ausgegangen wäre, dann nur wegen Stromausfall. Dies verhinderte viele Male die USV.

 

[Holt]

Die USV ersetzt keine Stützkondensatoren, denn das Netzteil des Rechners kann ausfallen, das Stormkabel ein Kontaktproblem haben oder der Rechner hat einen Absturz, es gibt also Situationen wo die USV die Stützkondensatoren nicht ersetzt. Außerdem hat die SM863 auch den Schutz der internen Datenpfade, ob die 850 Pro den auch hat, der Controller müsste der gleiche sein und dies können, kann ich nicht sagen, aber Samsung verweist auch wegen diesem Fature darauf Enterprise SSDs für Enterprise Anwendungen zu verwenden.

Ob es Sinn macht die IOPS gegeneinander zu benchen bezweifel ich ein wenig. Wie man das macht, kannst Du hier in Anandtechs Review der Intel DC S3700 nachlesen:

To generate the data below I took a freshly secure erased SSD and filled it with sequential data. This ensures that all user accessible LBAs have data associated with them. Next I kicked off a 4KB random write workload at a queue depth of 32 using incompressible data. I ran the test for just over half an hour, no where near what we run our steady state tests for but enough to give me a good look at drive behavior once all spare area filled up.

I recorded instantaneous IOPS every second for the duration of the test. I then plotted IOPS vs. time and generated the scatter plots below.

Als Softwareentwickler könntest Du Dir ja mal selbst ein Programm dafür schreiben, dann kannst Du auch einstellbar machen über welchen Adressraum geschrieben und damit gebencht wird, damit Du den Effekt von mehr OP besser messen kannst und auch den Effekt bei gemischten Lese- und Schreibzugriffen. Aber ich denke jede der genannten SSDs wird so viel mehr IOPS schaffen, schreibend wie gemischt, dass der Unterschied zwischen ihnen keine große Rolle mehr spielen wird. Deine HDDs, selbst wenn sie 15.000 rpm haben, schaffen nur wenige Hundert IOPS, auch wenn Dir die Benchmarks wegen des Caches des RAID Controller viel mehr anzeigen.

Die 850 Pro kommt selbst ohne OP auf 10.000, die 750er sollte knapp das doppelt schaffen und wenn Du eine 850 Pro 512GB mit nur 400GB nutzt, sollten so 40.000 IOPS schreibend erreichbar sein, die bekommst Du außerhalb von Benchmarks gar nicht erzeugt.

 

[freeman303]

Ich verstehe deinen Einwand mit der USV. Ich habe ein Dual-Netzteil in jeder Workstation und Server.

Gehen wir aber davon aus, dass trotzdem ein Stromausfall intern im Rechner passiert. Entweder verursacht durch Netzteildefekt oder durch Wackelkontakt eines Steckers oder Kabelbruch, was auch immer.

Gehen wir auch davon aus, dass natürlich lt. Murphys Law der Stromausfall für die SSD genau dann passierte, als eine Reihe von Daten an diese übertragen wurden und noch übertragen werden und die SSD bereits begonnen hat diese empfangenen Daten in ihren Flash zu schreiben. Nehmen wir an, das Board hat zum Zeitpunkt des Stromausfalls bereits 50% der Daten zur SSD übertragen.

Wenn in diesem Augenblick der Strom für die SSD zusammenbricht, ist es völlig egal, ob sie die Stützkondensatoren hat oder nicht. Es werden ja die fehlenden 50% der Daten nicht mehr übertragen, weil das Mainboard inzwischen stromlos ist. Die Stützkondensatoren können nur das ins Flash wegschreiben, was bis zum Zeitpunkt des Stromausfalls beim Controller der SSD eingegangen ist. Das ist IMO das Hauptproblem an der Geschichte.

Es wäre interessant zu wissen, ob man nicht selbst jede SSD mit Stützkondensatoren nachrüsten könnte. Theoretisch müssten diese nur in die SATA-Leitung an die Stromversorgungsleitungen eingebaut werden. So dass wenn der Strom im SATA-Kabel zusammengebrochen ist, dieser Strom z.B. für noch 5 Sekunden weiter aufrecht erhalten wird durch die Elkos eben. In diesen 5 Sek müsste die SSD ihre Schreibvorgänge beenden können. Nur eine laienhafte unausgegorene Idee. Ggf. könnte man das mit einem einschleifbaren SATA-Gerätchen nachrüsten.

Bezüglich der Startbarkeit von den Intel 750 habe ich eine Auskunft von Supermicro erhalten. Angeblich soll das booten von NVMe Datenträgern in PCIe Slots immer möglich sein, solange das BIOS UEFI an sich unterstützt. Man soll da im BIOS in den Einstellungen die PCIe Slots oder gar einen bestimmten PCIe Slot als EFI einstellen können. Danach soll das Booten über das Bootmenü normal möglich sein. Dann soll die Intel 750 in der Startreihenfolge auftauchen können. Man muss allerdings dann Windows im UEFI Modus neu installieren. Das war es, was der Support dazu zu sagen hatte.

Ich werde es prüfen. Ich habe mehrere solche Boards und morgen oder übermorgen kommt die Intel 750.

 

[Holt]

Bzgl. der 50% noch nicht übertragener Daten hast Du recht, aber Du vergisst den Effekt der Low-Page-Corruption bei MLC NANDs. Das Risiko sollte bei der 850 Pro gering sein, die hatr eine gut designet FW, aber es kann trotzdem nicht ausgeschlossen werden, dass bei einem Stromausfall dann gar andere Daten in Mitleidenschaft gezogen werden.

Bei MLC NAND sind ja 2 Bits in einer Zelle gespeichert und die werden nicht gleichzeitig geschrieben, sondern in getrennten Schreibvorgängen als getrennte Pages. Gerade bei SSDs mit MLC NAND und einem Pseudo-SLC Schreibmodus aber keinen keinem festen Pseudo-SLC Schreibcache wie es bei denen mit TLC NAND üblich ist, also konkret die meisten aktuelleren OCZ MLC SSDs und die Crucial MX200 (außer denen in 2.5" ab 500GB), ist es sehr wahrscheinlich, dass dort auch Daten unterschiedlicher Dateien drin stehen, weil diese immer zuerst nur ein Bit in die Zellen schreiben, das erst Bit kann ja viel schneller beschrieben werden als das zweite. Fällt nur der Strom aus während das zweite Bit dort geschrieben wird, so werden auch die Daten der ersten Bits korrupt oder gehen ganz verloren und davor schützen eben nur die Stützkondensatoren und auch nur wirklich die mit genug Kapazität in den Enterprise SSDs.

Die 850 Pro hat keinen Pseudo-SLC Schreibmodus und mit den 3D NANDs auch NANDs mit einer hohen Effizienz und einer sehr hohe Schreibperformance, da könnte ich mir gut vorstellen, dass die beiden Bits einer Page dann auch direkt nacheinander beschrieben werden weil man weder thermische noch Performanceprobleme damit bekommt. Aber trotzdem kann man da nicht sicher sein ob es wirklich immer so ist und daher kann ein unerwarteter Spannungsabfall der SSD immer auch zu Korruption von total unbeteiligen Daten führen, selbst wenn diese vom Controller gerade nicht beschrieben wurden, weil die Controller ja auch im Idle eine GC ausführen.

Natürlich hat man bei einem Problem wie einem Spannungsabfall oder Absturz während eines Schreibzugriffs nicht nur eine Risiko auf der SSD sondern auch Problem mit dem Filesystem, welches dann ggf. ebenfalls inkonsistent ist und daher muss man eben auch abwägen gegen welches Risiko man sich absichern möchte und wo man Mut zur Lücke zeigen wird. Ich kann das Risiko für die einzelnen SSDs auch nicht quantifizieren, sondern nur darauf hinweisen das es da ist und mit den Stützkondensatoren eben noch einmal um Größenordnungen gering wird, ganz eliminieren werden die es auch nicht, die können ja auch mal ausfallen oder auch eine anderen Grund versagen.

Wenn nun übermogen die Intel 750 kommt, dann solltest Du es erstmal nicht mit dem Ehrgeiz davon Booten zu wollen übertreiben. Wenn das nicht klappt, dann packe da die VM Images und ggf. noch Datafiles drauf, das muss möglich sein (spart auch die Arbeite der Neuinstallation) und schau mal wie die Performance dann ist. Ich denke da sollten dann keine Wünsche mehr übrig bleiben und knall die SSD nicht zu voll.

 

[freeman303]

Bzgl. der 50% noch nicht übertragener Daten hast Du recht, aber Du vergisst den Effekt der Low-Page-Corruption bei MLC NANDs. Das Risiko sollte bei der 850 Pro gering sein, die hatr eine gut designet FW, aber es kann trotzdem nicht ausgeschlossen werden, dass bei einem Stromausfall dann gar andere Daten in Mitleidenschaft gezogen werden.

Und wieder muss ich sagen: Du hast recht! ;-) Den Umstand habe ich leider bisher noch gar nicht bedacht.

Wenn ich nun für die IOP-Messung auf die Schnelle keine eigene Software schreiben möchte, da das auch keinen Sinn macht. Die Idee ist aber gut. Und ich könnte (mit genug Zeit - nicht auf die Schnelle) eine solche Software schreiben, welche die IOPs im Steady State bei einer SSD messen kann. Falls ich vor hätte eine solche Software zu schreiben, kann ich dann auf Deine Hilfe rechnen, wenn ich Fragen zur Arbeitsweise von Controllern und SSDs allgemein habe? Das wäre aber Zukunftsmusik.

Wenn ich erst Mal mit "Fremdsoftware" messen wollte/müsste:

Welche Software muss ich nutzen, um einen Steady State auszumessen? Kannst Du mir bitte kurz erklären, wie ich eine halbwegs zuverlässige Messung zu stande bekomme?

Das müsste ja wie folgt ablaufen: Ich müsste erst die zu messende SSD für eine bestimmte Zeit auslasten, damit sie irgendwann in den Steady State gerät. Für wie lange genau und mit welchem Programm, sowie mit welchen Einstellungen macht man das üblicher weise?

Dann wäre irgendwann die SSD im Steady State. Dann könnte ich IOPs messen. Soll ich für die IOPs Messung die üblichen Bekannten, wie z.B. AS-SSD und CrystalDiskMark nehmen?

Du schriebst ja auch, dass ich die Intel SSD 750 400 GB nicht vollknallen soll. Definier bitte genauer, wieviel GB von den freien 400 GB ich als Partition anlegen soll? Hat die Intel nicht bereits umfassendes Overprovisioning eingestellt, so dass nur 400 GB von ihrem tatsächlich verbautem Flash über bleiben? Oder sind da tatsächlich nur 400 GB an Flash verbaut?

Bezüglich der SM863 habe ich da noch Informationen, die ich nicht verifizieren kann. Stimmt es, dass man bei der SM863 mit einem Tool von Samsung das OP auf der SM863 einstellen kann? D.h. es gibt eine Software, wo ich festlegen kann, dass die SM863 nur noch 400 GB als maximaler Platz dem Betriebssystem zur Verfügung stellen soll? Stimmt das, das es so etwas gibt? Falls ja, kann man mit eben diesem Programm auch an anderen Samsung SSDs das Overprovisioning so einstellen?

Danke für Deine Antwort.

Freeman

 

[Holt]

Falls ich vor hätte eine solche Software zu schreiben, kann ich dann auf Deine Hilfe rechnen, wenn ich Fragen zur Arbeitsweise von Controllern und SSDs allgemein habe?

Klar, wenn es in C, C++ oder C# ist und ich dann auch Zugriff auf den Quellcode (nur zum Debuggen/Optimieren und zur persönlichen Nutzung) bekommen könnte, würde es mich freuen. Eigentlich wollte ich sowas auch schon schreiben, aber ich hatte auch keine Zeit und keine Motivation, denn mir reichen die IOPS meiner SSD mehr als aus.

Welche Software muss ich nutzen, um einen Steady State auszumessen?

Die meisten Reviewer messen wohl mit IOMeter oder PCMark, der hat wohl in der neuen Version auch so einen Steady State Test mit anschließenden Recoveryphasen.

Kannst Du mir bitte kurz erklären, wie ich eine halbwegs zuverlässige Messung zu stande bekomme?

Nein, die Steady State habe ich selbst bei meinen SSDs noch nie ermittelt, da ich es einfach nicht brauche. So viele IOPS erzeigen meine Anwendungen einfach nicht und meine SSDs kommen daher auch nicht in den Steady State. Generell beschreibt Anandtech ja in dem von mit zitierten Abschnitt wie es gemacht wird.

Für wie lange genau und mit welchem Programm, sowie mit welchen Einstellungen macht man das üblicher weise?

Beschreiben die SSD erst komplett, dann mit zufälligen 4k Zugriffen über den "ganzen" Adressraum, erst werden die IOPS hoch sein, dann einbrechen und sich ggf. wieder auf das Steady State Niveau steigern. Wie lange es dauert hängt von der jeweiligen SSD, deren Perfomance und Kapazität ab. Bei einigen der Images bei Anandtech sieht man ja, dass der Test dort noch etwas länger hätte laufen sollen, weil die IOPS noch immer weiter angestiegen sind als er zuende war.

Soll ich für die IOPs Messung die üblichen Bekannten, wie z.B. AS-SSD und CrystalDiskMark nehmen?

Das dürfte mit den beiden Programmen kaum gehen, denn da man länger und über einen größeren Adressraum schreiben als muss als diese beiden Programme es machen.

Du schriebst ja auch, dass ich die Intel SSD 750 400 GB nicht vollknallen soll. Definier bitte genauer, wieviel GB von den freien 400 GB ich als Partition anlegen soll?

Eine Intel 750 hat schon ab Werk eine Menge OP, da sind einige GB mehr verbaut als bei üblichen Consumer SSDs. Aber lass so 15 bis 20% frei, schon wegen des Filesystems und dessen Fragmentierung. Wobei das bei Datenbanken und VM Images aber weniger ein Problem darstellt, dort werden die Files ja nur einmal angelegt und dann nur immer (meist teilweise) überschrieben, aber wenn Du auch davon booten willst, wird es sonst auch oft zum Erstellen, Wachsen und Löschen von Dateien kommen.

Stimmt es, dass man bei der SM863 mit einem Tool von Samsung das OP auf der SM863 einstellen kann? D.h. es gibt eine Software, wo ich festlegen kann, dass die SM863 nur noch 400 GB als maximaler Platz dem Betriebssystem zur Verfügung stellen soll? Stimmt das, das es so etwas gibt?

Magician macht das bei den Consumer SSDs durch einfaches Verkleinern der Partition, aber das Magician Tool funktioniert nur für Consumer SSD und man baucht das auch nciht, mal legt auf einem Teil der Kapazität keine Partition(en) an. Oder man legt eben eine HPA an, dann kann der Bereich in dem diese liegt auch nicht beschrieben werden und das ist es ja worauf es ankommt, dass bestimmte Adressen (LBAs) der SSD niemals beschrieben (oder danach getrimmt, oder ein Secure Erease erfolgt) werden, damit sie aus Sicht des Controller eben nicht mit günstigen Daten belegt sind.

Falls ja, kann man mit eben diesem Programm auch an anderen Samsung SSDs das Overprovisioning so einstellen?

Das ist wie gesagt nicht nötig, sonst mit einfach Boardmitteln schon bei der ersten Partitionierung zu erreichen.

- - - Updated - - -

PS: Habe gerade Deinen Thread bzgl. der RAMs für den Xeon E5 gesehen. Es gab mal einen Thread bzgl. Problemen mit der Intel 750 und einem Xeon E5 und Intels Antwort war nur, dass die 750er für diese Plattform nicht gedacht ist um man die DC P3xxx Serien dafür nehmen sollte. Wenn es mit der Kombination also Probleme gibt, dann wundere Dich nicht.

 

[freeman303]

@Holt:

Kannst Du mir einen Link zu dem Xeon E5 Problem mit der Intel SSD 750 geben? Habe mit Google gesucht. Aber leider ohne Erfolg. Hat es nur bestimmte Modelle betroffen oder nur Haswell oder nur Sandy oder Ivy Bridge?

Denn es soll wohl ein E5 werden...

 

[Holt]

Nein, aber hier findest Du wieder die gleiche Antwort:

The Intel® SSD 750 Series is a high performance SSD, designed for PC enthusiast and workstation systems.

This drive does not require a specific chipset, however, it has some requirements that are normally available in systems with a newer chipset.

We strongly advise you to check with the computer manufacturer to validate your system meets the requirements, and if there are any compatibility implications.



- PCIe* Gen3 x4 compatible connector (SFF-8639 or HHHL x4).

- UEFI* 2.3.1 or later

- Windows* 7, 8 or 8.1.



We would like to mention that the Intel® SSD 750 Series is considered a high performance consumer product.

If you plan to use your workstation with a data center/server workload, or using a server OS version; you might want to consider a Data Center SSD, such as the Intel® SSD DC P3500 Series, Intel® SSD DC P3600 Series or Intel® SSD DC P3700 Series.

Data Center SSDs have enhanced performance, endurance and data protection that make them optimal for Enterprise systems.

Scheint eine Standardantwort zu sein, wenn die Intel 750 im Zusammenhang mit den Worksationplattformen angefragt wird. Da Du die 750er ja schon bestellt hast, probiere es einfach aus, inzwischen ist die ja schon länger am Markt und die Mainboardhersteller konnten genug damit testen. Die Liste der getesteten Mainboars enthällt auch nur Z97 und X99 Boards.

 

[freeman303]

Ja, ich denke, das macht den meisten Sinn.

 

[freeman303]

Welche Möglichkeit gibt es, um bei der Intel 750 im PCIe Slot die SMART-Daten auszulesen? Schon alleine, um die Anzahl der geschriebenen GB rauszufinden.

Mit Crystal Disk Info scheint es nicht zu gehen. Vermutlich, weil sie nicht an der SATA Schnittstelle hängt.

 

[Holt]

Die neueste Version von CrystalDiskInfo sollte die Intel 750 unterstützen, wenn man Intel NVMe Treiber nimmt, bei meiner 950 Pro funktioniert es auch.

 

[freeman303]

aber Du vergisst den Effekt der Low-Page-Corruption bei MLC NANDs. Das Risiko sollte bei der 850 Pro gering sein, die hatr eine gut designet FW, aber es kann trotzdem nicht ausgeschlossen werden, dass bei einem Stromausfall dann gar andere Daten in Mitleidenschaft gezogen werden.

Bei MLC NAND sind ja 2 Bits in einer Zelle gespeichert und die werden nicht gleichzeitig geschrieben, sondern in getrennten Schreibvorgängen als getrennte Pages. Gerade bei SSDs mit MLC NAND und einem Pseudo-SLC Schreibmodus aber keinen keinem festen Pseudo-SLC Schreibcache wie es bei denen mit TLC NAND üblich ist, also konkret die meisten aktuelleren OCZ MLC SSDs und die Crucial MX200 (außer denen in 2.5" ab 500GB), ist es sehr wahrscheinlich, dass dort auch Daten unterschiedlicher Dateien drin stehen, weil diese immer zuerst nur ein Bit in die Zellen schreiben, das erst Bit kann ja viel schneller beschrieben werden als das zweite. Fällt nur der Strom aus während das zweite Bit dort geschrieben wird, so werden auch die Daten der ersten Bits korrupt oder gehen ganz verloren und davor schützen eben nur die Stützkondensatoren und auch nur wirklich die mit genug Kapazität in den Enterprise SSDs.

Ich habe das Thema Low-Page-Corruption nochmals überdacht. Sehe ich das so richtig, dass diese Low-Page-Corruption z.B. bei den "alten" SLC-SSDs mit Indilinx Controller gar nicht gegeben hat?

Wenn z.B. nun die Samsung 850 Pro in einem Computer oder Notebook einsetzen würde, das auf Grund von seinem Einsatzzweck (Hardware-nahe Programmierung) mehrmals am Tag abstürzt, sollte ich dann auch lieber die SM863 nehmen, damit dort die Low-Page-Corruption nicht auftritt. Sehe ich auch das so richtig?

Danke für Deine Antwort Holt.

Grüße
Freeman303

 

[Holt]

SLC NAND kann keine Low-Page-Corruption bekommen, abrer deswegen würde nicht Dir trotzdem nicht zum Kauf von einer SSD mit SLC NAND raten und schon gleich gar nicht so einer mit dem schrottigen, alten Indilinx Barefoot, denn Fehler im Controller oder dessen FW können auch bei SLC zu Datenkorruption und auch dem Ausfall der SSD führen.

Abstürze des Rechners führen nicht zu Low-Page Corruption, nur unerwartete Spannungsabfälle der SSD während laufenden Schreibvorgängen. Würde der Absturz wegen der hardwarenähe der Programmierung dann auch zeitgleich für die SSD einen Spannungsabfall bedeuten, weil die HW beim Absturz ihr dann den Saft abdreht, dann wäre eine SSD mit Stützkonmdensatoren hilfreich, aber erst wenn dabei auch recht wahrscheinlich Schreibzugriffe erfolgen, etwa weil das Programm auch noch die ganze Zeit auf die SSD schreibt, dann würde ich die als notwenig ansehen und die SM863 ganz klar der 850 Pro vorziehen. Die SM863 ist ja auch nicht so wahnsinnig viel teurer als die 850 Pro, zumal wenn man sich die Preise der Intel 750 ansieht.

 

[ojumle]

Hermes brachte heute 400 Gigabyte:


*Megagrins*

 

[kalle666]

Hermes brachte heute 400 Gigabyte:



*Megagrins*

Sei mal bitte so nett, und poste, was für eine Firmware du hast oder auf welche du eventuell noch updaten kannst.

 

[Romsky]

Mein 750 U.2 hat die FW 8EV10171

 

[webmi]

Auf meiner läuft 8EV10174 und die ToolBox 3.3.6 bietet mir auch nichts Neueres an.

 

[Romsky]

Bringt die neue FW irgendwelche Vorteile? (Bugfixes, Performance)