PCIe SSD und Produktivserver

[matthias80]

Hallo zusammen,

wir haben hier einen kleine diskussion...
allgemein wird die meinung vertreten raid ist schon die erste sicherheitsstufe. je nach raid level kann eine oder mehrere platten ausfallen...
standard bei uns ist mittlerweile raid controller bbu und 4+1 oder sogar 6+1 ssd´s im raid 10. geh ab wie die luzi!
ich würde gern bzw. habe den vorschlag gemacht das wir uns mal diese pcie ssd also intel 750 bzw. die serverversion anschauen sollten.
ich seh da je nach konfig deutlich weniger fehlerquellen.
aber gleich als erstes kamen dann die fragen nach raid bla bla. klar wenn die karte hobs geht steht der server erstmal.
ich seh nur günstiger und schneller.
da raid kein backup ist (was wir auf nas und band lösen) fällt im schlimmsten fall doch nur die verfügbarkeit niedriger aus.
da es nur noch eine fehlerquelle gibt. haben in letzter zeit weil ne neue gerneration immer kinderkrankheiten mit sich bring... oft probleme mit sas expandern backplanes. ssd sowieso und raid controller.
der vertieb brachte noch ein das im versicherungsfall ein server ohne raid schon mal schlecht wäre.

habe ihr pcie ssd schon im produktiven einsatz?

habe auch noch keinen hersteller gefunden der server so anbeitet...

mfg
Matthias

 

[webmi]

Server sollten in der Regel ohnehin redundant (möglichst an verschiedenen Standorten bzw. Rechenzentren) aufgestellt sein, handelt es sich wirklich um wichtige Systeme/Dienste, bei denen ein Ausfall kritisch ist. Knallt es dir bei einem SSD Raid 10 nämlich den Controller oder sonst eine Single Point of Failure Komponente in der Maschine weg, stehste auch doof da.

 

[matthias80]

ja ok. denke aber nicht an dienste ala google sondern rede von einem mittelständischen unternehmen was für hochverfügbarkeit weder verwendung hat noch dafür zahlen will.
klar mainboard, controller sind nicht redundant ausgelegt. geschweige den der server komplett...

wie schaut es aus?
wenn keine systeme so im betrieb dann halt deine persönliche meinung?

mfg
Matthias

 

[Holt]

aber gleich als erstes kamen dann die fragen nach raid bla bla. klar wenn die karte hobs geht steht der server erstmal.

Und was ist wenn eine RAID Controllerkarte hobs geht? Dagegen kann man bei Dual-Port SAS Platten mit einem zweiten Controller zwar auch absichern, aber wurde das gemacht? Wenn nicht, steht es also 1:1, denn die Intel 750 bzw. deren DC P3xxx Enterpriseschwestern sind intern auch sowas wie ein RAID 5(oder 6) und damit vor dem Ausfall ganzer NANDs geschützt, nur der Controller ist halt ein Single-Point-of-Failure. Da haben SAS Systeme noch einen Vorteil, aber auch bei PCIe SSDs geht es in Richtung Dual-Port um sie an zwei Hosts gleichzeitig anbinden zu können.

haben in letzter zeit weil ne neue gerneration immer kinderkrankheiten mit sich bring... oft probleme mit sas expandern backplanes. ssd sowieso und raid controller.

Wenn es um Zuverlässigkeit geht, setzt man meist fertige Lösungen des Systemanbieters ein und die haben ja auch zumehmend SSD Storages.

der vertieb brachte noch ein das im versicherungsfall ein server ohne raid schon mal schlecht wäre.

Zu Versicherungsbedingungen kann ich nichts sagen, aber da solche Enterprise SSD intern i.d.R. wie RAIDs organisiert. Bei Micron wird die Technik RAIN genannt, lies mal hier mehr dazu.

habe auch noch keinen hersteller gefunden der server so anbeitet...

Gibt es aber, zumindest auf den PowerEdge R730xd der Webseite von Dell:

Internal hard drive bay and hot-plug backplane:
... up to 4 NVMe Express Flash PCIe

Musst halt im Zweifel mal sehen was da genau dahinter steckt und was andere Anbieter im Angebot haben.

 

[matthias80]

grüße holt,

danke erstmal das du dir zeit nimmst!
das ding von dell habe ich gesehen. so wie es aussieht ist es eine u.2 platte. keine ahnung warum die pcie mit in die produktbezeichnung nehmen...

ja diese argumentation habe ich auch gebracht.
wenn das mainboard oder der controller hops geht ist auch erstmal ende.
ne neue karte rein oder mainboard wechseln geht auch nicht schneller als die karte zu wechseln.
ggf. sicherung zurückspielen... da wir die vhd(x)´s weg sichern ist das ne schnelle sache mit der karte sowieso.

ich finde leider nicht die super arkumente damit die leute keine "angst" davor haben

 

[underclocker2k4]

das ding von dell habe ich gesehen. so wie es aussieht ist es eine u.2 platte. keine ahnung warum die pcie mit in die produktbezeichnung nehmen...

Lass und kurz überlegen. Könnte es daran liegen, dass PCIe erstmal die elektrische Beschreibung einer Schnittstelle ist?
PCIe beschreibt nicht den Steckplatz. PCIe Slot hingegen schon. Und genauso beschreibt auch U.2 einen Slot, der auch PCIe enthält.
Also ist der u.2 ein verbesserter SATA Express Slot, der nur PCIe enthält.

EDIT:
Man könnte an den auch, entsprechenden Adapter vorrausgesetzt, einen RAID-Controller anschließen.
Es ist ein PCIe x4 mit Kabel dran. (nicht ganz, aber zur Veranschaulichung)

 

[Holt]

so wie es aussieht ist es eine u.2 platte. keine ahnung warum die pcie mit in die produktbezeichnung nehmen...

U.2 oder auch SFF-8639 (beides ist im Grunde das gleiche) ist PCIe für den 2.5" Formfaktor und den braucht man, wenn man auch Hot-Swap können möchte, was bei Produktivservern ja sehr wichtig ist. Da hat man echte RAIDs und man will eben den Server nicht runterfahren müssen um die ausgefallene SSD zu wechseln.

PCIe beschreibt nicht den Steckplatz. PCIe Slot hingegen schon.

Genau, aber bei Schnittstelle, Formfaktor und Protokoll geht eben viel durcheinander, leider und auch in der Fachpresse.

Und genauso beschreibt auch U.2 einen Slot, der auch PCIe enthält.

Nein, U.2 ist ein Stecker der vorher SFF-8639 genannt wurde und mit 4 PCIe (meist 3.0) Lanes beschaltet ist. Den mechanisch gleichen Stecker gibt es auch mit anderen Belegegungen, aber dann wird er nicht U.2 sondern weiterhin SFF-8639 genannt. Zumindest habe ich das so gehört und verstanden.

Man könnte an den auch, entsprechenden Adapter vorrausgesetzt, einen RAID-Controller anschließen.

Die Buchse auf der Laufwerksseite wird auch von SAS RAID Controllern verwendet, da sind aber dann SAS und keine PCIe Signale dran und dafür wäre mit kein Adapter bekannt, der diese wieder umwandeln kann und es wäre auch Schwachsinn, da ja die SAS HBAs i.d.R. selbst schon an PCIe Lanes hangen und man den dann weglässt um einfach die SSD direkt an die PCIe Lanes zu hängen.

 

[matthias80]

ok andersherum. keine ahnung ob das letzendlich das gleiche ist...
habe in der der produktbeschreibung was von 2,5" gelesen. demnach kann es ja nicht so eine pcie steckkkarte sein.
wenn man natürlich 2 x 2,5" SFF-8639 platten vielleicht sogar im raid 1 anschliesen kann und wäre auf pcie Niveau unterwegs...
wäre das natürlich mein argument gegen unsere standard konfig!

nice

ok ich werde das mal prüfen...

danke


nachtrag:

http://geizhals.de/eu/?cat=WL-600168&wlkey=888ae86ab87614052f24f813482d3e2f

die beiden u.2 ssd´s müssten mit dem beiligenden adapterkabel auf ein Intel S2600CWTS angeschlossen werden können. raid 1. und mann wäre immer noch günstiger als mit der standardkonfig...

oder habe ich was vergessen?

mfg

 

[Holt]

Nochmal: Damit eine SSD über PCIe angebunden ist, muss sie keine Slotkarte sein, es gibt auch andere Formfaktoren wie eben M.2 oder 2.5" und bei letzteren kommt eben U.2 als mechanischer Stecker zum Einsatz. Dafür braucht man keinen SAS RAID Controller oder HBA, sondern darf im Gegenteil auch gar keinen verwenden. Wenn man muss man so eine Karte nehmen um U.2 SSD über einen PCIe Slot eines Mainboards zu betreiben. Die SFF-8643 und SFF-8639 Steckverbindungen werden auch für SAS verwendet und daher gibt es da oft Verwirrung, aber es ist eben ein Unterschied ob man da nun SAS oder PCIe Signale mit überträger. Vergiss diese Einkaufsliste also wieder, die ist Unsinn und das wird so nicht laufen.

 

[matthias80]

ah ok danke Holt!

also hat der zwar identische anschluss auf dem intel mainboard nix auch wenn baugleich nix mit pcie nvme u.2 in dem sinne zu tun...
ist die sas ausführung und das adapterkabel was der platte bei liegt bringt so nix.
wenn du schreibst man darf keinen verwenden. ist auch kein rad möglich?!
weil die supermicro karte ist ja nix weiter als ne adapterkarte ohne irgendwelche großartigen funktionen richtig?
also gibt es keine möglichkeit pcie nvme ssd in einem raid 1 auf einem windwos system zu betriben?
gibts da noch mehr hersteller für solche karten?
die supermicro ist nicht gerade breit verfügbar.
wäre eine ssd an so einer karte bootbar?

mfg

 

[Holt]

Die Kabel wie sie der SSD wohl beilegen (zumindest der 750 2.5" liegt ein U.2 Kabel SFF-8643 auf SFF-8639 bei), kann man mechanisch in eine Mini-SAS Buchse stecken, aber elektronisch passt es eben nur, wenn diese von einer Karte wie der genannten Supermicro Add-on Card AOC-SLG3-2E4 kommen, aber nicht wenn sie von einem SAS HBA/RAID Controller sind. Die Supermicro Add-on Card AOC-SLG3-2E4 hat eine PLX Chip verbaut, es gibt auch eine günstigere Ausführung ohne den PLX Chip, die leitet wirklich nur die PCIe Lanes vom Slot an die SFF-8643 Buchse. Wie man ein RAID 1 damit aufbauen kann und ob es noch Karten anderer Hersteller gibt, kann ich nicht sagen, aber ich würde auf jeden Fall dazu raten eine fertige Storagelösung von einem Systemanbieter zu wählen statt da etwas selbst zu basteln.

 

[h00bi]

Aktuell ist im Serverbereich kein rechtes NVMe RAID möglich. Auch auf der Intel P3608 wird nur ein SW RAID gebaut (laut ct Artikel).
Das einzige wie du NVMe SSDs im Serverumfeld vernüftig benutzen kannst ist entweder auf einem Hypervisor der ein Software RAID macht oder per Virtual SAN bzw. VSA (wobei ich nicht weiß on VSA überhaupt NVMe fähig ist).
Die Redundanz musst du also aktuell noch selbst schaffen. Hast du z.B. einen Windows Hypervisor, ist NVMe RAID heute schon gar kein Problem.

Stand jetzt würde ich mein kleines RZ gerne mit 4 Server mit NVMe U.2 SSDs und VMware VSAN aufrüsten Die Frage bei sowas wären jedoch: Welchen Vorteil bietet NVMe noch, wenn du die Latenz durch VSAN dazu nimmst und lohnt sich das dann noch?

Bei Supermicro bieten schon einige Maschinen U.2 Support auf 2 oder 4 Slots (auch Dual CPU), bei den kommenden X11 Boards mit Xeon E3 v5 wird sicher auch einiges an NVMe support dabei sein.
Mein aktuelles Leasing läuft noch bis Ende 2017, bis dahin gibts sicher feine Möglichkeiten NVMe einzubinden, vermutlich zusammen mit Optane.

EDIT:
Die meisten Kunden, die NVMe SSDs schon in Servern verwenden, verwenden die als reine Cache oder Scratch Drives. Ich kenne nur einen der 2x ein SW-RAID aus je zwei PM953 produktiv betreibt. Wobei ich auch nicht bei jedem Kunden weiß was er damit bauen/betreiben möchte.

 

[matthias80]

Lesestoff:

M.2 PCIe SSDs reviews

M2P4S M.2 (NGFF) PCIe base SSD to PCIe X4 Adapter

mmh noch keine ahnung ob raid 1 gehen würde...

aber mit dieser karte und diesen adapter...
http://geizhals.de/asus-hyper-m-2-x4-a1159981.html
http://geizhals.de/asus-hyper-kit-90mc03f0-m0eay0-a1276656.html

könnte man zwei dieser intel u.2 nvme ssd ins system kriegen.

oder?

ASUS Hyper M.2 X4 Adapter Card Coming in July - Legit Reviews


mfg

 

[Holt]

aber mit dieser karte und diesen adapter...
http://geizhals.de/asus-hyper-m-2-x4-a1159981.html
http://geizhals.de/asus-hyper-kit-90mc03f0-m0eay0-a1276656.html

könnte man zwei dieser intel u.2 nvme ssd ins system kriegen.

oder?

Ja, aber das brauchst Du auch 2 PCIe Slots, mit der Supermicro Add-on Card AOC-SLG3-2E4 hast Du das gleiche mit nur einem Slot, dank dem PLX Chip darauf.

 

[matthias80]

hat auf der vorder und rückseite einen m.2 slot...

klar denke die supermicro wäre die lösung die irgendwann unser hardware lieferant bringen wird.
inkl. passender backplane...
habe bis jetzt auch nur raid 1 im sinne von dynamischen datenträger gefunden. also mist...

 

[h00bi]

Rod von ramcity hat wohl auf einem ASRock Z170 Extreme7+ sowohl bootfähiges RAID 0 als auch bootfähiges RAID1 hinbekommen.
Auf einem vernünftigen C236 Board sollte das also auch klappen.

EDIT: NVMe RAID natürlich.

 

[matthias80]

link?

nen z170 hat ja auch manchmal zwei m.2 solts...
die frage ist ob das auch mit so einer karte klappt weil glaub c236 mainboards mit zwei m.2 solts sind ehr selten bis gar nicht verfügbar?...

mfg

 

[h00bi]

Hier ist der Claim fürs RAID0:
[Official] Samsung SM951 Owners Club - Page 65
den fürs RAID1 finde ich grade auf die schnelle nicht, gibt 3 lange Threads zur SM951 in dem Board.

Und wo du deine 4 PCIe Lanes herbekommst ist doch egal. In den meisten Servern werden die CPU PCIe Lanes für NVMe herhalten müssen, Grakas brauch in so einem Server ja niemand. Der "Standard" wird hier eh U.2 und nicht M.2
Schau mal hier: http://www.supermicro.com/products/system/1U/1028/SYS-1028U-TN10RT_.cfm leckeres Teil

 

[Holt]

Vermutlich geht das aber nur, wenn man die SSDs an die HSIO Lanes 15 (bzw. PCIe Lanes 9) aufwärts hängt:

Da sind dann maximal 3 mal PCIe x4 möglich die auch für PCIe Storage gedacht sind, ob das mit anderen Lanes. Ob es mit anderen Chipsätzen wie z.B. dem Z97 oder X99 die diese Technologie noch nicht unterstützen dann auch geht, da habe ich doch meine Zweifel. Mit dem C236 könnte es gehen, das ist ja ein Z170 für Xeons, aber genaues weiß man über den ja auch noch nicht, nur dass er sogar 8 SATA Ports hat.