SAS JBOD für Windows Server 2012 Cluster (Shared Storage für Storage Spaces)

[$chakal]

Hallo zusammen!

Prinzipiell möchte ich einfach mit wenigsten Mitteln eine voll redundante Umgebung zur Virtualisierung aufbauen.
Der 2012er kann jetzt auch SAS/DAS als Shared Storage verwenden, wenn beide Knoten an ein entsprechendes JBOD Gehäuse angeschlossen sind.
Hinzu kommt, dass ich gerne die neuen 1TB Evo SSDs von Samsung einsetzen möchte. Dazu braucht man sogenannte „active-active interposer“, dass müsste ein SAS JBOD Gehäuse natürlich auch noch mitbringen.

Als Beispiel kann man das LSI 620J nehmen, aber das ist genauso wie der Intel Pendant kaum lieferbar.



Habt Ihr dazu Ideen? Was wäre die beste Lösung für ein super schnelles und redundantes Shared Storage?

 

[Holt]

An den SAS Controller hast Du vermutlich kein TRIM, was auf Dauer nicht so toll für die (Schreib)performance der SSDs ist. Wie viele sollen es denn sein und wenn es nicht zuviele sind, wieso schliesst Du die nicht einfach an die SATA Ports des Mainboards an? Ein paar mehr Info zur gesamten HW würden schon helfen.

 

[$chakal]

Hallo Holt,

ja, ich habe mich gestern wirklich extrem darüber aufgeregt, weil ich die Frage mit vielen Links und einer größeren Beschreibung angefangen hatte... gerade als ich auf "abschicken" klicken wollte friert mein PC ein...

Das Thema mit dem TRIM ist ein guter Hinweis. Die Frage ist da, wie viel Performance kostet das? Kann man manuelles TRIM über SAS Controller schicken?

Tja, wieviel SSDs... minimal 3 und maximal 6... mehr wird auch mir erstmal zu teuer.

Ja, ich habe auch schon überlegt einfach mir SANSymphony zu holen oder das Pendant von Starwind..., aber das ist auch zu teuer...
Von LSI wurden mir auch die 3500€ teuren Synchro Modelle angeboten - die haben dann ein einfache Kabelverbindung... das wäre auch super, weil die natürlich auch wirklich doppelt sind... mir reich es aber, wenn alle Enclosure-Komponenten doppelt sind, dass RAID stellt ja schon einen Schutz da... so braucht man nicht die doppelte Kapazität - eigentlich gar nicht so doof.

Es geht darum, ich brauche "shared storage" für den Windows Cluster. Und einfache S-ATA akzeptiert der natürlich nicht - da kein Shared Storage. Bei einem SAS-Enclosure hast die i.d.R. zwei SAS-Kanäle und diese können jeweils an einem Node angebunden werden --- und das kann der Server 2012 angeblich... und das wäre natürlich eine super einfache "shared storage"-Lösung als DAS. Das ist der Hintergrund.

EDIT:
Natürlich brauche ich für die S-ATA SSDs funktionsfähige "active-active Interposer" - kurze Erklärung... die sorgen für den zweiten Link zur Festplatte welche eigentlich nur echte SAS-Disks haben.

EDIT2:
Hier ein Link zum Technet-Post.
Der wichtige Ausschnitt davon:

It is also possible to utilize Storage Spaces with Failover Clusters. However, with clusters you are limited to Serial Attached SCSI (SAS) as a storage medium. Failover clustering does not support Storage Spaces using other storage technologies. Just because the list above mentions USB as a capability doesn't mean use of USB storage on a server with other faster storage in the same pool is a good idea. Use of USB in a pool may be more practical on a Windows 8 client or while developing a proof of concept. Performance of this technology depends also on the performance capabilities of the storage you choose to pool together.

EDIT3:
Hier noch ein Link zu den offiziell "supporteten" JBODs

 

[Holt]

ja, ich habe mich gestern wirklich extrem darüber aufgeregt, weil ich die Frage mit vielen Links und einer größeren Beschreibung angefangen hatte... gerade als ich auf "abschicken" klicken wollte friert mein PC ein...

Mein Beileid, dass ist wirklich blöd und passiert natürlich immer erst, wenn man einen langen Text fast fertig hat.

Das Thema mit dem TRIM ist ein guter Hinweis. Die Frage ist da, wie viel Performance kostet das? Kann man manuelles TRIM über SAS Controller schicken?

Gute Frage, die Samsungs sind eigentlich schon recht stark auf TRIM angewiesen, zumindest war es bei der 830er noch so. Im Allgemeinen geht das aber nur auf die Schreibperformance und da kann man gegensteuert, indem man eben Overprovisioning betreibt und einen Teil der Kapazität gleich ungenutzt lässt bzw. kann man das mit dem Magnician Tool auch einstellen. Die Frage wäre, wofür das ganze genutzt werden soll und worauf es da ankommt, mehr als schnelle Lesen bei Randomzugriffen oder eben doch auf hohe seq. Schreibraten. Obwohl es bei der Evo ja wegen dem TurboCache immer möglich sein müsste, wenigstens so viele GB wirklich schnell zu schreiben, wie in den Cache passen und das sind bei einer 1TB Evo schon 12GB.

Ob das Magnician Tool dann auch über SAS trimmen kann, müsste man ausprobieren.

 

[$chakal]

Genutzt werden soll es für virtuelle Maschinen, welche eben einen Hardwareausfall ohne weiteres überleben können sollen - also brauche ich vor allem gute Randomzugriffe.

Hier nochmal ein Bild:

 

[Holt]

Wenn das ganze nicht Hobby sondern beruflich ist, dann würde ich mir schwer überlegen, ob das die passende HW und SW Umgebung für so eine Aufgabe ist. Wenn es privat ist, würde ich mir überlegen, ob die Verfügbarkeit den Preis wert ist.

 

[$chakal]

Es ist ein bisschen beides... ^^
Ich will einfach mit den wenigstens Mitteln einen Cluster aufbauen... und dieser Ansatz ist der höchstkonsolidierteste den ich bisher gesehen habe. Es ist schließlich alles doppelt vorhanden. und beim RAID brauche ich ja nur einen Pool von Festplatten. Natürlich hat man mit einem DRBD-artigen Gebilde ein zusätzliches RAID1, aber man kann bei einem JBOD auch einfach 3 oder mehrere Kopien deutlich flexibler verteilen und spart sich ein paar mehr Festplatten.

Für den Fall, dass ich es beruflich will, was wäre denn dann für dich die Alternative?

EDIT:
Hier nochmal jemanden der es schon viel weiter gesponnen hat, sogar schon mit der R2 Version: Link

Das grundsätzliche Problem ist auch, dass ich wie gesagt keine SAS JBODs finde, die noch lieferbar wären... außer die Supermicro-Dinger... aber da bin ich mir wirklich unsicher ob die so professionell sind wie die von LSI oder Intel.

EDIT2:
Hier noch ein offizieller Link:
hardware-options-for-highly-available-windows-server-2012

 

[Holt]

Wenn es beruflich genutzt wird, denn würde ich es Erstes nicht mit Windows Server aufbauen, sondern Linux bzw. gleich auf VMware ESX und dann einen entsprechenden Server von Hardwarehersteller meines Vertrauen, also IBM, HP, Sun oder Dell. Schau Dir nur mal die Spezifikationen eines Entry Level IBM DS3500 Storage an und achte auf die optionalen zusätzlichen Hostanschlüsse, die es beim DNS-1640D nicht gibt und schon die Bandbreite eines SAS6Gb/s Ports kann ja eine schnelle SSD sättigen.

 

[deffer]

Hallo Holt.

Eine Aussage zu treffen, man soll dies nicht mit HV (Hyper-V) tun, würde ich gerne begründet haben!
Wir nutzen selbst HV und wir sind ein Großunternehmen. Natürlich setzen wir auch VmWare ein, meist aber nur für Unix VM's und weniger Windows VM's.

@$chakal
So eine Lösung ist relativ leicht zu realisieren.
Du nimmst z.B.: 3 Server (2 etwas stärkere Maschinen und 1 schwächeren Server.)
auf allen drei Server installierst Du Server 2012. Die zwei stärkeren werden zu Hypervisoren gemacht,
der dritte schwächere stellt die Storage zur Verfügung. Auf dem schwächeren aktivierst Du iSCSI und gibst die Disks als iSCSI Targets her.

Die Hardware kannst Du für Testzwecke bestücken, wie es Dir gefällt.
Vorraussetzungen und Specifikationen findest Du hier: Servervirtualisierung mit Windows Server 2012 | Microsoft Server Portal
Und Ja, ich habe so auch meine Testumgebung zuhause aufgebaut.

Wünsche dir viel Erfolg, beim aufbauen deiner Testumgebung.

LG deffer

 

[Holt]

Wir nutzen selbst HV und wir sind ein Großunternehmen. Natürlich setzen wir auch VmWare ein, meist aber nur für Unix VM's und weniger Windows VM's.

Und wieso das? Man kann doch zumindest bei VMware auch Windows als Guest problemlos betreiben. Aber das muss jeder für sich entscheiden, denn jeder muss hinterher mit seiner Lösung leben und ich werde daher auch nichts begründen, da ich nur meine Meinung kundgetan habe,

 

[whistler1980]

Lizenzthema vermute ich....

 

[deffer]

Hi Holt.

Klar darfst Du deine Meinung äußern, steht ja jedem frei.
Aber solche Aussagen, sind meiner Meinung nach nicht wirklich Professionell!

Wenn es beruflich genutzt wird, denn würde ich es Erstes nicht mit Windows Server aufbauen, sondern Linux bzw. gleich auf VMware ESX und dann einen entsprechenden Server von Hardwarehersteller meines Vertrauen, also IBM, HP, Sun oder Dell. Schau Dir nur mal die Spezifikationen eines Entry Level IBM DS3500 Storage an und achte auf die optionalen zusätzlichen Hostanschlüsse, die es beim DNS-1640D nicht gibt und schon die Bandbreite eines SAS6Gb/s Ports kann ja eine schnelle SSD sättigen.

Um eine professionelle Aussage treffen zu können, sollte man beide Systeme gut kennen!
Deren Vorteile und Nachteile, Funktionen usw.
Natürlich kann man auf VmWare Windows Guest laufen lassen, habe nie was anderes behauptet.
Aber, wir haben nun mal Hyper-V samt SCVMM und SCCM zu schätzen gelernt.


@Whistler1980
Natürlich hat dies auch mit Lizenztechnischen Gründen zu tun.

@Holt
Auf diesem Weg, viel Erfolg mit deinem Projekt.

Grüße deffer

 

[Holt]

Danke, meine Projekte laufen erfolgreich.

 

[McGizmo]

Ah ja, der ewige Konflikt ziwschen VMWare und Hyper-V. Schön, dass der sogar vor Consumer-Boards nicht halt mach ...

Meine Bescheidene Meinung zu dem Thema ist, dass seit 2012 mehr als nur der Preis für Hyper-V spricht. Mit dem Schritt 2008 - 2008 R2 sind Failover Cluster und Hyper-V zum ersten Mal wirklihch benutzbar geworden, mit dem Schritt zu 2012 hat man ein richtig gutes Produkt an der Hand. Klar, VMWare ist nicht ohne Grund der Marktführer - aber Hyper-V macht riesige Schritte. Mir gefällts ... mittlerweile. Beruflich grundsätzlich nicht darauf setzen zu können ist - Achtung, persönliche Meinung - ziemlicher Quark. Wie der Markt irgendwo ja auch beweist ...

Zum Thema Cluster und Storage... ich weiß ja nicht genau, was ihr wollt bzw. wie ernst es dir ist. Aber wenn es tatsächlich hochverfügbar sein soll, dann verbietet sich 'shared storage', also ein einziges Speichersystem. Das mag als solches redundant ausgelegt sein was Controller usw. betrifft, man muss aber immer die Möglichkeit eines Totalausfalls einplanen - was dann. Bei Hochverfügbarkeit sprechen wir m.E. von synchronen Spiegeln. Da hast du Datacore ja schon verworfen. Das kenne ich sehr gut (wir gehen davon jetzt zum Glück weg), es wäre daher auch mein Tipp gewesen, günstiger kommt man kaum an einen durchaus ausgereiften Spiegel. Solar Winds kenne ich nicht, es gibt auch noch was von Nexcenta. Das war mir immer etwas suspekt, ich hab das nie im Detail angeschaut - aber vielleicht ist das was für dich, günstiger als Datacore wird es sein. Und kann wohl auch synchron spiegeln, replizieren, wie auch immer man das Kind nun nennt.

Blöde Frage am Rande, aber was muss man für die kleinen VL von DC denn so hinblättern? Ich weiß nur was wir gezahlt haben bisher, das dürfte hier aber eher uninteressant sein ...


Ansonsten, wenn es nur um den Cluster geht - wer sagt, dass es SAS sein muss? In dem Fall könnte man (auch wenn ich nun wirklich kein Fan davon bin, ich bin FC Mensch) schon mal iSCSI in die Runde werfen. Ich hab' da keine Marktübersicht, aber es sicher bezahlbare iSCSI Arrays geben die SCSI-3 beherrschen, bzw. besonders die persistent reserve. Wäre mal einen Blick wert? Je nachdem was die können kannst Du das gesparte SAS Geld in 10 GbE stecken, das lässt sich zur Not ja auch direkt verkabeln ...

 

[$chakal]

Da ist man mal 2 Tage auf einem Isilon-Workshop und hier bricht der komplette Flamewar aus. ^^

@Holt

Wenn es beruflich genutzt wird, denn würde ich es Erstes nicht mit Windows Server aufbauen, sondern Linux bzw. gleich auf VMware ESX und dann einen entsprechenden Server von Hardwarehersteller meines Vertrauen, also IBM, HP, Sun oder Dell. Schau Dir nur mal die Spezifikationen eines Entry Level IBM DS3500 Storage an und achte auf die optionalen zusätzlichen Hostanschlüsse, die es beim DNS-1640D nicht gibt und schon die Bandbreite eines SAS6Gb/s Ports kann ja eine schnelle SSD sättigen.

Also ich habe ja auch zuerst Linux mit Gentoo und einem Pacemaker am Laufen gehabt – klar, dass hat auch gut funktioniert, aber in dem angepeilten Szenario brauche ich 1x ActiveDirectoryServer, 1x TerminalServer, 1x ExchangeServer. Es bietet sich eben an, da ich im Rahmen des MSDN auch die Lizenzen habe.
Natürlich würde ich sofort die Enterprise Hardware nehmen… ich arbeite ja sogar bei EMC, aber selbst die kleine VNXe ist für mich mit 6619€ + Festplatten viel zu teuer.
Bzgl. Des DNS-1640D… bei einem SAS-Controller der PCIe 3.0 8x schafft etwa 7500 MB/s, dass reicht doch locker? Selbst das Ding würde so schnell nicht an die Leistungsgrenze bringen. Aber auch das Ding wäre mir für ein DAS zu teuer…

@deffer

@$chakal
So eine Lösung ist relativ leicht zu realisieren.
Du nimmst z.B.: 3 Server (2 etwas stärkere Maschinen und 1 schwächeren Server.)
auf allen drei Server installierst Du Server 2012. Die zwei stärkeren werden zu Hypervisoren gemacht,
der dritte schwächere stellt die Storage zur Verfügung. Auf dem schwächeren aktivierst Du iSCSI und gibst die Disks als iSCSI Targets her.

Wie verhinderst du den SPOF beim iSCSI Target Server?
Ich mein, so ein Thecus NAS hätte ich schon noch da. ^^

@McGizmo

Ah ja, der ewige Konflikt ziwschen VMWare und Hyper-V. Schön, dass der sogar vor Consumer-Boards nicht halt mach ...

Finde ich persönlich Klasse. ^^ Aber du kannst mir gerne mal einen Tipp geben in welchen Foren sich noch mehr Leute mit solchen Fragen rumtreiben.

Zum Thema Cluster und Storage... ich weiß ja nicht genau, was ihr wollt bzw. wie ernst es dir ist. Aber wenn es tatsächlich hochverfügbar sein soll, dann verbietet sich 'shared storage', also ein einziges Speichersystem. Das mag als solches redundant ausgelegt sein was Controller usw. betrifft, man muss aber immer die Möglichkeit eines Totalausfalls einplanen - was dann. Bei Hochverfügbarkeit sprechen wir m.E. von synchronen Spiegeln. Da hast du Datacore ja schon verworfen. Das kenne ich sehr gut (wir gehen davon jetzt zum Glück weg), es wäre daher auch mein Tipp gewesen, günstiger kommt man kaum an einen durchaus ausgereiften Spiegel. Solar Winds kenne ich nicht, es gibt auch noch was von Nexcenta. Das war mir immer etwas suspekt, ich hab das nie im Detail angeschaut - aber vielleicht ist das was für dich, günstiger als Datacore wird es sein. Und kann wohl auch synchron spiegeln, replizieren, wie auch immer man das Kind nun nennt.

Ich will einfach nur keinen SPOF haben – ich habe nicht permanent Zeit ein Problem sofort zu fixen. Ich will keine Five9s, aber zumindest kein SPOF.
Wie baust du einen Cluster ohne Shared Storage? Das will ich mal wissen.
Wie gesagt, bei meinem Gentoo-Ansatz hatte ich auch DRBD im Einsatz, aber auch das ist wieder eine zusätzliche Komponente die Probleme machen kann. Vor allem beim Thema Performance.
Was hat bzgl. Datacore eigentlich nicht gepasst?
Ansonsten ist auch das natürlich Enterprise-Bereich… das wird schon was kosten.

Ansonsten, wenn es nur um den Cluster geht - wer sagt, dass es SAS sein muss? In dem Fall könnte man (auch wenn ich nun wirklich kein Fan davon bin, ich bin FC Mensch) schon mal iSCSI in die Runde werfen. Ich hab' da keine Marktübersicht, aber es sicher bezahlbare iSCSI Arrays geben die SCSI-3 beherrschen, bzw. besonders die persistent reserve. Wäre mal einen Blick wert? Je nachdem was die können kannst Du das gesparte SAS Geld in 10 GbE stecken, das lässt sich zur Not ja auch direkt verkabeln ...

Die müssten halt auch redundant sein, Consumer-SSDs abkönnen und auch im Bereich zwischen 3-4000€ liegen.

Ich drücks jetzt mal härter aus,... ich habe richtig Bock mit den Enterprise-Konzepten und verdammter Consumer HW (ok, Supermicro ist das auch nicht unbedingt) einen voll redundanten Cluster aufzubauen der keinen SPOF hat... (HW ist doch alles der gleiche Schlonz aus China... Ich habe schon oft gesehen, dass in sogenannter Enterprise HW plötzlich ein normaler Elko steckt und eben kein SolidCap - das ist nur ein Beispiel.)

 

[Holt]

Also ich habe ja auch zuerst Linux mit Gentoo

Gentoo ist nicht wirklich eine professionelle Linux Vartiante und im Enterprisesegment wohl kaum entsprechend supported. Da würde ich schon auf SLES oder RHEL bzw. dessen Derivate setzen.

Es bietet sich eben an, da ich im Rahmen des MSDN auch die Lizenzen habe.

Hast Du mal in die Lizenzbedingungen geschaut, ob Du das für mehr als Test- und Entwicklungszwecke überhaupt nutzen darfst? Ich habe auch MSDN und kann mir auch alles saugen, Key-generieren, damit Entwickeln und Testen, aber für den Produktiveinsatz gelten die Lizenzen dann nicht.

7500 MB/sBzgl. Des DNS-1640D… bei einem SAS-Controller der PCIe 3.0 8x schafft etwa 7500 MB/s, dass reicht doch locker? Selbst das Ding würde so schnell nicht an die Leistungsgrenze bringen. Aber auch das Ding wäre mir für ein DAS zu teuer…

Hast Du Dir Post #8 mal durchgelesen und die Links mal angeklickt?

Host Interface:
Two 6Gb/s SAS 4x wide ports via two SFF-8088[
Expansion Interface:
One 6Gb/s SAS 4x wide port via SFF-8088/URL]

Das Teil hazz 2x 4SAS Ports, die nach Deiner Skizze [URL=http://www.hardwareluxx.de/community/attachments/f15/245370d1376262913-sas-jbod-fuer-windows-server-2012-cluster-shared-storage-fuer-storage-spaces-image4.png]http://www.hardwareluxx.de/community/attachments/f15/245370d1376262913t-sas-jbod-fuer-windows-server-2012-cluster-shared-storage-fuer-storage-spaces-image4.png
so verbunden sind, dass jeder Controller die Hälfte bekommt. Damit hast Du dann 4 Ports für einen Controller und darüber bekommst bestenfalls die Hälfte der 7500 MB/s.
Teurer HW bietet natürlich eine bessere Anbindung:

Host interface: Two 6 Gbps SAS host ports per controller standard with the option to add a daughter card with additional connectivityFour options:

* Four or eight 6 Gbps SAS ports
* Eight 8 Gbps Fibre Channel ports and four 6 Gbps SAS ports
* Eight 1 Gbps iSCSI ports and four 6 Gbps SAS ports
* Four 10 Gbps iSCSI ports and four 6 Gbps SAS ports

Die müssten halt auch redundant sein, Consumer-SSDs abkönnen und auch im Bereich zwischen 3-4000€ liegen.

Die einzige Consumer SSD in der Liste des DNS-1640 ist die Intel 320, die es praktisch nicht mehr zu kaufen gibt. Dann noch eine von STEC, aber auch nur SATA II. Es ist also durchaus denkbar, dass SATA LW damit nur mit 3Gb/s funktionieren und die 6Gb/s nur mit SAS erreicht werden.

Ich drücks jetzt mal härter aus,... ich habe richtig Bock mit den Enterprise-Konzepten und verdammter Consumer HW (ok, Supermicro ist das auch nicht unbedingt) einen voll redundanten Cluster aufzubauen der keinen SPOF hat...

Das ist ein Widerspruch in sich, denn redundante baut man um die Verfügbarkeit zu erhöhen und wenn es eben kein SPOF sein soll, dann sollte man dies eben nicht mit Cosumer-HW machen.

(HW ist doch alles der gleiche Schlonz aus China... Ich habe schon oft gesehen, dass in sogenannter Enterprise HW plötzlich ein normaler Elko steckt und eben kein SolidCap - das ist nur ein Beispiel.)

Dann hast Du natürlich recht, wenn ich das nur früher gewusst, wie viel Geld hätte man da doch sparen können

 

[$chakal]

Gentoo ist nicht wirklich eine professionelle Linux Vartiante und im Enterprisesegment wohl kaum entsprechend supported. Da würde ich schon auf SLES oder RHEL bzw. dessen Derivate setzen.

Stimmt, das war wirklich eine Quälerei. Ich würde mit Sicherheit CentOS benutzen. Nebenbei bemerkt hatte ich das auch schon getestet - allerdings funktionierte da was mit dem LVM nicht in Bezug auf HA... vielleicht geht das aber auch mittlerweile.

Hast Du mal in die Lizenzbedingungen geschaut, ob Du das für mehr als Test- und Entwicklungszwecke überhaupt nutzen darfst? Ich habe auch MSDN und kann mir auch alles saugen, Key-generieren, damit Entwickeln und Testen, aber für den Produktiveinsatz gelten die Lizenzen dann nicht.

Ja, für interne Zwecke steht drin - und wenn das nicht intern ist.

Hast Du Dir Post #8 mal durchgelesen und die Links mal angeklickt?

Ich sag ja, ich will mir das Ding ja nicht holen, wenn's nix taugt.

so verbunden sind, dass jeder Controller die Hälfte bekommt. Damit hast Du dann 4 Ports für einen Controller und darüber bekommst bestenfalls die Hälfte der 7500 MB/s.

O,... ähm... das habe ich noch nicht ganz verstanden, hängt das mit der Backplane zusammen oder warum teilen die das? Grundsätzlich wäre das natürlich bei einem vollen Ausbau mit SSD echt ein Problem. Wenn ich das also will muss ich mehr Anschlüsse im JBOD-Gehäuse haben...

Die einzige Consumer SSD in der Liste des DNS-1640 ist die Intel 320, die es praktisch nicht mehr zu kaufen gibt. Dann noch eine von STEC, aber auch nur SATA II. Es ist also durchaus denkbar, dass SATA LW damit nur mit 3Gb/s funktionieren und die 6Gb/s nur mit SAS erreicht werden.

Ja, aber meistens funktionierts ja doch... nur weil etwas nicht in der Liste steht - klar ist es dann nicht supported und klar ist das mein Risiko. Aber das gehe ich ein. Keine Angst, ich bin nicht einer von dennen die sich da nach auch noch beschweren.

Ich wollt's nur nochmal vorsichtig erwähnen, ich will ja nicht das Ding kaufen, es war nur ein Beispiel... aufgrund der Info's hier brauche ich offensichtlich doch völlig andere HW.

Das ist ein Widerspruch in sich, denn redundante baut man um die Verfügbarkeit zu erhöhen und wenn es eben kein SPOF sein soll, dann sollte man dies eben nicht mit Cosumer-HW machen.

Es geht auch mit Consumer-HW; bzw. ist SuperMicro Consumer-HW?

Wenn ich jetzt für ein Großunternehmen arbeite, dann kaufe ich natürlich eine Symmetrix. Aber ich habe keinen Goldesel hier. Deshalb habe ich den Thread ja gestartet. Ich möchte mit den Mitteln - und bis zu 4000€ habe ich ja auch dafür - entsprechend einen HA-Cluster für VM's bauen und die 4k wären ja nur für die Shared Storage Anbindung oder meinetwegen für einen Spiegel.
Es geht ja auch nur darum einen lokalen SPOF zu verhindern. Mir ist schon klar, dass ich normalerweise einen Server in New York mieten müsste um echtes HA zu gewährleisten, aber darum geht's nicht... ich möchte nur mehr Zeit haben um bei einem Ausfall reagieren zu können ohne das der Betrieb steht. Wenn ich natürlich einen Softwarefehler habe - A-Karte gezogen..., aber das habe ich größtenteils selbst im Griff.

@Holt
Zusammengefasst sagst du, nimm Enterprise-HW, anders klappt es nicht... was nehme ich dann um ungefähr in der Preisspanne zu bleiben?
(Es müssen ja auch erstmal nur 2-3TB Kapazität sein)

Grüße

 

[Holt]

Bei dem Budget sehe ich ehrlich gesagt wenig Möglichkeit, eigentlich keine. So ein DNS-1640D kostet ja schon $4,295.00 und dabei brauchst Du mindestens die Hälfte der 4000€ alleine für die SSDs. Dann kommen noch Controller und Kabel dazu. Da wirst Du Dich entscheiden müssen, ob es schnell, also mit SSDs oder hoch verfügbar und damit redundant sein soll. Die SSDs würde ich aber auf jeden Fall redundant machen, da dabei Ausfälle schon wegen der Datensicherheit und Backups besonders blöd sind.

 

[$chakal]

Naja, da würde ich lieber das original von LSI nehmen - also das LSI 620J. Aber das ist wie gesagt nicht lieferbar... zumindest habe ich es nirgends lieferbar gefunden. Vorher würde ich natürlich noch beim Support anrufen und fragen ob die Probleme mit den Interposern schon behoben sind.
EDIT: Klar das es die nicht mehr gibt... die Sparte wurde von Netapp übernommen. Das umbelabelte JBOD falls es eins gibt habe ich jedoch nicht gefunden.
Zu dem Thema hier noch ein super Thread, der hervorragend erklärt was ich vorhabe: Technet

Das Supermicro SuperChassis 847E26-RJBOD1 steht vermutlich stellvertretend für das Backplane BPN-SAS2-216EL2 in der Kompatibilitätsliste von Microsoft. Für 2,5" funktioniert dann bestimmt auch das Supermicro 216E26-R1200LPB.
... und dürfte faktisch nichts anders machen als die JBOD's von LSI und Intel - auch wenn mir die besser gefallen und sicher auch professioneller und einfacher zu handhaben sind (aufgrund der Einschübe von LCC's bzw. ESM's).
Die Interposer kommen faktisch immer von LSI. Sollte mir der Support hier ein Nein geben, sind die SATA-SSD's eh vom Tisch. Es gibt ja auch gute SAS-HDDs...


Hier noch ein Link zum Thema mit Bildern.

 

[McGizmo]

"Wie baust du einen Cluster ohne Shared Storage? Das will ich mal wissen."

Gar nicht, das meine ich nicht. Was ich meine ist, dass Hochverfügbarkeit (wovon reden wir denn, kein SPOF ist ein extrem ambitioniertes Ziel) und ein einzelnes Storagesystem nicht zusammenpassen, sprich man ist irgendwo bei Datacore, MetroCluster, VPlex, SVC oder whatever. Wie gesagt, weißt Du, dass Du mit dem Setup garantiert kein SPOF hast? Sind Backplane und sonstige "Hintergrundkomponenten" in dem Shelf redundant?


"Was hat bzgl. Datacore eigentlich nicht gepasst?"

Dass sich damit so gut wie keine "unternehmenstauglichen" Synergieeffekte zum Backup ergeben. Als reines SAN Storage okay, aber "dummes" Storage reicht uns nimmer.


*e* Ich versteh' schon in etwa worauf Du hinaus willst. Aber eine Lösung ohne jeglichen SPOF ist schon ein hoher Anspruch.

 

[$chakal]

Ich habe von LSI eine ziemlich haarsträubende Antwort bzgl. der SAS-SATA Interposer bekommen:

Marc,
We do not support interposers. You will have to refer your question to SuperMicro.
Thank you,

Dabei hatte ich explizit nach dem LSISS9252 gefragt.

Ich hake nochmal nach und werde auch mal ausschau nach anderen Interposern halten. Außerdem werde ich mir die Interposer in unseren Maschinen nochmal anschauen... mir kann doch keiner erzählen, dass das nicht geht... der Chip ist bei SAS HDDs einfach nur auf dem Controllerboard.

@McGizmo
100% ACK. Deshalb wollte ich eigentlich nicht einfach ein iSCSI nehmen um damit auf so ein windiges NAS zu zielen - das ist Selbstbeschiss ^^ .

Wie gesagt, weißt Du, dass Du mit dem Setup garantiert kein SPOF hast? Sind Backplane und sonstige "Hintergrundkomponenten" in dem Shelf redundant?

Naja, deshalb wollte ich ja auch eher eins von LSI direkt (was ja nicht mehr hergeht offenbar) oder eben von der Konkurrenz holen. Ansonsten... das war auch mein Gedanke wie das mit der Backplane funktioniert. Ich habe im Internet gelesen, dass man bei Backplanes davon ausgeht, dass passive Komponenten nicht kaputt gehen. Schließlich ist diese Supermicro Backplane ja auch von Microsoft zertifiziert worden... aber was davon wirklich zu halten ist... kA. Das System funktioniert jedefalls mit einer passiven Backplane und zwei sogenannten "Daughter-Cards" und diese sind redundant ausgelegt. Die Shelfs von LSI/Intel/Netapp und EMC werden mit Sicherheit ähnlich aufgebaut sein... schließlich müssen ja nur zwei Pfade auf jeden Anschluss gehen. Netzteile sind ja immer doppelt ausgelegt...

Ich weiß, es ist ein hoher Anspruch. Ich wäre auch bereit draufzulegen. Grundsätzlich ist es aber das "konsolidierteste" System ohne SPOF - und dieses Leitwort macht die IT ja auch aus.

 

[Holt]

Was ist das denn?

One 6, 3, and 1.5Gb/s SATA port with
speed negotiation and signal retiming/
reconditioning

Compliant with SAS-2, SATA 2.6, and
SAT-2 industry specifications

SATA 2.6 ist eine 3Gb/s Norm, erst in der SATA 3.0 wurden 6Gb/s spezifiziert. Wenn der Chip die nicht erfüllt, dann würde ich die Finger davon lassen.

 

[McGizmo]

Ich weiß, es ist ein hoher Anspruch. Ich wäre auch bereit draufzulegen. Grundsätzlich ist es aber das "konsolidierteste" System ohne SPOF - und dieses Leitwort macht die IT ja auch aus.

Naja, die Sache ist ja - auf welcher Ebene setzt Du den "POF" an. Nehmen wir mal an, du bekommst die Hardware als solche tatsächlich redundant ausgelegt mit allem was dazu gehört (Strom, Storagepfade samt Controllern in Host und Storage, Verkabelung, Switche und so weiter). Dann ist das ja nicht schlecht - aber das ganze Storagesystem mit all seiner Redundanz steht in einem Raum. Der kann abbrennen, die Klima kann ausfallen (wie oft wird da die Redundanz vergessen), der Mensch baut scheiße ... und schwupp, stehen die Dienste und all die Redundanz hat nichts gebracht, weil das einzelne Storagesystem als solches eine Art SPOF darstellt.

Zugegeben, das ist so gesehen ein "höherleveliger" SPOF und man mag sich ganz bewusst entscheiden, dass das unwahrscheinlich genug ist um dagegen nichts zu unternehmen. Ich verstehe ja, dass dein Ansatz ist ein System "so schlank wie möglich" ohne SPOF aufzubauen, aber wie gesagt - meine Meinung (und mehr ist es nicht) wäre, dass das nicht geht. Da ist man halt mindestens mal bei ner Datacore o.Ä ... *


* Wobei dann wieder jemand kommt und sagt, ja aber wenn eine Seite down ist hat man auf der zweiten ja auch wieder nen SPOF und das Spiel geht von Vorne los.

 

[$chakal]

Hier übrigens mal das Handbuch zur Backplane im Supermicro: BPN-SAS2-216E
@Holt
Danke für den Hinweis. Das Widerspricht sich tatsächlich - auch mit dem was drüber steht:

One 6, 3, and 1.5Gb/s SATA port with
speed negotiation and signal reti
-
ming/reconditioning

Das macht schon einen schlechten Eindruck, aber technisch macht das für mich keinen Sinn. Aber das ist wirklich ein guter Hinweis. Am Montag rufe ich mal den - offenbar - kompetenteren Support aus München an. Mal sehen was die dazu sagen.

@McGizmo
Ich merk schon, wir denken da auf gleicher Wellenlänge. Ich muss dazu sagen, ich bin auch sehr beeinflusst worden von dem Buch von Oliver Liebelt - Linux Hochverfügbarkeit.
Er spricht auch davon, dass ein SAN auch immer ein SPOF ist und zwar genau mit der Argumentation, dass es eben an einem Ort ist. Also z.B. die Klimaanlage ausfällt (Ich hätte sogar tatsächlich zwei am Standort). Aber es ist tatsächlich nur Geo-Lokale Redundanz - aber wie du schon vermutest, dass reich mir wirklich. Ein Backup werde ich selbstverständlich vernüpftig auslagern.

Ein kleines Beispiel für diese trügerische SPOF-SAN Thema. Wir haben hier im Raum München ein RZ, welches wahnsinnig gut ausgestattet ist, aber niemand rechnete damit, dass ein Überflutung möglich. Selbst da war natürlich Geo-Kontinentale Redundanz für die wichtigsten Daten da, aber der Schaden der entstande wäre, wäre so gewaltig gewesen - glücklicherweise ist das Wasser vor den Türen zum stehen gekommen und nichts weiter passiert.

Wie gesagt, mir reicht einfach mehr Zeit um das defekte Teil zu tauschen.


Tja und der Mensch ist immer das Problem, aber das Leben ist Lebensgefährlich... ein Restrisko besteht immer. Ich werde Alkohol werden der Remoteverbindung vermeiden. ^^

EDIT:
Hier noch ein interessanter Link von einem der die selben Verständnisprobleme über SAS-SATA (Interposer) aufzeigt: https://www.ibm.com/developerworks/community/blogs/anthonyv/entry/riddle_me_this_when_is_a_sas_drive_not_a_sas_drive?lang=en

EDIT2:
Diese Jungs haben die gleich Diskussion: http://www.natecarlson.com/2010/05/07/review-supermicros-sc847a-4u-chassis-with-36-drive-bays/

EDIT3:
Im Fazit ist das Problem mit der Bandbreite auch nochmal erwähnt. 2400MB/s max.
http://www.storagereview.com/ixsystems_titan_316j_jbod_review

EDIT4:
Was mir übrigens extrem auffällt ist, dass viele kleinere Storage Buden einfach die Supermicro Chassis rebranden...

EDIT5:
HA, ich habe einen anderen gefunden... von Marvell

 

[Holt]

Das kommt oft daher, dass die Hersteller schon das wichtigste Feature einer kommenden Norm, die höhere Geschwindigkeit, implementieren wollen, ob die Norm verabschiedet ist. Intel ICH7 war auch so ein Fall, da wurden nur Teile der 2.0er SATA Norm wie eben die 3.0Gb/s realisiert, aber eigentlich entspricht sie nur der 1.0er Norm. Das da steht sogar recht deutlich im Datenblatt.

Was soll der SAS-SATA Interposer eigentlich bringen? Das Serial Tunneling Protocol (STP) ist doch Teil des SAS Protokolls, man kann also an jeden SAS Controller auch SATA Platten anschließen. Erst wenn man SATA Platten an SAS Expandern betreibt, gibt es da meines Wissens gerne mal Probleme.

 

[$chakal]

@Holt

Der Knackpunkt ist die redundante Verbindung der Festplatten. Ich habe ja zwei Nodes und diese müssen von beiden HBA's ans JBOD Gehäuse und von dort aus an die Festplatten. Und meistens ist wie bei der Supermicro-Lösung noch ein redundanter SAS-Expander vorgeschaltet.

Deshalb braucht man einen Active-Active-Multiplexer der quasi zwei Pfade zur Festplatte offen hält, einen für den ersten Node und den zweiten für den zweiten Node.

EDIT:
Weitere Überlegungen zu einem "all-flash-jbod" (rein theoretisch!)

Mal angenommen das mit den Interposern funktioniert (oder man nimmt halt echte SAS SSDs) und man nimmt diese Supermicro Backplane (BPN-SAS2-216EL2). Einen Port der insgesamt 3 Stück kann man wegen der Redundanz ja nicht nutzen. Dann hat man über die zwei verbliebenen ja 2x wide lanes, also jeweils 4fach (insgesamt 8 Lanes). 2400MB/s also vom Node0 und 2400MB/s vom Node1.
Zweite Frage ist, ob er die Power durch die redundante Auslegung zusätzlich kaskadieren kann. Das wären pro Expander dann 4800MB/s, also insgesamt 9600MB/s, maximal würden 24 SSD's mit einer Rate von 500MB/s also 12000MB/s zusammen bekommen. Angenommen man nimmt z.B. einen LSI SAS 9207-8e mit PCIe 3.0, der hat 8000MB/s für 2 Ports.
Die Limitierung liegt also beim HBA. Also faktisch bräuchte man für die SSD’s schon die 12Gb/s Generation. ^^
(Der LSI SAS 9300-8e würde indessen max. 40-50€ mehr kosten, nur die SAS-Expander können das natürlich nicht), aber 8GB/s, dass würde mir auch schon dicke reichen.

Ist mein Gedankenexperiment ohne Fehler? ^^

EDIT2:
Sogar ein dritter Node wäre möglich... diese kann man an den verblieben Port anschließen. Skalierbar ist das ganze nur über 3 Nodes und weitere HBA's... oder man fängt mit SAS-Switchen an ^^.

Oder man kann auch diesen noch zur Bandbreitensteigerung verwenden, allerdings kommt es dann darauf an, welcher der beiden SAS-Expander u.U. kaputt geht. Redundant ist es ja immer noch, aber der Durchsatz kann im Extremfall um 2/3 absinken.

 

[$chakal]

Update:

Das Stichwort zum Problem mit der Bandbreite in den Enclosure's heißt "DataBolt".

EDIT:
Hier noch ein schönes Bild zur Bandbreitenproblematik:

 

[bluesunset]

Du musst so oder so auf SAS 3.0 mit 12Gbit/sec warten, da nur mit den neueren externen Kabeln auch ein Management über diese möglich ist.

Beim Supermicro | Products | Chassis | 4U | SC847E26-RJBOD1 hast du das Problem, das nur je zwei x4 Ports in das Gehäuse hinein gehen. Diese sind an der vorderen Backplane an den beiden Expandern angeschlossen und an diesen hängt auch die hintere Backplane. Fällt also einer der beiden Expander an der vorderen Backplane aus, fehlen auch die Hälfte der HDDs an der hinteren Backplane.
Die weiteren beiden x4 externen Ports sind nur zum durchschleifen da. Was nur für Datengräber interessant ist wo nicht viel Bandbreite benötigt wird und man bewusst das Risiko eines Ausfalls hintereinander geschalteter Expander in Kauf nimmt.
Das Gehäuse fällt mit 2200 Euro Brutto eh aus deinem Preisrahmen heraus.

Die von dir angestrebte redundante Backplaneanbindung ist im übrigen nur bei SAS-HDDs mit zwei Ports gegeben. Bei SATA-HDDs fehlt schlichtweg die zweite Kontaktreihe und auch die Elektronik auf der Platine um von zwei Hostcontrollern gleichzeitig angesprochen werden zu können.

Stell dir 2, 3 oder auch 4 und mehr Storages mit z.B. Supermicro | Products | Chassis | 3U | SC836BE26-R920B zusammen. Anbinden kannst du den an deine Server mittels 8/16Gbit FC oder 10Gbit Ethernet und iSCSI. Wenn du an den CPUs nicht sparst würde auch 40/56Gbit Infiniband über QSFP(+) Kabel funktionieren - diese werden auch bei 40Gbit Ethernet verwendet.

 

[$chakal]

Du musst so oder so auf SAS 3.0 mit 12Gbit/sec warten, da nur mit den neueren externen Kabeln auch ein Management über diese möglich ist.

Was für ein Management? Ich will doch gar nix managen?! Was kann man damit tolles anstellen?

Beim Supermicro | Products | Chassis | 4U | SC847E26-RJBOD1 hast du das Problem, das nur je zwei x4 Ports in das Gehäuse hinein gehen. Diese sind an der vorderen Backplane an den beiden Expandern angeschlossen und an diesen hängt auch die hintere Backplane. Fällt also einer der beiden Expander an der vorderen Backplane aus, fehlen auch die Hälfte der HDDs an der hinteren Backplane.
Die weiteren beiden x4 externen Ports sind nur zum durchschleifen da. Was nur für Datengräber interessant ist wo nicht viel Bandbreite benötigt wird und man bewusst das Risiko eines Ausfalls hintereinander geschalteter Expander in Kauf nimmt.

Ich habe mir das angeschaut... du hast völlig Recht. Mir ist absolut schleierhaft wie sowas in der Kompatibilitätsliste für Shared Storage stehen kann. Toll gemacht, Microsoft.

Aber bei dem vorgeschlagenen SC216E26-R1200LPB sollte das doch passen... so wie ich das sehe, ist genau eine passive Backplane, welche zwei SAS-Expander verbindet. Da man auch nur die Version mit einem kaufen kann und trotzdem alle 24 Schächte ansteuern kann, ergibt sich von selbst, dass das dann auch wirklich voll redundant ist. Es wird ja auch so beworben.

Der Preisrahmen ist mir mittlerweile gar nicht mehr sooo wichtig, aber was ich vorhabe scheint ja leider eh nicht zu klappen... wegen der schlechten Erfahrungen mit den SAS-SATA Interposern.

Die von dir angestrebte redundante Backplaneanbindung ist im übrigen nur bei SAS-HDDs mit zwei Ports gegeben.

Ja, das weiß ich ja
Hast du den ganze Thread gelesen?

tell dir 2, 3 oder auch 4 und mehr Storages mit z.B. Supermicro | Products | Chassis | 3U | SC836BE26-R920B zusammen. Anbinden kannst du den an deine Server mittels 8/16Gbit FC oder 10Gbit Ethernet und iSCSI. Wenn du an den CPUs nicht sparst würde auch 40/56Gbit Infiniband über QSFP(+) Kabel funktionieren - diese werden auch bei 40Gbit Ethernet verwendet.

Ok... ich habe da nur noch nicht ganz verstanden, wie das dann mit der Redundanz läuft?

 

[bluesunset]

Ich habe den ganzen Thread gelesen, ja.
Beim Management ist wohl die Signalisierung betroffen, dass der Controller mit den LEDs der Backplane dir sagen kann welche HDD denn nun defekt ist usw. ggf. kann man bei der einen oder anderen Software auch die LEDs einzelner HDDs blinken lassen um eine bestimmte HDD zu finden, wie es auch bei Ethernet Netzwerkkarten von Intel möglich ist.

Es steht sehr oft genug Müll in irgendwelchen Empfehlungen. Letzten Ende merkt man es am Preis und das bestimmte Informationen einfach fehlen.

Habe das 3HE für 3.5" HDDs deswegen verlinkt, da man ab 3HE auch Erweiterungskarten mit voller Höhe ohne Riserkarten verwenden kann und das http://www.supermicro.com/products/chassis/2U/216/SC216BAC-R920LP.cfm noch nicht in deiner gewünschten BE2C Version verfügbar ist.
Supermicro® | Products | Supermicro® SAS 3.0 Solutions
Auch sind die 920 Watt Netzteile mehr als ausreichend und auch sparsamer, da weniger überdimensioniert und mit höherem Wirkungsgrad.

Die neueren Mainboards gibt es mit SAS 3.0 sowie Intels Dual 10Gbit LoM. Du kannst darüber dann halt die einzelnen Storage-Nodes an deine Server relativ günstig und auch redundant anbinden.
http://h20000.www2.hp.com/bc/docs/support/SupportManual/c01613420/c01613420.pdf wäre auf Seite 10 dann anstatt SAS zum Gehäuse eben über iSCSI.

Wenn du dich lange genug mit Windows Storage Spaces auseinander gesetzt hast und dir mal ZFS angeschaut hast, wirst du eh recht schnell feststellen, dass man unter Windows deutlich mehr Daten durch eine unsichere "Raid" Konfiguration verlieren kann als es normal nötig wäre.