Neues Konzept Server Architektur (Failover Cluster) - Zentraler Storage (ja/nein)

[Syntex]

Hallo,

ich beschäftige mich gerade mit den Thema einer neuen Server Architektur.

Geplant ist es, dass es 2 Server Systeme werden sollen. 2 Dell PowerEdge Server vorhanden.
Diese sind mit 2x OnBoard 1GBit ausgestattet, sowie QP-Intel 1GBit und DP-Intel 10GBit.
Geplant ist, dass es ein Failover Cluster werden soll. Als Betriebssystem soll Windows Server 2016 eingesetzt werden.

Insgesamt sind 8 VM's vorhanden, sowie ca. 20 TB an Daten.

Die NAS Festplatten sollen regelmäßig d.h. alle 12-24 Monate durchgetauscht werden.

Im Augenblick stellt sich mir die Frage, ob es Sinnvoll das vorhaben über einen NAS z.B. Synology, QNAP zu realisieren, worauf die 2 Nodes die Daten speichern. Hier ist jedoch die Gefahr, wenn das NAS ausfällt, keine Dienste mehr laufen.


Was ich mir vorstellen kann:


2 Nodes - Storage Spaces Direct
2 Server Systeme
HDD für OS

Storage Space Direct Pool
NVME SSD als Cache
HDD für Daten


2 Nodes mit Storage (NAS)
2 Server Systeme
HDD für OS im Server (evtl. Diskless mittels PXE-Boot?)
NAS für Daten

a) Raid 5
aa) iSCSI LUN
ab) SMB 3.0

b) JBOD - Storage Spaces


Folgende Fragen stellen sich mir:
- Wie sehen die Rebuild Zeiten aus im Vergleich Raid 5 ./. Storage Spaces ?
- In welcher Konstellation erhalte ich die beste Performance für die VM's sowie Datenspeicher?


Vielen Dank im voraus für Eure Ideen und Mithilfe!

 

[VirtuGuy]

Hallo,


Folgende Fragen stellen sich mir:
- Wie sehen die Rebuild Zeiten aus im Vergleich Raid 5 ./. Storage Spaces ?
- In welcher Konstellation erhalte ich die beste Performance für die VM's sowie Datenspeicher?

1. S2D hat bei entsprechender BP Konfiguration praktisch "keine" spürbaren Rebuildzeiten.

2. Aktuellen Samba Versionen fehlen noch entscheidende SMB 3.x Features die für den Betrieb eines Hyper-V Clusters erforderlich sind.


Die beiden Varianten wollen mMn nicht so recht zusammen passen. Auf der einen Seite willst du ~9k Euro alleine für 2 Windows Lizenzen ausgeben, auf der anderen Seite dann den Storage mit einem QNAP betreiben?

 

[-INU-]

Zumindest Synology bietet auch HA und Failover:
RC18015xs+ - Produkte | Synology Inc.
Synology High Availability - DSM 6.1 | Synology Inc.
iSCSI und Virtualisierung - DSM 6.1 | Synology Inc.

 

[besterino]

Ohne zu wissen, was Du damit vor hast und ob Du das produktiv einsetzen willst: Wenn Du "nur" zwei physische Kisten hast, würde ich wohl mein Glück zuerst mit S2D ausprobieren. Aber: die Anforderungen (Storage Spaces Direct Hardware Requirements) an die Disks sind nicht ganz ohne: Mal entspannt 2x4 Capacity Drives und dann ggf. noch 2x2 NVME als Caches für die Daten plus 2x2 irgendwas fürs OS.

Damit hast Du dann nach meinem Verständnis halt ein active/active Storage plus Failover Hyper-Cluster plus eben diverse andere Features einer "Sortenreinen" Konfiguration wie eben SMB-Multichannel & Co. Das bekommst Du m.W. so kaum mit einer anderen Lösung hin.

Mit Synology & Co. musst Du im Zweifel mit iSCSI Shares arbeiten und wie du schon schreibst, ist das Storage dann immer noch das schwächste (nicht-redundante) Glied in der Kette. Pro und Contra musst Du wohl selbst abwägen, hängt ja auch davon ab, wie deine restliche Infrastruktur aussieht (doppelte NICs, doppelte Switches etc.).

 

[Syntex]

1. S2D hat bei entsprechender BP Konfiguration praktisch "keine" spürbaren Rebuildzeiten.

2. Aktuellen Samba Versionen fehlen noch entscheidende SMB 3.x Features die für den Betrieb eines Hyper-V Clusters erforderlich sind.


Die beiden Varianten wollen mMn nicht so recht zusammen passen. Auf der einen Seite willst du ~9k Euro alleine für 2 Windows Lizenzen ausgeben, auf der anderen Seite dann den Storage mit einem QNAP betreiben?

Welches ist deine BP-Konfiguration?

Nehmen wir die Kosten für die Lizenz vorab weg, so bleiben für mich tatsächlich nur die Kosten für die Hardware. Daher auch meine o.g. Anforderung.

Zumindest Synology bietet auch HA und Failover:
RC18015xs+ - Produkte | Synology Inc.
Synology High Availability - DSM 6.1 | Synology Inc.
iSCSI und Virtualisierung - DSM 6.1 | Synology Inc.

Das HA Feature von Synology habe ich auch schon gesehen. Finde ich grundsätzlich sehr Interessant. Hat das schon jemand am laufen / getestet?
Würde es hier möglich sein, dass ein Storage ausfällt (defekt) und die VM's Live Migriert werden ohne das diese abstürzten?

Ohne zu wissen, was Du damit vor hast und ob Du das produktiv einsetzen willst: Wenn Du "nur" zwei physische Kisten hast, würde ich wohl mein Glück zuerst mit S2D ausprobieren. Aber: die Anforderungen (Storage Spaces Direct Hardware Requirements) an die Disks sind nicht ganz ohne: Mal entspannt 2x4 Capacity Drives und dann ggf. noch 2x2 NVME als Caches für die Daten plus 2x2 irgendwas fürs OS.

Damit hast Du dann nach meinem Verständnis halt ein active/active Storage plus Failover Hyper-Cluster plus eben diverse andere Features einer "Sortenreinen" Konfiguration wie eben SMB-Multichannel & Co. Das bekommst Du m.W. so kaum mit einer anderen Lösung hin.

Mit Synology & Co. musst Du im Zweifel mit iSCSI Shares arbeiten und wie du schon schreibst, ist das Storage dann immer noch das schwächste (nicht-redundante) Glied in der Kette. Pro und Contra musst Du wohl selbst abwägen, hängt ja auch davon ab, wie deine restliche Infrastruktur aussieht (doppelte NICs, doppelte Switches etc.).

Die Anforderungen an S2D sind wirklich doch schon sehr hoch. Das HA Cluster soll nur bei mir Zuhause eingesetzt werden. Bei 2 physischen Servern kann ich mir S2D sehr gut vorstellen.
Bei den NAS Systemen würdest du also empfehlen mittels iSCSI Shares zu arbeiten und diese Festplatten nicht mittels JBOD durchzureichen um daraus im Windows ein Storage Space zu bilden?
Die Ursprungsfrage die sich mir stellt ist, wie die Performance von iSCSI um Gegenzug zum S2D ist.

Zu Infrastruktur kann ich ausführen, dass ich doppelte NIC's in den Servern habe sowie doppelte Switche.

 

[besterino]

Praxiserfahrung zur Performance iSCSI vs. S2D habe ich selber nicht aber in der Theorie müsste S2D schneller sein, einfach weil damit primär das lokale Storage angesprochen wird (wobei das zumindest beim Schreiben ggf wieder wieder durch die Spiegelung auf den 2. Server ausgebremst werden könnte).

Zum Thema JBOD vs. iSCSI: Wie willst du JBOD Disks in einem NAS denn den Servern zur Verfügung stellen? NFS ist in der Windows-Welt eher Käse und SMB fressen die auch nur unter engen Voraussetzungen. Bist Du sicher, dass Du über SMB-Freigaben z.B. einer Syno überhaupt Storage Spaces aufspannen kannst? Habe da meine Zweifel.

 

[Syntex]

Praxiserfahrung zur Performance iSCSI vs. S2D habe ich selber nicht aber in der Theorie müsste S2D schneller sein, einfach weil damit primär das lokale Storage angesprochen wird (wobei das zumindest beim Schreiben ggf wieder wieder durch die Spiegelung auf den 2. Server ausgebremst werden könnte).

Zum Thema JBOD vs. iSCSI: Wie willst du JBOD Disks in einem NAS denn den Servern zur Verfügung stellen? NFS ist in der Windows-Welt eher Käse und SMB fressen die auch nur unter engen Voraussetzungen. Bist Du sicher, dass Du über SMB-Freigaben z.B. einer Syno überhaupt Storage Spaces aufspannen kannst? Habe da meine Zweifel.

Unabhängig davon zu welcher Lösung ich später komme, möchte ich auf jeden fall für die VM's SSD/NVMe Speicher verwenden. Alternativ könnte ich mir auch vorstellen, HDD Speicher zu nehmen und die SSD/NVMe als Cache zu nutzen (siehe dazu Storage Spaces Tiering).

Ich habe mich gerade etwas ungeschickt ausgedrückt, sorry. Ich meinte folgendes:

Variante
1: Raid 5 einrichten als iSCSI LUN nutzen
2: Die einzelnen Festplatten mittels iSCSI LUN mit Windows verbinden, Storage Pool erstellen (Parity)

 

[VirtuGuy]

Welches ist deine BP-Konfiguration?

Nehmen wir die Kosten für die Lizenz vorab weg, so bleiben für mich tatsächlich nur die Kosten für die Hardware. Daher auch meine o.g. Anforderung.

Im Grunde schlicht und einfach dafür zertifizierte HW, aber bei privater Nutzung wird dies vermutlich kein Thema sein. Wenn du 2x NVME, 4x SSD und 8x HDD verbaust, wird dein Netzwerk zum Flaschenhals.

Die Anforderungen an S2D sind wirklich doch schon sehr hoch. Das HA Cluster soll nur bei mir Zuhause eingesetzt werden. Bei 2 physischen Servern kann ich mir S2D sehr gut vorstellen.
Bei den NAS Systemen würdest du also empfehlen mittels iSCSI Shares zu arbeiten und diese Festplatten nicht mittels JBOD durchzureichen um daraus im Windows ein Storage Space zu bilden?
Die Ursprungsfrage die sich mir stellt ist, wie die Performance von iSCSI um Gegenzug zum S2D ist.

S2D erfordert lokale Platten, iSCSI wird nicht unterstützt. Wenn du ein QNAP hast, dann leg dort für deine VM´s entsprechende Devices an und häng diese per iSCSI in deinen Cluster. Die Redundanz musst du dann mit einem zweiten NAS realisieren. Oder du baust lokale Platten in deinen Server ein und verwendest eine Lösung wie S2D oder eine andere VSAN Lösungen (Starwind/HP/etc). Mit RDMA tauglichen Netzwerkkarten stichst du iSCSi bezüglich Performance locker aus.

 

[NiclasM]

Ich hatte generell schon mal einen großen Speicherverlust eines Storage Spaces von etwa 20 TB.
Viel wichtiger als deine Verfügbarkeit sollte die Thematik deiner Backup Struktur sein.

Ich würde überlegen statt eines Failover Clusters, ein schnelles Aktives und schnelles Backup System mit kurzen Invervallen aufzubauen, wo du einen Restore in weniger als 1 Std. erreichen kannst.

 

[gea]

Ich würde überlegen statt eines Failover Clusters, ein schnelles Aktives und schnelles Backup System mit kurzen Invervallen aufzubauen, wo du einen Restore in weniger als 1 Std. erreichen kannst.

Ich kann dem nur aus ganzem Herzen zustimmen.
Active/ Active Failover Cluster sind nicht trivial, sehr teuer wenns taugen soll und aufwändig im Management und oft mit massiven Performanceverlusten behaftet. Eigentlich nur was für Anwendungen in der Art eines AKW das nie ausfallen darf und auch da ist es schon passiert.

Sobald man von dem Echtzeit-Failover weggeht und 30 Minuten Downtime zuläßt, wird es plötzlich trivial und für einen technisch halbwegs versierten Admin machbar, auch wenn er das nicht ausschliesslich sondern "unter anderem" managen muss.

Ein Backup-System mit der Fähigkeit des Storage und Service Failover innerhalb kurzer Zeit ist auch meine bevorzugte Lösung.

 

[tbol]

Da ist es wieder... mein geliebtes active-active Failover Cluster....

Ich habe bestimmt schon hundert Konstellationen durchgespielt mit welcher Hardware udn Software das am besten und user(freund/feind)lichsten es möglich ist.

Letzten Endes gibt es für mich nur die 2 Möglichkeiten: Baue es selber und vertraue auf deine Fähigkeiten oder kaufe es teuer ein.


Es ist wie immer eine Religionsfrage. Ich persönlich tendiere zu Hause zu dem einfachen Prinzip: RAID + Backup + 2nd Backup.
Klingt vielleicht für den Heimgebrauch etwas oversized aber naja, wenn Bastler eben basteln, dann kann es schonmal dazu kommen, dass man eben auch das Backup verbastelt hat, da macht sich ein 2. Backup nicht schlecht.

Praktisch sieht das wie folgt aus: Synology (RAID-1) backupt Daten auf 2. Synology (ebenfalls RAID1), die wiederum ein die Daten auf eine externe Platte backupt.
Ich weiß, ein "richtiges BACKUP" ist das nicht, aber es reicht für die Use-Cases zu Hause (Hätte nie gedacht, dass ich so viel HW um die Anwendungsfälle herum konzipiere).

Single-Disk-Failure-Rebuild-Zeit liegt bei rund 3 Stunden.
Failover-Zeit liegt bei 1 Minute (DNS Eintrag für Storage auf 1st Backup umbiegen (falls 1. Synology komplett ausfällt)).
Restore-Zeit liegt bei ~3 Stunden, da Spare-Platte vorhanden


Bisher habe ich mit dem Konzept selbst vermeintlich ins Wasser fallende Filmabende (bei Ausfall) binnen kürzester Zeit wieder gerettet und somit den WAF erfolgreich erhalten.


Wenn man ein DFS betreibt könnte man sogar 2 Targets (1st und 2nd Synology) immer anhaben und der Client bekommt vermutlich nicht mal viel mit (außer vllt Verbindungsabbruch + neu connecten), aber ich schweife schon wieder viel zu sehr ab.




EDIT: HW-Failover ist Mist und kostet nur unnötig Geld. Failover über Software bringt's

 

[Hilli89]

Bei der Konstellation (Synology) meinst du aber nur die Verfügbarkeit von SMB-Freigaben (z.B. zum Filme gucken..), oder?

Hier geht es ja aber um den Betrieb von VMs, da führt ein Verbindungsabbruch zum Storage zu ganz anderen Problemen als nur ein stehendes Videobild.

Oder kann die Synology auch iSCSI-Multipathing und das gespiegelte anbieten von Targets?

 

[konfetti]

Naja, in dem Fall würde man schon mal auf ein Redundantes Storage setzen, d.h. eines mit 2 Controllern, das ist dadurch schon mal deutlich ausfallsicherer - ggf. kann man dann durch die Software der Hersteller eben active-active auf 2 Systemen mit einer minimalen Differenz fahren - wir haben auch sowas schon konzipiert, kostet ohne Ende Geld. - ist das noch für den Heimgebrauch oder schon Business?

 

[timiner2mc]

Bei Active-Active gibt es (eigentlich) keine "minimale Differenz", wenn synchron gespiegelt wird. Wenn Du natürlich eine asynchrone Replikation verwendest, hast Du eben jene Differenz, die zwischen den Replication-Schedules entsteht. Ist dann aber auch keine Active-Active Lösung mehr.

Kommt aber auch immer ein wenig auf den Hersteller an. Bei guten Storage-Systemen kannst Du bei synchroner Replikation wählen, ob Du sog. High Consistency möchtest (deine Storages sind zu 100% identisch, komme was wolle) oder High Availability (der Fokus liegt auf der Verfügbarkeit, ist das Repl-Ziel mal nicht erreichbar, werden die Deltas vorgehalten bis das Ziel wieder erreichbar ist, dann werden diese repliziert.) <= deswegen "eigentlich keine Differenz", bzw im normalen Betriebsmodus hast Du effektiv keine Differenz.

Je nachdem wo der Fokus liegt. Manche Anwendungen möchten gerne immer ihre IOs niederschreiben, bei anderen Szenarien müssen die Daten zu 100% identisch sein... Je nach Einsatzzweck.

 

[konfetti]

mir gings eher um 2 Storages für VM Hosts - je nach Bauart gibts das schon - wir hatten da mal was von NetApp - bedingt durch die Entfernung der beiden Rechenzentren (~250Km) gab es da schon eine Differenz, wenn das Zielsystem nicht Rechtzeitig fertig war - wir haben das Anfangs ohne Produktivdaten getestet und gemessen gehabt, kommt immer drauf an, wie man repliziert und was man damit abfangen möchte.

Am Ende hat der Kunde dann quasi seine active-active Anforderung verworfen und ist auf active-hot-standby umgeschwenkt, bei dem ein max. Zeitverlust von 2 Minuten gegeben war. -> Budget für das Ganze war im M€ Bereich, also nix für zu Hause, und selbst da gings ja eben auch nicht besser, da einfach der Weg zwischen den 2 Storagesystemen der Flaschenhals war.

Beide Systeme haben sich aber anfangs immer als active-active gemeldet.

 

[Fr3@k]

Ich hab mir die Synology HA Lösung mal angesehen - wirkt jetzt nicht so prickelnd, sowohl Preislich (min 2x RC18015xs+, 1x RXD1215sas da bist du ohne HDDs schon bei 10k) als auch von der gebotenen Leistung, wenn ich mir in der Doku die Umschaltzeiten bei einem Ausfall anschaue (da steht was von 60sec) finde ich das nicht so prickelnd in Hinblick wenn da VMs drauf laufen würden.
Zum Vergleich eine EMC² VNXe 1600 mit 2 SPs und etwa 1,7TB Nutzkapazität auf SAS und 10GBe kostet etwas um die 8,5k und da hab ich eine Active-Active Konfiguration.

 

[NiclasM]

Eine ggfs. noch nicht aufgekommene Idee wäre von SuperMicro die Cluster in a Box Systeme zu verwenden.
Ein Chassi, Zwei Server, Multipath Backplane, Clustered Storage Spaces, Failover Cluster mit Hyper-V VMs.