GlusterFS-Cluster für Streaming-Plattform?

[MrFurgy]

Hallo zusammen,

ich hoffe ich bin im HWLuxx-Forum an der richtigen Adresse für sowas, aber ich denke schon.

Ich habe die schöne Aufgabe bekommen, ein etwas grösseres Storage-System zu planen für eine Streaming-Plattform. Das Datenvolumen aktuell sind ca. 110TB und ich rechne mit einem Wachstum von ca. 20TB/Jahr. Am Ende soll einfach NFS über 10GbE hinten rausfallen, andere Protokolle sind nicht vorgesehen.
Nun soll das ganze natürlich möglichst wenig kosten. Das Budget ist mit 30.000€ wirklich so niedrig, dass eigentlich alle Marken-System rausfallen.
Mein Gedanke war nun einen 2-node GlusterFS-Cluster, was mir aber noch ein paar Fragezeichen auf den Kopf setzt...

Die grösste Frage ist eigentlich, wie das ist mit dem CentOS, auf dem ich das gerne installieren möchte... Bau ich ein ZFS mit 24 Platten und einem "dummen" Controller, oder doch lieber 3x den Adaptec 8805 und bau 3 RAID? Die Docs von GlusterFS empfehlen ja eher XFS... Oder gibt es vielleicht RAID-Controller mit 24 Plätzen? Ist es überhaupt sinnvoll ein RAID mit so vielen Platten zu bauen?

Hier mal die 2 Konfigurationen, die ich rausgesucht habe:

2x Intel Xeon E5-2620 v3 880€
1x Supermicro X10DRH-iT 620€
8x 8GB DDR4-2133 reg ECC 450€
1x Supermicro 846TQ-R1200B 1300€
1x DeLOCK 89380 + 2x m.2 SSD 128GB 250€
2x Dual-Port 10GbE 550€
24x Seagate Surveillance 8TB 7200rpm 8100€
1x Areca ARC-1284Ml 1000€
-> 13150€

2x Intel Xeon E5-2620 v3 880€
1x Supermicro X10DRH-iT 620€
8x 8GB DDR4-2133 reg ECC 450€
1x Supermicro 846TQ-R1200B 1300€
1x DeLOCK 89380 + 2x m.2 SSD 128GB 250€
2x Dual-Port 10GbE 550€
24x Seagate Surveillance 8TB 7200rpm 8100€
3x Adaptec RAID 8805 1500€
-> 13650€

Die 2 m.2-SSDs kommen auf den DeLOCK-Adapter, da das Gehäuse ja mit den 24 Platten voll ist.

Die 2 Dual-Port 10GbE-Netzwerkkarten würde ich dann so konfigurieren, dass jeweils ein Port zum Switch geht und der andere direkt zum anderen Node für den Cluster-Interconnect und Heartbeat.

Wäre hier "Distributed Replicated Storage" der richtige Betriebsmodus für GlusterFS? Dann würde sich das um x Nodes erweitern lassen, und die Kapazität würde steigen, oder?

Ich hoffe wirklich auf konstruktive Vorschläge.

Vielen Dank.

Alex

 

[NiclasM]

Schönes Projekt auf jeden Fall! Auch wenn das Budget wie immer das ganz große Thema ist.
Ich würde mir überlegen ob nicht ein SAS JBOD mit SAS Platten möglich wäre. Dann könntest du mit Windows Server 2012 R2 und Failover Cluster einen Scale Out File Server bauen mit HA Storeage und HA VMs für das Hosting. Dann bräuchtest du auch nur "dumme" SAS HBA's. Zudem kannst du je nach Konstellation bei den Platten ordentlich bei der Menge einsparen und brauchst nicht zwei große Gehäuse. Kann gleich mal eine Aufstellung machen wenn du willst.

Edit: Zumal du da die Option hast an das eine JBOD ein neues Dranzuhängen und den Storage on the fly zu erweitern!

- - - Updated - - -

2x JBOD Case (3700,00)
Supermicro 837E16-RJBOD1
44x SAS (15488,00)
HGST Ultrastar 7K6000 512e 6TB, SAS 12Gb/s (HUS726060AL5210/0F22791)

Damit hättest du etwa 132 TB bei einem 2 Way Mirror.

Bleiben noch etwa 10.812,00 für zwei Server + SAS HBA's. Denke das sollte mal dicke hinkommen, oder sogar noch mehr Platten in das Storage hauen.

Übrings würde ich mir Gedanken um Backup machen. Egal welches System, solche Systeme können dir nie garantieren dass nicht irgendwas schief geht. Ob ZFS oder Storage Spaces. Backup!

 

[l0n]

Ich nehme an wie reden von einem Produktivsystem das Geld verdient?

Wenn ja, weg von Eigenbau-Lösungen! Wenn dir irgendwas abraucht stehst du wie der Ochse vorm Berg... Nicht unbedingt etwas das man haben möchte wenn die Plattform dein Monatssold mitträgt!

Gebraucht aber Support-Vertrag wäre hier wohl eine mögliche Lösung, mit entsprechenden SLA's ist es auch fast egal ob die Maschinen gebraucht sind.

Folgendes wäre mein Vorschlag:

NetApp FAS6080 / FAS 6080 - 96TB
Die Storage mal 2 (oder 3, zwei im Cluster, eine als Hot-Spare)

Die Maschinen als Frontend des CDN, ebenfalls 2 Stück:
HP ProLiant DL380G8

Sind zusammen (2 Filer, 2 Server) roundabout 28000€ netto... Als Firma kann man ja die 19% Märchensteuer vergessen. Dazu noch passend die Coreswitche, die Kabel und die Supportverträge, sollte ohne Steuer die 30.000e nicht übersteigen.

Wenn da was über die Klinge springt hast du bei guten SLA innerhalb von 4h wieder ein laufendes System.

 

[MrFurgy]

Schönes Projekt auf jeden Fall! Auch wenn das Budget wie immer das ganz große Thema ist.
Ich würde mir überlegen ob nicht ein SAS JBOD mit SAS Platten möglich wäre. Dann könntest du mit Windows Server 2012 R2 und Failover Cluster einen Scale Out File Server bauen mit HA Storeage und HA VMs für das Hosting. Dann bräuchtest du auch nur "dumme" SAS HBA's. Zudem kannst du je nach Konstellation bei den Platten ordentlich bei der Menge einsparen und brauchst nicht zwei große Gehäuse. Kann gleich mal eine Aufstellung machen wenn du willst.

Edit: Zumal du da die Option hast an das eine JBOD ein neues Dranzuhängen und den Storage on the fly zu erweitern!

- - - Updated - - -

2x JBOD Case (3700,00)
Supermicro 837E16-RJBOD1
44x SAS (15488,00)
HGST Ultrastar 7K6000 512e 6TB, SAS 12Gb/s (HUS726060AL5210/0F22791)

Damit hättest du etwa 132 TB bei einem 2 Way Mirror.

Bleiben noch etwa 10.812,00 für zwei Server + SAS HBA's. Denke das sollte mal dicke hinkommen, oder sogar noch mehr Platten in das Storage hauen.

Übrings würde ich mir Gedanken um Backup machen. Egal welches System, solche Systeme können dir nie garantieren dass nicht irgendwas schief geht. Ob ZFS oder Storage Spaces. Backup!

Hi,

bei 132TB müsste ich dann ja Ende 2016 / Anfang 2017 schon Platten nachschieben...
Wie wäre das denn da machbar?
Backup ist bereits geklärt, das machen die Jungs aus einer anderen Abteilung...

Ich nehme an wie reden von einem Produktivsystem das Geld verdient?

Wenn ja, weg von Eigenbau-Lösungen! Wenn dir irgendwas abraucht stehst du wie der Ochse vorm Berg... Nicht unbedingt etwas das man haben möchte wenn die Plattform dein Monatssold mitträgt!

Gebraucht aber Support-Vertrag wäre hier wohl eine mögliche Lösung, mit entsprechenden SLA's ist es auch fast egal ob die Maschinen gebraucht sind.

Folgendes wäre mein Vorschlag:

NetApp FAS6080 / FAS 6080 - 96TB
Die Storage mal 2 (oder 3, zwei im Cluster, eine als Hot-Spare)

Die Maschinen als Frontend des CDN, ebenfalls 2 Stück:
HP ProLiant DL380G8

Sind zusammen (2 Filer, 2 Server) roundabout 28000€ netto... Als Firma kann man ja die 19% Märchensteuer vergessen. Dazu noch passend die Coreswitche, die Kabel und die Supportverträge, sollte ohne Steuer die 30.000e nicht übersteigen.

Wenn da was über die Klinge springt hast du bei guten SLA innerhalb von 4h wieder ein laufendes System.

Natürlich wird mit dem System Geld verdient.

Warum weg vom Eigenbau? Das ist ja kein billig-NAS, das ist eine ausgereifte Software von einem vernünftigen Hersteller und die Hardware wird von einem Lieferanten getestet.
Dein Vorschlag ist wohl gut gemeint, aber mit NetApp habe ich persönlich zu schlechte Erfahrugen gemacht, ganz davon abgesehen wie viel von den 96TB brutto verheizt wird für das RAID-DP und das WAFL...

 

[NiclasM]

Hi,

bei 132TB müsste ich dann ja Ende 2016 / Anfang 2017 schon Platten nachschieben...
Wie wäre das denn da machbar?
Backup ist bereits geklärt, das machen die Jungs aus einer anderen Abteilung...

Du könntest bei dem System erstmal dein zweiten JBOD voll machen und würdest bei Two Way auf 168 TB Storage komment. Wenn du das ganze erweitern möchtest, kaufst du ein dritten JBOD, Festplatten und ggfs. noch zwei SAS HBA und schließt den dritten JBOD an die Server an. Du hast bei SAS die Möglichkeit die JBOD Cases zu Kaskadieren was dir jedoch Performance Einbuße gibt oder wenn du Server Mainboard mit vielen PCI-E 3.0 Slots kaufst, einfach mehrere HBA's dran. Baust du das System direkt mit zwei oder drei JBODs auf, könntest du Storage Space sagen dass er die Dateien nicht nur Mirrorn soll, sondern dass die Kopie auf einer Festplatte eines anderen JBODs liegt. Komme gerade nicht auf den Funktions Namen.

 

[l0n]

Na dann guck doch bei den OpenStoragePod Jungs vorbei --->

Backblaze - 67TB for 7,000$

Entsprechende CDNs musst du dann selbst davor hängen.

 

[WebY]

Ich nehme an wie reden von einem Produktivsystem das Geld verdient?

Wenn ja, weg von Eigenbau-Lösungen! Wenn dir irgendwas abraucht stehst du wie der Ochse vorm Berg... Nicht unbedingt etwas das man haben möchte wenn die Plattform dein Monatssold mitträgt!

Gebraucht aber Support-Vertrag wäre hier wohl eine mögliche Lösung, mit entsprechenden SLA's ist es auch fast egal ob die Maschinen gebraucht sind.

Folgendes wäre mein Vorschlag:

NetApp FAS6080 / FAS 6080 - 96TB
Die Storage mal 2 (oder 3, zwei im Cluster, eine als Hot-Spare)

Die Maschinen als Frontend des CDN, ebenfalls 2 Stück:
HP ProLiant DL380G8

Sind zusammen (2 Filer, 2 Server) roundabout 28000€ netto... Als Firma kann man ja die 19% Märchensteuer vergessen. Dazu noch passend die Coreswitche, die Kabel und die Supportverträge, sollte ohne Steuer die 30.000e nicht übersteigen.

Wenn da was über die Klinge springt hast du bei guten SLA innerhalb von 4h wieder ein laufendes System.

Der Support wird das Problem sein..alleine die jährliche Erweiterung für unsere 50 TB Netapp FAS 3200 Series kostet mal eben so 64.000 € Darum ist das Ding nun auch raus, da man nach ein paar Jahren davon eine größere SVC Lösung finanzieren kann.

 

[OpamitKruecke]

Der Support wird das Problem sein..alleine die jährliche Erweiterung für unsere 50 TB Netapp FAS 3200 Series kostet mal eben so 64.000 € Darum ist das Ding nun auch raus, da man nach ein paar Jahren davon eine größere SVC Lösung finanzieren kann.

Der Support bei Netapp wird gefühlt auch immer schlechter, insbesondere von fachlicher Seite.

 

[WebY]

Der Support bei Netapp wird gefühlt auch immer schlechter, insbesondere von fachlicher Seite.

Bei uns fallen nur die ganzen alten Seagate Platten aus...sind nun aber auch 6 Jahre alt und die Wartung läuft nächsten Monat aus. Dann ist das Teil nur noch Azubi Spielzeug

 

[NiclasM]

Btw: Wenn einer noch SAS Shelfs von NetApp über hat, PN .

 

[jdl]

Die grösste Frage ist eigentlich, wie das ist mit dem CentOS, auf dem ich das gerne installieren möchte... Bau ich ein ZFS mit 24 Platten und einem "dummen" Controller, oder doch lieber 3x den Adaptec 8805 und bau 3 RAID? Die Docs von GlusterFS empfehlen ja eher XFS... Oder gibt es vielleicht RAID-Controller mit 24 Plätzen? Ist es überhaupt sinnvoll ein RAID mit so vielen Platten zu bauen?

Warum nicht gleich einen Server BareBone von SuperMicro und ihn entsprechend ausgestattet vom Händler mit Support kaufen?
Beispiel dafür SuperMicro SSG-6048R-E1CR72L Du brauchs noch CPUs (die von Dir rausgesuchten sind ok), RAM, Platten und ggf. einen anderen RAID Controller (LSI ist zu empfehlen, weil auch die Backplane von LSI ist). Ein IT Mode Controller sind schon dabei. Bedarf für einen SSD Cache sehe ich ehrlich gesagt nicht, dann lieber mehr RAM in den Server. Ganz wichtig nur Festplatten nehmen, die für den RAID Controller zertifiziert sind.