Redundanter Fileserver - ceph, GlusterFS, ZFS

[MSN]

Hi!

Ich habe kürzlich den Auftrag erhalten unseren alten Fileserver zu ersetzen. Erste idee war 2 Server mit ZFS + GlusterFS für die Replikation zwischen den hosts.

Mit dieser intention habe ich folgendes gekauft:
2 Dell R730 mit:
- 240GB Ram
- 2 * 240GB SSD Mix use - fürs OS, Raid 1
- 2 * 200GB SSD Write Intensive - als SLOG/ZIL, Raid 1
- 2 * 480GB SSD Read Intensive - als L2ARC, Raid 0
- 10 * 2TB HDD im Raid 10 oder Raid 6
- 2 * 10Gbit Uplink
(Die Raids natürlich mit ZFS)

Ein kollege ist allerdings in letzter zeit sehr unzufrieden mit GlusterFS (er betreibt ein Gluster mit 3 Knoten und hatte muss wohl nach jedem Update oder reboot das Gluster reparieren. Wobei ich nicht sicher bin wie kompetent die einrichtung vorgenommen wurde...) und hat deshalb vorgeschlagen mal Ceph aus zu probieren. Damit hat hier allerdings noch niemand erfahrung. Daher ergeben sich ein paar fragen:

1. Was haltet ihr für sinnvoller: GlusterFS und ZFS oder Ceph?
2. Was kann Ceph mit den SSDs anfangen? Ich habe schon rausgefunden, dass man SSDs als Journal verwenden kann und dass es cache tiering gibt. Der "Read-forward Mode" bzw. "Read-proxy Mode" klingt nach ZIL, der "Read-only Mode" nach L2ARC. Kann ich in Ceph 2 Cache Tiers anlegen, die Write Intensive SSDs im "Read-forward Mode", die Read Intensive SSDs im "Read-only Mode"?
3. Habt ihr weitere vorschläge/alternativen?

Grüße,

Marc

 

[gea]

Die entscheidenden Fragen sind:

- Ist Echtzeit Failover essentiell

Wenn das nötig ist wird es kompliziert, teuer, ohne entsprechenden Aufwand auch langsam
Dann brauchts Cluster Dateisysteme, Ceph, RSF-1 von high-availability etc

Ohne Erfahrung oder externen Support mit SLA: auf keinen Fall


- Reicht Replikation bei dem sich zwei Storagesysteme z.B. im Minutenbereich replizieren
und das zweite System als Backup und Failover genutzt wird,
Dann ist das einfach im Handling und günstig. Dazu brauchts nur zwei ZFS Storagesysteme mit Netzwerkreplikation. Das läuft auch auf einem Hochlastserver im Petabyte Bereich ohne Performanceprobleme.

z.B. auf BSD-Basis TrueNAS (kommerziell) oder Nas4Free/NAS4Free (frei)
oder auf Solarish Basis Oracle Solaris mit Original-ZFS oder NexentaStor (kommerziel) oder OmniOS als freier Solaris Fork und mein napp-it

Für einen reinen Fileserver kann man die ganzen SSD Schreib/LeseCaches vergessen. RAM macht das bei ZFS viel besser.
Wenn man für VMs oder Datenbanken sicheres Schreiben benötigt, eine größere Intel Optane einsetzen,
siehe meine Performancevergleiche unter http://napp-it.org/doc/downloads/optane_slog_pool_performane.pdf

 

[bigghost]

Waren bei CEPH nicht 3 Nodes Pflicht ? Dann fehlt dir eh noch ein Server.
Wir hatten mal einen DELL Berater im Hause die erzählten von einem Kunden der CEPH als Storage für Virtualisierung nutzt.
Dieser war wegen der Performance ziemlich unzufrieden. Weiß aber nichts genaueres über das Setup etc...

Nas4Free kann kein HA und TrueNAS bringt es mit aber bekomst du nicht als Softwareonly sondern nur mit deren Hardware. Glaube ich zumindest.

Vielleicht ist Nutanix Hyper-Converged Scale-Out Cluster was für dich oder von Compuverde vNAS vNAS – hyperscale storage | Compuverde

Die Software von Compuverde hatte ich mal getestet und war sehr zufrieden damit. Am Ende hatten wir uns aber doch für EMC entschieden.

 

[Digi-Quick]

NAS4Free kann ebenfalls HA!!
Du meintest vermutlich FreeNAS
TruNAS ist quasi der kommerzielle Zweig von FreeNAS - inkl. Hardware und Support. Wobei TruNAS wohl nur für Flash-Only oder Hybrid (SSD/HDD) Systeme angeboten wird - laut Webseite

 

[bigghost]

NAS4Free kann ebenfalls HA!!
Du meintest vermutlich FreeNAS
TruNAS ist quasi der kommerzielle Zweig von FreeNAS - inkl. Hardware und Support. Wobei TruNAS wohl nur für Flash-Only oder Hybrid (SSD/HDD) Systeme angeboten wird - laut Webseite

Sry, dann habe ich FreeNAS mit NAS4Free verwechselt.
Eins davon konnte es über HAST/CARP glaube ich.

 

[gea]

ES gibt noch RSF-1, ein kommerzielles Produkt vorzugsweise für ZFS Systeme.
Nexenta supported das auch als Option in seinem kommerziellen NexentaStor (basiert auf Illumos).
(RSF-1 High Availability failover Cluster)

Die erste Entscheidung ist aber ob man Echtzeit aktive/aktive HA braucht.
Das machts nämlich immer kompliziert und teuer.

 

[bigghost]

Das kann ich nur bestätigen Alle Softwärelösungen kosten Geld außer FreeNAS.
Und im produktiven Betrieb sollte man wegen Support auch Geld in die Hand nehmen.
Oder sich den Support von Fremdfirmen günstiger einkaufen für das ein oder andere.
Credativ.de ist da ein guter Kandidat.

 

[Colttt]

Wir haben was mit zfs+nfs was am.laufen, es ist so konfiguriert das 1server (node) oder 1jbod ausfallen kann..

2server sind über Kreuz an 2jbods angeschlossen. Via zfs mirror sind die jbods gespiegelt. Das ganze wird via nfs raus gereicht und pacemaker/corosync kümmern sich um das HA.. funktioniert soweit auch ganz gut, nur nach dem schwenk sind die übertragungsraten für ca 30s im keller.. danach kann man dann wieder das 10G netz auslasten..
Das ganzw wird mit Debian Stretch realisiert

 

[exetorde]

Was spricht gegen Hardware RAID gibt einen IBM 5015 (9260-8i) schon für 30 euro.

 

[MisterY]

wo??

 

[MSN]

Was spricht gegen Hardware RAID gibt einen IBM 5015 (9260-8i) schon für 30 euro.

Die Server haben Dell H730P. Gegen Hardware RAID spricht ZFS!

Die server nun bestellt, ich werde mal berichten, was wir am ende gemacht haben!

 

[Colttt]

Die Server haben Dell H730P. Gegen Hardware RAID spricht ZFS!

Die server nun bestellt, ich werde mal berichten, was wir am ende gemacht haben!

knapp 2monate her.. was habt ihr gemacht?

 

[Diggo]

Würde mich auch interessieren, knapp 3 Monate drauf

 

[SchaubFD]

Wir sind hier gerade am Einrichten von Compuverde, ZFS kenne ich von Sun und Nexenta Seite natürlich auch von Napp-IT (Gea).
Hyperconverged also Nutanix mag ich nicht oder weniger, weil es zu sehr bindet. Ich möchte in den Ebenen Hypervisor, Speicher und
Netzwerk frei entscheiden was ich mache.

In ein paar Wochen nach der Umstellung kann ich mehr zu dem Thema sagen. Der Ansatz bei diesen Systemen ist ganz anders,
als bei ZFS oder anderen Clusterlösungen. Man braucht auch kein Metro-Cluster, weil man vorgibt, wieviele Knoten ausfallen dürfen.
Der Abgleich benötigt auch keine Spezialverkabelung der Speicherknoten oder Fibrechannel, was sicherlich auch die Kosten reduziert.

Wollen wir mal hoffen, das MSN das Richtige gefunden hat.

 

[Luckysh0t]

petasan (Ceph) wäre evtl. auch einen Blick wert (3 Nodes min.)