DIY NAS / SAN für Dateiablage und Shared Storage für Cluster

[Pazecx]

Hallo zusammen,

ich stehe derzeit etwas auf dem Schlauch was meine weitere Planung meiner Infrastruktur angeht.
Derzeit liegt mein napp-it als VM auf dem gleichen ESX wie alle VMs auch.
In Zukunft kommt noch ein zweiter Cluster Knoten dazu.

Derzeit würde ich gerne mein in die Jahre gekommenes NAS ablösen welches Jahrelang durchlief.
Gleichzeitig wächst die Anforderung an Storage für das zukünftige Cluster.

Derzeit habe ich ein Flash-only-Array mit 8x 860er EVO's im RAID5 laufen.

Wunsch wäre ein dediziertes Storage was ebenfalls meinen Fileshare bereitstellt.
Das Fileshare ist nur für mich exclusiv und muss kein Windows Filer o.ä. sein, stumpfer SMB Share reicht mir.

Das Storage soll mit Mehr SSDs und richtigem SSD Cache ausgerüstet werden.
Für die großen Datenmengen sollen dann wieder rotierende Platten zum Einsatz kommen, das geht dann in die Richtung => 6TB / HDD.

Am besten wäre für mich eine 19 Zoll Lösung, da ich die Server bereits in einem kleinen Schrank drin stehen haben (nach Hinten hin offen aufgrund der Länge).
Ebenfalls habe ich mir mal einige gebrauchte Disk Shelfs von HP oder NetApp angeschaut - "taugen" die Dinger im Home Bereich etwas? Kann man die "einfach" an einen Server durchreichen und somit den Storage bereitstellen? Macht das Sinn?

Backup ist vorhanden - kein Thema.

Mein größtes Problem ist es derzeit die Auswahl der Gehäuse...

Gibt es hier jemanden der so etwas ähnliches am Laufen hat und evtl. mal berichten könnte?

Gruß,
Paze

 

[gea]

Das geplante Konzept ist mir nicht ganz klar.
Ein Cluster dient ja dazu, Funktionen redundant auszulegen.

Ist einfach ein weiterer ESXi als Redundanz geplant?
Ich statte meine ESXi dazu je mit einer eigenen Storage VM aus.
Damit ist jeder ESXi autark und kann dennoch per NFS auf die anderen ESXi Storages.

Oder sollen die zwei ESXi auf ein gemeinsames Storage das unabhängig von einem ESXi ist?
Also paraktisch ein Barebone NAS/SAN mit NFS und SMB Shares ohne Redundanz?

Obiges ist quasi ein ESXi Cluster. Ergänzend dazu kann man einen Storage Cluster vorsehen.
Dabei nutzen zwei Server ein gemeinsames Storage z.B. per SAS ("Cluster in a Box") oder
zwei Server nutzen per SAS extern ein gemeinsames mpio Jbod Storage oder zwei Server nutzen
zwei mpio Jbob Storages damit sowohl der Ausfall eines Servers wie eines Jbod abgefangen wird?
Das geht virtualisiert (vCluster) ode rmit dedizierten Servern.
So in der Art von http://www.napp-it.org/doc/downloads/z-raid.pdf


Zum Gehäuse gibt es viele Möglichkeiten je nach Konzept.
vgl https://napp-it.org/doc/downloads/napp-it_build_examples.pdf

Gebraucht ist zunächst wichtig, welche Generation der SAS Expander hat (ideal 6 oder 12G).
Für ein Storage Cluster benötigt man ein Jbod Case mit Dual Expander und im Server ein oder
zwei HBA (Storage Cluster) mit externen SAS Ports.

 

[Pazecx]

Die zwei ESXi sollen ein gemeinsames Storage benutzen - unabhänging vom ESXi.
Aktuell hatten wir überlegt statt Selbstbau zu einem Dell T640 mit der 18x 3,5" HotSwap Variante zu greifen und dort napp-it laufen zu lassen.

Was können wir bzgl. des Caches machen? Du hast ja schon oft einige Optane Modelle vorgeschlagen.
Der Server hat keinen M2 Platz soweit ich weiß, also würde uns mit einer m2 nur in Verbindung mit einer Adapter Karte helfen.

 

[gea]

At home/lab ist die schnellste Option eine Optane 900/905 wenn es um Slog geht (Slog ist aber kein Cache sondern eine Absicherung des rambasierten Schreibcaches gegen Datenverlust bei einem Stromausfall). Die gibts auch als PCI-e Steckkarte.

Die Optane 90x hat aber keine garantierte Powerloss Protektion. Ich sehe das Risiko bei den Optane zwar als gering an, für produktiven Einsatz würde ich aber zur Datacenter DC 4801x raten. Die 100GB Version wäre ausreichend, die Modelle mit höherer Kapazität sind etwas schneller.

Für einen Storagecluster gäbe es die auch als DC D4800x (dualport NVMe). Für ein einfaches NAS/SAN reicht die DC-P (single Port), Intel Optane SSD DC D4800X and Intel SSD D5-P4326 Launched - STH

 

[Pazecx]

Hm, okay.
Dann vielleicht anders gefragt:

Was sollten wir unserem Setup hinzufügen? Die Consumer SSDs werden definitiv bleiben.

Edit: Wir bräuchten dann aber schon etwas was wir auf das Mainboard bekommen - können wir da mit einer m2 -> PCIe Adapterkarte arbeiten?

 

[gea]

Consumer SSDs haben keine Powerloss Protection und ein gewisses Risiko dass es bei einem Absturz beim Schreiben (oder interner Garbage Collection) zu Datenkorruption kommt. Ein Slog kann dagegen nicht schützen. Es kann nur den OS RAM-Schreibcache absichern.

Eine ganz teure Datacenter Optane wäre hier deshalb eher unangebracht. Da ein SSD Pool bereits recht schnell ist, würde eventuell eine kleine Datacenter 4801x mit 100GB wohl nicht soviel bringen wie eine schnellere größere Optane (ab 200GB). Ich würde vermutlich die kleinste/billigste Optane 900/905 nehmen oder ein Slog ganz weglassen und einfach sync auf dem SSD Pool aktivieren und schauen ob es schnell genug ist.

Das napp-it Menü Pools > Benchmark macht eine Reihe von sequentiellen und random Tests mit und ohne sync. Das mal laufen lassen. Anhand des Ergebnisses kann man dann mehr sagen.


edit
Zum Anschluß einer NVMe

Wenn man onboard M.2 hat, kann man da eine M.2 NVMe einstecken oder per Adapterkabel daran eine U.2 anschließen. Das Adapterkabel war bei meinen Optane 900 U.2 bereits dabei.

Wenn man keinen M.2 Port hat, kann man eine NVMe als PCI-e Steckkarte nehmen oder eine PCI-e Adapterkarte zum Anschluß eines M.2 oder U.2 Modells.

 

[Pazecx]

Hallo gea,

Derzeit habe ich folgende Hardware rausgesucht:

- Inter-Tech 4U-4424 24x Hot-Swap
- Xeon E3-1230 v6
- LSI 9211-8i (einer davon ist Schon vorhanden , würde dann zwei nehmen um erst einmal 16 Platten einrichten zu können)
- Crucial 32GB ECC DDR4 RAM (reicht das wenn ich keinen Extra Cache baue? -> irgendwie ist mir das ganze noch nicht gaaanz klar ob so ein extra Device benötige oder nicht..)
- 4x 8TB Seagate IronWolf für den Filer
- Rest entweder mit den Consumer SSDs und / oder gebrauchten Dell 10K SAS Platten.

Wenn wir mit dem Setup eine Bandbreite von 1 GB/s erreichen würden, ist das mehr als genug.

Einzig die Mainboard Auswahl ist noch das "Problem" - ich hätte gerne 10Gbit onboard.
Sollte das Board direkt einen m2 Slot bereitstellen für ggf. Später Optane oder dann lieber auf PCIe / U.2 ?

Gruß,
Paze

 

[gea]

Der Server-Board Klassiker für mich (inkl 10G, M.2 + Oculink und 12G SAS HBA onboard)

X11SPH-nCTF | Motherboards | Products | Super Micro Computer, Inc.
X11SPH-nCTpF | Motherboards | Products | Super Micro Computer, Inc.

Dazu reg ECC Speicher (Samsung lt Memory List SuperMicro, 70-100 Euro pro 16GB).
CPU nach Wahl Xeon Bronce oder Silver

Bandbreite
Eine Festplatte kann sequentiell ca 80-200 MB/s. Das skaliert mit der Anzahl der Datenplatten,
z.B. ein Z1 aus 4 Platten (3 Datenplatten) kann 240 MB/s-600 MB/s liefern. Da es keine reinen
sequentiellen Transfers (außer Benchmark auf eine leere Platte) gibt, eher am unteren Ende orientieren.

L2Arc
Kommt auf den Workload an, wird vermutlich ab 32GB RAM wenig bringen

 

[Pazecx]

Gibt es davon noch eine günstigere Version?
Ich hatte ja das hier angedacht derzeit:
https://geizhals.de/supermicro-x11ssh-tf-retail-mbd-x11ssh-tf-o-a1355013.html?hloc=de
Das kann allerdings nur UDIMM, ich wollte gerne Teil des Crucial RAMs dort verbauen (32GB für den Anfang).

Bandbreite bezog sich auch eher auf den SAS / SSD Pool den ich dann bauen würde.
Fileserver Pool darf ruhig nur auf 1Gbit rödeln.

Hast du bestimmte Kriterien nachdem du die Mainboard von SuperMicro auswählst oder sagst du das man da generell alles nehmen kann was passt für die Anforderungen?

 

[gea]

Prinzipiell ist SuperMicro ein Premium Hersteller für Mainboards. Von der Zuverlässigkeit kann man alles nehmen.

Prinzipiell liegen die günstigen 1151 IPMI Serverboards Boards bei ca 200 Euro (1G und Sata). Nimmt man 10G und 12G SAS dazu, so erhöht sich der jeweilige Preis um ca 120 Euro. Das ist etwa jeweils die Hälfte dessen was das je als Steckkarte kostet.

Ein 1151 Board mit 10G und 12G SAS liegt damit bei ca 450 Euro. Der Klassiker war lange das Supermicro X11SSH-CTF retail ab Preisvergleich Geizhals Deutschland

Teurer wirds wenn man statt des alten 1151 Chipsatzes auf den neueren 1151v2 setzt.
Da gibt es auch noch kein Board mit 10G und 12G SAS. Man braucht also eine teure Steckkarte.

Wenn man dann etwas mehr PCI Lanes mit aktueller CPU, 10G und 12G SAS, PCI-e Steckplätze, M.2, Oculink für U.2 NVMe oder mehr RAM möchte ist man halt bei über 500 Euro. Auch da gilt. Ohne 10G und 12G SAS kann man je 120 Euro als Hausnummer abziehen. Supermicro hat ja jeweils eine Mainboard Serie mit oder ohne 10G bzw. 12G SAS.

 

[Pazecx]

Okay.

Mal angenommen ich nehme das von dir Verlinkte Mainboard.
Dort spare ich mir die zusätzliche 10Gbit Karte + einen Hardware Controller, da einer ja Onboard ist, welchen ich dann ja auch für die Anbindung der Backplane (8x) nehmen kann, richtig?
Das würde ja dann auch bei der CPU weniger PCIe Lanes benötigen.

Dann müsste ich als Steckkarte nur noch zwei unterbekommen - das Mainboard hat allerdings nur 1x x8 PCIe, kann ich den Controller welcher für den Filer zuständig sein wird an dem x4 anschließen? Der würde ja tendenziell am wenigsten Speed benötigen - klappt das? Macht das Sinn?

 

[gea]

Das X11 SPH.. hat

Expansion slots:
1 PCI-E 3.0 x16 (x16 || x8),
1 PCI-E 3.0 x8 (x0 || x8),
1 PCI-E 3.0 x8,
1 PCI-E 3.0 x4 (in x8)

also 3 Steckplätze je 8x
und 1 Steckplatz 4x
Dazu 10 x 6G Sata onboard + 8 x SAS 12G

welche Steckkarten sollen dazu kommen?

oder ist die Frage zum X11-SSH ctf
Das hat aber auch 8 x 12G SAS + 8 x 6G Sata onboard
Da sind die Slots aber auch pci-e v3. Man muss nur darauf achten dass eine Karte kein 8x Slot mechanisch benötigt. Ansonst ist x4 v3 ausreichend für fast alles (außer vielleicht 8 x 12G SAS Platten)

 

[Pazecx]

Das X11 SPH sprengt leider etwas das Budget.

Was ich mit den PCIe Lanes meinte - die sind doch abhänging von der CPU oder rede ich damit quatsch?

Die Frage bezog sich damit auf den X11-SSH ctf, das wäre gerade noch so vertretbar.
Dort würde dann nur noch ein extra Controller mit zwei Ports benötigt um die restliche Backplane abzufangen , einen habe ich ja bereits im aktuellen Server.

 

[besterino]

Kannste auch mit einem Expander lösen, spart ggf. einen Steckplatz. Ist aber auch nicht so billig.