High-Performance Storage für Testumgebung

Gohst_oc

Enthusiast
Thread Starter
Mitglied seit
25.05.2007
Beiträge
2.179
Hi zusammen

Da ich weiss dass hier ein paar ZFS Profis unterwegs sind, stelle ich die Frage mal hier:

Für ein Testlab mit 2 ESXi Server (je 16 Core Xeon E5 2430L, 96GB RAM) soll ein Storage z.T mit ausrangierten Komponenten gebaut werden.

Kurz die Kennzahlen:

Es sollen vielleicht so 20-30 virtuelle Server mit ganz unterschiedlichen Workloads drauf laufen.
Da werden sicher ein paar Terminal Server, Webserver, vielleicht Exchange (übergangsweise und mit 300 Mailboxen) und 2-3 Domain Controller betrieben.

Eigentlich kein Thema da hier selten hoher Workload anliegt.

Trotzdem, und auch als Proof of Concept soll ein schnelles Storage entstehen (ohne Redundanz-Gedanke).

Vorhanden ist:

1x IBM DS3512 mit 12x 600GB SAS2 15k RPM HDDs (Technischer Stand anno 2010/2011) mit zwei Controller
1x Server mit E5 2430L + 96GB Ram
Jede Menge LSI 2008 basierte HBA's mit SAS2 SFF-8088
Netzwerk: je Server 2x 10GBit, Backbone im RZ: 10-80GBit

Die Idee:

Das IBM DS3512 weiter nutzen da hier ~6 TB Speicher schlummern.
Die Schwäche von HDD's durch ZFS mit RAM Cache (ARC) (sagen wir mal ~90GB) und NVME SSD für ZIL/SLOG ausmerzen.

Für ZIL/SLOG müsste noch eine SSD besorgt werden.
Lohnt es sich stark, auch ein ARC2 zu verwenden

Write-Sync ist trotz Testumgebung schon irgendwie wichtig.
Es werden ab und an Test-Server direkt in die produktive Umgebung verschoben und umgekehrt.

Offene Fragen:

1) Welche SSD (200-300€) eignet sich am besten für SLOG? Habe an eine Optane 900p 280GB oder P3700 400GB gedacht.
2) Wie viel ARC2 Cache wäre Sinnvoll und wie viel bringt dieser angesichts der "schnellen" HDDs im IBM Storage?
3) Ist die Idee gut?
4) OmniOs + Napp-It, FreeNas oder OMV? Was eignet sich? Ich denke iSCSI für die ESXi Server macht Sinn?
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
1. Ganz klar Optane 900 ist die schnellste
Kann man asl vdisk für Slog und L2Arc sowie lokalem Datastore für Storage VM nutzen

Alternativ z.B. wenn man es wechselbar möchte oder für HA
WD Ultrastar DC SS 530

L2Arc wird nur minimal noch was bringen vor allem wenn man read-ahead aktiviert
Größe max 5 x RAM

btw
schnelle Platten sind heute SSDs
WD Ultrastar DC SS 530

OS für ZFS
Jeder hat seine Vorlieben
Der schnellste und mit den meisten Features is original Solaris mit Solaris ZFS.
Meine nächste Präferenz ist freies Solaris (OmniOS)

als nächstes dann Free-BSD (und da nicht FeeNAS weil zu fett, eher XigmaNas)

OMV für ZFS, eher nein
 
Zuletzt bearbeitet:
Handelt es sich bei den DS35xx um ein Erweiterungsgehäuse mit SAS Expandern oder ein Kontrollergehäuse mit iSCSI/FC/SAS RAID Kontroller. Wenn du die Platten mit ZFS genutzen willst geht das nur mit Expandergehäusen.
 
@katzenhai:

Ach schei*** da habe ich noch nicht mal dran gedacht. Natürlich die Controller machen RAID. Und in den HBA Modus kann man die nicht setzen?
Muss mal das Handbuch kontaktieren. Jedenfalls sind es SAS Controller. Aber eben, ziemlich sicher mit RAID.

Natürlich habe ich nur wenig Budget für das Test-RZ erhalten - leider.
 
Zuletzt bearbeitet:
Die Kontroller kann man nicht in einen Expandermodus versetzen. Du müsstest den/die Kontroller aus dem Gehäuse nehmen und dafür ESMs reinstecken. Oder die Platten aus dem Gehäuse nehmen und in ein EXP35xx stecken. Aber leider sind beide auf dem Gebrauchtmarkt selten und teuer.
 
Richtig, das habe ich heute auch noch getestet.
Habe aber noch zwei EXP3000 rumliegen, leider nur SAS 3Gb ESM...

Frage mich gerade ob man dort zwei ESMs einbauen kann und dann aufteilen?
Habe im Handbuch nichts dazu gefunden.

Die ESM sind tatsächlich nicht so einfach zu finden - und wenn dann nicht speziell preiswert.

Ich gehe davon aus das 1200MB/s schon nahe am "Bottleneck" sind.

Zusammen mit einem LSI 9212-4i4e konnte ich problemlos unter Napp-it einen zpool erstellen - tests zur Leistung sind noch nicht gemacht.
Vielleicht ist die DS3512 am schluss besser.

Habe noch eine NetApp DS4243 im Visier. Da kann man günstig auf SAS 6GB und sogar 12GB nachrüsten...
Expander/HBA Mode müsste dort ja gehen da es nur ein Shelf ist.
 
Zuletzt bearbeitet:
Das teure ist der Server und eventuell die Platten.
Ich würde einfach ein neues Jbod Case nehmen und da die Platten einstecken.
Das ganze dann extern per SAS anschließen. Die 2008 HBA Controller sind ja da. Falls die keinen externen SAS Anschluß haben, braucht man noch einen Slotblech Adapter für ein paar Euro

z.B.
Supermicro SC826BE1C-R741JBOD ca 1350 Euro mit Expander und redundanter Stromversorgung.
Ich würde die E2 Version mit Dual Expander nehmen (erlaubt HA setups), kostet kaum mehr.

SC826BE1C-R741JBOD | 2U | Chassis | Products | Super Micro Computer, Inc.
SC826BE2C-R741JBOD | 2U | Chassis | Products | Super Micro Computer, Inc.
 
Die Gehäuse sehen interessant aus, habe ich das richtig gesehen, die kann man sowohl als Server als auch reine JBOD Gehäuse betreiben?
Wie dem auch sei, ich bleibe wohl am Netapp DS4243 dran. Habe gelesen das kann man bei Bedarf auch auf SAS-3 umrüsten (IOM12 Module).

Die Frage beim Netapp ist halt weiderrum ob und wie gut sich das mit Festplatten die nicht von Netapp vertrieben werden, betreiben lässt.
Im Internet findet man einen Haufen Infos.
 
Fremde Platten laufen soweit einwandfrei, IOM12 bin ich nicht 100%ig sicher. IOM6 geht auf jeden Fall und wäre ggf deutlich günstiger zu haben.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh