FC / FreeNAS / VMWare / HP Server

[Pexies]

Hallo Zusammen,

ich habe aktuell ein Leistungsproblem mit meinem Storageserver. Um einen kurzen Einblick in die derzeitige Struktur zu ermöglichen, liste ich nun die Aktuellen Komponenten auf:

1/4 Rack in Düsseldorf mit dedizierten Gbit/s Port
Darin enthalten 4x DL160 G6 von HP
3 von den Servern laufen unter VMWare (6CPU Essentials)
1 Server fungiert als Storageserver mit 4x 3TB im RAID 6 (FreeNAS)
Pro Server sind 2x 1Gbit/s + 1x 100Mbit/s ILO vorhanden.
1x 1Gbit/s pro Server an einen Switch, der mit der dedizierten Anbindung im Rechenzentrum ausgestattet ist. (Externes LAN)
1x 1Gbit/s pro Server an einen anderen Switch, der die Datenverbindungen zum Storageserver verbindet. (Internes LAN)
1x 100Mbit/s pro Server ans Externe LAN für die ILO

Ich hoffe, dass dies soweit verständlich ist.

Nun zum aktuellen Problem:

Wenn eine VM z.B. eine große Datei entpackt oder die gesamte Außenanbindung zum Download/Upload nutzt, leiden die anderen VM darunter, da vermutlich die Anbindung zum Storageserver komplett zu ist. Der Ping der anderen VM´s erreicht dann schnell wenige Sekunden. Dies ist natürlich nicht tragbar. Da ich selbst keine Managed Switch habe, sondern "normale", wüsste ich gerade nicht, wie ich dies prüfen kann.

VMWare hat mir bereits eine Lösung zu dem Problem vorgestellt, jedoch würde ich dazu eine andere Lizensierung benötigen, welche mich insgesamt 18.000€ kosten würde. Diese habe ich verständlicher Weise nicht zur Verfügung.
Meines Erachtens hätte ich nun nur die Möglichkeit den "Flaschenhals" zu entfernen.

Möglichkeit 1:

Storageserver von z.B. Netapp, welcher pro VM rein Softwarebasierend nur 50Mbit/s zulässt. Kostenpunkt leider auch schon im 6 Stelligen Bereich.

Möglichkeit 2:

Gebrauchte FC Karten in die Server einbauen (4GBit/s) : Emulex Fibre Channel Host-Controller LPe11000 | Single Port | 4 Gbps | PCIe x4 | eBay
Von diesen bräuchte ich dann 4 Stück, Kostenpunkt ca. 76€

4x entsprechende LWL Kabel. Welche ist mir noch nicht ganz klar.
Schätze die Kosten auf ca. 50€

Gebrauchten FC Switch mit mindestens 4 Ports @ 4Gbit/s. Kostenpunkt leider auch nicht gerade gering. Schätze 400€

Dabei bin ich mir nichtmals sicher, ob das Problem damit beseitigt wäre. Wie würdet Ihr die Situation einschätzen, was sollte ich machen?
Wäre über jede Hilfe sehr dankbar.


Liebe Grüße

 

[OpamitKruecke]

Also erstmal würde ich überprüfen ob es wirklich am traffic liegt dass der ping hochgeht. Falls ja wäre eine denkbare Variante den storageserver auf 3x1gbit aufzurüsten, wodurch der Engpass beseitigt sein sollte.

 

[ludwinator]

Genau, ich würde jedem VM Server eine dedizierte 1GB Strecke spendieren, damit können die sich gegenseitig am Netz nicht mehr behindern. Besorge dir eine Quadport-Nic für den Storage-Server und verbinde die VM Server ohne Switch direkt mit diesen Ports.
Vermutlich wirst du dann aber den Flaschenhals am Freenas-Server haben, aber das wird dann ein anderes Thema. Sind die Datastores eigentlich per NFS oder iSCSI angebunden?
cu

 

[Pexies]

Am VCenter oder einzelnen Host kann ich die Auslastung des Anschlusses schlecht einsehen. Daher bleibt mir nur auf die Statistiken vom FreeNAS zu hoffen, da ich keinen Managed Switch verwende.
Dieser zeigt mir jedoch folgende Werte am igb1 an:

RX 643.3K Min. | 5.2M Avg. | 406.3M Max.
TX 93.9K Min. | 2.9M Avg. | 271.8M Max.
(Bits per second, sollte jedem klar sein)

Der FreeNAS hat aktuell eine Uptime von ca. 200 Tagen
CPU sind 2x L5520 verbaut mit 16GB ECC RAM



(Hab doch mal Screens gemacht, ist einfacher und übersichtlicher) Den Werten vertraue ich aktuell nicht wirklich.

PS: Auf den Graphen sind aktuell verständlicher Weise keine Lastsptitzen. Es handelt sich eher um den "Avg. Zustand".


Edit: Es besteht ein Datasore, welches per iSCSI angeschlossen ist.

 

[ludwinator]

jetzt seh ichs grade, du hast 4*3TB Festplatten im Raid6? Was für Platten sind das?
Da darfst du aber eher von nem Bottleneck bei den Platten ausgehen, was sagt FreeNAS dazu ?

cu

 

[Pexies]

Wenn FreeNAS zu trauen ist, hängt es nicht am Gbit/s Port.

Habe mal Last erzeugt:



Ausschlag 1: 4GB Rar-Datei unter Windows von Ordner A auf Desktop kopieren. (Leistung anfangs sehr gering, stiegert sich aber von ca. 12MB/s auf 42MB/s)
Ausschlag 2: 4GB Rar-Datei wird entpackt von Ordner A auf Desktop (Man sieht es dauert deutlich länger bei vielen kleinen Dateien. Ram, sowie CPU kaum unter Last)

Es handelt sich leider um 4x 3TB WD Green (WD-WMC1T = Anfang der Seriennummer) (Zum Kaufdatum noch ein Preisunterschied zu den RED von insgesammt 200€)

Hatte diese anfangs zum ausprobieren im Lokalen Raid im PC (Raid 6 via "Fake Raid oder Bios Raid", wie mans auch nennen mag) gehabt und weitaus höhere Datendurchsätze erzielt.
Denke da eher an eventuell falsche Einstellungen ?

PS: Der Datenträger umfasst also eine Kapazität von 5.9TiB, bei einer Auslastung von 1.5TiB (25%)

 

[ludwinator]

Naja, da brauchst du dir über dein LAN keine Gedanken zu machen, mit diesen Platten wird das nix.
Ich könnte mir vorstellen, das du mit Raid10 eine Verbesserung erzielen könntest, aber im Random Bereich sind diese Platten schon ziemlich schlecht.
Da hilft nur ZFS+L2ARC oder auf kleine, schnelle und zahlreichere Platten umrüsten.

cu

 

[Pexies]

Das Dateisystem ist aktuell schon ein ZFS.

Von einem RAID10 bin ich nicht begeistert. Man hat zwar fast eine Performance von einem RAID0 aus 2 Platten, jedoch kann hier nur maximal eine Platte ausfallen. Wenn wärend des Rebuilds eine weitere Festplatte den Geist aufgibt, ist das Build zerstört.
Die Ausfallsicherheit bei den Platten sollte so hoch wie nur möglich sein, daher aktuell das RAID6.

Wenn es also tatsächlich daran liegen sollte, müsste ich mehr Festplatten zusammen in einem RAID6 verbinden. Der Server hat jedoch nur Platz für 4x 3,5" Festplatten. Ich bräuchte schon eine möglichst günstige Variante. Verschlechtern, möchte ich mich keinesfalls.

 

[OpamitKruecke]

Am besten wäre wohl schnelle serverplatten mit je 500gb. Die sind dann auch schnell genug. Davon brauchst du dann ja auch so 12 Stück.
Um ne größere storage Lösung kommst du da wohl nicht herum. Du könntest natürlich noch ssds einsetzen. Aber da sind die Kosten auch 4 stellig

 

[Pexies]

Sagen wir ich hätte maximal 1.000€ zur Verfügung. Gerne auch gebraucht.

(Eigendlich habe ich kein Geld zur verfügung. Das Problem muss jedoch gelöst/minimiert werden)

 

[ludwinator]

Die Frage ist was verschlechtern bedeutet? Performance weiter verschlechtern wird schwierig, ist aber möglich
Hast du das RAID6 mit dem Controller gebaut und dann an ZFS übergeben? d.H. ZFS sieht genau ein VDEV?
Wieviel Platz benötigst du wirklich? Beste Ausfallsicherheit hätte eine Mírror über alle vier Platten.
Welches Freenas und welche ZFS Version?

cu

 

[Pexies]

Es läuft derzeit FreeNAS 8.3.1 auf 64Bit.

Ich habe die Platten als RAID 6 Konfiguriert und aus den Festpatten einen Datenträger aus 5.9 TiB (ZFS) erstellt.
Vor ca. 2 Wochen war die Performance von Einzeldateien auch bei maximal ca. 12MB/s, daher habe ich nun Autotune aktiviert. Seitdem ist es schon bedeutend besser. Der Flaschenhals ist aber damit nicht behoben.

Storages gibt es manchmal anscheinend recht günstig: Infortrend EonStor A16F-R2431 Storage-System Fibre auf SATA, redund. Controller | eBay

Damit hätte ich kein FreeNAS mehr, obwohl ich eigendlich davon überzeugt bin. Es ist kostenlos und bieten super Werte. Ich habe in dem Server nur keine Anschlüsse für so viele Platten.


Edit: Damit ich günstiger weg komme, würde ich dann 2 Datenträger erstellen. Die 4x WD erneut einbauen um eine große Kapazität zu bekommen für den Webserver + VCenter.
Für andere Server sollte dann der "schnellere Speicher" zum Einsatz kommen. Dies sollten aber auch schon 3TB Nutzkapazität sein.

Habe noch etwas recht günstiges gefunden: http://www.ebay.de/itm/310762784217...l?_sacat=0&_from=R40&_nkw=310762784217&_rdc=1

FC wäre allerdings nötig.

 

[ludwinator]

Du musst weder weg von Freenas noch von dem HP Server, ein ordentliches Design bringt den größten Kostenvorteil.
Ich würde erstmal auf Freenas 9.1 gehen, das bringt dir bei ZFS LZ4 Kompression. Grade bei VMs sind hohe Kompressionraten drin, das entlastet die Platten.
Siehe http://doc.freenas.org/index.php/Upgrading_FreeNAS®
Außerdem würde ich eine SSD als L2Arc dazuhängen.
Wenn möglich solltest du das Plattenhandling komplett an ZFS übergeben und den RAID Controller auf JBOD stellen. Dann mit ZFS Mitteln ein entsprechendes Raid (RaidZ2 oder Mirror) bauen.

Du hast jetzt immer noch nicht erklärt, wieviel Platz du tatsächlich brauchst.

 

[Pexies]

Aktuell sind 1.5TiB aktiv im gebrauch.
Webserver + VCenter könnten auf langsame Platten mit einer Nettokapazität von 2,5-3TB. (Gerne auch hier mehr, damit 2 Festplatten pro VM zugewiesen werden können, dafür weniger bei dem schnelleren Datenträger (1TB variabel))
Die anderen VM´s müssten auf schnellere Platten mit einer Netteokapazität von ca. 3TB.

 

[ludwinator]

Wenn du noch gar keine Kompression eingestellt hast, dann kannst du bei LZ4 mit dem halben Platzbedarf rechnen.
Ich würde an deiner Stelle zwei Mirrors machen (und damit 2 Datastores) und die VMs auf beide verteilen.
Du brauchst halt nen Platz zur Zwischenlagerung für diese Maßnahmen.

 

[OpamitKruecke]

Alternativ bei mir eBay nen gebrauchten Server mit 12 hdd Slots kaufen und deinen alten dann versilbern. Dann hast du Reserven für später. Für 4weitere Festplatten sollte das Geld auch noch reichen

 

[Pexies]

Updaten wäre möglich, beansprucht mich jedoch einen Tag. Sollte ich lieber vor Ort und nicht Remote machen.

L2Arc wäre doch eine zusätzliche SSD als Cache, falls die HDD´s nicht schnell genug sind ? Dann bräuchte ich jedoch einen weiteren Anschluss, welchen ich nicht habe.

Wenn möglich solltest du das Plattenhandling komplett an ZFS übergeben und den RAID Controller auf JBOD stellen. Dann mit ZFS Mitteln ein entsprechendes Raid (RaidZ2 oder Mirror) bauen.

Dazu müsste ich meines wissens das RAID vorerst zerstören ? Der HP Server hat kein Hardware Raid, aktuell ist es schon ein Softwareraid von FreeNAS (ZFS)

Alternativ bei mir eBay nen gebrauchten Server mit 12 hdd Slots kaufen und deinen alten dann versilbern. Dann hast du Reserven für später. Für 4weitere Festplatten sollte das Geld auch noch reichen

Halte ich für die beste Idee.

HP StorageWorks AD542C 14x300GB 10K EVA Enclosure AD625B/AD624C/AD623C | eBay
Da hätte ich im RAID6 eine Kapazität von 3600GB. Was für einen FC Port dieser hat, habe ich noch nicht rausgefunden. (Aufgrund der geringen Nutzkapazität, sollte evtl noch einer davon gekauft werden?
Den aktuellen als Storage genutzen HP Server kann ich als weiteren VMWare Server benutzen.
Einen FC Switch würde ich dann noch benötigen.

Wenn ich dies knapp im Kopf überschlage sollte ich bei unter 1000€ liegen und ein besser skalierbares System haben ?

Wenn du noch gar keine Kompression eingestellt hast, dann kannst du bei LZ4 mit dem halben Platzbedarf rechnen.
Ich würde an deiner Stelle zwei Mirrors machen (und damit 2 Datastores) und die VMs auf beide verteilen.
Du brauchst halt nen Platz zur Zwischenlagerung für diese Maßnahmen.

Muss ich mal im FreeNAS nachsehen.

 

[ludwinator]

Mach doch bitte mal ein
zpool list -v
auf dem Server und poste den Output hier

Keine der vorgeschlagenen Maßnahmen geht remote so ohne weiteres und nichts ist unterbrechungsfrei hier.

 

[Pexies]

Ich hab mal ein Screen von der Ausgabe gemacht.



Denke nicht, dass es das Richtige ist ? Könnte auch etwas abgeschnitten sein.

Die Server für einen halben Tag nicht verfügbar haben, wäre ok. Das heißt, ich möchte nicht in einem halben Jahr nochmals upgraden müssen auf FC o.ä.

 

[ludwinator]

das war ein
zfs list -v
ich brauche ienen
zpool list -v

 

[Pexies]

Ich mache einen zpool list -v

Das Problem ist folgendes:



-v kennt er nicht.

 

[ludwinator]

versuch mal
zpool iostat -v

 

[Pexies]

Das klappt

 

[ludwinator]

das sieht ja schonmal nicht so schlecht aus.
mit
zpool iostat -v 1
kannst den Platten ein wenig zuschauen.
jetzt versuch mal bitte
zdb | grep ashift

 

[Pexies]

Ausgabe:

ashift: 12

 

[Backbone]

Halte ich für die beste Idee.

HP StorageWorks AD542C 14x300GB 10K EVA Enclosure AD625B/AD624C/AD623C | eBay
Da hätte ich im RAID6 eine Kapazität von 3600GB. Was für einen FC Port dieser hat, habe ich noch nicht rausgefunden. (Aufgrund der geringen Nutzkapazität, sollte evtl noch einer davon gekauft werden?

Das ist nur ein Shelf, also ne dumme Blechbüche ohne Intelligenz die dafür gedacht ist, eine bestehende HP EVA zu erweitern. Ich kann mir nicht richtig vorstellen das du damit was anfangen kannst.

 

[Pexies]

Danke für die Rückmeldung. Mit fertigen Storagesystemen habe ich bisher kaum Erfahrungen gemacht. (Lediglich Fas2020 + Fas2040 von Netapp mit je 2 Shelfs(Selbst nicht konfiguriert))
Was ein Controller dazu kostet, weiß ich nicht genau. Was ich nun machen soll um den Flaschenhals kostengünstig und langfristig zu beseitigen, weiß ich auch nicht genau. Daher bin ich hier im Forum und bitte Euch um Hilfe.

 

[ludwinator]

Ausgabe:

ashift: 12

sehr gut, damit gibt's jetzt erstmal keinen Grund (ausser der Platten natürlich), den Pool zu zerstören.
Schau dir das mit dem Upgrade auf 9.x an und lies dich mal hier durch: https://wiki.freebsd.org/ZFSTuningGuide

cu

 

[Pexies]

Ich kann mir kaum vorstellen, dass es so viel bringen soll auf 9.1 zu upgraden. Wie Du sagst wird er dadurch etwas schneller, jedoch wir er wohl kaum anschließend 1Gbit/s voll ausnutzen. Es muss einiges mehr an Leistung her.
Selbst wenn ich nun 500€ in 4 neue Platten investiere, werde ich kein gutes Preis-Leistungs Ergebnis erzielen, oder ?

Ich möchte ungerne nun auf 9.x Upgraden, was eine Downtime mitsich bringt, und anschließend doch etwas anderes machen, da nur ein Update oder nur ein Plattentausch nicht den gewünschten Erfolg erzielt.
Da 4 Platten wohl viel zu wenig für ein RAID6 sind, wird andere Hardware benötigt. So habe ich es zumindestens verstanden, in den 1U Storage passen schließlich nur 4x 3,5".

Da es sich um ein laufendes System handelt und keine Testumgebung, kann ich leider nicht neustarten wie ich möchte.

Die Tuning Guide werde ich mir gleich durchlesen.

 

[ludwinator]

Also ins gleiche System einfach nur neue Platten reinschieben bringt dich auch nicht weiter, was willst du denn für 500€ schon kaufen?
Lies den Tuning Guide und versuche, das Bottleneck dingfest zu machen.