Performancevergleich NFS vs. iSCSI für ESX Datastore

[Steggi]

Nabend zusammen,

wollte mal in die Runde fragen, ob einer von euch Erfahrungen mit der Performance zwischen NFS und iSCSI als ESX Datastore hat.

Habe vor in den kommenden Tagen mal testweise einen kleinen Storage Server auf Openfiler oder Freenas Basis aufzubauen und vielleicht irgendwann mal später für die Produktivsysteme zu nutzen.

Der dafür eingesetzte ESX Host sowie der Storage Server haben jeweils 2 freie GBit NICs und der dazwischen Switch unterstützt das Trunking. Kann ich dabei einen Performanceschub erwarten, oder würde das nicht viel bringen? Und in wie schlagen sich Openfiler und Freenas im direkten Vergleich?

 

[Metzzo]

Nabend

Also NFS & ISCSI nehmen sich nicht wirklich was.
Viele große Storage Anbeiter wie Netapp empfehlen gerne NFS Lösungen, also damit kannst du nichts falsch machen.

Das Thema NIC Bonding/Trunking ist beim ESX(i) so eine Sache, geht aber nur mit statischem LACP. Bin gerade echt zu faul das im Details zu erklären daher:

The Great vSwitch Debate


Viel Spaß damit

Btw. eine quick & dirty Lösung anstatf Port Trunking:

2 vSwitches beide für NFS konfgurieren
2 NFS Datastores
Jeweils ein Datastore via einen vSwitch

Und die VMs gleichmäßig aufteilen.

Dann fehlt dir allerdings aufgrund zu weniger Interfaces die Ausfallsicherheit.

Aber du wirst die Gigabit Anbindung des Datastores an den ESX nicht auslasten, sofern da nur der Traffic zwischen VM und NAS drüber läuft.

Grüße

 

[Steggi]

Sodele, ich hab mich heute Abend mal ran gesetzt und aus einem meiner alten Server (P4, 2GB RAM, 2x 160GB SATA @RAID 0, Gbit NIC) ein iSCSI Target gemacht und in einen ESXi eingebunden.

Klappt auch soweit ganz gut, allerdings sind die Benchmarkwerte doch ein wenig "übertrieben"

Aber du wirst die Gigabit Anbindung des Datastores an den ESX nicht auslasten, sofern da nur der Traffic zwischen VM und NAS drüber läuft.

Gut, im Moment ist nur einer der beiden ESX'e im 24/7 Betrieb (mit 12 VMs) allerdings lassen die theoretischen 125MB/sec auch nicht mehr sooo viel Luft nach oben, wenn man da so weiterdenkt.

Wenn ich morgen (bzw eigentlich eher schon heute *g*) dazu komme, werd ich das mal mit NFS ausprobieren. Interessant währe sicherlich auch, die Backups der ESX'e direkt über den Datastore zu regeln...

 

[Metzzo]

Moin

Vergiss HDTune auf ISCSI Devices, fördert nur Schrott zu Tage

Weiß nimmer ob ATTO gescheite Ergebnisse probiert, aber um Storage richtig zu Benchen:

VMware Communities: Open unofficial storage performance...

Und ja auch wenn 12 VM's auf einem Datastor liegen die nur mit einem Gbit angebunden sind, reicht das idr.
Vieles der VM's spielt sich im RAM ab und es wird kaum auf Platte geschrieben.
Ausnahmen wie Datenbankserver & co. gibts natürlich immer wieder, das musst du einfach testen.

Viel Spaß

 

[Steggi]

Hatte in den letzten Tagen leider keine Zeit um da erneut zu benchen, aber das hol ich jetzt mal nach
NAS Hardware ist nach wie vor die Selbe, der Refenenzvergleich des lokalen Datastore stammt vom ESX2 (siehe Signatur) mit 5 Platten im Raid 5 und eine als Hotswap.

Vergiss HDTune auf ISCSI Devices, fördert nur Schrott zu Tage

Ja, das hab ich auch schon gemerkt *ggg*

Ausnahmen wie Datenbankserver & co. gibts natürlich immer wieder, das musst du einfach testen.

Genau deshalb wollte ich ja wissen, ob schon jemand Erfahrung damit hat, denn auf dem Produktivserver ESX1 laufen zwei Datenbankserver als VM.

Weiß nimmer ob ATTO gescheite Ergebnisse probiert

Anscheinend schon. Habe damit jetzt mal Lokal, über iSCSI und über NFS gebencht.

Lokal (als Referenz):


iSCSI:


Hatte zuerst gedacht, dass die verhältnissmäßig niedrige Transferrate an den Platten liegt, denn die beiden SAMSUNG SP1614C sind ja nicht mehr die schnellsten (hab aber gerade keine anderen Griffbereit), aber der NFS Test zeigt, dass es wohl doch nicht an den Platten liegt...

NFS:


Lesen Top, schreiben flop. Das die NFS leistung schlecht ist, hab ich aber auch schon beim Systemstart gemerkt. Keine Ahnung warum die Schreibraten so schlecht sind

 

[ulukay]

da is aber bei deiner config was faul.
das write sollte ebenfalls auf ueber 110mb/s kommen. (wobei, ich rede da von linux/unix nfs clients und nicht von windows)

 

[Steggi]

da is aber bei deiner config was faul.

Die ist jeweils bei den Standarteinstellungen.

wobei, ich rede da von linux/unix nfs clients und nicht von windows

Dass sollte eigentlich hierbei keine Rolle spielen, denn es handelt sich hier um ne Windows VM auf nem ESX + ein Storage mit FreeNAS. Und für die eigentliche Übertragung ist ja in dem Fall der ESX zuständig.

 

[Steggi]

Moin moin,

hier mal ein kleines Update zu NFS. Diesmal mit OpenFiler. Allerings läuft das ganze im Moment komplett virtuell (hab leider gerade keine anderen Server griffbereit) OpenFiler in einer VM auf dem einem ESXi, und die W2k3 Testkiste auf einem anderen ESXi.

Im Vergleich schaut es jetzt zwar etwas besser aus, aber ich bin mir sicher, da geht noch was...

btw: Ist das normal, dass der OpenFiler während des Benchs einen Load zwischen 8! und 9! erzeugt (mit 1vCPU)
Ein Zugriff von Win 7 auf NFS war gerade mal halb so schnell

Werde das ganze aber später nochmal auf physischen Servern testen...

 

[Steggi]

da is aber bei deiner config was faul.

So, ich glaub ich hab die Lösung des Problems gefunden
Standartgemäß läuft NFS synchron. Wenn die Einstellung auf asynchron gesetzt werden, wird das ganze gleich viel flotter
Leider konnte ich diesen Wert nur unter OpenFiler nutzen, da FreeNas weder eine Anpassung über das Webinterface bereitstellt, noch auf den eingefügten Wert in der sysctl.conf eine Reaktion zeigte.

Naja egal. OpenFiler erfüllt auch seinen Zweck, auch wenn mich das einen USB-Stick und viel Geduld beim wechseln der Seiten des Webinterfaces kostet, da die Seiten teilweise mehrere Minuten laden

Mit nem ordentlichen Server und aktuellen Platten geht da bestimmt noch mehr, aber da packe ich dann mal in einen neuen Thread

Also für alle, die ein ähnliches Problem mit zu geringer Schreibgeschwindigkeit haben --> I / O Mode auf Asynchron