phänomen schneller anfangsdatentransfer

[hattabatatta]

aloha

vielleicht kann mir einer von euch ja folgendes phänomen erklären mit dem ich mich schon seit einigen tagen beschäftige.

in meinem netzwerk läuft ein datensarg mit freenas.
frei nach dem motto "weil ichs kann" hab ich die dortigen onboard nics des 780i board getrunkt. ja der switch unterstützt lcap

auch bei allen anderen rechnern wo es geht hab ich die nics getrunkt (so z.b. auch bei meinem gaming rechner wo ein 780i ftw seinen dienst tut und man somit die nics ebenfalls teamen kann).

bei den rechnern läuft alles wunderbar ohne irgendwelche tilts. und aussehen tuts auch recht nett wenn man eine netzwerkkarte mit 2gbit/s angezeigt bekommt.

jetzt zum eigentlichen phänomen, dass ich nicht ganz verstehen kann.
connecte ich mich mit einem rechner wo 2gbit/s möglich sind auf das nas und hole dort eine datei oder speichere eine datei so ist der speed in den ersten paar sekunden einfach unglaublich (da limitieren wirklich nur noch die festplatten).
160-170mb/s lesend sowie runde 90mb/s -100mb/s schreibend (ja megabyte nicht megabit) sind ohne weiteres möglich.
das zeigt sowohl das explorer fenster beim kopieren an, als auch der graph von freenas bei der lan verbindung (ist zu beginn durchgehend bei 1,2-1,3 gbit lesend bzw. bei etwa 750-800mbit/s schreibend).
der speed bleibt auch einige sekunden konstant auf diesem level...im explorer wie auch beim graph von freenas.

kleinere dateien im bereich bis 1gb sind somit ruckzuck gelesen bzw. geschrieben und es kann sich auch um keinen fehler handeln weil die dateien wirklich wahnsinnig schnell hin und hergeschoben werden (wie mans sonst nur vom lokalen hin und herschieben gewohnt ist).
bei kleinen dateien somit hammerspeed.
bei großen dateien (z.b. ein dvd image mit 7gb) merkt man nach ein paar sekunden den totalen einbruch vom speed.

beobachtet man das beim explorer so bleibt der grüne balken einfach kurz stehen...es wirkt so als würde der rechner irgendwas hartes berechnen müssen und der speed drosselt sich um einiges zusammen.
im graph von freenas sieht man richtig wie die linie nach unten fällt, und dann den rest des kopiervorganges auf diesem niedrigen niveau bleibt.

ich dachte mir zuerst vielleicht liegts an irgend nem cache der halt noch die dateien intus hat und der speed deswegen nur zu beginn so schnell ist.
diese these hab ich aber recht schnell ausgeschlossen, da es bei egal welchem kopiervorgang und bei egal welchen dateien so ist.

dieses phänomen hatte ich jedoch auch schon als ich noch kein teaming der nics gemacht habe sondern nur 1gbit geradeaus gefahren bin.

es ist auch vollkommen unabhängig vom protokoll.
egal ob ich mit cifs oder ftp auf das nas connecte (wohingegen die geschwindigkeiten mittels ftp höher sind als bei cifs)

hat jemand von euch irgend eine erklärung für dieses phänomen?

 

[lud]

Einen hoeheren Speed als 1Gbps wirst du mit LACP nur bei mehreren Verbindungen hinbekommen. Sprich wenn du etwas von deinem NAS auf deinen Rechner kopierst benutzt du eine Verbindung welche nur ueber eine NIC geht und somit die maximal Geschwindigkeit bei 1Gbps liegt. Alles was dir Windows anzeigt ist einfach falsch. Die Iperf Werte hingegen passen.

 

[hattabatatta]

und warum zeigt der graph von freenas dann ebenfalls sowas an?

aber lacp soll ja genau das sein.
2 verbindungen zu einer schnellen kombinieren.

und vor allem kann man im graph auch beobachten, dass beide nic´s sich die bandbreite teilen

 

[lud]

Natuerlich kombinierst du mit LACP 2 oder mehrere physikalische Links zu einem schnelleren Link. Ziehst du aber nun eine!! grosse Datei (sprich du hast eine Verbindung offen) erreichst du max 1Gbps Durchsatz. LACP kommt erst zum tragen wenn viele Verbindungen simultan offen sind, also viele Rechner zum NAS connecten.

LACP links are designed to carry all traffic from a particular source to a particular destination over just one of the link members. This is done in order to prevent re-ordering, which could happen if packets belonging to a single TCP session were to go over all the members of your trunk: if one of the links has less load, a queue that is less full, then packets on that link might overtake packets that happen to have taken the busier link. TCP tends to get rather confused about out-of-order packets, so LACP was specifically designed to keep packets in order.

LACP accomplishes this by using a hash of the source and destination MAC address (generally) to decide on which trunk member to transmit a particular packet: hence packets between a particular pair of machines will always take the same link inside the trunk.

Therefore, LACP only really increases your capacity if you have many different senders and/or many different receivers. If there is just a small number of servers backing up to a single backup-server, you can expect very unequal loading of the links.

 

[hattabatatta]

versteh versteh
gut dass sich das viel besser verhält, seit ich mit lcap unterwegs bin is ja auch der eigentliche sinn der sache gewesen.

da das nas als zentraler datensarg dient wo mehrere clients (maximal 8) drauf zugreifen wirkt sich das schon positiv aus.
noch mehr performance sollte ich doch eigentlich erreichen wenn ich noch eine dual gbit karte dazu hänge oder?
oder können unterschiedliche nics nicht miteinander?

 

[lud]

Mehrere NICs gehen schon, aber sie sollten besser vom gleichen Hersteller sein.
Ob das nacher was bringt haengt natuerlich ganz davon ab was deine Platten hergeben.

 

[hattabatatta]

jo da gehts mir prinzipiell nicht drum den absoluten super highspeed zu durchbrechen sondern vielmehr darum, dass nicht alles eingeht wenn mehr als 2 leute aufs nas zugreifen.

die platten sollten einiges hergeben wenn man den performance tests in der shell glauben darf.

 

[koschi]

Und wie hast du das getestet? 'n sequentieller Test mit dd zB. sagt nichts über die zu erwartende Performance mit mehreren konkurrierenden Clients aus....