NFS und 4K IO's was ist möglich?

[SchaubFD]

Hallo,

Ich versuche meine Frage so gut wie möglich zu beschreiben. Ich würde gerne wissen, wieviele 4K NFS IOPS durch ein 1GBit oder auch 10GBit Interface zu bekommen sind. Wir wissen alle, das bei so 125MByte/s oder 1250MByte/s im Streaming eine Grenze existiert. Ich gehe nun mal naiv davon aus, dass man diese mit 4K mit Abstrichen erreichen könnte. Wenn man aber im Netzwerk testet, dann kommen bei 4K IO meistens nur ca. 20MByte/s heraus. Wie soll man also wissen, was im 4K IO möglich ist. Das 20MByte/s eine Obergrenze sein sollen, bei 1250 MByte/s max. ... also 20 MB Nutzdaten und 1230MB Redundanz? Ist irgendwie auch unlogisch. Wer hat sich diesem Thema mal angenommen und kann hier fundierte Informationen liefern? Hintergrund, ich suche das maximale Minumum im NFS Transfer für einen Systemvergleich. Danke vorab für Eure Unterstützung!

 

[Eye-Q]

Erstmal: Bei einem Netzwerktransfer spielen so viele Faktoren eine Rolle, dass es vollkommen unmöglich zu sagen ist, was das allgemeine "maximale Minimum" ist. Folgende Dinge fallen mir spontan ein:

• Storage-System
• Netzwerkkarten-Treiber
• Netzwerkkarten-Hardware
• Ggf. Virtualisierungsschicht
• Netzwerkkabel
• Netzwerkswitches
• Jumbo-Frames (aktiviert oder deaktiviert)
• etc. etc.

Jeder Punkt davon kann die Übertragungsrate einschränken, obwohl theoretisch alles auf 10 Gbit/s ausgelegt ist. Wenn dann mehrere Faktoren gleichzeitig zusammen kommen, können die sich gegenseitig verstärken und somit die Übertragungsrate deutlich drücken.

Wenn man aber im Netzwerk testet, dann kommen bei 4K IO meistens nur ca. 20MByte/s heraus.

Wer ist "man", und wie testet "man"? Ich behaupte mal, dass es viele Leute gibt, die bei NFS über 10 Gbit/s Ethernet eine Übertragungsrate von über 800 MB/s erreichen, vorausgesetzt die darunter liegende Storagelösung erlaubt so hohe Dauerübertragungsraten.

 

[SchaubFD]

• Storage-System
• Netzwerkkarten-Treiber
• Netzwerkkarten-Hardware
• Ggf. Virtualisierungsschicht
• Netzwerkkabel
• Netzwerkswitches
• Jumbo-Frames (aktiviert oder deaktiviert)
• etc. etc.

...
Wer ist "man", und wie testet "man"? Ich behaupte mal, dass es viele Leute gibt, die bei NFS über 10 Gbit/s Ethernet eine Übertragungsrate von über 800 MB/s erreichen, vorausgesetzt die darunter liegende Storagelösung erlaubt so hohe Dauerübertragungsraten.

Nun, ich nutze schon die 10Gbit bei großen Blockgrößen komplett aus. "Man" ist in in dem Fall ich. Die Tests habe ich sowohl mit SMB, NFS und iSCSI jeweils mit Testprogrammen wie Chrystal Diskmark oder ähnlichen Programmen durchgeführt. Alles ist auf Jumbo Frames. Ich gebe Dir nicht unrecht, wenn Du schreibst, dass Elemente dazwischen Virtualisierung, Netzwerkswitches etc. auch bremsen können. Nur suche ich eine Art maximale 4K Durchsatzmenge. Ich sage einfach mal naiv ohne Nachzudenken, 2*4K passen in ein Jumbo Fram mit MTU 9000. Dann müsste man auf 8/9 der Transferleistung kommen. Bei 1250MByte/s also 1111MByte/s oder 280000 4K Pakete je Sekunde. Das ist aber sehr weit weg von 20MByte/s oder 5120 4K Pakete je Sekunde. Die höchsten Spitzen die ich bisher sehen konnte waren knapp über 30MByte/s in 4K. Bevor jetzt die Frage von Synchron und Asynchron kommt, alle Tests sind Asynchron geschaltet und laufen quasi von RAM - Netzwerk - RAM, es sollte also auf der Quell- und Zielendpunkt keinen Flaschenhals geben. Diese Werte ergeben sich nicht nur auf einem einzelnen Speichersystem, sondern auch auf verschiedenen nicht zueinander kompatiblen Speichern sowie unterschiedlichen Servern auf der Client Seite. Wie sehen Systeme aus, die angeblich 500000 bis 1 Million IOPS durchsetzen sollen. Mit 10GBit alleine ohne LAG/Bonding ist so etwas nicht machbar. Bitte jetzt ebenso nicht mit SSD kommen, ich habe im Ziel RAM als Lese/Schreibcache, daran kann es ebenso nicht liegen.