FreeNAS-11.1-U3, Samba Performace Raidz6

[MrDeluxe]

Hallo Community,

ich bin gerade an der Feinarbeit meiner FreeNAS-Konfiguration.

Hier die interessanten Specs:

CPU:

Intel(R) Xeon(R) CPU E3-1225 v3 @ 3.20GHz
RAM: 18393MB
HDD: 8x8TB WD80EFZX 
SSD: 80GB (L2ARC)

ZFS-Konfig:

recordsize 1M
compression lz4
atime off
dedup off

Samba write:

115 MegaByte/sec

Samba read:

65 MegaByte/sec

Samba habe ich schon mit folgenden Parametern tunen wollen:

socket options = TCP_NODELAY
SO_KEEPALIVE
SO_SNDBU
SO_RCVBUF
IPTOS_LOWDELAY

Hat auch nichts gebracht.


Erklären kann ich mir die halbe Leseleistung im Vergleich zur Schreibleistung nicht, weshalb ich auch hier nachfrage, woran es liegt.

 

[Morpheus2200]

Kannst du mal ohne L2ARC testen? Und verhält sich das auch beim wieder lesen also bei Daten die im Cache liegen sollten auch so?
Wie testest du die reads? Schreibst du die daten lokal auf einem client weg? Welche Protokollversion wird genutzt?

 

[mastersteve1]

Ich hatte mit 11.1u2 auch sehr schlechten Durchsatz. Wäre interessant ob in der 11.1u3 das Problem behoben ist? Netzwerkdurchsatz war bei 20-30mb/s begrenzt.

 

[danielmayer]

4k-Alignment? Fürs Schreiben gibts ein gewisses RAM Caching, daher ist die Zahl oben weniger aussagekräftig als die Read-Speed.

 

[MrDeluxe]

Hallo,

danke zunächst für eure Anregungen. Ich habe festgestellt, dass das Problem eher auf OSI-Schicht 2-3 statt auf 7 liegt.

FreeNAS als iperf client

iperf -s
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 64.0 KByte (default)
------------------------------------------------------------
[  4] local 192.168.77.123 port 5001 connected with 192.168.77.78 port 44943
[ ID] Interval       Transfer     Bandwidth
[  4]  0.0-10.0 sec  1.09 GBytes   938 Mbits/sec

iperf -c 192.168.77.78 -B 192.168.77.123
------------------------------------------------------------
Client connecting to 192.168.77.78, TCP port 5001
Binding to local address 192.168.77.123
TCP window size: 32.8 KByte (default)
------------------------------------------------------------
[  3] local 192.168.77.123 port 56282 connected with 192.168.77.78 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec   577 MBytes   484 Mbits/sec

FreeNAS als iperf Server

sudo iperf -c 192.168.77.123
------------------------------------------------------------
Client connecting to 192.168.77.123, TCP port 5001
TCP window size: 85.0 KByte (default)
------------------------------------------------------------
[  3] local 192.168.77.78 port 44943 connected with 192.168.77.123 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  1.09 GBytes   939 Mbits/sec

sudo iperf -s
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
[  4] local 192.168.77.78 port 5001 connected with 192.168.77.123 port 56282
[ ID] Interval       Transfer     Bandwidth
[  4]  0.0-10.0 sec   577 MBytes   483 Mbits/sec

Man sieht deutlich, dass sich die Transferrate ungefähr halbiert hat. Noch weiß ich nicht woran es liegt. Ich schließe nun erstmal das Dateisystem / Applikationsebene aus.

 

[JohnnyBGoode]

@MrDeluxe

Läuft denn FreeNAS direkt auf der Hardware oder in einer virtualisierten Umgebung? Die etwas krumme RAM-Menge sieht vom Bauchgefühl her nach VM aus.

Bei VMware hatte ich die Erfahrung gemacht, dass die Netzwerkleistung bei einer virtuellen NIC teilweise extrem asymmetrisch ist, auch wenn die verwendeten Speicher ein vielfaches von 1 GbE sowohl lesen als auch schreiben könnten und auch die CPU gelangweilt ist.

 

[MrDeluxe]

Das Problem war, dass ich mein Management-Interface und Daten-Interface (LACP) im gleichen Subnetz hatte. Das wurde von mir über die CLI erzwungen, weil es über die GUI nicht ging. Ganz begreifen kann ich den Geschwindigkeitsverlust trotz allem nicht.

Jetzt läuft alles in Gbit-Speed. Ich habe übrigens die NIC via PCIe Passthrough an die VM durchgereicht.