[Gelöst] Fileserver & iSCSI zu langsam oder zu hohe Ansprüche?

[taeddyyy]

Moin,
Ich stehe aktuell vor dem Problem, dass mein Fileserver beim schreiben nicht die gewünschte Leistung liefert.

Server Config:

Core i3 4130
Fujitsu D3222-B Bios 1.46
HP Server NIC 1Gbit PCIe (Intel Pro1000PT)
16GB DDR3 Ram
beQuiet PurePower 350Watt
Fujitsu D2607 Raidcontroller FW vor Flash aus 2013
2 x WD Purple 4 TB
2 x WD Blue 2,5 Zoll 500GB
Nachgerüstet: Seagate Exos 4TB SAS 7200 RPM
Getestet mit ESXi 6.0

, Per Intel Pro 1000 direkt an meine Workstation angebunden, ebenfalls per Intel pro 1000. Auf dem Host läuft 1 VM Windows Server 2016 als Fileserver, darauf ein eingerichtetes iSCSI Target und eine eingerichtete Ordnerfreigabe. Zu Testzwecken und um Fehler auszuschließen läuft der Server mit 8GB Ram und allen 4 Cores des Hosts, keine andere VM eingeschaltet.
Die VM hat 3 VMDKs, 1x OS 50GB, 1x iSCSI Target 100 GB, 1xNetzwerkshare 100GB
Alle VMDKs liegen auf dem 4TB Raid1, da die 500er defekt und demnächst gegen SSD ausgetauscht werden sollen.
Alle VMDKs und auch das iSCSI target haben feste Größen.
Gelesen werden die Daten der Workstation von meiner Sandisk SSD Plus 480GB, auf der auch mein Win10 Pro liegt.
Problem: Ich schreibe mit folgenden Werten von der Workstation auf den Server:
iSCSI Target: kopieren von 5 .mp4 Dateien gesamt 5,12 GB Dauer: 71 Sekunden = 72 MB/S
Netzwerkshare: kopieren von 5 .mp4 Dateien gesamt 5,12 GB Dauer: 66 Sekunden = 77 MB/S
Crystal Disk Mark iSCSI Target:
Crystal Disk Mark Netzwerkshare
Wenn ich Crystal Disk direkt auf dem Server ausführe bekomme ich folgende Werte:
C:
D: (iSCSI)
E: (Netzwerkshare)
Mir ist natürlich bewusst, dass das Netzwerk der Flaschenhals ist, warum kratze ich aber nichtmal an der 100MB/S Marke? Ich habe schon so rund 105 – 110 MB/S im lesen/schreiben erwartet, eben knapp unter Gbit Lan theoretischer Geschwindigkeit. Oder erwarte ich zu viel von meinen Systemen und sollte mit den Werten zufrieden sein?
Was schon durchgeführt wurde:
BIOS Update Server
Bios Update Workstation
Firmware Update Raid Controller
Neuer PCIe Ethernet Adapter für Server
Neuer PCI Ethernet Adapter für Workstation
Direkte Verbindung beider Geräte
Gigabit Switch zwischen beiden Geräten

 

[taeddyyy]

Keiner ne Idee?
Bekannter hat ähnliches Setup und kopiert mit stabilen 110/MBs, fährt also definitiv im Netzwerklimit.

 

[SystemX]

Welcher Gigabit Switch ist es den ?. Hab hier nur ne Fritzbox 7590 und nen Windows Server via Ordnerfreigabe und komme ebenso auf knappe 112MB/s im Schreiben.

 

[Firebl]

Naja ich kopiere von einem alten Netgear switch über einen Edgerouter-X weiter zu einem Linksys SRW2024 bis zum PC auch mit vollen 114MB/s stabil. Da wirds der swicht nicht sein.

 

[taeddyyy]

D-Link DGS-1008D
Wobei der Switch ja egal ist, da beide direkt miteinander verbunden sind über je eine seperate Netzwerkkarte.

 

[BadBigBen]

Hmmm... ist Write-Back auf dem Controller activiert oder Write-Through?

Write-through cache directs write I/O onto cache and through to underlying permanent storage before confirming I/O completion to the host. This ensures data updates are safely stored on, for example,
a shared storage array, but has the disadvantage that I/O still experiences latency based on writing to that storage.
Write-back cache is where write I/O is directed to cache and completion is immediately confirmed to the host. This results in low latency and high throughput for write-intensive applications,
but there is data availability exposure risk because the only copy of the written data is in cache.

auf gut Deutsch gesagt, auf Write-Back für die Performance und Write-Through für die Sicherheit... beim ersteren kann man aber ne Sicherheit von ca. 72Std. gewährleisten in dem man eine BBU (Battery BackUp (Unit)) benutzt...

Bei meinem Server (jetzt Win10 und Freigaben) hatte ich ähnliche Probleme, RAID Controller 1 (Write-Back) Transferrate ca. 100 bis 130mbit/s, und Controller 2 (war auf Write-Through eingestellt) war die Transferrate bis 1GB bei 100-130mbit/s, und nach 1GB ging sie in den Keller und tuckelte mit 30 bis 40mbit/s umher...

 

[taeddyyy]

Da bin ich gerade überfragt, ich weiß nur, dass ich beide Einstellungen schon mal getestet habe. Ich kann heute Abend mal nachschauen. Eine BBU existiert auf dem Controller nicht, die ganze Kiste hängt an einer kleinen APC. Kann es sein, dass es Treiberprobleme im ESX gibt?

 

[BadBigBen]

Treiberprobleme, schließe ich eher aus, denn dann hättest du auch nativ Transferraten Probleme...

 

[taeddyyy]

Hab noch 2 Fotos gefunden, heute Abend mache ich mal von der ganzen Config ein paar Bilder.
Die Firmware ist mittlerweile Aktuell.

 

[Gelöschtes Mitglied 184103]

Ich schmeiß mal rein was mir dazu einfallen würde:

- Zur Fehlereingrenzung mal mit iperf messen wieviel Durchsatz auf Netzwerkebene erreicht wird.

- Ggf. den ESX mal updaten, 6.0 ist ja schon etwas älter nun.

- Die Firmware vom HBA sehe ich nicht, du sagst sie sei nun aktuell.
Der D2607 ist ja ein LSI 9211-8i wie mein M1015. Dafür gibt's ne Firmware aus zumindest 2016 von LSI direkt die du da drauf flashen könntest.

- Kannst du das Raid noch auflösen und mal mit einer einzelnen Disk testen?

 

[taeddyyy]

Hi, habs gestern leider nicht mehr geschafft die config zu posten.
Laut Webbios ist es ein Megaraid SAS 8708 EM2, ist der Baugleich zum 9211-8i? Und trotz Fujitsu Stempel kann ich die 2016er Firmware installieren? Ein Link wäre super.
Ich meine, dass aktuell eine aus FW aus 2013 installiert ist, das war die aktuellste von der Fujitsu website.

Ich möchte bei Gelegenheit mal statt dem ESX mit VMs direkt auf dem Raid ein Windows installieren und mal den Durchsatz auf ein Netzlaufwerk testen.

 

[Gelöschtes Mitglied 184103]

Also bei dem SAS 8708 EM2 hab ich keine Ahnung (kenn ich nicht, finde ich auch nix auf die schnelle zu), aber der Controller aus deiner Sig D2607 ist ein 9211-8i laut servethehome (LSI RAID Controller and HBA Complete Listing Plus OEM Models | ServeTheHome and ServeThe.Biz Forums).

Die Firmware Dateien bei Broadcom für den 9211-8i gibt es wohl nicht mehr auf der Seite von Broadcom, es soll aber die 9210-8i Firmware funktionieren (SAS 9210-8i Host Bus Adapter).

Zur Not hätte ich die Firmware für den 9211-8i noch bei mir und könnte sie dir schicken.

 

[taeddyyy]

Zuschicken wäre super, wenn dann würde ich schon die passende bevorzugen.

 

[taeddyyy]

Ich wollte hier mal Rückmeldung geben:

- Der Intel pro 1000GT in meinem Desktop PC limitierte auf 82 MB/s über Netzwerk, (Win10 Treiber von 2010) diese ist rausgeflogen, nutze bis zum eintreffen einer neuen Karte meinen Onboard Realtek , (Asus Prime X370-A) der limitiert nicht. Hier habe ich etwas gepennt und mich wohl von "Intel Pro 1000 Gbit" blenden lassen.
- Ich habe den D2607 crossflashed auf 9211-8i IT Mode. Danke an derfahnder für den Hinweis, das hat mich auf die richtige Spur gebracht. Flashen der FW kommend von 2013 auf 2015er brachte einen subjektiv riesigen Performanceschub, auch die Crystal Disk Marks schauen besser aus.
- ESXi 6.7 Stock installiert auf 16 GB USB Stick.
- In der Config der Platte thin-provisioning auswählen (geht leider nicht anders, da nativ kein thick geboten wird.), danach über den Datastorebrowser die .vmdk vergrößern (thick-provisioning)

Ergebnis all dieser Aktionen ist, dass ich von meinem Desktop über einen Linksys WRT32X mit OpenWRT über einen Billig DLink Switch konstant mit 113 MB/s in einer Win10 Pro VM schreiben/lesen kann.

Habe mich beim Flashen an dieser Anleitung orientiert, da mein Mainboard Probleme mit Megarec/megaCli und sas2flash gemacht hat.
Fujitsu D2607-8i - Crossflash to LSI 9211-8i - Storage Devices and Controllers - Unraid

 

[Gelöschtes Mitglied 184103]

Freut mich für dich. Danke fürs Feedback