TrueNAS System - SSD viel zu langsam?

[Paddy600]

Hallo zusammen,

ich nutze mein NAS (TrueNAS 12 U8) nun seit gut 3 Jahren, und habe nun eine Samsung 970 Evo (NVME) mit 1TB Speicher hinzugefügt, da ich einen schnelle Ablage für den angeschlossenen Win 10 PC einrichten wollte. Da kommt nichts wichtiges drauf, nur um schnell Daten zu teilen, oder um auf dem PC schnell etwas Platz zu machen. Daher auch nur eine einzelne Platte ohne Raid.

Jetzt habe ich nur das Problem, dass die SSD viel zu langsam ist. Die 970 Evo sollte eigentlich problemlos selbst ohne den Cache auf 1gb/s kommen. Bei größeren Daten (etwa 1-1,5gb / Datei) komme ich aber auf nur etwa 300mb/s im schreiben. Bei kleineren (300-800kb) komme ich auf etwa 50mb/s.

Das komische hier ist aber, das scheinbar nicht die SSD, sondern irgendwas anderes zu limitieren scheint. Wenn ich Daten auf die SSD übertrage geht das im Sekundentakt (Laut Netdata) 1gb/s -> 0gb/s -> 1gb/s -> 0gb/s -> 1gb/s etc... also würde die SSD jede Sekunde pause machen ... :-(

Hat jemand eine Idee woran das liegen könnte? Ich habe ja nicht erwartet das die SSD das Netzwerk auslastet, aber 300mb/s bei großen Dateien sind schon arg wenig.




NAS: Intel E3 1230v5, 65Gb ECC Ram, ConnectX 4 (SFP28).
Win 10 System: AMD 5800X, 32Gb ECC Ram, WD SN850 1TB, ConnectX 4 (SFP28)

Hier die Daten von Netdata:

 

[mrpasc]

Tip ins blaue: hast du sync-write an?

 

[Paddy600]

Tip ins blaue: hast du sync-write an?

Erstmal Vielen dank für die Antwort!

Sync und Atime sind beide für das dataset deaktiviert.

 

[maxblank]

Von welchem Medium wird zur NVME übertragen?
Netzwerk mal mit iPerf gemessen?

 

[nazgul77]

Jetzt habe ich nur das Problem, dass die SSD viel zu langsam ist. Die 970 Evo sollte eigentlich problemlos selbst ohne den Cache auf 1gb/s kommen. Bei größeren Daten (etwa 1-1,5gb / Datei) komme ich aber auf nur etwa 300mb/s im schreiben. Bei kleineren (300-800kb) komme ich auf etwa 50mb/s.

Das Phänomen mit den großen Dateien ist mir auch schon begegnet. Netzwerk und datenquelle konnte ich als Flaschanhals ausschließen.
Ursache war in meinem Fall die inkonsistente Lese-Performance meiner SSD (MP510 in meinem Fall). Die ersten 1,5Gb lesen sich mit der im Datenblatt angegebenen max Performance 3GB/s, damacj gejts damm aner steil bergab
Beim schreiben ist bekannt, dass die Performance schnell abfällt, sobald der Cache bzw Schreibpuffer der SSD scneller voll ist als Daten in den langsamen MLC-Bereich geschireben werden
Ich wette das ist bei dir auch die Ursache

 

[DFFVB]

Also TrrueNAS Scale war auch lange nicht optimiert, wo CORE mit 1 GB/s schrieb, erreicht eim exakt gleichen Setup 300-400 MB/s bei SCALE. Abgesehen davon war das auch eher ein Glücksspiel welche Geschindigkeiten ich da erreicht habe, da war Windows Server deutlich zuverlässiger.

 

[gea]

Windows ist auch nur bei ntfs schnell, dafür bei weitem nicht so sicher wie ZFS. Nimmt man da ReFs um wenigstens auch Copy on Write Sicherheit und Prüfsummen zumindest auf Metadaten zu haben, so ist die Windows Performance meist übel und viel schlechter als ZFS auf beliebiger Plattform.

Auch muss man zwischen der reinen Pool Performance und der z.B. über SMB unterscheiden. Auch spielt die Last eine Rolle. Wenn man nur kurzzeitig single user sequentiell testet, ist die Pool Performance meist prima, bei io lastigen random Sachen viel schlechter. Kommt dann noch gleichzeitigkeit beim Lesen und Schreiben oder mehrere User gleichzeitig dazu, bricht es oft stark ein.

Ich mache daher Pool Benchmarks üblicherweise mit einer Reihe von Filebench Tests für sequentielles und random read + write und das mit sync vs async. Wenn ich es genau wissen will, dann lasse ich parallel zum Haupt Test einen weiteren Benchmark wie 5stream read/write + bonnie laufen. Bei gleichzeitigen mixed read/write bzw mehreren Usern gleichzeitig bricht die Performance oft heftig ein.

RAM bei ZFS dient dazu das etwas abzupuffern. BSD oder Linuxbasierte Lösungen sollten etwas mehr RAM erhalten als Solarisbasierte. Die ZFS interne Speicherverwaltung ist immer noch wie Solaris wo ZFS herkommt.

Auch der SMB Server kann eine Rolle spielen. Der multithreaded kernelbasierte Solaris SMB Server ist bei multiuser/multithread Last oft schneller als singlethreated SAMBA. Native ZFS oft schneller als Open-ZFS.