Dokumentation Baubericht 10G FreeNAS SSD Server

[daniel712]

Man muss ja auch Visionen haben

Also nach allem was ich bis jetzt gelernt hab, sollte es mit mehreren 3-wide RaidZ1 (860er SSDs) über die das ZFS seinen Stripe legt gut laufen die 10G Verbindung auszulasten... Ich möchte da schon Werte >1GB/s bei den Dateitransfers... Sonst wäre ich etwas entäuscht bei der Investition...

 

[besterino]

Good luck. =)

Hab den Überblick verloren... kommen die SSDs jetzt an einen HBA oder an den onboard SATA?

Wenn HBA, Daumen drücken, dass TRIM funktioniert - so zum Beispiel offenbar nicht bei den Samsung 850 Pro an LSI HBAs. Ohne TRIM werden die schnellsten SSDs u.U. sehr schnell sehr lahm.

 

[daniel712]

Sowohl, als auch... die ersten 24 kommen an die drei LSI.
Irgendwo hab ich gelesen, dass man bei ZFS TRIM ausschaltet, das muss ich aber nochmal verifizieren... Bin gerade unterwegs...

 

[besterino]

Mein Verständnis: ZFS (Solaris) sendet by default kein "unmap" Kommando (TRIM), so dass der Kontroller/Disk alle jemals benutzten Blöcke als belegt ansieht, selbst wenn ZFS den selbst gar nicht mehr nutzt. Das ist insbesondere aufgrund des copy-on-write Systems misslich, da ZFS dadurch erstmal mehr Platz einnimmt und alles woanders hin schreibt, bevor die alten Daten obsolet werden.

Begebe mich hier aber auf Glatteis, so tief bin ich in die Materie bisher nicht eingestiegen. Ist bei OmniOS auch glaub schon anders.

Links zum Thema:
SSD Performance Degradation and SCSI UNMAP Command | Karim's Blog
ZFS and Intelligent Storage
https://docs.oracle.com/cd/E53394_01/html/E54818/chapterzfs-flash.html

 

[sch4kal]

Sowohl, als auch... die ersten 24 kommen an die drei LSI.
Irgendwo hab ich gelesen, dass man bei ZFS TRIM ausschaltet, das muss ich aber nochmal verifizieren... Bin gerade unterwegs...

Und das soll bitte was für einen Sinn haben ?
Glaub ich nicht, wenn selbst OpenZFS es implementieren will (für FreeBSD ZFS scheinbar schon vorhanden).
Features - OpenZFS

So ein LSI zieht gut Strom, mein umgeflashter Dell H310 ~10W.

 

[Trambahner]

860 Evo? Sicher eine top Consumer/Desktop SSD, aber wie schaut da die Steady State Leistung aus, wenn man ne zeitlang "draufdonnert"?
Ok, es kommt immer auch drauf an, was man für Workloads überhaupt hat.

Falls Du das in "Datacenter"-Qualität willst, dann schau Dir die PM863 (=quasi die 850 Evo für Datacenter) oder PM883 (=in etwa die 860 Evo für Datacenter).

LSI onboard (SAS3008) sind bei mir 7-8W.


@ Falo999: 40G....tststs....Ein paar hier haben schon 100G am Start mit kürzlich mal günstigst verfügbaren OEM-Melli's (CX4 VPI).

 

[daniel712]

Für meine Workloads müssen die 850er EVOs reichen... Mal sehen, wie lange die halten. Die Enterprise Chips sind einfach zu teuer, ich brauche im Endausbau 30 Stück...

40G ist noch Wunschdenken, aber nur in der Theorie: Würden 3 NVMe am PCIe Bus im RaidZ1 den Durchsatz bringen? Hat da jemand was laufen?

Wenn HBA, Daumen drücken, dass TRIM funktioniert - so zum Beispiel offenbar nicht bei den Samsung 850 Pro an LSI HBAs. Ohne TRIM werden die schnellsten SSDs u.U. sehr schnell sehr lahm.

TRIM is not used and not needed due to ZFS's copy on write drive leveling.

Hier hab ich das gelesen, im Vorspann des SSD Benchmark...
Passt! Hier steht's auch nochmal, kein TRIM nötig, weil er die freigegebenen Blöcke nicht wieder belegt, bis er einmal durch ist...

*** Hab gerade auf der o.g. Seite die Topics Snapshots und Send/Recv gelesen... Hammer!!!

Nur zum Verständnis: Wenn der bisherige Pool voll läuft und ich den destroye um ein weiteres 3-wide RaidZ1 hinzuzufügen und dann aus dem Backup File mit Recv wieder in den neu angelegten Pool einfüge, dann striped er die Daten komplett neu über alle VDEVs, korrekt?

 

[Trambahner]

ZFS-Blöcke haben mit Flash-Blöcken/Pages nichts zu tun.

Ein Betriebssystem oder Filesystem weiß nicht, wie der Controller einer SSD physikalisch die Daten in die Flashs verteilt. Das ist ein Unterschied zu HDDs.
=> ZFS hat mit dem Wear-Leveling der SSD nichts zu tun, da der Controller dem ZFS nur logische Adressen mitteilt, aber eben nicht physikalische.
Wo Trim tatsächlich überflüssig bzw. sogar schädlich für die Latenzen ist, das ist Intels 3D XPoint-Speicher, spich Optane SSDs.

Btw, bei solchen Setups mit haufenweise SSDs ohne Powerloss-Protection würde ich so ein Teil nicht mehr ohne USV betreiben. Das schützt Dich nicht vor einem Ausfall innerhalb der Maschine (NT, Board, Controller), aber zumindest vor Stromausfall, egal ob vom Netzbetreiber her oder aber weil der FI-Schalter innerhalb Haus/Whg auslöst.
Von potentiell einigen Gigabytes im Ram-Writecache, die unabhängig von den eingesetzten SSDs nicht mehr weggeschrieben werden, will ich gar nicht reden. Ohne USV halte ich das für extrem leichtfertig.

Ja, Snaps und ZFS send/recv sind mächtige Möglichkeiten. Auch zum Backupen, weswegen ich als Backupziel auch einen ZFS-Filer einsetze. Der ist dann nur zum Backuppen an und ist auch mit leistungsschwächerer (=preisgünstigerer) Hardware als mein Hauptsystem. Aber trotzdem ordentlichen Komponenten (Dell T20 mit E3-1225v3, 24GB Ram, Intel X540, M1015 im IT-Mode, 8xWD Red). Die Dells gabs ja lange Zeit sehr sehr günstig.

Vom Hauptsystem zum T20 war auch meine 10G-Keimzelle, da ich keine Lust mehr hatte, TB-weise Daten bei Vollbackups über 1Gbit zu quälen. Und selbst bei Incremental send/recv ists eine Wohltat. Mittlerweile würde ich für die Server aber wohl evtl. Glas statt 10Gbase verwenden.

 

[daniel712]

ZFS-Blöcke haben mit Flash-Blöcken/Pages nichts zu tun.

Ein Betriebssystem oder Filesystem weiß nicht, wie der Controller einer SSD physikalisch die Daten in die Flashs verteilt. Das ist ein Unterschied zu HDDs.
=> ZFS hat mit dem Wear-Leveling der SSD nichts zu tun, da der Controller dem ZFS nur logische Adressen mitteilt, aber eben nicht physikalische.
Wo Trim tatsächlich überflüssig bzw. sogar schädlich für die Latenzen ist, das ist Intels 3D XPoint-Speicher, spich Optane SSDs.

Alles klar, danke! Was ich gelesen habe unterstützt der LSI mit IT Firmware auch TRIM. Evtl muss ich den halt flashen, ich werde berichten... Der TRIM als solches läuft unter FreeNAS wohl automatisch (steht hier). Jetzt warte ich noch auf meinen Prozessor, dann kann ich mal einige RAM und Stresstests mit der gebrauchten Hardware machen...

Btw, bei solchen Setups mit haufenweise SSDs ohne Powerloss-Protection würde ich so ein Teil nicht mehr ohne USV betreiben. Das schützt Dich nicht vor einem Ausfall innerhalb der Maschine (NT, Board, Controller), aber zumindest vor Stromausfall, egal ob vom Netzbetreiber her oder aber weil der FI-Schalter innerhalb Haus/Whg auslöst.
Von potentiell einigen Gigabytes im Ram-Writecache, die unabhängig von den eingesetzten SSDs nicht mehr weggeschrieben werden, will ich gar nicht reden. Ohne USV halte ich das für extrem leichtfertig.

Vielen Dank für die super Inputs! Im Enterprise Bereich ist das sicherlich sehr wichtig, im privaten Bereich sehe ich das nicht so kritisch. Je nachdem wie die Verwendung ist. Im Falle eines Stromausfalls müsste ich halt einen Scrub machen und abgebrochene Backup oder File Transfer Tasks nochmal neu starten... Glücklicherweise hatte ich seit 2010, seit wir hier wohnen nur 2 Stromausfälle, davon 1x FI. Ist also überschaubar... Dafür ist ZFS mit Selbstheilungs-Funktionen aber bestens gerüstet!

 

[Trambahner]

Brauchbare USVs sind nicht all zu teuer für Heimzwecke. Und als letztes Jahr auf einmal ein lautes "beep.....beep.....beep.....beep....................beep.....beep.....beep.....beep...." wusste ich, wofür ich das Ding (Backups Pro 900) hab.

 

[besterino]

@PolyLobe: reported...

 

[daniel712]

So, ich bin beim Stress Testing der gebrauchten Hardware...

Ein 16GB Modul aus ebay konnte ich schon aussortieren (POST Error "b9")... Komischerweise kommt der nicht immer und einmal als er nicht kam ist sogar ein memtest ohn Befund darüber gelaufen... Aber egal, muss eh raus... Vielleicht bekomme ich einen Ersatz.

Das Gehäuse hab ich nochmal geändert auf Cooler Master COSMOS, da bekomme ich ohne zusätzliche Einbauten 24x2.5" rein. Ich hoffe, ich finde noch Platz für einen Zusatzkäfig... mal sehen. Und man kann den gut tragen, da er in den Keller komt, außerdem war er günstig...

Sobald ich mit den Stress Tests durch bin, werde ich dann das MTP Kabel einziehen und die Netzwerk-Performance zwischen den beiden Chelsio Adaptern testen. Soll ich dazu ein debian/Arch installieren oder kann ich das in freenas machen?

Bis bald und viele Grüße,

Daniel

 

[daniel712]

Zum ertsen Testen habe ich gestern mal FreeNAS installiert...

Erfreulich der Energieverbrauch mit einer SSD (FreeNAS System): 60W
Beim Stresstest konnte ich mit max CPU auf 16 threads bis auf 111W kommen...

Ein kleiner Zwischenfall bei der Installation... Ich konnte FreeNAS nicht von einem USB 3.0 Stick installieren... Gab immer einen "mounting of root ... FreeNAS" Error 9 oder Error 2 ...

Mit einem USB 2 Stick, kein Problem... schade, dass das nicht in der FreeNAS Doku steht. Ich habe es im dortigen Forum mal angeregt... Aber vielleicht hilft es jemandem weiter.

Eine Frage noch zu meinem Chelsio Netzwerk Adapter: Ich habe noch keine Transceiver in der Karte. Ist es normal, dass der Adapter dann nicht im System (lspci) angezeigt wird?

 

[troehl]

Eine Frage noch zu meinem Chelsio Netzwerk Adapter: Ich habe noch keine Transceiver in der Karte. Ist es normal, dass der Adapter dann nicht im System (lspci) angezeigt wird?

Wenn ich aus meiner Mellanox den Transceiver herausziehe, wird dies angezeigt:
root@freenas[~]# lspci|grep Mella
01:00.0 Ethernet controller: Mellanox Technologies MT26448 [ConnectX EN 10GigE, PCIe 2.0 5GT/s] (rev b0)

denke sollte bei Chelsio ähnlich sein.

 

[daniel712]

Halli Hallo,

E N D L I C H - die ersten Erfolgsnachrichten... und Zahlen... [Erstmal Bier aufgemacht...]

Noch auf der Testbench habe ich jetzt zwei Samsung 860 Evo 1TB als Stripe im Pool. Auf meinem Arbeitzsplatzrechner ziehe ich von einer M.2 NVME SSD (single ohne RAID).
Damit ergibt sich heute im ersten Versuch folgendes Bild:

iperf:
- alles Standard MTU 1500: 9.41 Gbits/sek
- MTU 9000: 9.89 Gbits/sec
- bidirektional MTU 9000: 9.84 Gbit/sek und 3.07 Gbit/sek
- MTU 9000 im Dateimodus: 9.90 Gbits/sek

Dateiübertragung:
- Datei, Größe 53GiB, über nfs: im Mittel 750MiB/sek

Fürs erste bin ich zufrieden. Mal sehen, was ich die nächsten Tage noch testen kann. Ich denke im Bereich nfs kann man noch etwas tunen und dann mal sehen, ob ich irgendwo noch ein Bottleneck aufspüren kann...

Screenshots

Bis bald und viele Grüße,
Daniel

PS: Die Chelsio Karten werden natürlich auch ohne Transceiver im lspci angezeigt... die erste war defekt. Leider laufen wahrscheinlich wirklich nur die Chelsio Module darin, ich habe zwei Intel getestet (AFBR-703SDZ-IN2), die gehen nicht...

- - - Updated - - -

Stromverbrauch:

Mit 3 SSDs am LSI HBA liege ich jetzt bei 58W, das macht 12 EUR/Monat im Dauerbetrieb ohne Grafikkarte.