Wie am besten ZFS/FreeNAS auf HP Microserver (G8) einrichten ?

[tcg]

Hi,
nachdem ich einiges durchprobiert habe bin ich nun bei FreeNAS 11 hängen geblieben.
Das gefällt mir nun relativ gut und ich denke damit kann ich etwas spielen (bis ich wirklich sicher bin dass ich es mag).
FreeNAS habe ich mir primär wegen ZFS ausgesucht aber auch weil es eine recht nette Oberfläche hat.
Aber beim Einrichten von ZFS bin ich nun etwas hängen geblieben und habe ein paar Fragen.

System:
*) System: HPE MicroServer Gen8
*) CPU: E3-1240-V2 (4+4 cores @ 3.4 GHz)
*) RAM: 16 GB (2*8GB @ 1333 MHz / ECC)
*) HD: 4*2TB (alte 5400er: Samsung EcoGreen F4 HD204UI) / [ada0-ada3]
*) SSD: 1*250GB (Samsung 850 Evo / an ODD -> Sata2 !) / [ada4]
*) Netzwerk: 2*1-GBit-LAN (aber nur bis zum Switch, dann 1*1-GBit zum PC)
*) FreeNAS installiert auf 16GB USB Stick / [da0]
Da ich natürlich was optimales aus dieser HW rausholen will frage ich mich wie ich Read- & Write-Cache sinnvoll einrichte.

Idee:
4*2TB-HD in Raid-Z1 und Cachen mit der SSD (Das sollte auch an Sata-2 noch was bringen)
32-64GB als Write-Cache, Rest der SSD als Read-Cache.
[SLOG = ZIL = write cache]
[L2ARC = read cache]

Jetzt habe ich folgende Probleme.
Im FreeNAS-Handbuch steht:

SLOG: "ZFS currently uses 16 GB of space for SLOG. Larger SSDs can be installed, but the extra space will not be used."
Werden mehr nicht benutzt ???

L2ARC: "As a general rule, L2ARC should not be added to a system with less than 32 GB of RAM, and the size of an L2ARC should not exceed ten times the amount of RAM."
Warum ??? Ich kabe "nur" 16GB, also lieber kein L2ARC auf die SSD ???

Wie richte ich das ein ?!? Per GUI wohl nicht...
Also per shell 2 Partitionen machen und dann irgendwie benutzen ?!?
Am besten wahrscheinlich für OP etwas Platz frei lassen ?!?

#erst per GUI ada0-ada3 als RaidZ1 "data" erzeugen
#dann per shell irgendwie sowas:
gpart destroy -F ada4
gpart create -s GPT ada4
gpart add -s 16G -t freebsd-zfs ada4
gpart add -s 160G -t freebsd-zfs ada4
zpool add data log ada4p1
zpool add data cache ada4p2

Macht das nun Sinn ? Oder lieber die SSD komplett raus (weil man das ja nicht machen soll laut Manual ?!?)

 

[Opticum]

L2ARC lohnt sich nicht unbedingt und wenn dann nicht mit einer herkömmlichen SSD. Genau so das SLOG, da eignen sich nur spezialisierte SSDs mit entsprechender Performance und Langlebigkeit.
Die Infos sind alle aus dem FreeNAS Forum aus dem Gedächnis. Wirst du aber relativ einfach dort finden können. Kurzum: SSD für ZFS nur in speziellen Bedarfsfällen mit extra profi Komponenten.

Raid-Z1 ist ok als Kompromiss zwischen Kosten und Nutzen. Bei Festplatten ab 4TB wird eher Raid-Z2 empfohlen aufgrund statistischer Ausfallwahrscheinlichkeiten. (Steht auch so begründet im FreeNAS Forum und macht Sinn, JE nach dem wie gut sein eigenes Backup ist und wie Ausfallzeiten tollerierbar sind)

 

[tcg]

Ich glaube ich werde einfach mal etwas rum spielen müssen, mal mit und mal ohne SSD.
Der Rechner ist eine Bastelmaschine ohne reale Daten, daher kann ich mir da auch nichts zerschießen.

Ich glaube aber ich bleibe mittelfristig doch bei meinem ersten Würfel: P420 mit R5, ESXi mit ner Ubuntu Storage-VM.
ZFS ist supercool, aber braucht zuviel Ressourcen (hier meine ich: Zeit zum Testen und Wissen ;-)

 

[rayze]

Bei genügend RAM (>8GB) hast du Zuhause wahrscheinlich nicht genug Load auf dem Filer das ich ein L2ARC lohnen würde. Ich habe bei mir einen drin. Das System hat ebenfalls 16GB RAM und im Regelfall hab ich ca. 85% Hitrate auf dem L1ARC und grad mal 1-2% auf dem L2ARC

|---------------------------------------------------------------------------------------------------------------------|
|l1reads    l1miss     l1hits     l1hit%     size  |  l2reads    l2misses   l2hits     l2hit%     size   disk_access% |
|---------------------------------------------------------------------------------------------------------------------|
|821485774  113240611  708245163  86.215%    3 GB  |  113236891  110356501  2880390    2.543%     118GB   13.760%    |

 

[tcg]

Hmmm, Mist !
Dann muss ich Frau und Kindern sagen dass sie mehr Last generieren müssen ;-)

 

[CommanderBond]

SSD Cache macht kein Sinn hier weil ZFS das wichtigste eh schon im Ram ablegen kann.
Willst du nen Pool mit ordentlich Performance mache einen SSD Pool.

4x 2TB halte ich auch für sinnlos. Verkaufe und mache einen Mirror mit 2x 4TB.

ZFS braucht nicht viele Ressourcen sondern skaliert mit dem was du an Ressourcen hast.

 

[tcg]

SSD Cache macht kein Sinn hier weil ZFS das wichtigste eh schon im Ram ablegen kann.
Willst du nen Pool mit ordentlich Performance mache einen SSD Pool.

Zu teuer & zu klein.
Ich habe an meinem anderen Würfel einen P420 mit SAAP am laufen und 4 SSDs zum cachen dran, das geht echt sehr gut ;-) Macht schon Sinn, ist sauschnell (und dabei auch noch groß), aber halt kein ZFS...

4x 2TB halte ich auch für sinnlos. Verkaufe und mache einen Mirror mit 2x 4TB.

At the end of the day sollen da eher >= 4*8TB rein, ist aber wirklich bisher nur ein Bastelrechner, dafür reichts (wohl die nächsten Jahre)...

ZFS braucht nicht viele Ressourcen sondern skaliert mit dem was du an Ressourcen hast.

Ich denke schon dass 16GB RAM für sowas reichen ;-)
Ich kenn mich halt mit ZFS gar nicht aus, aber das gibts ja schon viele Jahre, und damals war RAM nicht so üppig...

Ich hab eh auch gestern Abend mal schnell nen ESXi 6.5 drauf gemacht und damit mal zu spielen (gefällt mir aber gar nicht, ist einfach zu instabil, da kommt dann wieder ESXi 6.0 drauf), damit kann man dann den AHCI Controller an die VMs durchreichen und hat dann ZFS in ner FreeNAS VM die dann wieder z.b. per iSCSI (?) ein Volume an den ESXi server shared als Datastore für weitere VMs (danke MicroCane ;-).
Irgendwie durch die Brust ins Knie, aber irgendwie cool !!! Jetzt brauch ich nur noch nen USB Stick als Datastore für die FreeNAS VM und ich muss noch verstehen was bei ZFS disks, pools, volumes und datasets sind (und was es sonst noch so gibt, ist total verwirrend !).
Wenn ich dran denke dass ich am Anfang nur ein kleines NAS wollte... Hab schon lange nicht mehr so viel Spaß am Basteln gehabt !

 

[CommanderBond]

ZFS braucht nicht zwangsweise viel Ram sondern nutzt ihn halt zum Cachen. Es ist nur zum Beschleunigen, man muss aber auch so sehen dass diesen ARC andere Dateisysteme erst gar nicht besitzen. 4GB für ZFS selbst reicht schon völlig aus, mehr Ram "kann" dir aber weitere Beschleunigung bringen, wobei es mit wenig Ram nicht langsam ist, ist dann halt nur die HDD Leistung, die du woanders auch hast

vdevs sind virtuelle Devices. Ein Pool besteht aus mindestens einem vdev.

vdev können Ausfall sicher sein, zB Mirror, oder Raid6/Z1, müssen sie aber nicht.

Datasets werden auf dem Pool erstellt. Diese entsprechen in etwa den Ordnern von Windows, können aber mehr.

Beispiel für Pools wären zB folgendes:

Pool1 besteht aus vdev1 und vdev2

vdev1 besteht aus 2 Platten im Mirror. vdev2 besteht aus 3 Platten im RaidZ1 aka Raid6.

Der Pool funktioniert solange wie alle vdevs funktionieren. Sprich in dem Beispiel kann in jedem vdev eine Festplatte ausfallen.

 

[hoodchane]

Ich glaube aber ich bleibe mittelfristig doch bei meinem ersten Würfel: P420 mit R5, ESXi mit ner Ubuntu Storage-VM.

 

[tcg]

Äh, ja genau ;-)
Den löse ich so schnell nicht auf !

 

[MSN]

SLOG: "ZFS currently uses 16 GB of space for SLOG. Larger SSDs can be installed, but the extra space will not be used."
Werden mehr nicht benutzt ???

Rechnen wir mal: im SLOG werden 5 sekunden schreiben gecacht. Du hast den Server mit 2*1GBit/s am switch hängen. Kein overhead: 5s * 2GBit/s=1,25GB wofür brauchst du also 16GB SLOG? du kannst sicherheitshalber 5GB nehmen, aber mehr wirst du nie brauchen.

L2ARC: "As a general rule, L2ARC should not be added to a system with less than 32 GB of RAM, and the size of an L2ARC should not exceed ten times the amount of RAM."
Warum ??? Ich kabe "nur" 16GB, also lieber kein L2ARC auf die SSD ???

Man sagt 10GB L2ARC brauchen 1GB RAM zur verwaltung usw. also frisst dir der L2ARC den RAM weg, wenn du ihn zu groß machst.

 

[tcg]

Danke !
"im SLOG werden 5 sekunden schreiben gecacht" -> wieder was gelernt !

 

[Trambahner]

Ausserdem: Ein SLOG ist eh kein regulärer Schreibcache, sondern wird eh nur bei Sync Writes auf einen Pool genutzt; also z.B. für NFS oder z.B. eine auf Solaris installierte Oracle Datenbank, die das Commitment der geschriebenen Daten vom Filesystem fordert. Meine Datasets für NFS-Shares stehen alle auf Sync=Disable (dafür aber sichert eine USV den Server).
Für Windows/SMB ists nicht von Nutzen, sofern ich am Pool nicht Sync=always erzwinge.

Btw, bei mir wären es 10 Sekunden, da ich die 5 Sec in den Parametern hochgestellt hab.

L2ARC ist eigentlich erst interessant, wenn ein Mehr an Ram nicht mehr geht.

Ja, ESXI, ZFS und BSD haben bei mir etwas Lernen erzwungen, aber das lohnt sich. Allerdings nutze ich nicht FreeNAS, sondern Nas4free.

 

[besterino]

Wieviel "schnellen" Platz brauchst Du denn und wie sicher soll der sein? 1TB bekommt man mit "SSD Raid0" schnell hin. Backup mit Autosnaps und Replikation von mir aus 1x am Tag ganz nach Laune auf den langsameren HDD Pool.

Auch auf die Gefahr mich zu wiederholen: mach ich bei meinem ESXi so - der ESXi macht vollautomatisch Snaps der VMs auf nem SSD "Raid0" Pool die dann mit ZFS Replikation weggesichert werden, alles bequem gesteuert über Napp-It. Für mich ein sehr guter Kompromiss aus beiden Welten.

Um die Verwirrung komplett zu machen: ich nutz Solaris 11.3 als Unterbau dafür (wollte schon immer mal ein "echtes Unix" fahren). Ist auch ein bisserl Umgewöhnung aber mit Ubuntu-Grundwissen, der Napp-It Docu und zur Not der wirklich exzellenten Oracle Knowledgebase (an die man sich aber auch etwas gewöhnen muss) alles recht easy machbar.

 

[tcg]

Ausserdem: Ein SLOG ist eh kein regulärer Schreibcache, sondern wird eh nur bei Sync Writes auf einen Pool genutzt; also z.B. für NFS oder z.B. eine auf Solaris installierte Oracle Datenbank, die das Commitment der geschriebenen Daten vom Filesystem fordert. Meine Datasets für NFS-Shares stehen alle auf Sync=Disable (dafür aber sichert eine USV den Server).
Für Windows/SMB ists nicht von Nutzen, sofern ich am Pool nicht Sync=always erzwinge.

...

Ja, ESXI, ZFS und BSD haben bei mir etwas Lernen erzwungen, aber das lohnt sich. Allerdings nutze ich nicht FreeNAS, sondern Nas4free.

Hab ich auch schon halb verstanden, SLOG ist nicht unbedingt ein "Alltagscache" ;-)
Ist einfach spannend in die heutige Technik mal wieder reinzuschnuppern, hab auch wieder viel gelernt (nachdem ich in letzer Zeit immer mehr gearbeitet und immer weniger gelernt habe)...

Wieviel "schnellen" Platz brauchst Du denn und wie sicher soll der sein? 1TB bekommt man mit "SSD Raid0" schnell hin. Backup mit Autosnaps und Replikation von mir aus 1x am Tag ganz nach Laune auf den langsameren HDD Pool.

Brauchen tu ich gar nix, mein 1. Würfel hat noch genug Platz und ist allemal schnell genug (4*5TB schnelle HDs im R5 mit 4*0.5TB SSD im R0 als SAAP-Cache, so schnelle VMs hatte ich noch nie ;-)

Um die Verwirrung komplett zu machen: ich nutz Solaris 11.3 als Unterbau dafür (wollte schon immer mal ein "echtes Unix" fahren).

Stimmt, ein Solaris wollte ich auch mal probieren...

Ich hab den Bastelwürfel inzwischen wieder auf ESXi (6.0.0 Update 3 - 5572656), mal schaun was ich morgen installiere... Proxmox hab ich mir schon länger nicht mehr angeschaut...

Danke für das rege Interesse und die Tips !