TrueNAS: Unterschiedlicher Speicherplatz Verbrauch zwischen Server und Backup Server

[Traviso]

Hallo,

ich habe jetzt einmal TrueNAS auf meinem Server und auf dem Backup Server installiert.
Auf dem Server hatte ich die Pools vorher mit Napp-IT erstellt und entsprechend Daten abgelegt.
Unter TrueNAS sieht es jetzt so aus, dass auf dem Server irgendwo ca. 5 TB an Speicherplatz "verschwunden" sind.

Hier mal ein Screenshot vom Pool unter TrueNAS auf dem Server:

Wie man sieht, wird oben angezeigt, dass 16,7 TB verwendet werden, obwohl nur ca. 11,8 TB in den Datasets gespeichert sind.

Auf dem Backup Server sieht es so aus:

Wie man sieht, sind auf dem Backup Server nur die ca. 11,8 TB belegt.

Die Daten wurden per "Replication" auf den Backup Server kopiert.

Für mich sieht es so aus, als ob auf dem Server selbst irgendwo noch Daten liegen, welche keinem Dataset zugeordnet sind.

Allerdings kann ich z.B. per ls -all im Terminal nichts sehen bzw. finden:

Hat vielleicht jemand eine Erklärung, wie sich diese Differenz erklären lässt bzw. wie man vielleicht die 5 TB an Daten finden kann ?

Danke im Voraus für die Rückmeldungen!

 

[spyfly]

Magst du uns mal mehr zu deinem Setup erzählen?

Ich nehme mal an du nutzt RAID-Z1?

Wieso ist auf deinem Server #1 die LZ4 Kompression deaktiviert?

Hier sind höchstwahrscheinlich keine Daten verschwunden, sondern die zfs recordsize auf deinem regulären Server wurde einfach unglücklich gewählt, weshalb die Daten mehr Platz belegen als sie eigentlich müssten.

Du kannst uns ja mal den Output von `zfs get all` jeder der Server mit uns teilen.

 

[Traviso]

Danke Dir für die schnelle Rückmeldung.

Magst du uns mal mehr zu deinem Setup erzählen?

Sorry, hatte ich vergessen. Die Komponenten sind jetzt in meiner Signatur gelistet. Als Raid kommt Raid-Z2 zum Einsatz.

Wieso ist auf deinem Server #1 die LZ4 Kompression deaktiviert?

Kann ich jetzt gar nicht sagen, habe ich jetzt aber auf LZ4 gesetzt.

Du kannst uns ja mal den Output von `zfs get all` jeder der Server mit uns teilen.

Hier ist die Ausgabe von ZFS get all für den Server:

Spoiler: Output ZFS get all

root@truenas-file[~]# zfs get all
NAME PROPERTY VALUE SOURCE

HDD8TB type filesystem -
HDD8TB creation Tue Oct 12 16:53 2021 -
HDD8TB used 16.7T -
HDD8TB available 37.5T -
HDD8TB referenced 224K -
HDD8TB compressratio 1.00x -
HDD8TB mounted yes -
HDD8TB quota none default
HDD8TB reservation none default
HDD8TB recordsize 128K default
HDD8TB mountpoint /mnt/HDD8TB default
HDD8TB sharenfs off default
HDD8TB checksum on default
HDD8TB compression lz4 local
HDD8TB atime on default
HDD8TB devices on default
HDD8TB exec on default
HDD8TB setuid on default
HDD8TB readonly off default
HDD8TB jailed off default
HDD8TB snapdir hidden default
HDD8TB aclmode passthrough local
HDD8TB aclinherit passthrough local
HDD8TB createtxg 1 -
HDD8TB canmount on default
HDD8TB xattr on default
HDD8TB copies 1 local
HDD8TB version 5 -
HDD8TB utf8only off -
HDD8TB normalization none -
HDD8TB casesensitivity sensitive -
HDD8TB vscan off default
HDD8TB nbmand off default
HDD8TB sharesmb off default
HDD8TB refquota none default
HDD8TB refreservation 4.93T local
HDD8TB guid 12359231966519279559 -
HDD8TB primarycache all default
HDD8TB secondarycache all default
HDD8TB usedbysnapshots 0B -
HDD8TB usedbydataset 224K -
HDD8TB usedbychildren 11.8T -
HDD8TB usedbyrefreservation 4.93T -
HDD8TB logbias latency default
HDD8TB objsetid 54 -
HDD8TB dedup off default
HDD8TB mlslabel none default
HDD8TB sync standard default
HDD8TB dnodesize legacy default
HDD8TB refcompressratio 1.00x -
HDD8TB written 224K -
HDD8TB logicalused 11.8T -
HDD8TB logicalreferenced 47K -
HDD8TB volmode default default
HDD8TB filesystem_limit none default
HDD8TB snapshot_limit none default
HDD8TB filesystem_count none default
HDD8TB snapshot_count none default
HDD8TB snapdev hidden default
HDD8TB acltype nfsv4 default
HDD8TB context none default
HDD8TB fscontext none default
HDD8TB defcontext none default
HDD8TB rootcontext none default
HDD8TB relatime off default
HDD8TB redundant_metadata all default
HDD8TB overlay on default
HDD8TB encryption off default
HDD8TB keylocation none default
HDD8TB keyformat none default
HDD8TB pbkdf2iters 0 default
HDD8TB special_small_blocks 0 default
HDD8TB org.freebsd.ioc:active no local

 

[Trambahner]

Das Delta passt irgendwie zu der Reservation von 4.93TB, die da in den Properties auftaucht und würde wohl so auch gesetzt, wenn man 10% der Poolkapazität reserviert. Ich würde vermuten, Truenas setzt 10% Reservierung bei Erzeugung des Pools als Default, wenn man es nicht anders vorgibt?
Das "Data"-Dataset belegt ja knapp gleich viel; der Unterschied rührt aus der nicht genutzten LZ4-Kompression, neu geschrienen Metadaten, etc.


Btw, Dir ist bewusst dass ein nachträgliches Aktivieren von LZ4 die bereits geschriebenen Daten nicht komprimiert? Dazu müsstest Du die Daten löschen und nochmal neu schreiben (was ja auch per ZFS receive erfolgt, wenn man die Datasets "rüberschubst"). Was man sich mutmasslich aber sparen kann, falls auf "data" i.W. Videos und Musik der gängigen komprimierten Formate wären. Da is mit LZ4 annähernd nichts mehr zu komprimieren.

 

[Traviso]

Das Delta passt irgendwie zu der Reservation von 4.93TB, die da in den Properties auftaucht.

Das war es. Vielen Dank!
Ich habe refreferences auf none gesetzt und damit passt der freie Speicherplatz wieder. Keine Ahnung wie oder wo ich da 5 TB reserviert hatte.

Das "Data"-Dataset belegt ja knapp gleich viel; der Unterschied rührt aus der nicht genutzten LZ4-Kompression, neu geschrienen Metadaten, etc.

👍

Btw, Dir ist bewusst dass ein nachträgliches Aktivieren von LZ4 die bereits geschriebenen Daten nicht komprimiert? Dazu müsstest Du die Daten löschen und nochmal neu schreiben (was ja auch per ZFS receive erfolgt, wenn man die Datasets "rüberschubst").

Ja, ist mir bewusst.
Die könnte ich ja aus meinen Backup wieder zurücksichern. Ich vermute, ich muss trotzdem die Daten auf dem Server erstmal löschen ?

 

[Trambahner]

Du müsstest die Daten auf dem Main erst löschen, yup.

 

[Traviso]

Du müsstest die Daten auf dem Main erst löschen, yup.

👍

 

[spyfly]

Ja, ist mir bewusst.
Die könnte ich ja aus meinen Backup wieder zurücksichern. Ich vermute, ich muss trotzdem die Daten auf dem Server erstmal löschen ?

Du wirst durch die LZ4 Kompriimierung aber keine großen Einsparungen machen, daher würde ich es an deiner Stelle einfach so wie es jetzt ist lassen.

compressratio ist ja auch nur 1.00 bei deinem Data Pool, also wirklich viel komprimiert wird da nicht.

 

[Traviso]

Du wirst durch die LZ4 Kompriimierung aber keine großen Einsparungen machen, daher würde ich es an deiner Stelle einfach so wie es jetzt ist lassen.

compressratio ist ja auch nur 1.00 bei deinem Data Pool, also wirklich viel komprimiert wird da nicht.

Guter Punkt. Dann lasse ich es so.