[Sammelthread] ZFS Stammtisch

[Handle]

Wie gesagt, Controller raus, Platten direkt ans Mainboard anschließen und dann mal weitersehen. Wieso einen neuen Controller bestellt?

 

[exelzur]

Ganz einfach weil das Board nicht genug anschlüsse hat alle ZFS "platten" hängen an dem 8Port HBA Systemplatte am Mainboard (1x SSD 2x1TB 5x2TB ) 1x 320gb System

 

[Handle]

Ah, okay, du hattest nicht geschrieben, wie viele Platten du im Einsatz hast. Wenn du sechs SATA-Ports auf dem Mainboard hast könntest du immerhin nacheinander die Pools anschließen und gucken. Dann kannst du dich hoffentlich wieder beruhigen

 

[exelzur]

Ja sry wenn ich aufgewühlt reagier. Nur fühle mich mich gerade so hilflos weil ich nichts machen kann und angst habe einen Datenverlust zu haben durch nen dusseligen fehler von mir.

 

[Digi-Quick]

Hi Leute, ich bin noch recht neu in der ZFS-Welt. Mein Vorhaben ist es auf meinem EXSi-Server eine FreeNAS-VM (5 x 3 TiB im raidz1) als Datengrab aufzusetzen. Die Frage ist wie viel RAM muss ich der VM zuweisen, damit es gut funktioniert. Ich hatte überall gelesen, dass 8GiB (je mehr desto besser) schon notwendig wären. Problem ist, ich bin Plattform bedingt auf 16GiB beschränkt und hätte dann "nur noch" 8GiB frei. Was würdet Ihr dazu sagen.

Gruß & Danke
Sc0rc3d

Findest du ein 5x 3 TB RAIDZ1 nicht etwas gewagt? Und 8 GB RAM sind bei der Größe schon eher grenzwertig (d. h. zu wenig), wenn du gute Performance haben möchtest.

Die grösse des Speichers ist davon abhängig wie du das NAS verwendest.
Der grösste Teil des Speichers wird als Cache verwendet, Caching spielt seinen Vorteil aber im Prinzip erst bei wiederholtem Lesen einer Datei aus - diese wird dann aus dem Cache bereitgestellt. Beim Schreiben von Dateien ist der Cache natürlich auch wirksam, da die zu schreibenden Daten erstmal im Cache landen und je nach Konfiguration sofort (Write Through) oder verzögert (Write Back) auf die Platten geschrieben werden. Somit können je nach Anwendungsszenario auch 2GB ausreichen oder eben 32 MByte das minimum sein.

5x3TB Raidz1 sind "gar kein Problem", sofern ein regelmässig angefertigtes Backup vorhanden ist!
Du hast bestimmt auf die URE Problematik verweisen wollen.

 

[Sc0rc3d]

Findest du ein 5x 3 TB RAIDZ1 nicht etwas gewagt? Und 8 GB RAM sind bei der Größe schon eher grenzwertig (d. h. zu wenig), wenn du gute Performance haben möchtest.

Ein Monatliches externes Backup (@USB-Platte) existiert ebenfalls.

@Digi-Quick Es werden hauptsächlich Musik, Filme und Dokumente abgelegt (Datengrab). Regelmäßiger Zugriff besteht nur auf die Filmdateien. Genutzt wird SMB und ich möchte die Gbit/s Verbindung schon voll ausnutzen (wie es derzeit mein WHS2011 mit den oben erwähnten Platten locker schafft - bei gut 4 GB RAM). Als Cache wollte ich zusätzlich eine 128/256GB SSD mit einbinden zu den Platten. Auf Raidz2 wollte ich nicht gehen, da mir zu viel "Platz" verloren geht. Angebunden werden die Platten über einen M1015 im IT-Mode. Die 8 GB RAM sind schon hart (und wohl die Untergrenze die ich verwenden sollte). Mehr wäre zwar möglich, dann muss ich aber beiden anderen VMs drastisch einsparen was schade wäre. :-/

Die "URE Problematik" sagt mir leider nichts.

 

[Handle]

Eine SSD als Cache (bei ZFS also als L2ARC) wird dir denke ich nicht viel bringen. cyberjock aus dem FreeNAS-Forum hat das mal im Heimgebrauch getestet und hat nur 'ne Hit-Ratio von 14% erreicht.

 

[gea]

Den größten Performanceschub hat man bei ZFS durch den RAM als Arc Lesecache.

Wieviel RAM benötigt wird, hängt von den Performanceansprüchen ab.
Oracle gibt als Minimum für stabilen OS Betrieb 2 GB an - unabhängig von der Poolgröße,
alles darüber ist für Performance. Im FreeNas Lager wird teils mehr für stabilen Betrieb vorausgesetzt.

Als Ergänzung zum Ram kann man eine SSD als L2Arc einsetzen. Das braucht aber auch RAM.
Bei nur 4-8 GB RAM macht das keinen Sinn, da besser auf das L2Arc verzichten.

Ob L2Arc aber überhaupt was bringt hängt von der Anwendung ab.
Allein zuhaus bringt das selten etwas.

z.B.
Wenn ein User einen Film anschaut, dann ist jede Platte schnell genug - selbst bei 4k.
Schauen mehrere User den gleichen Film zeitversetzt an, so ist eine Platte zu langsam (zu wenig iops).
Hier ist ein RAM-Lesecache aber meist ausreichend damit der Film nicht ruckelt.

Ist das eine Studenten-WG wo mehrere Leute zeitversetzt verschiedene Filme schauen, reicht der RAM Cache
eventuell nicht mehr. Da würde ein L2Arc mit einer SSD was bringen und ein Ruckeln im Film vemeiden
- sofern genug RAM auch fürs OS und ausreichend schnellerem Arc da ist.

Professionell ist das eine ganz andere Frage. Da nimmt man im Zweifel ausreichend RAM und eine NVMe als Cache und Gut.

 

[ludwinator]

Das ist jetzt aber ein schlechtes Beispiel, denn genau Filme und Musik werden recht zuverlässig als "streaming workload" erkannt und landen deswegen nicht im L2ARC.


cu

 

[luckyspiff]

Welche Lösungen um Backups auf Wechselplatten zu machen gibt es denn so für ZFS?

Ich habe mir jetzt ein simplesnap Backup auf meinen alten Server eingerichtet, eigentlich suche ich aber eine bequeme Lösung für Backups auf Wechselplatten, die ähnlichen Prinzipien folgt wie simplesnap (inkrementell über Snapshots, steuerbar mit Properties und das Backup sollte durch aktivieren des Backup-Mediums HDD wird per Hotplug erkannt).

Gibt es da was schönes (hab Proxmox laufen, also für Linux) oder muss man sich das schlussendlich selbst basteln?

Vor meinem Systemwechsel hatte ich ein selbstgestricktes Skript auf Rsync-Basis, jetzt würde ich das aber lieber mit ZFS machen.

 

[gea]

Das ist jetzt aber ein schlechtes Beispiel, denn genau Filme und Musik werden recht zuverlässig als "streaming workload" erkannt und landen deswegen nicht im L2ARC.
cu

Ging mir darum, das Prinzip zu verdeutlichen.
Mit einem großen L2ARC kann es schon Sinn machen, l2arc_noprefetch = 0 einzustellen,
damit auch sequentielle Daten wie in dem Videobeispiel gecacht werden.

 

[bogomil22]

Neulich hatte ich das Problem, dass ein Ordner innerhalb einer SMB-Freigabe, der ein Umlaut "ä" enthielt auf meinem Mac OSX ständig verschwunden ist. (Nach dem öffnen des jeweiligen Oberordners, sah ich für den Bruchteil einer Sekunde den Unterordner mit dem Umlaut, war dann aber weg. Nicht gelöscht, einfach nur 'unsichtbar'). Nachdem ich den Ordner dann umbenannt habe zu 'ae' (nicht mit OSX), war er wieder sichtbar in OSX. Kann man solche Probleme beheben wenn ich zu Beginn des zfs create das Property utf8only=on setze? Dann hätte ZFS schon beim anlegen gemeckert richtig? Oder welche Lösung gibt es in ZFS um möglichst keine Names-Kodierungsprobleme bei NFS/SMB-Freigaben und unterschiedlichen Clients (UNIX/OSX/Windows/...) zu haben? (am Besten mit der Option Umlaute und Sonderzeichen verwenden zu können, denn nicht jeder Nutzer achtet darauf, dass keine ä,ö,-,!,... zu benutzen.)

 

[gea]

utf8only=on ist sicher schon mal nicht schlecht als Vorgabe beim Anlegen neuer Dateisystems.
Dann kommt es natürlich darauf an, ab das unter Solarish mit CIFS oder BSD/Linux/Solarish mit SAMBA passiert.

SAMBA und NFS sollten sich ähnlicher verhalten (Linux/Unix alike) während Solarish mit CIFS sich da mehr
Windows mäßig verhält. Da kann es zwischen SMB und NFS eher zu Probleme kommen, dafür ist SMB Windows ähnlicher.

Insgesamt ist aber NFS und SMB/CIFS immer ziemlich "inkompatibel",
das eine kommt von Sun/Unix und das andere von Microsoft jeweils mit ganz anderen Ideen.
Ich würde bei SMB only Umlaute benutzen und bei NFS darauf verzichten.

 

[exelzur]

So habe jetzt einen m1015 drin:

Neues Log : exelzur2 - Pastebin.com

zpool status

[root@ark1 ~]# zpool status                                                    
  pool: freenas-boot                                                           
state: ONLINE                                                                 
  scan: scrub repaired 0 in 0h5m with 0 errors on Sat Nov  7 03:50:13 2015      
config:                                                                        
                                                                               
        NAME        STATE     READ WRITE CKSUM                                 
        freenas-boot  ONLINE       0     0     0                               
          ada0p2    ONLINE       0     0     0                                 
                                                                               
errors: No known data errors                                                   
[root@ark1 ~]# ^C                                                              
[root@ark1 ~]#

zpool import und zpool import Pool1:

   pool: Pool1                                                                 
     id: 11704731651828404384                                                  
  state: ONLINE                                                                
action: The pool can be imported using its name or numeric identifier.        
config:                                                                       
                                                                               
        Pool1                                           ONLINE                 
          raidz2-0                                      ONLINE                 
            gptid/fe6f637a-3f86-11e4-a0a3-ac220bc7a8dc  ONLINE                 
            gptid/ff075b02-3f86-11e4-a0a3-ac220bc7a8dc  ONLINE                 
            gptid/ffa491e1-3f86-11e4-a0a3-ac220bc7a8dc  ONLINE                 
            gptid/0046c681-3f87-11e4-a0a3-ac220bc7a8dc  ONLINE                 
            gptid/00ac83ea-3f87-11e4-a0a3-ac220bc7a8dc  ONLINE                 
            gptid/012da711-3f87-11e4-a0a3-ac220bc7a8dc  ONLINE                 
          mirror-1                                      ONLINE                 
            gptid/01a9b043-3f87-11e4-a0a3-ac220bc7a8dc  ONLINE                 
            gptid/021e37ad-3f87-11e4-a0a3-ac220bc7a8dc  ONLINE                 
        cache                                                                  
          gptid/2fa44cfe-2895-11e5-ad8b-ac220bc7a8dc                           
[root@ark1 ~]# zpool import Pool1                                              
cannot import 'Pool1': one or more devices is currently unavailable

Bitte helft mir meine daten wiederherszustellen

 

[ludwinator]

Interessantes Layout hast du da in deinem Pool

Versuch mal zpool import -F -n Pool1 und poste das Ergebnis hier

evtl. hilfreich: ZFS Pool Import Fails After Power Outage | SolutionOriented Blog

cu

 

[exelzur]

Danke dir also hab ja den M1015 reingesteckt und jetzt gerade die defekte Platte rausgezogen. Der Mirror ist deswegen gewesen weil es 2x1Tb platten waren und beide schon jeweils 2 Defekte Sektoren. Da aber beide Okay waren wollte ich sie nicht verwerfen, habe Ihnen einzeln nicht getraut was sich jetzt als richtig rausgestellt hat

Kann gerade auf meine Daten zugreifen.

Kann man den Mirror "erweitern" also erstmal eine 2Tb Platte rein->resilvern -> 1TB raus und wieder Resilvern? bzw. den Mirror raus und in den RaidZ2 migrieren?

 

[Handle]

Edit: Es gibt doch eine Möglichkeit, siehe nächster Post. Ist aber nicht unproblematisch, denn wenn das Resilvern fehlschlägt steht man dumm da, ergo braucht man eh ein Backup und dann kann man auch gleich einen neuen Pool anlegen.

 

[morph027]

Mit autoextend kannst du aber eine 2TB einbauen...resilvern und dann die andere auch gegen 2TB ersetzen und der Pool hat dann die größere Kapazität

 

[besterino]

Wenn Du schon Fehler auf den Platten hast, würde ich eher nicht resilvern sondern einen neuen Pool auf der 2TB Platte anlegen und entweder die Daten rüberkopieren oder mit send/receive spiegeln.

 

[morph027]

Noch besser!

 

[oc_parts]

Hi,

hat jemand mal versucht/geschafft napp-it direkt auf proxmox zu installieren?

 

[exelzur]

Hatte kein Fehler auf der Platte sondern eine Platte war defekt.

Jetzt ist nur die Frage geblieben ob man den Cache (SSD) aus einem Pool nehmen kann?

 

[automatenraum]

@gea: Security Panel: Daumen hoch, sehr nützlich! Vielen Dank!

 

[gea]

Eigentlich nervt es ja, dass Security, Firewalls, https, Passwort/Port scans oder abuse alerts
mehr und mehr mein Alltagsgeschäft sind - aber so ist es wohl, selbst bei einem Storageserver
im LAN sofern der nicht in einem geschützten Netz wie in einem SAN Netzwerk steht.

 

[CommanderBond]

Mal ne kurze Frage zu den Dateirechten (ACL, SMB):

Wenn ich auf dem Server als User1 eine Datei VERSCHIEBE mittels ausschneiden, die User2 erstellt hat. Ist danach User1 der neue Owner/Besitzer, oder weiterhin User2?

Wenn ich die Datei in einen anderen Ordner dann verschiebe, vererbt die Datei die Rechte dann von dem Ordner in den ich sie reinkopiere, oder behält sie ihre alten Rechte bei?

 

[gea]

Erstmal würde ich davon ausgehen, dass ein reines Verschieben die Rechte erhält,
während ein Neu Anlegen (ctrl-x >> ctrl-v) die Rechte inkl. Owner ändert.

Ich würde sagen, ausprobieren und falls einem das Verhalten nicht gefällt,
mal einen Blick auf die ZFS Eigenschaft ACL-Inheritance bzw auf die ACL des Parent Dateisystems werfen

wobei das nur für Solaris + CIFS gilt, SAMBA verhält sich anders (egal ob BSD, Linux oder Solaris)
https://docs.oracle.com/cd/E19120-01/open.solaris/817-2271/gbaax/index.html

 

[CommanderBond]

So habs mal getestet: Owner bleibt unverändert und Rechte werden entsprechend angepasst, also vererbt vom darüberliegenden Ordner.

Sprich bei meinem Beispiel hat er dann den ACL Eintrag Everyone=modify entfernt, weil der darüberliegende Ordner das vorgibt.

Hat Owner irgendwelche Auswirkungen noch weiter, die man beachten sollte? Also ist es nötig das manuel zu ändern?

Angenommen User1 kopiert in das Verzeichnis von User2 in den Ordner "uploads" eine Datei. Und User2 verschiebt die Datei nacher von "uploads" in sein Ordner "documents". Die Datei hat aber weiterhin User1 als Owner, die anderen Dateien in dem selben Ordner haben aber User2 als Owner.

 

[gea]

Im Prinzip verhält sich Solaris oder OmniOS so, wie sich da auch ein Windows Server verhalten würde -
mit zwei Besonderheiten: Root oder Owner haben immer Vollzugiff - auch ohne eine ACL die das erlaubt-
das ist bei Windows nicht so.

edit
mit der weiteren Einschränkung, dass sich das mit der ZFS Eigenschaft aclinherit weiter beschränken lässt- pass-through ist da sehr ähnlich zu Windows,

 

[CommanderBond]

kann man das in den Griff noch bekommen irgendwie? Sprich gibt es eine Einstellung die Owner automatisch ändert? Oder muss man sich angewöhnen dann zu kopieren statt zu verschieben?

 

[gea]

ZFS@Solarish bietet da mehr Möglichkeiten das zu kontrollieren als Windows ntfs -
bleibt die Frage, wie man das haben möchte.

Je mehr Optionen desto schwieriger wird de Kontrolle -
manchmal tut da Unix zuviel des Guten - Windows ist da kompliziert genug

Ich stelle da aclinherit immer auf pass-through.
Das ist dann Windows am ähnlichsten bis auf z.B. owner + root = full access

Der Rest ist dann User Handling (move vs copy/paste)
bzw. die Frage was in einem use-case Umfeld gewünscht ist.