[Sammelthread] ZFS Stammtisch

[GrafikTreiber]

Also ich habe da irgendwie keine Idee.

 

[V.I.P.E.R]

Ich habe 2 Pools - ein raidz1 aus vier 2TB Platten und ein raidz1 aus drei 3TB Platten. Wie ziehe ich am effektivsten um ? Und wie lösche ich die Daten am besten auf dem ersten pool ?

 

[GrafikTreiber]

Einfach irgendwie kopieren und löschen!

Den Pool löschst du mit zpool destroy poolname.

Oder meinst du mit löschen "unwiederherstellbar" machen?
dd if=/dev/zero of=/dev/sda bs=1M
oder wenn es auf Nummer sicher sein soll:
dd if=/dev/urandom of=/dev/sda bs=1M

Von was willst du auf was umziehen? Von dem Z1_4x2TB auf das Z1_3x3TB? Mit rsync!
rsync -vr --stats --progress /zpools/Z1_4x2TB /mnt/Z1_3x3TB
Ansonsten mit zfs send und receive.

 

[V.I.P.E.R]

Dieses irgendwie schein zum running gag zu werden

Danke für die Antwort.
Ja, schon etwas Sicher löschen

Ich will von dem 4x2TB auf 3x3TB umziehen. Welche Variante wäre denn schneller und "besser"? Rsync ist mir klar - wie funktioniert das mit dem send undreceive ? Wie arbeitet das ?

 

[GrafikTreiber]

Dieses irgendwie schein zum running gag zu werden

Ja, das ist irgendwie passiert.

Oracle Solaris ZFS-Administrationshandbuch - Senden und Empfangen von ZFS-Daten

Besser ist relativ. Rsync funktioniert mit jedem Dateisystem, zfs send/receive nur von ZFS zu ZFS. Übertragung von Rechten/ACLs können mit rsync problematisch sein. Rsync kopiert "direkt drüber", während send/receive einen Snapshot sendet, also mehr Tippaufwand. ZFS send/receive lässt sich "pipen", also durch gzip, tar, ssh... jagen. Rsync kann aber auch SSH und Kompression. Und und und...

Wenn du keine speziellen Rechte/ACLs hast, nimm einfach rsync, eventuell mit -a, ich denke dass das geht am einfachsten.

 

[V.I.P.E.R]

Besondere Rechte hab ich nicht - zfs send/receive klingt irgendwie performanter. Macht da die Pool Version eventuell ein Problem ?
Im Guide hab ich dazu nichts gefunden. Ich glaube das probier ich mal.
Was meinst du mit mehr Tippaufwand ?

 

[GrafikTreiber]

Genau das meinte ich. Mit rsync wärst du schon fertig gewesen.
Send/receive ist nicht wesentlich schneller. Ideal wäre es wenn beide Pools auf dem selben Software-Stand sind.

 

[V.I.P.E.R]

alles klar - danke

 

[AG1M]

@V.I.P.E.R

Ich nehme das um ZFS Pool 1 zu ZFS Pool 2 mit Rsync alles zu klonen:

rsync -av --progress --protocol=29 --delete --human-readable /mnt/storage/backup/ /mnt/backup/backup

ZFS send/receive lief aber bei meiner kompletten Migration schneller als Rsync.

 

[trendco]

Überleg dir einfach mal ob du im Stromausfall lieber EXT oder ZFS hast.

Keine Frage, natürlich ZFS. Eine USV ist zwar vorhanden, aber es kann ja auch mal das Netzteil oder das Mainboard abrauchen. Es stellt sich mir eben nur die Frage, was dann genau passieren könnte, wenn die VM's auf ZFS liegen, aber eben mit "Write Back". Das Host-Dateisystem an sich bekommt ja durch CopyAndWrite nix ab, was aber ist dann in so einem Falle z.B. mit einer Windows-VM und deren Dateisystem?

 

[GrafikTreiber]

Das kommt drauf an, das Risiko ist natürlich für die VMs dann größer. Du gewinnst Sicherheit für das Host-Dateisystem, verlierst aber etwas für die VMs.

Du kannst das Problem aber umgehen in dem du den Storage mittels zvols via iSCSI bereitstellst. Dazu musst du auf deinem System erst mal iSCSI "installieren", es gibt unter Linux mehrere iSCSI-Implementationen, siehe SCSI Targets Comparison, es gab dazu viel Drama welches denn nun das neue "offizielle Kernel iSCSI" wird, LIO hat sich durchgesetzt, was aber laut vielen Aussagen schlechter sein soll als SCST. Kann man aber alles auf der Seite von SCST zu LIO durch lesen. SCST vs LIO/TCM
Aktuell würde ich also zu SCST raten.
Lies dir mal ZoL Mailinglist - Optimization tricks for ZVOL + iSCSI? durch, der OP verwendet da zwar kein SCST sondern IET (iscsitarget), aber das grundsätzliche Thema ist ja das selbe.

Die "direkte" iSCSI-Unterstützung von ZFSonLinux mittels zfs set shareiscsi=on sowie die Die "direkte" SMB/CIFS-Unterstützung mittels zfs set sharesmb=on sind noch in Entwicklung und noch nicht ganz fertig, siehe https://github.com/zfsonlinux/zfs/search?q=iscsi&ref=cmdform&type=Issues

https://groups.google.com/a/zfsonlinux.org/d/msg/zfs-discuss/xUbrpVOTzE4/53CLrJtCZi4J

Turbo Fredriksson
Jul 26

...

The SMB support in 0.6.1 (and HEAD) was supposed to be tested
properly before release, but no-one seems to be interested in
SMB/iSCSI support in ZoL, so it is what it is...

...

Beides ist also schon "so halb" drin, aber anscheinend gibt es nicht genug Tester und Rückmeldungen.
Wirklich brauchen tut man das natürlich nicht, man kann auch ganz normal iSCSI und SMB machen so wie immer, sieht dann halt nicht so schön aus, funktioniert aber trotzdem. Muss man ja bei jedem anderen Dateisystem auch von Hand machen.

 

[GuNa]

hi,

eine kurze frage:
Wie oft sollte man ein scrubbing durchführen ? reicht 1x im Monat oder sollte man das 1x pro Woche machen ?
(Specs siehe Sig. HP N40L)

Gruß

 

[bogomil22]

Viele sagen bei Non-Enterprise HDDs 1x Woche aber finde ich etwas übertrieben die Platten so oft lange zu belasten (scrub dauert ja immer).
Ich mach es alle 1-3 Monate mit WD greens

 

[CommanderBond]

Würde gern nen Pool machen aus 2,3 oder 4 USB Sticks. Entweder Mirror oder RaidZ1 für den Webserver (Owncloud) damit die Festplatten nicht immer laufen müssen. Ist das ganze empfehlenswert? Festplatten und auch SSDs sind mir etwas zu groß, ich bräuchte nur in etwa 50-70GB, das würde man mit USB sticks ja hinbekommen


Und gibt es einen Befehl um sich anzeigen zu lassen wieviel Daten geschrieben und gelesen worden sind von einem Datenträger seit Systemstart?

 

[GrafikTreiber]

Klar ist das möglich, nur nicht empfehlenswert. Was meinst du mit zu "Festplatten und auch SSDs sind mir etwas zu groß"? Meinst du damit die physikalische Größe oder deren digitales Fassungsvermögen in GB?

Dir ist schon klar dass es auch kleine SSDs mit 60 bis 120GB gibt? Diese sind, sofern man die selbe Performanceklasse anpeilt, günstiger, schneller und zuverlässiger.

SanDisk SSD 64GB, 2.5", SATA 6Gb/s (SDSSDP-064G-G25) ab €48,24
Crucial m4 SSD 64GB, 2.5", SATA 6Gb/s (CT064M4SSD2) ab €62,94
Samsung SSD 840 Series 120GB, 2.5", SATA 6Gb/s (MZ-7TD120BW) ab €78,88

Ich würde zu 2x Samsung SSD 840 Series 120GB im Mirror raten. Je nach dem wie wichtig dir die Daten darauf sind reicht eventuell auch eine SSD und dann richtest du einen täglichen Snapshot auf deine HDDs ein. Ich halte SSDs prinzipiell für Ausfallsicherer als normale HDDs, mit einer normalen HDD würde ich dass so nicht empfehlen.

Meine Festplatten liegen auch immer im Tiefschlaf. Automatische Snapshots werden immer um 20:00 gemacht, danach läuft ein Script mit smartmontools das mir bei Fehlern eine Email schickt, beets, FileBot und XBMC. Zu dieser Zeit läuft auf allen Clients auch das automatische Backup (Drive Snapshot unter Windows , rsnapshot unter Linux-Systemen).

So werden Festplatten wirklich nur hochgefahren wenn sie wirklich benötigt werden. Warum 20:00? Weil dass die Zeit ist zu der die meisten Festplatten sowieso hochfahren würden weil ich einen Film oder eine Serie schaue.

Ich scrubbe 1x im Monat, bin aber aktuell am überlegen dass auf 2 oder 3 Monate zu erhöhen denn um alle meine Pools zu scrubben dauert aktuell fast eine ganze Woche, wegen der Encryption und der vielen Festplatten, an der Hardware liegt es nicht (Supermicro X9SRL-F / Intel Xeon E5-1620, 4x 3.60GHz / 32GB reg ECC CL11 (DDR3-1600). Wöchentliches Scrubben wäre bei mir also schon gar nicht möglich, dann wäre der Server ja ununterbrochen am Scrubben.
Außerdem setze ich ein RaidZ3 ein so dass die längere Zeit ohne scrubben nicht ganz so gefährlich ist wie bei einem Z2 oder Z1.

@GuNa: 4 x WD20EFRX 2 TB sagt nicht viel aus, was ist das? Ein Z1/Z2, ein 01 oder 10? Ich würde in deinem Fall 1x im Monat scrubben, die Anzahl an Festplatten ist ja noch überschaubar.

 

[CommanderBond]

Es geht mir um das Fassungsvermögen.

Pro GB gesehen ist der Preis zwischen USB Stick und SSD jetzt nicht so unterschiedlich. Backup von den Daten wird natürlich gemacht, aber es geht mir um Verfügbarkeit, sprich wenn ein USB-Stick oder SSD oder Festplatte ausfällt owncloud nicht sofort nicht mehr benutzbar ist.

SSDs gibt neu wie die Links von dir oben ja auch nicht für unter 50euro (mit versand) und unter 64GB. Und 2 USB Sticks im mirror würd ich als zuverlässiger als eine SSD ansehen. Außerdem will ich wegen "den paar GB" jetzt ungern einen SATA Port belegen.

Je nach dem wie wichtig dir die Daten darauf sind reicht eventuell auch eine SSD und dann richtest du einen täglichen Snapshot auf deine HDDs ein

Wie geht das?

Ich würde zu 2x Samsung SSD 840 Series 120GB im Mirror raten

Wäre halt etwas zu teuer.


Am wichtigsten bei Owncloud ist mir die Kalender und Kontakte funktion. dafür würde ich kaum Platz benötigen, ich würde mal schätzen hier würden sogar 2 alte 1GB USB Sticks ausreichen.

Hab nur keine Lust dass wegen Kalender und Kontakten die 3 Festplatten jedesmal hochfahren und unnötig Strom verbrauchen.

 

[ty_ascot]

Und 2 USB Sticks im mirror würd ich als zuverlässiger als eine SSD ansehen.

da wär ich aber ganz vorsichtig

 

[GrafikTreiber]

Pro GB gesehen ist der Preis zwischen USB Stick und SSD jetzt nicht so unterschiedlich. Backup von den Daten wird natürlich gemacht, aber es geht mir um Verfügbarkeit, sprich wenn ein USB-Stick oder SSD oder Festplatte ausfällt owncloud nicht sofort nicht mehr benutzbar ist.
SSDs gibt neu wie die Links von dir oben ja auch nicht für unter 50euro (mit versand) und unter 64GB. Und 2 USB Sticks im mirror würd ich als zuverlässiger als eine SSD ansehen.

No fucking way. Du vergleichst hier Äpfel und Birnen. Sei es die Langlebigkeit (Anzahl an Spare-Chips), Performance oder Zuverlässigkeit. Die USB-Sticks zum selben Preis arbeiten im Schneckentempo. Ein gleichwertiger USB-Stick wird immer weitaus teurer als eine 2,5" SSD sein weil weniger Bauplatz vorhanden ist.

Außerdem will ich wegen "den paar GB" jetzt ungern einen SATA Port belegen.

Absolut legitim, sehe ich ein. Da ich ein paar mehr Festplatten besitze, habe ich für das Betriebssystem und die VMs habe ich eine 120GB Intel SSD, davon werden täglich Snapshots auf ein großes RaidZ3 gemacht. Für Downloads habe ich zwei 2TB-HDDs im Mirror, die sind 24/7/365 im Jahr an. Die anderen Festplatten befinden sich im Tiefschlaf und schalten sich nur an wenn sie gebraucht werden.

Wie geht das?

https://www.google.de/search?hl=de&q=zfs+send+receive+script
Über send und receive hatten wir erst eine paar Posts vorher hier eine Unterhaltung, scroll mal hoch.

 

[CommanderBond]

Kann man eigentlich problemlos GPT nehmen? Hatte mal gelesen dass Solaris damit nicht umgehen kann aber wieso nutzt napp-it dann GPT Standardmäßig auf OmniOS

 

[GrafikTreiber]

GPT und MBR im Vergleich
Fällt dir beim Punkt "Maximale Partitionsgröße" etwas auf?
Ich nutze für alle meine Festplatten GPT, auch unter Windows.

 

[CommanderBond]

Ja unter Windows war mir das schon immer klar. Kenn auch nur MBR und GPT. Hatte aber gelesen dass man GPT Pools unter Solaris nicht importieren kann.

 

[gea]

Ja unter Windows war mir das schon immer klar. Kenn auch nur MBR und GPT. Hatte aber gelesen dass man GPT Pools unter Solaris nicht importieren kann.

Erkenntnisstand 2011/12:
Pools aus BSD/FreeNas, bei denen die Platten per GPT partitioniert wurden, lassen sich in OI/Nexenta nicht importieren - Die Platten müssen dazu in BSD als Geom formatiert werden.

Ob sich das mit neuerem BSD (oder Linux) oder OmniOS geändert hat - keine Ahnung.

 

[CommanderBond]

Okay dann ist es aber dennoch sinnvoll GPT zu nehmen wenn man mit OmniOS startet nehme ich an.

Habe grade etwas merkwürdiges entdeckt: Wenn ich bei einer SMB Freigabe eine Datei auf den Server kopiere, und sie anschließend wieder zurückkopiere und dann lösche vom Server ist sie weg. Wenn ich sie aber erneut vom Client auf den Server kopieren will kommt ein Fehler dass die Datei schon existiert und man wird gefragt ob man sie überschreiben will. Aktualisiert man dann das Freigabeverzeichnis ist die Datei tatsächlich noch da, hat allerdings 0 Byte.

Hab mit ner wmv Datei und txt ausprobiert, beides mal das selbe.

Seltsammerweise taucht sie erst dann auf wenn man versucht die selbe Datei nochmal zu kopieren. Aktualisiert man das Verzeichnis auf dem Server nach dem löschen ist dort nichts zu sehen. Erst beim erneuten kopieren und nach erscheinen des Dialogs ob man sie überschreiben will taucht die 0 Byte datei auf

 

[TCM]

Wozu überhaupt Partitionen? Einfach die rohe Platte an ZFS reichen.

Edit: GEOM ist keine Formatierung, GEOM ist ein Framework, um auf block devices zuzugreifen und verschiedene Transformationen durchzuführen (Labeln, Encryption, block alignment, etc.)

 

[CommanderBond]

Wie soll es ohne Partionieren gehen?

Absolut legitim, sehe ich ein. Da ich ein paar mehr Festplatten besitze, habe ich für das Betriebssystem und die VMs habe ich eine 120GB Intel SSD, davon werden täglich Snapshots auf ein großes RaidZ3 gemacht. Für Downloads habe ich zwei 2TB-HDDs im Mirror, die sind 24/7/365 im Jahr an. Die anderen Festplatten befinden sich im Tiefschlaf und schalten sich nur an wenn sie gebraucht werden.

Einzige Idee wäre eine SSD zu kaufen fürs OS. Aber selbst 64GB wären hierfür zu viel, sodass ich dann gern auch mein "webspace" da ablegen würde.

Und wie richtet man nun Freigaben und Benutzerkonten ein? Werde aus dem "manual" nicht schlau. Habe ein "Local User with SMB password" eingerichtet aber er taucht nichtmal in der Liste auf...

Und was hat es genau mit dem "nested shares" auf sich, habe gelesen dass es nicht geht. Würde gern ein ZFS Ordner "Videos" freigeben, allerdings sind in diesem Ordner auch nochmal 2 ZFS Ordner "movies" und "tv_shows". Kann ich das so nicht machen sondern muss entweder die beiden Ordner freigeben ODER den Überordner "Videos" ?

Erkenntnisstand 2011/12:
Pools aus BSD/FreeNas, bei denen die Platten per GPT partitioniert wurden, lassen sich in OI/Nexenta nicht importieren - Die Platten müssen dazu in BSD als Geom formatiert werden.

Ob sich das mit neuerem BSD (oder Linux) oder OmniOS geändert hat - keine Ahnung.

Was willst du damit sagen? Auf der einen Seite erstellt mir nappit unter OmniOS die Platten selbst mit GPT, und nun soll man sie von BSD nicht imporiteren können wenn sie GPT partioniert sind?

 

[TCM]

Eine Platte ist "da", sobald der Controller sie erkennt und der Treiber darüber bescheidweiß. Ab da kann man sie als block device an ZFS reichen. Partitionierung ist nur insofern nützlich, wenn man mal mehrere z.B. 3TB-Platten hat, die aber nicht ganz die gleiche Anzahl an Blöcken haben. Da kanns dann sein, dass ZFS die Platten mit weniger Blöcken als zu klein moniert, wenn man die größeren zuerst in den Pool gepackt hat.

Sowas könnte man aber auch mit GEOM von vornherein umgehen, indem man temporär einfach aus einer Platte eine künstlich etwas verkleinerte macht und damit den Pool erzeugt. Dann dient deren Größe als Referenz und jede größere Platte hat dann einfach ein paar ungenutzte Blöcke. Danach kann man die Krücke wieder entfernen, wenn einmal die ZFS-Metadaten draufliegen.

 

[CommanderBond]

Habe 3 baugleiche 3TB Festplatten. Habe mir über die nappit Oberfläche ein RaidZ1 pool gebaut. Aber hier wurde nun automatisch GPT benutz. Der pool nutzt die ganze Kapazität der Festplatten

NAME STATE READ WRITE CKSUM CAP Product
tank ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
c3t0d0 ONLINE 0 0 0 3 TB ST3000DM001-1CH1
c3t1d0 ONLINE 0 0 0 3 TB ST3000DM001-1CH1
c3t2d0 ONLINE 0 0 0 3 TB ST3000DM001-1CH1

 

[TCM]

Die ganze Kapazität minus GPT-Metadaten.

 

[CommanderBond]

Und ist das nun gut oder schlecht? Nappit hat es anscheinend automatisch mit GPT so gemacht.

WObei ich im moment bei der ERstellung von Usern verzweifele

 

[GrafikTreiber]

Vielleicht doch lieber ein WHS?