[Sammelthread] ZFS Stammtisch

Also mein alter Backupserver (vorher debian6 mit LVM+mdadm+luks) hat:
Pentium 4 (2,6Ghz),
1GB RAM
Gbit NIC << wird sich wohl langweillen :d

erstellt werden soll:
1xRaidz2 (8xHDDs á 80GB),
1xMirror (2x250GB)
-veschlüsselung mit luks


Machbar? Performancewunder erwarte ich eh nicht, aber so 20MB/s sind drin?

Bei dem Schrott macht sich glaub ich aktuelle Hardware mit AES-NI in kürzester Zeit durch die reine Stromersparnis bezahlt. :>
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Uaaah, wo gräbt man denn 80GB-Platten aus
Das sind gute alte IDE-Platten... Die waren eben noch über und wegwerfen wollt ich sie nicht. Also hab ich sie gesammelt und in ein Case gepackt. Aber klar wenn ich extra Geld ausgeben möchte kann ein Traum von Backupserver entstehen aber das Zeug ist halt vorhanden und wenn ZFS
mich zwingen würde neue Hardware zu kaufen, würde ich es nicht tun. Warum Hardware für 100€ ausgeben, wenn Sie einmal im Monat ihren Dienst erweist? Dann dauerts eben mal ein wenig.

Was mich aber mehr beunruhigen würde wäre der immense Stromverbrauch

Zurecht, aber das Teil wird auch nur angeworfen, wenn ein Backup durchgeführt werden soll.
 
Zuletzt bearbeitet:
Bräuche mal Hilfe von den Experten:
Ist-Zustand:
HP ML 110 G7
ESXi
Ich habe eine OmniOs VM angelegt, installiert und danach napp-it installiert. Soweit alles bestens. Jedoch habe ich vergesssen den HDD Controller einzuhängen und wenn ich ihn jetzt dazufüge werden trotzdem keine Platten gefunden.

Gibt es einen Weg ohne Neuinstallation das ganze zum Laufen zu bringen?

Sollte ohne Probleme gehen.
Was ist es denn für ein Controller?
 
Es handelt sich um den Onboard Controller.
Muss ich vl einen Treiber nachinstallieren? (Da der Controller bei der Installation noch nicht dabei war)
 
@fdsonne du musst vermutlich deiner ZFS Appliance sagen das sie nur NFS v3.0 machen soll, 4.0 kann der ESXi (noch) nicht. Sobald du das gemacht hast sollte das ungefähr so aussehen (bei mir mit installierter VAAI beta):
VjeReu6.png

- - -


Ich hab dazu direkt noch eine Frage zu meinen nexenta Spielereien, ich hab die aktuelle Nexentastor CE auf einem N36L laufen
- dualcore 1.3Ghz
- 3GB Ram
- 4x 2TB HDD (Storage Pool)
- 1x 250GB (System)
- 1x 160GB Intel 320 (l2arc)

Jemand eine Idee warum ich zwar bei nem AS SSD Bench knappe 95MB/s read bekomme aber nur knappe 11MB/s write?
 
Zuletzt bearbeitet:
Es handelt sich um den Onboard Controller.
Muss ich vl einen Treiber nachinstallieren? (Da der Controller bei der Installation noch nicht dabei war)

Wenn der Controller nicht serienmäßig unterstützt wird, würde ich den unter Omni vergessen sondern:
- versuchen den Controller unter ESXi zu nutzen
- Sata (AHCI) durchreichen
 
Zuletzt bearbeitet:
Hallo zusammen,

ich hab gerade einen Freenas Server mit Openindiana + napp-it neu aufgesetzt und die Daten wieder rüberkopiert (rsync).

Nun hab ich folgendes Problem:
Der Nutzer kann über SMB auf die Daten zugreifen und sie auch öffnen. Allerdings nur schreibgeschützt. Ein abspeichern aus Word heraus ist nicht möglich.
Kopiert er eine Datei auf das Laufwerk sieht das so aus:
Code:
xyz@xyz-nas:/xyzstor/daten$ ls -l
ls: cannot access Aushilfsvertrag.doc: Permission denied
total 10
??????????? ? ?   ?      ?                ? Aushilfsvertrag.doc

Die kopierte Datei lässt sich dann weder öffnen noch entfernen. Nur als root auf der Konsole werde ich die wieder los.

Hat jemand ne Idee was da schief läuft?

Vielen Dank.
 
Hallo zusammen,

ich hab gerade einen Freenas Server mit Openindiana + napp-it neu aufgesetzt und die Daten wieder rüberkopiert (rsync).

Nun hab ich folgendes Problem:
Der Nutzer kann über SMB auf die Daten zugreifen und sie auch öffnen. Allerdings nur schreibgeschützt. Ein abspeichern aus Word heraus ist nicht möglich.
Kopiert er eine Datei auf das Laufwerk sieht das so aus:
Code:
xyz@xyz-nas:/xyzstor/daten$ ls -l
ls: cannot access Aushilfsvertrag.doc: Permission denied
total 10
??????????? ? ?   ?      ?                ? Aushilfsvertrag.doc

Die kopierte Datei lässt sich dann weder öffnen noch entfernen. Nur als root auf der Konsole werde ich die wieder los.

Hat jemand ne Idee was da schief läuft?

Vielen Dank.


Rsync kann wie SAMBA keine NFS4/Windows ACL, sondern nur Unix-Permissions und Unix UserIDs.
Der Solaris CIFS Server ist aber wie Windows: NFS4/Windows ACL only und Windows Security IDs.

Man muss also erst die benötigten ACL zurücksetzen, z.B. via napp-it ACL extension:
- Menü ZFS Dateissysteme >> Folder-ACL >> Reset ACL >> modify (recursiv on files and folders)

diese Funktion ist in der Extension frei nutzbar
 
Wie kann man eigentlich Mediatomb updaten?

Mediatomb unter OI/OMNI, da sehe ich drei Möglichkeiten:

- warten bis Chris ein Update anbietet (auch ab und zu hier im Forum)
- selber das Installationsscript von Chris anpassen und bei Erfolg posten
- eine eigene Installation vornehmen
 
Also wenn in Napp-it solche Spielereien wie Mediatomb eingebunden sind, dann könnte man doch auch noch pyload hinzufügen ;)
 
Also wenn in Napp-it solche Spielereien wie Mediatomb eingebunden sind, dann könnte man doch auch noch pyload hinzufügen ;)

Ist halt wie beim Elternabend. Einer muss es halt machen. So wie Chris bei Mediatomb.
Ich würde es als freies add-on auf Wunsch auch auf napp-it.org hosten. Auch servethehome.com hat angeboten, napp-it add-ons zu hosten. Ich bin auch bei der Web-UI Einbindung behilflich.

Was wird benötigt:
- Ein shellscript oder perlscript zum Download via wget mit Basis-setup
- Eine Mini-Doku als PDF
- Bereitschaft es ab und zu upzudaten

Plattform: OmniOS, eventuell OI
 
mal eine etwas komische Frage :d:

Wenn ich einen File-Server virtualisieren würde (ich weiss, das macht man nicht) und auf dem Host System, also da wo dann die VM's liegen, liefe Linux mit EXT4, die File-Server-VM (Freenas, NAS4Free, Omni+NappIT, etc.) liefe mit ZFS, wie sicher wären dann die Daten?

"EXT4-Sicher" oder "ZFS-Sicher" oder eine Mischung aus beidem?

Bzw. das ganze umgedreht, die VM's würden auf einem ZFS Datastore liegen, die File-Server VM wäre aber z.B. Linux-Basiert mit EXT4 (z.B. OpenmediaVault)?
 
Hi,

Ich habe mal wieder ein Problem.
Und zwar habe Ich gesehen, das von meinen Festplatten keine Seriennummern durchgereicht werden.
D.h., wenn eine Platte ausfällt, wüsste ich gar nicht, welche Ich tauschen muss.
zfs1.jpg

Bei den Platten, welche am Onboard Controllen hängen, könnte Ich es noch rausfinden, aber bei den Platten am LSI SAS3081 würde Ich im dunkeln tappen.
zfs2.jpg

Hat jemand eine Idee?
Oder kann Ich mich drauf verlassen, das "c2t1d0" die erste Platte am Controller ist c2t2d0 die zweite usw?

Das einzige was mir so auf die schnelle einfällt, ist das System runterfahren, eine Platte abhängen, gucken welche fehlt.
Neu starten resilvern, und das selbe Spiel mit den anderen Platten.
Aber irgendwie habe Ich da Bauchschmerzen, die Platten abzuhängen....
 
Einen Plan, welche Platte wie genau im OS erscheint, macht man sich eigtl. bevor man den Pool überhaupt einrichtet.

Hatte dieses napp-it nicht eine ID-Funktion per dd?
 
Zuletzt bearbeitet:
Hi,
Oder kann Ich mich drauf verlassen, das "c2t1d0" die erste Platte am Controller ist c2t2d0 die zweite usw?

Ja das ist so.
c2t0d0 meint die Platte am ersten Port von Controller 2.
Bei einem Plattenausfall kann es aber Probleme bereiten da dann Plötzlich eine weitere als c2t0d0/old auftauchen kann.

Alternative:
Menü Disks - Smartinfo (teilweise bessere Erkennung der Seriennummer durch smartmontools)
Menü Disks >> identify via dd (geht aber nicht bei jeder Konfiguration)

Ansonsten: Die Slots beschriften oder eine Liste mit Seriennummern bzw WWN führen

---------- Post added at 17:52 ---------- Previous post was at 17:37 ----------

mal eine etwas komische Frage :d:

Wenn ich einen File-Server virtualisieren würde (ich weiss, das macht man nicht) und auf dem Host System, also da wo dann die VM's liegen, liefe Linux mit EXT4, die File-Server-VM (Freenas, NAS4Free, Omni+NappIT, etc.) liefe mit ZFS, wie sicher wären dann die Daten?

"EXT4-Sicher" oder "ZFS-Sicher" oder eine Mischung aus beidem?

Bzw. das ganze umgedreht, die VM's würden auf einem ZFS Datastore liegen, die File-Server VM wäre aber z.B. Linux-Basiert mit EXT4 (z.B. OpenmediaVault)?


Fileserver virtualisieren - natürlich kann man das machen. Man darf allerdings nur das Storage-OS virtualisieren und nicht das Storage -
sprich Controller und Disks müssen direkt durchgereicht werden. Dann ist es so zuverlässig wie direkt auf Hardware installiert.

Es sollte aber genug RAM und CPU Leistung für die Storage VM und die anderen VMs bereitstehen.

Datensicherheit:
Wenn das Storage auf ZFS läuft und darauf andere virtualisierte Systeme/Dateisysteme liegen und der Rechner beim Schreiben abstürzt, dann:

- ist das ZFS Dateisystem immer valide dank CopyOnWrite (auch wenn der Inhalt einer VM Schrott sein kann)
- das Gast-Dateisystem kann aber korrupt sein, je nachdem wann der Absturz eintritt und wie stabil das Gast-Dateisystem einen Absturz verträgt (es sein denn, der Gast ist auch ZFS denn da ist eine Schreiboperation immer korrekt oder gilt als nicht ausgeführt und es gibt kein korruptes Dateisystem durch halbdurchgeführte Datenstrukturaktualisierungen)

- deutlich verringern bzw ausschließen kann man das Risiko, indem für das Dateisystem auf dem die VMs liegen sync-write aktiviert wird. Dabei muss jede Schreiboperation direkt von Platte bestätigt werden. Die Schreibperformance ohne ein spezielles Logdevice kann aber durchaus auf 10% fallen. ESXi auf NFS beispielsweise fordert immer sync write als default an.

Ich mache das mit meinem All-In-One Konzept immer so:
http://www.napp-it.org/doc/downloads/all-in-one.pdf
 
Zuletzt bearbeitet:
Hallo GEA,

ich meinte tatsächlich das Virtualisieren des File-Server-Storage.

Das heisst also, wenn die unterste Ebene ZFS ist und das virtualisierte Storage z.B. ein EXT4 Filesystem ist, dann könnte bei einem Stromausfall das EXT4 der VM was abbekommen, das eigentliche Host-Storage mit ZFS aber nicht. Wenn EXT4 ganz unten liegt und der VM-Storage ZFS ist, dann wären die Daten der VM zwar valide, aber evtl. das eigentlich System nicht? Das bringt ja dann aber auch nix mehr :)
Wenn also, dann sollte wohl ZFS drunter sein und die VM für den Storage auch ZFS benutzen, dann dürfte ja nix passieren, oder?

Wie sicher ist denn EXT4 bzgl. inkonsistenzen bei abrupten Abstürtzen?
 
Hallo GEA,

ich meinte tatsächlich das Virtualisieren des File-Server-Storage.

Das heisst also, wenn die unterste Ebene ZFS ist und das virtualisierte Storage z.B. ein EXT4 Filesystem ist, dann könnte bei einem Stromausfall das EXT4 der VM was abbekommen, das eigentliche Host-Storage mit ZFS aber nicht. Wenn EXT4 ganz unten liegt und der VM-Storage ZFS ist, dann wären die Daten der VM zwar valide, aber evtl. das eigentlich System nicht? Das bringt ja dann aber auch nix mehr :)
Wenn also, dann sollte wohl ZFS drunter sein und die VM für den Storage auch ZFS benutzen, dann dürfte ja nix passieren, oder?

Wie sicher ist denn EXT4 bzgl. inkonsistenzen bei abrupten Abstürtzen?


Wenn ein Rechner beim Schreiben abstürzt (Außnahme CopyOnWrite Dateisysteme wie ZFS, Btrfs und teilweise ReFS) dann ist das Dateisystem potentiell korrupt. Ein Filecheck repariert dann eventuelle strukturelle Fehler, kann aber ohne Prüfsummen wie bei ZFS nicht feststellen, ob die Dateien fehlerfrei sind.

Diese Kombination bei ZFS, Copy on Write + Prüfsummen auf Daten und Metadaten + selbstheilendes Dateisystem + Software Raid + Raidmanagment + dynamische Speichervirtualisierung als integraler Bestandteil von ZFS ist ja gerade das Revolutionäre und der Grund warum ZFS die Messlatte für alles andere darstellt.

ZFS ist nicht nur ein Dateisystem wie ext, hfs oder ntfs, es ist ein Konzept wie Storage sicher gemacht werden kann.
 
Zuletzt bearbeitet:
In meinen Augen ist es aber dennoch irgendwo unsicher. Selbst wenn ich einen ZFS Pool habe, ne virtuelle HDD erstelle für eine Windows VM dann nutzt Windows für sich ja weiterhin NTFS. Dadurch ist der "ZFS Schutz" doch nicht mehr gegeben. Ich hatte selber mal nen Stromausfall und bei nem anschließenden Scan hat Windows viele Fehler gefunden und sie repariert, allerdings hat es dann auch ne ganze Reihe von Dateien gleich mitgelöscht um Zuge seiner "Reparatur". Verstehe nicht in wiefern mir ZFS da hilft wenn in der VM ja doch ein anderes Dateisystem genutzt wird.

Nen großen ZFS Pool anzulegen und dann die gesamte Kapazität durchreichen mit iSCSI um dann anschließend in EXT4 oder NTFS zu formatieren und da seine Daten draufzulegen ist ja Schwachsinn.


Wie ist eigentlich ein sinnvolles Konzept für einen Homeserver. wenn man einen großen ZFS Pool hat.

Ein Dataset für Video, Musik, Bilder? Oder nur ein einziges Dataset "Media" und da drin dann Ordner?

Bringt es was ein oder mehrere Datasets innerhalb bzw. unterhalb eines anderen zu erstellen?
 
Zuletzt bearbeitet:
Wenn der "Client" nicht sauber fertigschreibt, was kann dann ZFS da helfen? Dann musst du Storage separat ausfallsicher und mit ZIL vorhalten und in den VMs jegliches Caching abschalten und jeden kleinen write synchron sofort durchschreiben lassen.

Edit: Mehrere datasets sind nur als administrative Punkte zu verstehen, um Snapshots und Einstellungen wie compression oder quotas hierarchisch zu verwalten. Mit einem riesigen dataset pro Pool könntest du ja z.B. keine einzelnen Unterverzeichnisse snapshotten.
 
Zuletzt bearbeitet:
Warum nicht einfach Proxmox und ZFSonLinux? Dann musst du den Fileserver-Teil nicht virtualisieren und hast alle Features von Promox. Mache ich auch so, alles verschlüsselt, auch die Bootpartition.
In dem VMs musst du auch kein Ext4 benutzen, kannst hier genauso ZFSonLinux verwenden.
https://www.google.de/search?hl=de&q=zfsonlinux+root
Die Bootpartition kann man auch mit ZFS machen, würde ich aber wegen des Aufwands und des äußerst geringem Nutzen unterlassen. Dort ist eh nur der Kernel drauf, der wird entweder vollständig geladen oder nicht. ;)

Und wenn du kein ZFSonLinux verwendest sehe ich für FreeBSD keinen wirklichen Vorteil, die Performance ist nicht besser, die Softwareauswahl geringer usw.
Dann verwende lieber gleich OmniOS, da hast du auch den Solaris SMB-Server der Samba überlegen ist.

Einen Plan, welche Platte wie genau im OS erscheint, macht man sich eigtl. bevor man den Pool überhaupt einrichtet.

Hatte dieses napp-it nicht eine ID-Funktion per dd?
Schau dir mal mein Poor man's SGPIO Script an, sollte auf jeden *NIX funktionieren und auch mit jedem Hardware-Aufbau.
Medienserver Post #64
 
Zuletzt bearbeitet:
Schau dir mal mein Poor man's SGPIO Script an, sollte auf jeden *NIX funktionieren und auch mit jedem Hardware-Aufbau.
Medienserver Post #64

BSD hat kein iflag bei dd und bash ist auch selten Standard und bei dem Script auch gar nicht nötig und globale Variablen sind pfui. :)

Code:
#!/bin/sh

[ $# -eq 1 ] || { echo "usage: $0 [drive]"; exit 1; }
drive=$1

led() {
   [ $# -eq 3 ] || { echo "usage: $0 [drive] \"long\"|\"short\" [iteration]"; return 1; }
   local blocksize drive=$1 duration=$2 iteration=$3

   case ${duration} in 'long') blocksize=256M;; 'short') blocksize=32M;; *) blocksize=256M;; esac
   while [ ${iteration} -gt 0 ]; do
      dd if=${drive} of=/dev/null bs=${blocksize} count=1 conv=noerror >/dev/null 2>&1 || return 1
      sleep 0.5
      iteration=$((iteration-1))
   done
   return 0
}

while led ${drive} long 3; do
   sleep 3
done
 
Das iflag ist doch schon recht wichtig weil ansonsten der Cache verwendet wird und so je nach Blocksize gar nicht mehr oder nur sehr kurz von der Festplatte gelesen wird.

http://www.thomas-krenn.com/de/wiki/Direct_und_synchronized_I/O_unter_Linux
direct: Use direct I/O for data, avoiding the buffer cache. [Anmerkung: gemeint ist hier nicht der Buffer Cache, sondern der Page Cache, siehe Page Cache oder Buffer Cache (Linux Page Cache Grundlagen)]

Wird unter BSD dd grundsätzlich kein Cache verwendet?
Kenne mich mit der Funktionsweise des BSD-Kernels nicht wirklich aus. Für pfsense und ein paar 0815-Aufgaben ala FAMP reicht es. Kenne FreeBSD eigentlich hauptsächlich nur durch pfSense, für andere Aufgaben finde ich Linux einfach praktischer da weiter verbreitet. Gibt ja leider kein vergleichbares Projekt unter Linux. Astaro ist mir zu sehr auf Kommerz und Klick-Bunti-Dau-Kundschaft, die überhaupt nicht wissen was unter der Haube überhaupt geschiet, ausgelegt. Ipfire und andere kostenlose Projekte können pfSense nicht das Wasser reichen.
 
Zuletzt bearbeitet:
Okay, vergessen wir also meine Aussage mit sollte "so" überall funktionieren mal wieder ganz schnell und ändern sie in "dieses Konzept sollte überall funktionieren". :fresse:
 
OT: Was ist eigentlich aus unserem schönen Fotografen Backup Thread geworden? Ich wollte ihn gerade zum Bodybuilding-Thread umwandeln, da wird er auch schon gelöscht/verschoben. :( :fresse:
 
OT: Was ist eigentlich aus unserem schönen Fotografen Backup Thread geworden? Ich wollte ihn gerade zum Bodybuilding-Thread umwandeln, da wird er auch schon gelöscht/verschoben. :( :fresse:

Bisschen Zensur hier und da, wen juckts heutzutage? Bestimmt war der Traffic zu teuer und die Werbung hats für diesen einen Thread nicht reingespielt, oder so.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh