c0d0s0
Neuling
Vergleichswerte direkt hab ich nicht aber bei "lahmen" Kisten sind SMB Freigaben in Solaris flotter als in FreeNAS (obs an ZFS oder SMB liegt kann ich nicht sagen)
Sobald die Kiste aber ne 1Gbit/s LAN auch unter FreeNAS voll ausreizen kann (geht mit der Config oben auf jeden Fall) merk ich dann persönnlich keinen Unterschied mehr. Könnte sein das ein RAIDZ unter Solaris intern schneller ist als unter FreeNAS aber die 1Gbit/s LAN sind für mich das Maß aller Dinge, mehr brauch ich persönnlich nicht. Cool find ich auch bei FreeNAS die Install des OS auf nen billigen USB Stick um die SATA Ports nur für Daten HDDs freizuhalten.
Sobald die Kiste aber ne 1Gbit/s LAN auch unter FreeNAS voll ausreizen kann (geht mit der Config oben auf jeden Fall) merk ich dann persönnlich keinen Unterschied mehr. Könnte sein das ein RAIDZ unter Solaris intern schneller ist als unter FreeNAS aber die 1Gbit/s LAN sind für mich das Maß aller Dinge, mehr brauch ich persönnlich nicht. Cool find ich auch bei FreeNAS die Install des OS auf nen billigen USB Stick um die SATA Ports nur für Daten HDDs freizuhalten.
Zuletzt bearbeitet:
Hier mal ein Vergleich der verschiedenen Systeme:
FreeNAS vs OpenSolaris ZFS Benchmarks » ZFS Build
Freenas sch***t ziemlich ab in Sachen Performance.
EDIT: leicht veraltet^^
FreeNAS vs OpenSolaris ZFS Benchmarks » ZFS Build
Freenas sch***t ziemlich ab in Sachen Performance.
EDIT: leicht veraltet^^
Zuletzt bearbeitet:
bluesunset
Semiprofi
FreeNAS verwendet ja auch immer noch einen alten ZFS Versionsstand. Kein v28 wie ein FreeBSD 9.0
c0d0s0
Neuling
Bei FreeNAS kommt v28 erst noch, bei NAS4free wird schon v28 benutzt.
P.S: NAS4free ist der Nachfolger von FreeNAS 0.7x während FreeNAS 8.x eine Neuentwicklung ist.
P.S: NAS4free ist der Nachfolger von FreeNAS 0.7x während FreeNAS 8.x eine Neuentwicklung ist.
ludwinator
Enthusiast
- Mitglied seit
- 28.12.2006
- Beiträge
- 527
Freenas 8.2 hat ZFS V28, ist aber immer noch Beta.
FreeNas = FreeBSD + Web-UI
OI = Server-OS ohne Web-UI aber mit grafischer Oberfläche (live-edition)
Ein Web-UI gibt es für Solaris basierte Systeme aber mit Nexenta CE oder napp-it
Der Komfort ist dann durchaus vergleichbar. Was bleibt ist der schnelle kernelbasierte CIFS Server bei
Solaris, der SMB Sharing in ZFS integriert, mit funktionierenden Windows ACL und snapshots als
Windows -Eigenschaft "vorherige version". Auch iSCSI und NFS sind unter Solaris einfach prima.
Auch ist Solaris besser auf den Storagebetrieb vorbereitet und alles kommt aus einer Hand (Früher SUN jetzt Illumos). Bei FreeNAS muss erst noch einiges optimiert werden, damit alle Resourcen für ZFS nutzbar sind.
Was für FreeNAS spricht, ist vor allem die größere Anzahl an Programmen, die ohne Ärger hinzu-
installiert werden können (z.B. Mediaserver, DLNA etc)
Zuletzt bearbeitet:
Erstmal danke für die Antworten.
Mir gehts bei der ganzen "FreeNAS-Geschichte" primär darum einen rel. kompakten, stromsparende Fileserver aufzubauen, der weniger administrativen Aufwand generiert als mein jetziges Gentoo-System.
Auf FreeNAS als Appliance-OS bin ich gekommen, weil es:
a) von einem USB-Stick löppt -> blockiert keinen Sata-Port
b) viele Komfort-Features bietet, die ich unter Linux mit Softraid aufwendig per Hand/scripten einrichten müßte (eMail-Benarichtigung bei Problemen; Konfig via WebGUI; rSync-diff mit dem geplanten Backupserver).
c) verifiziert mit dem Supermicro-Board läuft (hab mir gedacht für Softraid/ZFS ist ECC-RAM sicher nicht verkehrt und KVM over IP ist ein nettes Zusatzfeature, dann muß ich nicht für jeden Kram in den Keller - =Serverstandort - bzw. den Server hoch schleppen)
Wenn ich das - inzwischen hochoptimierte - Gentoo-Linux, gegen ein anderes, vollwertiges OS tausche, komme ich ja vom Regen in die Traufe.
Meine Ansprüche an den Server sind eigentlich sehr gering:
a) Das Diskarray soll per Samba/AFP verfügbar sein; der Speicherplatz soll "am Stück" verfügbar sein
b) zwei zusätzliche interne USB-HDDs sollen als TimeMachine & iTunes-Server (kommt wohl mit 8.2) fungieren
c) Die Kiste sollte ausreichend fix sein, um die GB-LAN Anbindung zum Flaschenhals werden zu lassen
d) Mail-benachrichtigung, wenn irgendwas mit dem Array/System nicht ok sein sollte
e) vollautomatisiertes Backup via rSync-Diff auf ein zweites identisches System
f) komplett via Webinterface bedienbar; möglichst geringer Adminaufwand/Wartungsaufwand
@ludwinator
Was spricht denn gegen das Raid-Z1 mit 6 HDDs (und was spricht für 5)?
Ich habe bisher immer mit Hardwareraids gearbeitet (3Ware und Areca) -> soweit ich das gelesen habe entspricht ein rZ1 einem Raid5 (einfach Redundanz) und ein rZ2 einem Raid6 (fache Redundanz) -> in dem Kontext würde mir eine einfache Redundanz eigentlich reichen bzw. wäre mir der zusätzliche "Platz" definitiv wichtiger, da mir privaten Umfeld potentielle Ausfallzeiten nicht sonderlich weh tun, zumal ja eh ein 2. identischer Backupserver angedacht ist, sobald sich das Ding im "Alltag" als tauglich erweisen hat (bis der steht, behalte ich einfach den "alten" Gentoo-Fileserver als "Backup".
Zuletzt bearbeitet:
ludwinator
Enthusiast
- Mitglied seit
- 28.12.2006
- Beiträge
- 527
Vereinfacht ausgedrückt: ZFS arbeitet mit bis zu 128kb großen Blöcken, im Fall von RAIDZ1 auf 6 Platten muss also 128kb auf 5 Platten kopiert werden, die 6. Platte sorgt für die Prüfsumme. Merkst du was? 128KB geht nicht grade durch 5, aber durch 4.
Ergo: RAIDZ1 immer mit 3, 5, 9 und RaidZ2 mit 4, 6 oder 10 Devices usw.
cu
Ergo: RAIDZ1 immer mit 3, 5, 9 und RaidZ2 mit 4, 6 oder 10 Devices usw.
cu
Zuletzt bearbeitet:
Vielen Dank an antilope114 und gea für die schnelle Antwort!
Mein Plan ist es einen zpool mit raidz2 mit 8 Platten zu erstellen.
Darauf will ich dann ein riesiges Blockdevice mit ZVOL erstellen.
Dieses Blockdevice wird mit LUKS (Linux) transparent verschlüsselt und darauf kommt dann ext4.
Wenn ich die Antworten richtig interpretiert habe, erweitere ich mit diesem Setup die Vorteile von Zfs bezüglich Datensicherheit (Raidz2, online scrubbing, checksumming jedes Datenblocks etc...)
mit einen performanten Cryptolayer.
Meine Frage:
habe ich irgendwas wichtiges übersehen?
Hat das Verwenden von einem gigantischen Blockdevice irgendwelche Nachteile? (ich würde das Blockdevice 100gb kleiner als den eigentlichen Pool machen. Ist das genug um ein copy-on-write Filesystem noch performant zu betreiben?
Vielen Dank
Mein Plan ist es einen zpool mit raidz2 mit 8 Platten zu erstellen.
Darauf will ich dann ein riesiges Blockdevice mit ZVOL erstellen.
Dieses Blockdevice wird mit LUKS (Linux) transparent verschlüsselt und darauf kommt dann ext4.
Wenn ich die Antworten richtig interpretiert habe, erweitere ich mit diesem Setup die Vorteile von Zfs bezüglich Datensicherheit (Raidz2, online scrubbing, checksumming jedes Datenblocks etc...)
mit einen performanten Cryptolayer.
Meine Frage:
habe ich irgendwas wichtiges übersehen?
Hat das Verwenden von einem gigantischen Blockdevice irgendwelche Nachteile? (ich würde das Blockdevice 100gb kleiner als den eigentlichen Pool machen. Ist das genug um ein copy-on-write Filesystem noch performant zu betreiben?
Vielen Dank
antilope114
Enthusiast
Ich bin mir nicht sicher, ob du uns richtig verstanden hast, daher nochmal: Was innerhalb des block devices passiert ist für zfs nicht transparent - ergo hast du auch keine Prüfsummen für Daten innerhalb des zvols, sind also einzelne Dateien innerhalb des ext4-Dateisystems korrupt, wird zfs das nicht erkennen.
Natürlich ist so eine Lösung aufgrund von Snapshots und der Flexibilität von zfs immer noch sehr gut - aber warum verschlüsselst du nicht das Raidz2 und nutzt zfs? Bist du zwingend auf ext4 angewiesen bzw. musst du im Netzwerk ein solches blockdevice für andere Linux-Rechner zur Verfügung stellen?
Grüße
Zuletzt bearbeitet:
bluesunset
Semiprofi
Ich kenne deinen Ursprünglichen Stacker Fileserver noch sehr gut!
Wenn du schon zwei Systeme aufbauen willst, verwende für das zweite doch bitte ein blankes FreeBSD 9 oder OpenIndiana. Beide Systeme sollten die gleiche ZFS Version 28 haben.
Zumindet 8GB sollte ein Fileserver haben. ZFS benötigt leider sehr viel RAM.
Ich frage mich nur, wie du auf diesen geringen Wert kommen willst?
Bei Platten >= 2TB und 24/7 wie bei dir sollte man eher zu den zuverlässigeren Laufwerken greifen. Welches bei Hitachi z.B. ein Ultrastar 7K4000 | Hitachi Global Storage Technologies wäre.
Bei deinem zweiten Backup-System würden es ggf. auch die günstigeren Platten tun. Du solltest hier aber mindestens mit einem Raid6 (raidz2) fahren. Wenn nicht sogar Raidz3 oder three-way mirrors.
Zuletzt bearbeitet:
Also war das in den Produktbeschreibungen nur Irreführend, sorry wusste ich nicht. Bei meinem Samsung HDDs stand (4KB Sektoren mit Emulation) und bei meinen Western Digital HDDs stand (4KB Sektoren).
Bringt es mir Performancetechnisch einen Vorteil wenn ich meine 4 HDDs aus meinem RAID 10 mit 4 K einrichte, oder kann ich das ohne bedenken auf 5 B lassen?
Btw. weiß zu den ZFS Cache Einstellen niemand einen Rat
?http://www.hardwareluxx.de/community/f101/zfs-stammtisch-570052-82.html#post19066376
Zuletzt bearbeitet:
ludwinator
Enthusiast
- Mitglied seit
- 28.12.2006
- Beiträge
- 527
Nimm eine aktuelle Distro wie Smartos oder OI, die erkennen die Sektorgrößen automatisch und richten´s entsrechend mit ASHIFT=12 ein.
Das gleiche gilt für die ARC und L2ARC Einstellungen, nur in absoluten Ausnahmefällen verändern, sonst die Finger weglassen. Details siehe auch Some insight into the read cache of ZFS - or: The ARC - c0t0d0s0.org
Das gilt zumindest für ZFS auf Solaris, ob das bei FreeBSD anders aussieht, weiss ich nicht.
---------- Post added at 21:16 ---------- Previous post was at 20:47 ----------
Nachteile:
1, Wenn du versehentlich eine einzige Datei in deinem EXT4 überschreibst, musst du das ganze Blockdevice aus dem ZFS Snapshot clonen und mounten, damit du da wieder dran kommst.
2, Wenn Performance gefragt ist, dann nimm RAID1+0, also Stripe+Mirror. Wenn maximale Kapazität gefragt ist, nimm RAIDZ2 mit 6 oder 10 Platten, aber nicht mit 8. 128kb durch 6 geht nicht glatt.
3, durch das verschlüsselte Blockdevice kann ZFS darunter nicht mehr komprimieren. Das funktioniert ganz hervorragend, kommt halt auf die Daten an.
Also: Wenn du alle Vorteile von ZFS+Comp+Crypt+Performance haben willst, nimm Solaris 11. Ich denke im Privatbereich kostenlos, bin aber nicht sicher. Im Firmenumfeld hast du ohnehin keine Wahl, da muss was mit Support her.
Das gleiche gilt für die ARC und L2ARC Einstellungen, nur in absoluten Ausnahmefällen verändern, sonst die Finger weglassen. Details siehe auch Some insight into the read cache of ZFS - or: The ARC - c0t0d0s0.org
Das gilt zumindest für ZFS auf Solaris, ob das bei FreeBSD anders aussieht, weiss ich nicht.
---------- Post added at 21:16 ---------- Previous post was at 20:47 ----------
Nachteile:
1, Wenn du versehentlich eine einzige Datei in deinem EXT4 überschreibst, musst du das ganze Blockdevice aus dem ZFS Snapshot clonen und mounten, damit du da wieder dran kommst.
2, Wenn Performance gefragt ist, dann nimm RAID1+0, also Stripe+Mirror. Wenn maximale Kapazität gefragt ist, nimm RAIDZ2 mit 6 oder 10 Platten, aber nicht mit 8. 128kb durch 6 geht nicht glatt.
3, durch das verschlüsselte Blockdevice kann ZFS darunter nicht mehr komprimieren. Das funktioniert ganz hervorragend, kommt halt auf die Daten an.
Also: Wenn du alle Vorteile von ZFS+Comp+Crypt+Performance haben willst, nimm Solaris 11. Ich denke im Privatbereich kostenlos, bin aber nicht sicher. Im Firmenumfeld hast du ohnehin keine Wahl, da muss was mit Support her.
Zuletzt bearbeitet:
Nach ein paar Benchmarks melde ich mich nochmal zurück:
Mein ursprüngliches Problem war, dass ich mit ZFS auf mit LUKS verschlüsselten Festplatten eine sehr enttäuschende Schreibperformance hatte. Nun hab ich mal die CPU gewechselt und nun performt das System.
100 mb/s über samba write mit aes verschlüsselten Festplatten mit raidz sind gar kein Problem mehr.
Momentan verwende ich einen AMD A6-3650 der bis auf den verdoppelten level 2 cache von der Architektur der CPU Kerne nahezu identisch mit dem vorherigen Athlon II X4 640 ist.
Und das war wohl der Knackpunkt an meinem vorherigen Setup. Manchmal ist es auch einfach der CPU cache, der einem alles zu nichte macht.
Nochmal mein Setup:
Ubuntu 12.04 LTS mit zfsonlinux
5x 2tb raidz verschlüsselt mit cryptsetup LUKS
tl;dr
Nehmt eine CPU mit AES-NI oder zumindest einen Quadcore mit mindestens 1mb level 2 cache pro Kern, dann macht verschlüsseltes ZFS unter Linux richtig Spaß.
Mein ursprüngliches Problem war, dass ich mit ZFS auf mit LUKS verschlüsselten Festplatten eine sehr enttäuschende Schreibperformance hatte. Nun hab ich mal die CPU gewechselt und nun performt das System.
100 mb/s über samba write mit aes verschlüsselten Festplatten mit raidz sind gar kein Problem mehr.
Momentan verwende ich einen AMD A6-3650 der bis auf den verdoppelten level 2 cache von der Architektur der CPU Kerne nahezu identisch mit dem vorherigen Athlon II X4 640 ist.
Und das war wohl der Knackpunkt an meinem vorherigen Setup. Manchmal ist es auch einfach der CPU cache, der einem alles zu nichte macht.
Nochmal mein Setup:
Ubuntu 12.04 LTS mit zfsonlinux
5x 2tb raidz verschlüsselt mit cryptsetup LUKS
tl;dr
Nehmt eine CPU mit AES-NI oder zumindest einen Quadcore mit mindestens 1mb level 2 cache pro Kern, dann macht verschlüsseltes ZFS unter Linux richtig Spaß.
Das heißt konkret für mich -> 6 HDDs mit 1-facher Redundanz sind de facto mit ZFS nicht zu realisieren?
Gibt es da keinerlei Möglichkeit die verwendete Blockgröße dem "Array" anzupassen (wie es unter XFS/EXT4 möglich ist)?
Wenn dem so ist, dann wird sich das Thema ZFS für mich wohl vorerst gegessen haben, weil ein RAIDZ2 mit 6HDDs mir nicht ausreichend Netto-Platz für mein vorhaben bietet.
Ich kenne deinen Ursprünglichen Stacker Fileserver noch sehr gut!
Ich frage mich nur, wie du auf diesen geringen Wert kommen willst?
Bei Platten >= 2TB und 24/7 wie bei dir sollte man eher zu den zuverlässigeren Laufwerken greifen. Welches bei Hitachi z.B. ein Ultrastar 7K4000 | Hitachi Global Storage Technologies wäre.
Die Plattform braucht nach meinen Recherchen ca. 25-30W (je nach OS) im idle.
Hinzu kämen 6 weitere HDDs (30-45W je nach verwendeten HDDs).
Auf teure Server-HDDs will ich ja gerade nicht setzen.
Mal abgesehen davon, dass das bei 12 HDDs momentan eine Preisdifferenz von ca. 2400€ ausmacht, ist der Grund warum ich von hardwarebasierten Raid weg will, daß es z.Z nur noch einen Hand voll aktueller Consumer-HDDs gibt, die ohne Probs an Hardwareraidcontrollern laufen.
Perspektivisch wird dies durch die Konsolidierung im HDD-Markt nicht besser werden.
Auf der anderen Seite, sind mir in 10 Jahren Hardwareraid, grad mal 5 Consumer-HDDs verreckt, wovon 3 alte 120GB PATA-HDDs waren (also schon ewig her).
Da einen Aufpreis für auf 24/7 validierte Server-HDDs zu zahlen halte ich zumindest im privaten Bereich für sinnfrei, weil
a) ausfallen können die genau so wie Consumer-HDDs auch jederzeit
b) max. Verfügbarkeit spielt keine Rolle, weil mit der Kiste kein Geld verdient wird
c) ein Backup ist eh immer obligat
millenniumpilot
Enthusiast
nein, heist es nicht. Es leidet alleine die Geschwindigkeit etwas. Im von Dir avisierten Einsatzgebiet vollkommen egal. Ich habe aktuell ein RaidZ2
mit 8 Platten und kann nicht klagen. Das 1GB-Netzwerk ist der Flaschenhalz.
c0d0s0
Neuling
Doch, natürlich geht das, ist halt nur nicht die best practice. Hab selbst ein RAIDZ mit 2 vdevs a je 4*146GB SCSI HDDs in ner uralt Kiste rennen und das Array kommt trozdem an die Grenze des (lahmen) verbauten SCSI3 Controllers, ist zwar nicht ideal aber ich hatte die HDDs gerade rumliegen also mussten sie auch verbaut werden.
Kannst ja einfach mal deine Config die du dir vorstellst testen was genau bei rauskommt aber idealerweise würd ich auf ludwinators Tipp hören und ein RAIZ mit 5 HDDs erstellen (+1 spare wenn du 6 hast) oder ein RAIDZ2 mit 6 HDDs wegen der Stripesize
FreeNAS empfiehlt übrigens das selbe:
Code:
Start a RAIDZ1 at 3, 5, or 9 disks.
Start a RAIDZ2 at 4, 6, or 10 disks.
Start a RAIDZ3 at 5, 7, or 11 disks.bluesunset
Semiprofi
Das heißt konkret für mich -> 6 HDDs mit 1-facher Redundanz sind de facto mit ZFS nicht zu realisieren?
Gibt es da keinerlei Möglichkeit die verwendete Blockgröße dem "Array" anzupassen (wie es unter XFS/EXT4 möglich ist)?
Wenn dem so ist, dann wird sich das Thema ZFS für mich wohl vorerst gegessen haben, weil ein RAIDZ2 mit 6HDDs mir nicht ausreichend Netto-Platz für mein vorhaben bietet.
Die Plattform braucht nach meinen Recherchen ca. 25-30W (je nach OS) im idle.Hinzu kämen 6 weitere HDDs (30-45W je nach verwendeten HDDs).
Unterschied: ohne 2.5" HDD und drei HDDs nebst Raid5 Controller. Macht satte 40 Watt Plus! Nebenbei fehlt die Angabe des verwendeten "Messgerätes" und eventuell vorgenommene Einstellungen im BIOS.
Bei der Frage nach Raid5, 6 oder raidz3 geht es nicht um den Ausfall einer kompletten HDD, sondern um Fehler beim Lesen von Sektoren.
http://www.hardwareluxx.de/communit...ormalen-und-enterprise-grade-hdds-874465.html
Sofern ihr immer noch mehrere Leute seid, würde sich ein LTO5 (1500GB Bänder <= 40 Euro ) Laufwerk nicht für euch Lohnen? (LTO6 sobald verfügbar)
Zuletzt bearbeitet:
Danke für eure Antworten!
Vermutlich muß ich das wirklich mal selbst ausprobieren/testen, welche Performanceeinbußen ein RAIDZ1 mit 6 HDDs wirklich hat (gegenüber RAIDZ1 mit 5 HDDs oder RAIDZ2 mit 6 HDDs); speziell im Kontext "Flaschenhals GB-LAN".
Das kommt dann einfach mit auf die die "to do"-Liste, neben simulierten HDD und Stromausfällen.
Die restliche Hardware zum vervollständigen des neuen Servers sollte lt. DHL heute hier ankommen, dann werde ich einfach mal ein bissl "spielen".
@bluesunset
Klar sind die Verbrauchsangaben erst mal mit Vorsicht zu genießen, aber selbst wenn das ganze nur "Pi mal Daumen" Angaben sind, halte ich den anvisierten Verbrauchbereich nicht für unrealistisch, wenn ich mal betrachte was mein jetziges Setup so "zieht" oder auf welche Meßwerte die c't mit SB-Plattformen gekommen ist.
Auf eine LTO wollten wir nicht mehr setzen, weil das bei den Datenmengen imho zu "unhandlich" im handling wird (Stichwort "Tapejockey") und ein Multiloader wird zu kostenintensiv.
Ein Backupserver hätte im handling den Vorteil, dass man das nahezu komplett automatisieren kann; außerdem hätte man vollständige "Hardwareredundanz" für relativ kleines Geld und nebenbei noch das Problem der Datenmigration gelöst (neue HDDs in den Backupserver packen, Daten vom alten Server migrieren), was ich bisher über freie Ports am Raidcontroller gelöst hatte.
Vermutlich muß ich das wirklich mal selbst ausprobieren/testen, welche Performanceeinbußen ein RAIDZ1 mit 6 HDDs wirklich hat (gegenüber RAIDZ1 mit 5 HDDs oder RAIDZ2 mit 6 HDDs); speziell im Kontext "Flaschenhals GB-LAN".
Das kommt dann einfach mit auf die die "to do"-Liste, neben simulierten HDD und Stromausfällen.
Die restliche Hardware zum vervollständigen des neuen Servers sollte lt. DHL heute hier ankommen, dann werde ich einfach mal ein bissl "spielen".
@bluesunset
Klar sind die Verbrauchsangaben erst mal mit Vorsicht zu genießen, aber selbst wenn das ganze nur "Pi mal Daumen" Angaben sind, halte ich den anvisierten Verbrauchbereich nicht für unrealistisch, wenn ich mal betrachte was mein jetziges Setup so "zieht" oder auf welche Meßwerte die c't mit SB-Plattformen gekommen ist.
Auf eine LTO wollten wir nicht mehr setzen, weil das bei den Datenmengen imho zu "unhandlich" im handling wird (Stichwort "Tapejockey") und ein Multiloader wird zu kostenintensiv.
Ein Backupserver hätte im handling den Vorteil, dass man das nahezu komplett automatisieren kann; außerdem hätte man vollständige "Hardwareredundanz" für relativ kleines Geld und nebenbei noch das Problem der Datenmigration gelöst (neue HDDs in den Backupserver packen, Daten vom alten Server migrieren), was ich bisher über freie Ports am Raidcontroller gelöst hatte.
Zuletzt bearbeitet:
Eigentlich ist diese ganze Diskussion über "goldene Anzahl von Platten bei Raid-Z" oder Erweiterungsmöglichkeiten eines Pools nur mit gleichen vdevs/Raids etwas unglücklich.
Wenn ich statt eines "idealen" Raid-Z2 aus 6 Platten eines aus 9 Platten baue, so wird das deshalb doch nicht langsamer (allenfalls vernachlässigbar, da minimal mehr Verwaltungsarbeit notwenig ist). Richtig ist lediglich, dass es nicht schneller ist, als eines aus 6 Platten, da eben nicht alle Platten am Lesen/ Schreiben beteiligt sind, wie das bei einem perfect ausbalancierten Pool wäre.
Nicht ausbalancierte Pools hat mal aber bei jeder pool-Erweiterung. Das ist also etwas normales bei ZFS.
Gleiches mit der Erweiterungsdiskussion.
Einen Pool aus einem Raid-Z2 mit einem Mirror zu erweitern ist möglich und kann sinnvoll sein. Man sollte nur immer darauf achten, dass die Gesamt-redundanz nicht schlechter wird.
Problem: Es kann ineffizient sein, wenn man alle Platten betrachtet, insbesondere da Pools nur wachsen können und man ein vdev nicht mehr entfernen kann.
Wenn ich statt eines "idealen" Raid-Z2 aus 6 Platten eines aus 9 Platten baue, so wird das deshalb doch nicht langsamer (allenfalls vernachlässigbar, da minimal mehr Verwaltungsarbeit notwenig ist). Richtig ist lediglich, dass es nicht schneller ist, als eines aus 6 Platten, da eben nicht alle Platten am Lesen/ Schreiben beteiligt sind, wie das bei einem perfect ausbalancierten Pool wäre.
Nicht ausbalancierte Pools hat mal aber bei jeder pool-Erweiterung. Das ist also etwas normales bei ZFS.
Gleiches mit der Erweiterungsdiskussion.
Einen Pool aus einem Raid-Z2 mit einem Mirror zu erweitern ist möglich und kann sinnvoll sein. Man sollte nur immer darauf achten, dass die Gesamt-redundanz nicht schlechter wird.
Problem: Es kann ineffizient sein, wenn man alle Platten betrachtet, insbesondere da Pools nur wachsen können und man ein vdev nicht mehr entfernen kann.
Ich hatte schon Oracle Solaris Express 11.11 installiert mit napp-it ging auch soweit ganz gut und nur Samba/ACLs und Co. haben mich fertig gemacht. Deshalb nutze ich hat NAS4Free (ist auf Basis von FreeBSD 9 p3) für mich Unix Anfänger, hat mehr mehr Pakete/Funktionen die ich auch benötige und die Administration ist sehr leicht, auch Samba hatte ich in wenigen Klicks eingerichtet. Ja und leider muss man bei FreeBD ZFS tunen, da Standard leider nicht gut ist steht auch in den Handbüchern von FreeBSD, aber auch recht "Oberflächlich". Hab auch viel im Internet gesucht/gelesen und probiert. Darum meine letzte Frage wenn den primarycache + secondarycache und den Speedunterschieden, mein ZIL, L2ARC usw. ist schon auf meine 16 GB Ram/SSDs angepasst. Aber SmartOS sieht extrem interessant aus muss ich getsehen, d.h. aber auch wieder das ich meinen gesamten ZFS pool zerstören muss und wieder mein Raid 10 neu einrichten muss und von den Backups zurückspielen.
Zuletzt bearbeitet:
Ich wollte jetzt in meinen OpenIndiana auch noch einen Pool für Backups meiner Virtuellen Maschienen einrichten, damit mein Atom FreeNAS endlich weg kann. Dafür wären Kompression und dedup sicherlich ideal.
Da Dedup aber auf die Performance gehen kann möchte ich vorher gern wissen inwieweit sich das ganze performancemäßig auf den schon bestehenden Pool auswirkt.
Es sollen 2 gemirrorte 1,5TB Laufwerke werden und der Server hat normalerweise noch so um die 2GB freien RAM.
Da Dedup aber auf die Performance gehen kann möchte ich vorher gern wissen inwieweit sich das ganze performancemäßig auf den schon bestehenden Pool auswirkt.
Es sollen 2 gemirrorte 1,5TB Laufwerke werden und der Server hat normalerweise noch so um die 2GB freien RAM.
bluesunset
Semiprofi
Nicht möglich. Pro TB HDD-Speicher benötigt die Dedup-Tabelle mehr als 5GByte RAM!
Alternativ verwendest du für die Dedup-Tabelle eine schnelle SSD
Alternativ verwendest du für die Dedup-Tabelle eine schnelle SSD
hi,
ich habe nun meinen backupserver mit ubuntu 12.04 und zfs mit dem kernel modul aus dem ppa installiert. meinen pool konnte ich anlegen, jedoch kann ich keine dateien erstellen. nicht mal ein einfaches ls funktioniert.
die konsole hängt sich immer sofort auf, wenn ich einen dieser befehle versuche.
zfs ist version 5 und pool version ist 28.
kernel ist:
Linux backupserver 3.2.0-25-generic-pae #40-Ubuntu SMP Wed May 23 22:11:24 UTC 2012 i686 i686 i386 GNU/Linux
root@backupserver:/home/soomon# zpool status zpool0
pool: zpool0
state: ONLINE
scan: scrub repaired 0 in 0h0m with 0 errors on Thu Jun 28 21:30:19 2012
config:
NAME STATE READ WRITE CKSUM
zpool0 ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
encrypted1 ONLINE 0 0 0
encrypted2 ONLINE 0 0 0
encrypted3 ONLINE 0 0 0
encrypted4 ONLINE 0 0 0
ich muss dazusagen dass die platten alle mit luks verschlüsselt wurden. sie sind natürlich mit luksOpen geöffnet worden und haben die entsprechenden bezeichnungen (encrypted1-4) bekommen.
liegt das evtl daran? eigentlich müsste das doch transparent sein?
hat irgendwer ne idee wie ich das lösen kann?
danke
ich habe nun meinen backupserver mit ubuntu 12.04 und zfs mit dem kernel modul aus dem ppa installiert. meinen pool konnte ich anlegen, jedoch kann ich keine dateien erstellen. nicht mal ein einfaches ls funktioniert.
die konsole hängt sich immer sofort auf, wenn ich einen dieser befehle versuche.
zfs ist version 5 und pool version ist 28.
kernel ist:
Linux backupserver 3.2.0-25-generic-pae #40-Ubuntu SMP Wed May 23 22:11:24 UTC 2012 i686 i686 i386 GNU/Linux
root@backupserver:/home/soomon# zpool status zpool0
pool: zpool0
state: ONLINE
scan: scrub repaired 0 in 0h0m with 0 errors on Thu Jun 28 21:30:19 2012
config:
NAME STATE READ WRITE CKSUM
zpool0 ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
encrypted1 ONLINE 0 0 0
encrypted2 ONLINE 0 0 0
encrypted3 ONLINE 0 0 0
encrypted4 ONLINE 0 0 0
ich muss dazusagen dass die platten alle mit luks verschlüsselt wurden. sie sind natürlich mit luksOpen geöffnet worden und haben die entsprechenden bezeichnungen (encrypted1-4) bekommen.
liegt das evtl daran? eigentlich müsste das doch transparent sein?
hat irgendwer ne idee wie ich das lösen kann?
danke
antilope114
Enthusiast
Heißt quasi, dass man bei Erweiterung eines mirrors auf einen striped mirror (also ein weiteres mirror vdev im Pool) am besten die Daten komplett neu auf den Pool kopiert, andernfalls hätte man keinen nennenswerten Geschwindigkeitsvorteil ggü. 2 einzelnen Pools mit je einem mirror vdev (angenommen vdev 1 wäre zu etwa 80% voll)
ludwinator
Enthusiast
- Mitglied seit
- 28.12.2006
- Beiträge
- 527
Falsch, das gilt höchstens pro TB deduplizierter Daten, nicht pro TB Speicher.
Pro TB Daten.
antilope114
Enthusiast
Seit Längerem dauert bei mir der zfs scrub der ersten 1-2 GByte realtiv lange (150Kbytes/s ca.). Danach geht es auf >80-90M/s hoch bzw. läuft in etwa 9 Stunden durch bei 2,6 TB Nutzdaten.
Gleiches fällt mir jetzt beim resilvern auf - auch nur 50-200K/s.
Woran könnte das liegen? Die IO-Last der beiden anderen Platten ist nicht nennenswert, die Transferraten über GbE und nfs ~ 80-100 MB/s - das Einzige was mir einfällt ist, dass eine Platte smartfail-Status hat. Aber auch da glaube ich eher, dass smartctl spinnt.
edit/ Jetzt zieht er schon merklich an ... würde mich schon interessieren, woran das liegt.
Gleiches fällt mir jetzt beim resilvern auf - auch nur 50-200K/s.
Woran könnte das liegen? Die IO-Last der beiden anderen Platten ist nicht nennenswert, die Transferraten über GbE und nfs ~ 80-100 MB/s - das Einzige was mir einfällt ist, dass eine Platte smartfail-Status hat. Aber auch da glaube ich eher, dass smartctl spinnt.
edit/ Jetzt zieht er schon merklich an ... würde mich schon interessieren, woran das liegt.
Zuletzt bearbeitet:
