[Sammelthread] ZFS Stammtisch

[millenniumpilot]

Hallo Gea,

vielen Dank. So wie ich es jetzt nach weiterem Beschäftigen mit der Extension sehe, ist Sie wohl doch nicht für meine Zwecke geeignet. Nach einigen Replikationsläufen habe ich gesehen, das nur die letzten beiden Snaps (so wie Du es jetzt auch beschrieben hast) vorhanden sind, ich das Filesystem auf dem Ziel nicht als Backup mit verschiedenen Revisionständen nutzen kann. Ich muss mal schauen was passiert, wenn ich vorher Quellsnaps (keine Replikationssnaps) erzeuge und mitübertrage und damit verschiedene (>2) Revisionsstände auf dem Ziel bekomme.

Desweitern läuft die Replikation nicht automatisch nicht in der Nacht durch, ich erhalte die Meldung " info: 447: check network or timeout due to too many snaps (1min), timeout error ", was nicht sein kann, da ich nur 1 Snap auf der Quelle hatte. Da ich aber meine Platten in der Nacht schlafen lege (der aktuell betroffene Pool wacht aber in ca. 5 Sekunden auf) vermute ich, das Dein Script im Gegensatz zum Zugriff über SMB den Pool nicht aufweckt und daher der Timeout passiert.
Kann das so sein?

Gruß Millenniumpilot

 

[gea]

Hallo Gea,

vielen Dank. So wie ich es jetzt nach weiterem Beschäftigen mit der Extension sehe, ist Sie wohl doch nicht für meine Zwecke geeignet. Nach einigen Replikationsläufen habe ich gesehen, das nur die letzten beiden Snaps (so wie Du es jetzt auch beschrieben hast) vorhanden sind, ich das Filesystem auf dem Ziel nicht als Backup mit verschiedenen Revisionständen nutzen kann. Ich muss mal schauen was passiert, wenn ich vorher Quellsnaps (keine Replikationssnaps) erzeuge und mitübertrage und damit verschiedene (>2) Revisionsstände auf dem Ziel bekomme.

Desweitern läuft die Replikation nicht automatisch nicht in der Nacht durch, ich erhalte die Meldung " info: 447: check network or timeout due to too many snaps (1min), timeout error ", was nicht sein kann, da ich nur 1 Snap auf der Quelle hatte. Da ich aber meine Platten in der Nacht schlafen lege (der aktuell betroffene Pool wacht aber in ca. 5 Sekunden auf) vermute ich, das Dein Script im Gegensatz zum Zugriff über SMB den Pool nicht aufweckt und daher der Timeout passiert.
Kann das so sein?

Gruß Millenniumpilot

Doch das geht schon. Einfach auf dem Ziel die gewünschten Snaps anlegen lassen (unabhängig von der Replikation) z.B. täglich, behalte 7, monatlich, behalte 12...
Bezüglich des Aufwachens. Das wird wohl zu lange dauern bis alle Platten bereit sind (Timeout 60s). Das geht sicher nicht in 5s.

Der Pool muss also wach sein oder vorher durch einen anderen Job aufgeweckt werden.

 

[millenniumpilot]

Hallo Gea,

vielen Dank für Deinen schnellen Support am Sonntag ;-)
Manchmal ist es sooo einfach, dann mache ich es mit den Snaps auf dem Ziel.

Der besagte Pool wacht wirklich in 5 Sekunden auf, sind blos 3 2,5"-Platten. Der große Pool mit den vielen 2TB-Disks wacht in der Tat nicht ansatzweise so schnell auf.
Also ist meine Vermutung falsch, Deine Replikationsscripts sollten doch den Pool selber wecken? Dann muss ich an anderer Stelle nach der Fehlerursache suchen.

---------- Post added at 13:53 ---------- Previous post was at 11:43 ----------

Hallo,

eine Frage an alle ZFS-Spezialisten.
Ich benötige zum Umkopieren von Daten leider jeweils 1 Platte aus meinen Z2-vdevs. Diese sind dann zwar degraded, aber immer noch online und haben noch eine Paritätsplatte. Es kann also ersteinmal nichts passieren

Aus diesen entfernten Platten + ein paar neuen Platten möchte ich einen temporären Pool erstellen. Leider zieht sich der alte Pool sofort wieder diese Platten an und startet ein Resilver. Dabei zieht er sich nicht irgendeine Platte, sondern genau die beiden Entfernten, da die WWN eindeutig ist.
Ich habe in einer zweiten Maschine die Platten neu initialisiert, daraus einen neuen Pool gebaut, exportiert und wieder in die Produktionsmaschine rein. Ohne Erfolg.
Wie kann ich verhindern, das der degradete Pool sich sofort wieder die Platten aneignet? Ich möchte den degradeten Pool auf den temporären Pool umkopieren, den Pool umbauen und anschließend die Daten alle wieder zurück. Dazu fehlen mir aber leider diese zwei Platten.
Hat jemand eine Idee? Geht das irgendwie?

 

[Honker]

Ich bin auf der Suche, meine Festplatten/Pool unter OmniOS zu verschlüsseln.

Was ich bisher gefunden habe:

LUKS -> Linux
Geli -> FreeBSD

Das einzige was ich jetzt für Oepnindiana/OmniOS gefunden habe und auch schonmal Thema hier im Thread war, ist lofiadm was aber ja scheinbar keine ganzen devices verschlüsseln kann. Gibt es unter OmniOS wirklich keine Möglichkeit die Devices komplett zu verschlüsseln?

Was wäre davon zu halten, ein File in der Größe der Festplatten zu erstellen, mit lofiadm zu verschlüsseln und die so erstellten Files auf den verschiedenen Festplatten zu einem Pool zusammenzufassen? Sinnvoll? Unterstützt lofiadm AES-NI?

 

[gea]

passieren

Aus diesen entfernten Platten + ein paar neuen Platten möchte ich einen temporären Pool erstellen. Leider zieht sich der alte Pool sofort wieder diese Platten an und startet ein Resilver. Dabei zieht er sich nicht irgendeine Platte, sondern genau die beiden Entfernten, da die WWN eindeutig ist.
Ich habe in einer zweiten Maschine die Platten neu initialisiert, daraus einen neuen Pool gebaut, exportiert und wieder in die Produktionsmaschine rein. Ohne Erfolg.
Wie kann ich verhindern, das der degradete Pool sich sofort wieder die Platten aneignet? Ich möchte den degradeten Pool auf den temporären Pool umkopieren, den Pool umbauen und anschließend die Daten alle wieder zurück. Dazu fehlen mir aber leider diese zwei Platten.
Hat jemand eine Idee? Geht das irgendwie?

Ich würde entweder versuchen autoreplace auszuschalten oder die Platten an Sata oder einem SAS1 Controller anschuschließen. Die Platten müssen auf jeden Fall vor dem Wiedereinstecken formatiert werden (Eventuell an einem anderen Rechner)

---------- Post added at 12:34 ---------- Previous post was at 12:29 ----------

Ich bin auf der Suche, meine Festplatten/Pool unter OmniOS zu verschlüsseln.

Was ich bisher gefunden habe:

LUKS -> Linux
Geli -> FreeBSD

Das einzige was ich jetzt für Oepnindiana/OmniOS gefunden habe und auch schonmal Thema hier im Thread war, ist lofiadm was aber ja scheinbar keine ganzen devices verschlüsseln kann. Gibt es unter OmniOS wirklich keine Möglichkeit die Devices komplett zu verschlüsseln?

Was wäre davon zu halten, ein File in der Größe der Festplatten zu erstellen, mit lofiadm zu verschlüsseln und die so erstellten Files auf den verschiedenen Festplatten zu einem Pool zusammenzufassen? Sinnvoll? Unterstützt lofiadm AES-NI?

Es gibt nur Solaris 11 mit Verschlüssellung auf ZFS Ebene oder lofiadm.
Lofiadm arbeitet mit Dateien beliebiger Größe. Da Solaris die Platten nicht direkt nutzen kann, müssen die Dateien auf einem vorhandenen Pool liegen. Das kostet etwas Performance (zumal AES-NI auch nicht unterstützt wird).

Hauptanwendung sind damit nicht große Pools (Videos) sondern kleine Pools mit sensiblen Daten. Die lassen sich (die zugrundeliegenden Dateien) - und das ist einmalig- verschlüsselt und mit ZFS Datensicherheit auf beliebigen Datenträgern sichern (USB Stick, Cloud etc) ohne sie erneut zu verschlüsseln.

 

[V.I.P.E.R]

Kann man den Pool Name vor einem Import herausfinden, wenn das System aktuell nicht mehr läuft ?

 

[millenniumpilot]

Hallo Gea

Ich würde entweder versuchen autoreplace auszuschalten oder die Platten an Sata oder einem SAS1 Controller anschuschließen. Die Platten müssen auf jeden Fall vor dem Wiedereinstecken formatiert werden (Eventuell an einem anderen Rechner)

Autoreplace war schon aus, auch habe ich die Platten an einem anderen Rechner formatiert und sogar schon damit einen neuen Pool erstellt. Ich habe dabei gehoffe, wenn die Platten erst einmal zu einem neuen Pool gehören, fasst sie ZFS sicherhaltshalber nicht mehr an, da Member eines neuen Pools mit Daten. Aber Pustekuchen.
Auf die Möglichkeit mit einen nicht SAS2-Kontroller, also ohne WWN Unterstützung bin ich in der Nacht auch gekommen und werde dies heute Abend ausprobieren. Habe ja glücklicherweise 7 PCIe-Slots ;-)
Dafür werde ich einen Intel SASUC8i verwenden, wo die Platten mit C1t1d0 usw. angesprochen werden. Das wird dann hoffentlich auch funktionieren.

Nichtdestotrotz bin ich immer wieder begeistert, welche Möglichkeiten mir das ZFS-Dateisystem mit seinen ganzen Tools bietet. Würde das gern auch auf Arbeit einführen wollen, aber Kollegen mit reinen Windowskentnissen (was der Bauer nicht kennt...) umzustimmen ist fast unmöglich. Schon der Einsatz von Raid6 anstatt Raid5 ist schon ein Kampf ohne Ende.

 

[brigadeleiter]

wieder mal eine anfrage für neu anschaffung. wir wollten demnächst mit unserem openindiana eigentlich auf sockel 1155 und xeon v2 gehen, aber möglicherweise bringts auch ältere serverhardware.

zB:
board
Supermicro X8DTL-i, dual Sockel 1366, i5500, Server Mainboard, ATX / DDR3 ECC | eBay
cpu
INTEL XEON E5506 SLBF8 Quad Core CPU 4x 2.13 GHz / 4 MB L3 Cache / Socket 1366 | eBay
speicher
Kingston ValueRAM Hynix DIMM 8GB PC3L-10667R reg ECC CL9 (DDR3L-1333) (KVR13LR9S4/8HA) Preisvergleich | Geizhals Deutschland

da es bei zfs ja um jede menge ram geht, kommt man doch hier günstiger zum ziel oder? das brett kann man "günstig" mit 48gb reg ecc versorgen, statt mit 32gb beschränkung beim 1155 system.

möglicherweise möchtet ihr was dazu sagen...
lieben dank,
david

 

[startplus]

Hallo Gea



Autoreplace war schon aus, auch habe ich die Platten an einem anderen Rechner formatiert und sogar schon damit einen neuen Pool erstellt. Ich habe dabei gehoffe, wenn die Platten erst einmal zu einem neuen Pool gehören, fasst sie ZFS sicherhaltshalber nicht mehr an, da Member eines neuen Pools mit Daten. Aber Pustekuchen.
Auf die Möglichkeit mit einen nicht SAS2-Kontroller, also ohne WWN Unterstützung bin ich in der Nacht auch gekommen und werde dies heute Abend ausprobieren. Habe ja glücklicherweise 7 PCIe-Slots ;-)
Dafür werde ich einen Intel SASUC8i verwenden, wo die Platten mit C1t1d0 usw. angesprochen werden. Das wird dann hoffentlich auch funktionieren.

Da Du einen zweiten Rechner hast, wäre es unter Umständen eine Option den tmp-pool auf dem 2. Rechner zu belassen und die Daten über das Netzwerk in den tmp-pool zu sichern und nach Neuaufbau des neuen Pools wieder über das Netzwerk zurück.

Nichtdestotrotz bin ich immer wieder begeistert, welche Möglichkeiten mir das ZFS-Dateisystem mit seinen ganzen Tools bietet. Würde das gern auch auf Arbeit einführen wollen, aber Kollegen mit reinen Windowskentnissen (was der Bauer nicht kennt...) umzustimmen ist fast unmöglich. Schon der Einsatz von Raid6 anstatt Raid5 ist schon ein Kampf ohne Ende.

 

[millenniumpilot]

Hallo,

trotz meiner beiden 10GB-Nics bekomme ich hierüber beim Replizieren nur auf 230MB/s, bei den TB dauert mir das etwas zu lange. Falls es mit dem zusätzlichen Kontroller nicht funktioniert, ist dies natürlich die einzige Möglichkeit.
Es sei den, einer der Profis hat noch eine Idee, wie man das Wiedereingliedern der Platten in den alten Pool verhindern kann.

Hintergrund der ganzen Geschichte: ich will von 2 vdevs a 6Disk im Z2 zurück auf 1 vdev 10Disk Z2 und mit den gewonnen Platten lieber das Backupsystem vergrößern. Denn ihr wisst ja, ein Raid ersetzt kein Backup ;-)

 

[startplus]

Hallo,

trotz meiner beiden 10GB-Nics bekomme ich hierüber beim Replizieren nur auf 230MB/s, bei den TB dauert mir das etwas zu lange. Falls es mit dem zusätzlichen Kontroller nicht funktioniert, ist dies natürlich die einzige Möglichkeit.
Es sei den, einer der Profis hat noch eine Idee, wie man das Wiedereingliedern der Platten in den alten Pool verhindern kann.

Hintergrund der ganzen Geschichte: ich will von 2 vdevs a 6Disk im Z2 zurück auf 1 vdev 10Disk Z2 und mit den gewonnen Platten lieber das Backupsystem vergrößern. Denn ihr wisst ja, ein Raid ersetzt kein Backup ;-)

Theoretisch sollte ein Controller im "NICHT IT - Modus" der die Platten, dem OS, als viele Raid-0 anbietet jegliches Mapping zur Disk-Firmware verhindern und für einen tmp-pool sollte die Sicherheit ausreichen.

 

[millenniumpilot]

Hallo Ihr,

nur zur Info, wollen ja alle lernen hier.
Auch ein anderer Kontroller hilft bei meinem Wunsch nicht. Die Platten werden zwar nicht automatisch dem alten Pool zugeordnet, aber beim Anlegen eines Temppool erhalte ich trotz anderer Plattenkennung (c0t0d0 anstatt WWN) folgende Fehlermeldung:
/dev/dsk/c35t4d0s0 is part of active ZFS pool storage.
Schade, also doch übers Netz.

edit: Problem gelöst, die Fehlermeldung brachte mich auf die zündende Idee ;-)
- den Stroragepool exportieren, dann sind die entfernt wordenen Platten nicht mehr blockiert,
- temppool anlegen,
- und Stroragepool wieder importieren.



Nachtrag:
@ Gea: in der neuesten Nappit-version 0.9c1 werden mir die IBM-Controller M1015 mit IT-Firmware als "non LSI2 controller" gezählt, genauso wie ein alter SASUC8i. Das ist doch nicht korrekt so - oder?!
Ich bin der Meinung, das war früher - komme direkt von einer alten 8er Version - nicht so.

 

[V.I.P.E.R]

Servus,

ich hab mal ne frage wie ihr das lösen würdet.

Ich habe einen Server mit 2 Shelfs á 25 Platten. Der Server soll als Snapshot Zwischenspeicher dienen, bis die Snapshots jede Woche einmal auf Band geschrieben werden.

Aktuell spiele ich mit dem Gedanken 15 oder 16 raidz1 zu bauen, und die restlichen Platten als Spare zu lassen. Was haltet ihr davon - man verliert natürlich einiges an Platz durch die ganzen Parität Platten. Performance ist jetzt nicht sooooo wichtig. Wobei sich das LTO über schnelle Raten natürlich freut. Auf den Pool wird mit 10gbe geschrieben.

Gruß Viper

 

[gea]

Nachtrag:
@ Gea: in der neuesten Nappit-version 0.9c1 werden mir die IBM-Controller M1015 mit IT-Firmware als "non LSI2 controller" gezählt, genauso wie ein alter SASUC8i. Das ist doch nicht korrekt so - oder?!
Ich bin der Meinung, das war früher - komme direkt von einer alten 8er Version - nicht so.

Das ist der gleiche Code wie bei 0.8
Manchmal hängt aber das LSI tool (reboot oder Topmenü Edit >> Log)

---------- Post added at 09:19 ---------- Previous post was at 09:09 ----------

Servus,

ich hab mal ne frage wie ihr das lösen würdet.

Ich habe einen Server mit 2 Shelfs á 25 Platten. Der Server soll als Snapshot Zwischenspeicher dienen, bis die Snapshots jede Woche einmal auf Band geschrieben werden.

Aktuell spiele ich mit dem Gedanken 15 oder 16 raidz1 zu bauen, und die restlichen Platten als Spare zu lassen. Was haltet ihr davon - man verliert natürlich einiges an Platz durch die ganzen Parität Platten. Performance ist jetzt nicht sooooo wichtig. Wobei sich das LTO über schnelle Raten natürlich freut. Auf den Pool wird mit 10gbe geschrieben.

Gruß Viper

sehe ich das richtig.
Es sind 50 Platten und die Überlegung lautet 15 x Raid-Z1 je drei Platten = 30 von 45 Platten nutzbar?

Ich würde eher 4 x Raid-Z2 je 10 Platten machen, eventuell ein fünftes Raid-Z2 mit 6 Platten =46 Platten, den Rest als hotspare
= 36 Platten nutzbar, es dürfen auch zwei beliebige ausfallen.

 

[ludwinator]

ich würde RAIDZ1 machen wegen Performance und Erweiterbarkeit. Zusätzlich noch darauf achten, das die die Spiegelpartner in unterschiedlichen Shelfs liegen, damit kannst du sogar den Ausfall einen ganzen Shelfs verkraften.

cu

 

[-INU-]

Gibts irgendeine Möglichkeit nen RAID-Z2 oder Z3 Volumen aus 16~24 Platen zu erstellen und im Netzwerk zur Verfügung zu stellen, wenn man aus der Windows Welt kommt und sich nicht noch wochenlang irgendwo einlesen möchte ?

 

[Honker]

Hi,

ich habe mal die Performance meines Raid-Z1 mit 4 x 3TB WD Red mittels dd gemessen.

Unverschlüsselt unter FreeBSD komme ich mit einem vCore auf

Write: 281,17 MByte/s
Read: 318,99 MByte/s

Nachdem dann die ersten Tests mit Geli Verschlüsselung nicht ganz so erfolgreich verlaufen sind wie ich mir das gedacht habe, habe ich meiner VM mal einen zweiten vCore gegeben und ein wenig an der /boot/loader.conf rumgefummelt:

vm.kmem_size="5G"
vfs.zfs.arc_max="4224M"
vfs.zfs.arc_min="2688M"
vfs.zfs.txg.timeout="5"
vfs.zfs.txg.write_limit_override="603979776"
vfs.zfs.vdev.min_pending="2"
vfs.zfs.vdev.max_pending="10"

Jetzt komme ich bei

AES-XTS 128 auf

Write: 277,23 MByte/s
Read: 305,78 MByte/s

AES-XTS 256 auf

Write: 159,43 MByte/s
Read: 192,52 MByte/s

Was ich feststellen konnte, dass umso mehr RAM ich unter vm.kmem_size und vfs.zfs.arc_max definiert habe, desto schneller lief die Ver-/Entschlüsselung. CPU Auslastung lag bei einem vCore nahezu bei 100%, bei zwei vCores zw. 50 und 60 %.

Meint ihr da ist jetzt langsam das Ende erreicht? Oder müsste da deutlich mehr gehen? Kann ich irgendwo bei FreeBSD erkennen, ob AES-NI wirklich verwendet wird?

Der VM sind übrigens 6GB RAM zugewiesen und es handelt sich um einen Intel Xeon X3-1245V2.

Vielleicht anbei noch ein paar wichtige Parameter:

zdb | grep ashift
ashift: 12

diskinfo -v /dev/da1
/dev/da1
	512         	# sectorsize
	3000592982016	# mediasize in bytes (2.7T)
	5860533168  	# mediasize in sectors
	4096        	# stripesize
	0           	# stripeoffset
	364801      	# Cylinders according to firmware.
	255         	# Heads according to firmware.
	63          	# Sectors according to firmware.
	     WD-WCC1T0403802	# Disk ident.

diskinfo -v /dev/da1.eli
/dev/da1.eli
	4096        	# sectorsize
	3000592977920	# mediasize in bytes (2.7T)
	732566645   	# mediasize in sectors
	0           	# stripesize
	0           	# stripeoffset
	45600       	# Cylinders according to firmware.
	255         	# Heads according to firmware.
	63          	# Sectors according to firmware.
	     WD-WCC1T0403802	# Disk ident.

zpool status
  pool: datapool
 state: ONLINE
  scan: none requested
config:

	NAME             STATE     READ WRITE CKSUM
	datapool         ONLINE       0     0     0
	  raidz1-0       ONLINE       0     0     0
	    da1.eli.nop  ONLINE       0     0     0
	    da2.eli.nop  ONLINE       0     0     0
	    da3.eli.nop  ONLINE       0     0     0
	    da4.eli.nop  ONLINE       0     0     0

Danke und Grüße,
Honker

 

[hominidae]

Gutes irgendeine Möglichkeit nen RAID-Z2 oder Z3 Volumen aus 16~24 Platen zu erstellen und im Netzwerk zur Verfügung zu stellen, wenn man aus der Windows Welt kommt und sich nicht noch wochenlang irgendwo einlesen möchte ?

Mit Windoze Bordmitteln geht das nicht.
Du musst ein NAS aufsetzen, das ZFS Support hat.
Entweder kaufen (ich glaube Thecus hat sowas angekündigt, weiss aber nicht ob das schon am Markt ist) oder selber bauen.
Einlesen musst Du Dich immer etwas...wieviel, wird von Deinem Geschick abhängen.
Selbstbau mit napp-it geht wirklich einfach und Du brauchst, wenn enmal installiert, wirklich nur noch den Browser. FreeNAS ist komplexer, weil mehr Funktionen dabei sind.

Edit: ..ich ziehe den Pointer auf Thecus zurück...habe die Anforderung nach Array aus 16-24 Platten zu schnell überlesen

 

[V.I.P.E.R]

für meine Begriffe sind die Werte doch gut - du wirst niemals an den unverschlüsselten Wert herankommen.

 

[gea]

Gutes irgendeine Möglichkeit nen RAID-Z2 oder Z3 Volumen aus 16~24 Platen zu erstellen und im Netzwerk zur Verfügung zu stellen, wenn man aus der Windows Welt kommt und sich nicht noch wochenlang irgendwo einlesen möchte ?

- auf jeden Fall eine Web-appliance nehmen
Die werden per Web-UI bedient (wie ein Wlan Accesspoint)

Solaris-basiert: napp-it & Co bzw Nexenta
BSD-basiert: FreeNAS & Co bzw ZFSGuru

Wenn man genügend Geld hat:
- bei einem Nexentahändler Hardware und Software mit Support kaufen

Ansonst selber bauen und etwas einlesen (kostenlos).
Bei passender Hardware (meist 19" Gehäuse, SuperMicro Mainboard, 3 x LSI HBA Controller)
ist das aber nur CD einlegen und ok,ok,ok.. bzw bei napp-it to Go die Firmware herunterladen und auf einen USB-Stick brennen.

Persönlich bevorzuge ich Solaris (OmniOS, OpenIndiana, habe dazu napp-it programmiert), da kommt ZFS her, ist am schnellsten und da wird entwickelt. BSD ist aber auch ok. ZFS on Linux braucht wohl noch etwas und es gibt keine vernünftige Web-GUI für ZFS.

 

[hominidae]

für meine Begriffe sind die Werte doch gut - du wirst niemals an den unverschlüsselten Wert herankommen.

...wenn Du genug Kernchen am Start hast und damit das Array oder die Netzbandbreite out-performst, dann könnte das gehen.

@Honker: ich nehme an, die VM hat 2 vCPUs...dann kommst Du nur auf 1/2 der "AES-Kapazität" (HT nicht mitgerechnet).
Laut Intel Core i3-3240 55w Dual Core CPU Benchmark and ReviewServeTheHome – Server and Workstation Reviews kann der 1240v2 beim Truecrypt 3.3GB/sec...damit bist Du mit > 150MBxte/sec sehr gut am Start.
Edit: sehe gerade, Du hast 1vCPU...dann ist das echt super, so wie es ist....was erreichst Du übers Netz?
Edit2: ..wenn Du im ESXi bei den Resourcen "unlimited" bei der CPU eingetragen hast, bekommt die VM mehr als die Mhz der eingestellten vCPU....bei mir, mt 2vCPU und L3426 zu 4x1.87GHz geht das bis 4.8GHz im Performance-Monitor hoch.

 

[V.I.P.E.R]

vielleicht hätte ich "unter einfachen Bedingungen" dazu schreiben sollen

 

[-INU-]

- auf jeden Fall eine Web-appliance nehmen..

Danke und etwas einlesen zur Einrichtung ist natürlich ok, es sollte nur nicht zu sehr ausarten.

Wie Groß sind eigentlich die Snapshots, das sind ja keine vollständigen Backups oder ? Und das ein Array im Nachhinein eher schlecht erweiterbar ist habe ich so richtig verstanden, also bei der Planung lieber zu viele als zu wenig Platten einplanen ?

Werde mich dann nochmal ein wenig auf den Seiten einlesen, den Server gleichzeitig als ESXI host nutzen ging aber nur bei napp-it ?

 

[gea]

Danke und etwas einlesen zur Einrichtung ist natürlich ok, es sollte nur nicht zu sehr ausarten.

Wie Groß sind eigentlich die Snapshots, das sind ja keine vollständigen Backups oder ? Und das ein Array im Nachhinein eher schlecht erweiterbar ist habe ich so richtig verstanden, also bei der Planung lieber zu viele als zu wenig Platten einplanen ?

Werde mich dann nochmal ein wenig auf den Seiten einlesen, den Server gleichzeitig als ESXI host nutzen ging aber nur bei napp-it ?

1000 x snapshot anlegen (ohne Änderung der Daten) = kein Platzverbrauch
ZFS Snaps sind wegen Copy on Write immer so groß wie die geänderten Daten.

(ZFS Snaps werden ohne Verzögerung angelegt, es wird dabei ja nur der aktuelle Datenstand 'eingefroren')

ESXi + virtualisiertes NAS geht mit beliebigen OS, Solaris auch ohne napp-it ist aber einfach Klasse.

 

[-INU-]

Ok habe gerade nochmal etwas gegoogelt und das mit den Snapshots wohl ein wenig missverstanden, dachte das sie gegen Hardwareseitige Fehler schützen. Wobei ich jetzt trotzdem noch 2 Fragen dazu hätte, kann man die snapshots ohne Datenverlust wieder löschen/mergen oder kann man beliebig viele snapshots ohne Performanceverlust erstellen ? Und da snapshots da ja nicht helfen, gibts denn irgendwelche Möglichkeiten eines komprimierten Backups, z.b. nur die Paritätsdaten bei einem RAID ö.ä ?

 

[Bzzz]

Ok habe gerade nochmal etwas gegoogelt und das mit den Snapshots wohl ein wenig missverstanden, dachte das sie gegen Hardwareseitige Fehler schützen.

Das tut ja schon das RAID...?

Wobei ich jetzt trotzdem noch 2 Fragen dazu hätte, kann man die snapshots ohne Datenverlust wieder löschen/mergen

Abgesehen von den nur im gelöschten Snap vorhandenen Daten: Ja, klar.
Wobei (beim Löschen einzelner) evtl. andere Snapshots "größer" werden, da sich diese und der gelöschte Snap Daten geteilt haben. Da die aber noch gebraucht werden, werden sie dann anderen zugerechnet. (jedenfalls soweit ich das verstehe)

oder kann man beliebig viele snapshots ohne Performanceverlust erstellen ?

Abgesehen von der zunehmenden Fragmentierung bei langsam volllaufenden Platten, die dann die Performance senkt...ja.

Und da snapshots da ja nicht helfen, gibts denn irgendwelche Möglichkeiten eines komprimierten Backups, z.b. nur die Paritätsdaten bei einem RAID ö.ä ?

Aus Paritätsdaten ohne den übrigen Datensatz lassen sich keine Daten wiederherstellen. Das ist wie das Ergebnis einer Rechnung (bei Paritätsdaten wohl XOR) zu notieren und dann auf die ursprüngliche Aufgabe zurückschließen zu wollen...wars nun 2+5 oder doch 4+3? Oder 3+4? Reihenfolge soll bei Daten ja auch ne gewisse Bedeutung haben

 

[V.I.P.E.R]

Für diejenigen die es interessiert:

Ich hab mit für RaidZ1 entschieden und 15 vDevs gemacht. Die Kiste hat 16GB Ram und nen Quad Core Xeon mit 2,2 GHZ.

ich hab mal mit dd ausprobiert und folgendes Ergebnis erhalten (compression und dedup ist an):



Klar ist das dd synthetisch

 

[gea]

(compression und dedup ist an):

Compression vor allem LZ4 ist ok.
Dedup kann extrem problematisch werden, wenn der RAM für die dedup-Tabellen nicht mehr reicht.
Als Regel: Ausreichend RAM für das OS und den Lesecache zuzügl. 3-5 GB je TB deduplizierte Daten.

 

[ludwinator]

poste mal zpool status -v bitte und wiederhole den Test ohne dedup und compression.
Ansonsten schließe ich mich gea an, dedup aus und compression=lz4

 

[V.I.P.E.R]

Oh, das wusste ich nicht das das soviel RAM braucht - hatte mal was von 1 GB pro TB Daten gelesen.




Selbes Ergebnis ohne dedup