[Sammelthread] ZFS Stammtisch

[ludwinator]

ZFS+Virtualbox

Naja ansich wollte ich gerne auch auf der Maschine virtualisieren. Das sollte mit OpenIndiana mit VirtualBox auch kein Problem sein, oder?

Bin halt etwas skeptisch was meine Daten angeht und etwas, was nicht "stable" ist.

Hi DieTa,

ich fahre seit einigen Monaten Virtualbox auf S11 und kann mittlerweile sagen, das ist stable und performt ausgezeichnet. S11 ist unheimlich robust, solange die Hardware OK ist (also keine dubiosen RAID-Controller verwenden und nur ECC RAM). S11 reagiert sehr unwillig bei Speichermangel, umgekehrt wird auch jedes MB extra durch den ARC sinnvoll verwendet. Also lieber pauschal doppelt soviel RAM rein als man glaubt zu brauchen. Was auch super funktioniert sind kleine SSDs als L2ARC.
Bei Virtualbox gibts meiner Erfahrung nach nur 2 Versionen derzeit, die stabil sind, nämlich die 3.1.8 und die 4.0.4, wobei die Performance von 3.1.8 bisher in der Paxis am höchsten war. Wenn du die Finger von Page Fusion, Memory Balooning und Large Pages lässt, hast du ein System, mit dem sich performant und stabil Windows 2003 und 2008 Server fahren lassen (als wärs Blech), hast dazu aber dann auch alle Vorteile des darunterliegenden ZFS (snapshots, send/receive, crypto, compression, dedup).
Bei Fragen einfach raus damit.

cu

 

[Gelöschtes Mitglied 117520]

Na die Gelegenheit ergreife ich direkt

Hi DieTa,

ich fahre seit einigen Monaten Virtualbox auf S11 und kann mittlerweile sagen, das ist stable und performt ausgezeichnet. S11 ist unheimlich robust, solange die Hardware OK ist (also keine dubiosen RAID-Controller verwenden und nur ECC RAM). S11 reagiert sehr unwillig bei Speichermangel, umgekehrt wird auch jedes MB extra durch den ARC sinnvoll verwendet. Also lieber pauschal doppelt soviel RAM rein als man glaubt zu brauchen. Was auch

Ok - mit 16GB RAM (ECC) ist mein Server dann wohl ganz gut dabei.

super funktioniert sind kleine SSDs als L2ARC.

Habe eine 80er Intel SSD "über" - habe die aktuell via napp-it als Read-Cache konfiguriert.

Bei Virtualbox gibts meiner Erfahrung nach nur 2 Versionen derzeit, die stabil sind, nämlich die 3.1.8 und die 4.0.4, wobei die Performance von 3.1.8 bisher in der Paxis am höchsten war.

Ich hab auf OpenIndiana letzte Nacht mit etwas Mühe VirtualBox 3.2.10 ans Laufen gebracht, wobei mit 4.0.4 lieber gewesen wäre.

Wenn du die Finger von Page Fusion, Memory Balooning und Large Pages lässt, hast du ein System, mit dem sich performant und stabil Windows 2003 und 2008 Server fahren lassen (als wärs Blech), hast dazu aber dann auch alle Vorteile des darunterliegenden ZFS (snapshots, send/receive, crypto, compression, dedup).
Bei Fragen einfach raus damit.

cu

Hast Du Solaris 11 Express gekauft oder evaluierst Du nur lange? Und warum S11 und kein OpenIndiana?

 

[ludwinator]

Ich hab mit Opensolaris angefangen und werde früher oder später wieder auf OpenIndiana wechseln, aber den aktuellsten ZFS Stand (wegen crypto) gibts derzeit nur mit S11 Express. Vielleicht wirds auch mal das finale S11, mal sehen.

 

[Gelöschtes Mitglied 117520]

Ich hab mit Opensolaris angefangen und werde früher oder später wieder auf OpenIndiana wechseln, aber den aktuellsten ZFS Stand (wegen crypto) gibts derzeit nur mit S11 Express. Vielleicht wirds auch mal das finale S11, mal sehen.

Für Crypto brauchst Du aber einiges an CPU Power, oder?

Darf ich mal nach den Hardwaredaten Deiner Kiste fragen?

 

[ludwinator]

Meine Home-Kiste hat nen Athlon II 605e und 8GB Ram auf nem Asus M3N78 und ich merk da überhaupt nix von Last wegen Crypto, lass es 5% sein. Ich würde behaupten, mit Kompression erzeugt man höhere Last als mit Crypto und ich mach beides zusammen ohne Probleme. Ist ja auch kein Atom

 

[barnacle2k]

5% ?
ich hatte über 90% Kernelzeit mit Crypto und das auf nem schnellen 6 Kerner.
Aber es kommt wohl ganz auf die geforderten Transferleistungen an.
Und ich will auf etwa 300-400Mbyte/s sequenziell übers Netz.

By the Way, wenn ich einen kompletten Pool Lokal auf einen anderen Clonen möchte.
Mach ich das per ZFS Send & receive oder gibts da irgent eine funktion die ich übersehen habe?

 

[ludwinator]

CPU Last

Also meine CPU geht nie über 30% mit crypto+compression, aber ich hab ja auch "nur" Gigabit

zfs send und recv ist immer noch das beste, allerdings kannst du dann das Ziel nicht crypten.

 

[otto123]

Zurück zu Start

Hallo zusammen,

bin noch (wieder) daran ein wenig Grundlagen zu verstehen. Habe durch Nummer 387 von Gea nun hoffentlich das ZFS System verstanden (Pool, Vdev, ZFS Folder).

Folgende Frage ist allerdings noch offen: Ich kann ja beliebig viele ZFS Ordner (Dateisysteme) hierarchisch erstellen:
Ordner 1
Unterordner 1
Unterunterordner 1

Ich kann aber auch unter Ordner 1 einen regulären "Windows Dateiordner" erstellen so wie ich das verstanden habe. Welche Vorteile habe ich wenn ich ZFS Ordner erstelle? Bisher sehe ich nur - ich kann einzelne Ordner auswählen die ich verschlüsseln kann. Was gibt es noch?

Am WE will ich dann die 3 EARS Platten aus dem Xeon rausziehen und in den Microserver stecken. Dumme Frage: Da ist ja schon ein ZFS RaidZ (von nexenta) drauf - erkennt das SE11 und napp-it das? Ist das diese Importieren Geschichte? Oder eher besser sichern, platt machen und nen halben Tag zurückspielen?

Gruss,
Otto

 

[ludwinator]

Auf einzelne ZFS Ordner kannst du alle möglich Optionen anwenden, einzeln sharen, Komprimieren, einzeln Snapshots machen (damit auch einzeln sichern), ...

S11 liest alle älteren ZFS Versionen mit zpool import ein und du kannst auch ohne zu konvertieren weiter damit arbeiten. Wenn du bei S11 bleiben willst, kannst du mit zpool upgrade anheben auf Pool V31. Probiers aus, das funzt.

 

[Gelöschtes Mitglied 117520]

Nabend,

hier nochmal die Bonnie++ Ergebnisse von meinem aktuellen Build:

"mediapool"

  pool: mediapool
 state: ONLINE
 scan: none requested
config:

	NAME        STATE     READ WRITE CKSUM
	mediapool   ONLINE       0     0     0
	  raidz1-0  ONLINE       0     0     0
	    c1t0d0  ONLINE       0     0     0
	    c1t1d0  ONLINE       0     0     0
	    c1t2d0  ONLINE       0     0     0
	    c1t3d0  ONLINE       0     0     0
	    c1t4d0  ONLINE       0     0     0
	cache
	  c1t5d0    ONLINE       0     0     0

errors: No known data errors

Platten:

c1t0d0	WD-		WD15EARS
c1t1d0	WD-		WD15EARS
c1t2d0	WD-		WD15EARS
c1t3d0			SAMSUNG HD154UI
c1t4d0			SAMSUNG HD154UI
c1t5d0		INTEL SSDSA2M080 80GB SSD

"storage"

  pool: storage
 state: ONLINE
 scan: none requested
config:

	NAME        STATE     READ WRITE CKSUM
	storage     ONLINE       0     0     0
	  mirror-0  ONLINE       0     0     0
	    c2t0d0  ONLINE       0     0     0
	    c2t1d0  ONLINE       0     0     0
	  mirror-1  ONLINE       0     0     0
	    c2t2d0  ONLINE       0     0     0
	    c2t3d0  ONLINE       0     0     0
	  mirror-2  ONLINE       0     0     0
	    c2t4d0  ONLINE       0     0     0
	    c2t5d0  ONLINE       0     0     0

errors: No known data errors

Platten:

c2t0d0			HITACHI HDS721010CLA332
c2t1d0			HITACHI HDS721010CLA332
c2t2d0			HITACHI HDS721010CLA332
c2t3d0			HITACHI HDS721010CLA332
c2t4d0			HITACHI HDS721010CLA332
c2t5d0			HITACHI HDS721010CLA332

 

[otto123]

Auf einzelne ZFS Ordner kannst du alle möglich Optionen anwenden, einzeln sharen, Komprimieren, einzeln Snapshots machen (damit auch einzeln sichern), ...

S11 liest alle älteren ZFS Versionen mit zpool import ein und du kannst auch ohne zu konvertieren weiter damit arbeiten. Wenn du bei S11 bleiben willst, kannst du mit zpool upgrade anheben auf Pool V31. Probiers aus, das funzt.

Ok, danke! Ich nehme an wenn ich Verschlüsselung will mus ich anheben? Und - kann man nachträglich verschlüsseln oder werden nur neue Daten verschlüsselt (also Ordner auf verschlüsselt gesetzt und alles was DANCH reingeht wird verschlüsselt?).

Andere Frage. Dachte ich teste nun ein wenig ob SE11 und napp-it stabil mit Verschlüsselung laufen. Mir kam die Idee die "Eigenen Dateien" von Windows (10 GB) so alle 30 Minuten rüberzuspielen, 50 Kopien und ab 51 wird die älteste gelöscht und wieder eine neue geschrieben. Das könnte ich ein paar Tage laufen lassen und dann mit Beyond Compare Bit für Bit prüfen lassen (Vergleich auf Dekstop und ZFS).
Habe alles eingerichtet. Läuft aber nicht. Cobian Backup (das nutze ich dafür) kann keinen Ordner anlegen. Per Hand kann ich das aber vom Windows Rechner aus. ´Wegen Zugriffsrechten bin ich vorgeangen wie GEA vorgeschlagen hat - als root von Windows per SMB anmelden und dann unter Windwos "Jeder Vollzugriff
" gesetzt. Im napp-it auch anonymer SMB gesetzt.
-> Hat noch jemand eine andere gute Testidee?

Gruss,
Otto

 

[ludwinator]

ZFS Crypto

zu allem was ZFS Crypto angeht kann ich euch den Blog von Darren Moffat (auf dessen "Mist" ist das gewachsen) empfehlen: Introducing ZFS Crypto in Oracle Solaris 11 Express (darren_moffat@blog$ cat /dev/mem | grep /dev/urandom)

 

[otto123]

Wissensmanagement

Hoi zusammen,

es fasziniert mich wie hier Infos zusammengetragen und Wissen generiert wird. Allerdings ist alles doch ziemlich zerstreut. Das führt dann dazu, dass Fragen oft doppelt kommen und z.B. GEA vom Programmieren abgehalten wird ;-)

Gäbe es eine Alternative? Dachte an eine Sammlung nach Themen die man dann mal in ein navigierbares PDF umwandelt o.ä. Oder ein PbWiki o.ä. wo man so die wichtigsten Punkte reinkopiert?

Dachte als eine Ergänzung zu GEAs PDFs. So ein "How To" also Anleitung aber plus das nötige Hintergrundwissen.

Wäre bereit da mal einen Tag zu investieren.

Gruss,
Otto

 

[Sumatrabarbe]

@otto123

eine Art FAQ wäre wohl besser geeignet... ließe sich zumindest einfacher aus den hier gestellten Fragen + Antworten erstellen ;-)

lg

P.S. habe mir mal dieses FlexRaid angeschaut... vom Hocker haut mich das nicht wirklich... werde die Tage mal nen Image von meiner Büchse ziehen und danach SE11 nativ installieren + 2008r2 in Virtual Box laufen lassen.

 

[otto123]

Auf einzelne ZFS Ordner kannst du alle möglich Optionen anwenden, einzeln sharen, Komprimieren, einzeln Snapshots machen (damit auch einzeln sichern), ...

S11 liest alle älteren ZFS Versionen mit zpool import ein und du kannst auch ohne zu konvertieren weiter damit arbeiten. Wenn du bei S11 bleiben willst, kannst du mit zpool upgrade anheben auf Pool V31. Probiers aus, das funzt.

Hey,

das hat gefunzt! Und mit dem Xeon rennt das gleich viel besser Nun SE11 und napp-it.

Der Befehl lautet zpool upgrade NamedesPool
in der Konsole als root?

 

[ludwinator]

pfexec zpool upgrade -a (für alle)
und zur Sicherheit gleich noch
pfexec zfs upgrade -a

 

[otto123]

pfexec zpool upgrade -a (für alle)
und zur Sicherheit gleich noch
pfexec zfs upgrade -a

Hat gefunzt. Danke!
Verschlüsselung habe ich reingelesen. Wird vererbt. Aber noch nichts gefunden ob ein Ordner nachträglich verschlüsselt wird. Mal weiter suchen.

Edit: Zumnidest bei napp-it kann ich nichts auswählen bei einem bestehenden ordner. nehme also an geht nur bei neuem.



---------- Beitrag hinzugefügt um 19:34 ---------- Vorheriger Beitrag war um 19:29 ----------

Gerade eine kleine Kröte gefunden - wie stellt man Autologin bei SE11 ein?

Habe gefunden:
Edit /etc/gdm/custom.conf and add:

[daemon]
AutomaticLoginEnable=true
AutomaticLogin=you_user
GdmXserverTimeout=30

Reboot or restart the GDM service (svcadm restart gdm).

Gibt es was besseres? Bei nexenta war das ganz nett - Powerknopf an server -> Kiste geht and und läuft, wieder Power -> geht in die Heia.

 

[barnacle2k]

Nachträglich crypten ist nicht. aber du kannst
die daten vom unverschlüsselten Folder in ein verschlüsseltes verschieben.

 

[Gelöschtes Mitglied 117520]

Wie rebootet man das System eigentlich richtig (zum Hardware neu initialisieren z.B. eSATA Laufwerke nicht HotPlug-fähig sind) unter OpenIndiana?

Wenn ich "reboot" mache, startet der nur das System selber neu - bringt also nix. Ansonsten kann ich nur "poweroff" (ganz abschalten) oder "halt" (System runterfahren) machen..

 

[baldi]

Wie rebootet man das System eigentlich richtig (zum Hardware neu initialisieren z.B. eSATA Laufwerke nicht HotPlug-fähig sind) unter OpenIndiana?

Wenn ich "reboot" mache, startet der nur das System selber neu - bringt also nix. Ansonsten kann ich nur "poweroff" (ganz abschalten) oder "halt" (System runterfahren) machen..

als root "init 5" (shutdown) oder "init 6" (restart) ausführen.

 

[DarkDeveloper]

Mit 'devfsadm' kann man nach neuer Hardware suchen. Oder ein 'touch /reconfigure' und dann neu booten.

 

[Gelöschtes Mitglied 117520]

als root "init 5" (shutdown) oder "init 6" (restart) ausführen.

Danke!

 

[hotzen]

Wie rebootet man das System eigentlich richtig (zum Hardware neu initialisieren z.B. eSATA Laufwerke nicht HotPlug-fähig sind) unter OpenIndiana?

Wenn ich "reboot" mache, startet der nur das System selber neu - bringt also nix. Ansonsten kann ich nur "poweroff" (ganz abschalten) oder "halt" (System runterfahren) machen..

Ich verstehe die Frage gar nicht, inwiefern bringt denn reboot nichts und ist unterschiedlich zu init 5 oder 6?

 

[Gelöschtes Mitglied 117520]

Ich verstehe die Frage gar nicht, inwiefern bringt denn reboot nichts und ist unterschiedlich zu init 5 oder 6?

Wenn ich die eSATA Box dran habe und die nicht erkannt wird muss ich einen kompletten Reset durchführen, damit diese erkannt wird - über das BIOS/Prompt und dann ins System.

Gebe ich "reboot" ein, startet nicht der Rechner neu sondern nur das OpenIndiana. Kannte ich vorher auch noch nicht - der setz sogar NACH dem GRUB an.

 

[hotzen]

ach so, das verhalten hätte ich auch nicht erwartet...

 

[barnacle2k]

Das ist diese Quick reboot funktion. - Es ist kein bug es ist ein feature.
Da läd er nur den Kernel neu.

Und ich habe natürlich mal wieder voll ins Klo gegriffen!
Sieht so aus als hätte ich DIESES problem, mögliche ursache.
Das sorgt für schöne timeouts, nicht reagierendes System und Datenfehler.
Es ist so wie es aussieht entweder ein treiber oder ein ZFS problem.

Kurze Zusammenfassung für die lesefaulen: LSI1068E + SAS Expander + SATA platten + Solaris = *boom*

Das tritt aber mehr oder weniger in Erscheinung.
Mit der Neuen expander Firmware mehr, mit der alten weniger (da läufts fast problemlos ausser das der LOG mit errors vollgespammt wird.)
Wobei es noch eine ganz neue FW gibt die ich noch nicht testen konnte da ich kein Intel Server Board habe. *aufsigzeig*
Die beste Chance es loszuwerden scheint ein LSI SAS2008 basierter Controller zu sein.
(Oder ich probiere mal den GAU adaptec 5085 aus der Müllkiste)

NCQ Auschalten und platten auf 1.5Gbit setzen soll aber auch mal geholfen haben.
Ich erkenne da Parallelen zu den HW Raidcontrollern mit onboard expandern der IOP348er Generation.
Da musste man auch solche maßnamen ergreifen.

 

[otto123]

Oh weh...

Morgen zusammen,

jetzt stehe ich etwas vor einem Rätsel. SE11 + napp-it.

1) Über napp-it kann ich keine Ordner löschen
2) Über SMB share von Windows auf den Ordner -> Inhalt gelöscht, napp-it nochmals probiert. Tut sich nichts. napp-it zeigt aber immer noch an, dass was im Ordner drinnen sei (Größe).
3) Direkt über SE11 im Dateiexplorer geschaut -> da wird in keinem Ordner ein Inhalt angezeigt. Obwohl ich per Windows auf Inhalte in den Ordnern zugreifen kann.

Vage Idee - in napp-it steht Folder-ACL root only. Dachte aber ich bin via napp-it als root unterwegs?

Gruss,
Otto

Edit: Und der Tip von Windows aus als root zuzugreifen um da die Sicherheit einzustellen geht auch nicht - "Sicherheitsinfos sind nicht verfügbar oder können nicht angzeigt werden".

 

[Gelöschtes Mitglied 117520]

Das ist diese Quick reboot funktion. - Es ist kein bug es ist ein feature.
Da läd er nur den Kernel neu.

Und ich habe natürlich mal wieder voll ins Klo gegriffen!
Sieht so aus als hätte ich DIESES problem, mögliche ursache.
Das sorgt für schöne timeouts, nicht reagierendes System und Datenfehler.
Es ist so wie es aussieht entweder ein treiber oder ein ZFS problem.

Kurze Zusammenfassung für die lesefaulen: LSI1068E + SAS Expander + SATA platten + Solaris = *boom*

Das tritt aber mehr oder weniger in Erscheinung.
Mit der Neuen expander Firmware mehr, mit der alten weniger (da läufts fast problemlos ausser das der LOG mit errors vollgespammt wird.)
Wobei es noch eine ganz neue FW gibt die ich noch nicht testen konnte da ich kein Intel Server Board habe. *aufsigzeig*
Die beste Chance es loszuwerden scheint ein LSI SAS2008 basierter Controller zu sein.
(Oder ich probiere mal den GAU adaptec 5085 aus der Müllkiste)

NCQ Auschalten und platten auf 1.5Gbit setzen soll aber auch mal geholfen haben.
Ich erkenne da Parallelen zu den HW Raidcontrollern mit onboard expandern der IOP348er Generation.
Da musste man auch solche maßnamen ergreifen.

Nuja - nicht umsonst lese ich in letzter Zeit gerade im Hardforum dauernd davon, dass man besser ein gescheites Board mit mehreren PCIe x16 (x8) Slots kaufen soll und eher mehrere LSI/Intel SASUC8i's draufpacken soll. Denke dahin würde auch mein nächster Build (geplant für 2012) führen - schickes Norco Case, gutes Netzteil, 24-Port Backplane, kleiner Xeon, 24GB RAM und lecker Platten *schwärm* - 3x SASUC8Is und Du hast die Backplane versorgt. Kostet auch nicht mehr als einen + Expander und hast kein Streß dieser Art.

 

[hotzen]

Kann die IBM M1015 empfehlen, die sind auch neueste LSI-Chip Generation und unterstützen SATA 6Gbit. Kriegt man gebraucht bei ebay für einen Fuffi.

IBM M1015 Firmware - What to flash with

LSI 1068e vs 2008 in JBOD

 

[gea]

Morgen zusammen,

jetzt stehe ich etwas vor einem Rätsel. SE11 + napp-it.

1) Über napp-it kann ich keine Ordner löschen

"Ordner" oder ZFS-Ordner=ZFS-Dateisysteme?
Nur letzteres geht mit napp-it, sofern nichts ein dismount blockiert

2) Über SMB share von Windows auf den Ordner -> Inhalt gelöscht, napp-it nochmals probiert. Tut sich nichts. napp-it zeigt aber immer noch an, dass was im Ordner drinnen sei (Größe).

vermutlich snapshots

3) Direkt über SE11 im Dateiexplorer geschaut -> da wird in keinem Ordner ein Inhalt angezeigt. Obwohl ich per Windows auf Inhalte in den Ordnern zugreifen kann.

vermutlich Rechte-Problem.
-> nautilus via Terminal als root starten:

su
nautilus

Vage Idee - in napp-it steht Folder-ACL root only. Dachte aber ich bin via napp-it als root unterwegs?

napp-it macht ein sudo bei allen Aktionen

Edit: Und der Tip von Windows aus als root zuzugreifen um da die Sicherheit einzustellen geht auch nicht - "Sicherheitsinfos sind nicht verfügbar oder können nicht angzeigt werden".

-nach der Erstinstallation von napp-it, root-pw neu setzen
-SMB-guest-Zugriff deaktivieren, nur dann muss man sich anmelden
-Permissions auf default=777 lassen und alles mit ACL regeln

Gea