[Sammelthread] ZFS Stammtisch

Carbon Copy Cloner ist ein Mac Programm um aus OSX die Systemplatte bootfähig z.B. auf eine USB Platte zu klonen. Man kann dann OSX von der USB Platte booten und zurückklonen.

Mit CloneZilla kann man einen Linux USB Bootstick erstellen und dann die komplette Platte (inkl. Bootcamp) wegsichern und wiederherstellen.

_ entweder von/auf eine lokale Platte oder ein Netzwerkshare. Letzteres ist für Deployment interessant. Da CloneZilla auch eine Platte 1:1 clonen kann ist das auch eine Option um eine ZFS Bootplatte zu sichern/klonen.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ist es empfehlenswert an OmniOS eine externe USB HDD zu betreiben mit NTFS als Dateisystem? Hintergrund ist ich möchte diese Platte zwar hauptsächlich als Backup und TempOrdner und Downloadplatte am NAS nutzen dennoch auch mal an einen WindowsPC anschließen. Oder dann besser ext4 mit nem Treiber für Windows? ZFS Treiber für Windows gibts nicht oder? Oder btrfs?
 
Zuletzt bearbeitet:
Solaris 11 und damit auch OmniOS kann von den genannten Dateisystemen zunächst nur ZFS und wurde auch exclusiv für und mit ZFS entwickelt. Es gibt zwar auch Projekte um ext4 oder ntfs an Solarish anzubinden, ich würde das aber eher lassen. Btrfs gibts eh nur unter Linux. Eigentlich sollte man froh sein dass Solaris ausschliesslich ZFS unterstützt. Das erspart einem die Linux Dateisystem Vielfalt bei dem eben "alles (nicht auf Anhieb) funktioniert".

Wenn man z.B. Daten auf ntfs braucht würde ich die USB Platte an einem Windows Rechner anschliessen und ZFS z.B. per robocopy darauf syncronisieren.
 
Dann nehm ich doch ZFS, funktioniert das denn problemlos? Vor einiger Zeit hatte ich das schonmal probiert und OmniOS hatte öfter mal die USB HDD nicht erkannt zumindest nicht bei jedem booten, oftmals erst beim zweiten oder dritten. Verhalten zeigte sich auch mit unterschiedlichen USB Festplatten. War ein Microserver G7.
 
Ich habe diverse Solaris-Systeme und u.a. eines davon repliziert problemlos auf eine externe USB-Platte (WD My Passport 4TB). Vorgehensweise wie folgt:

Platte ran, Pool importieren, Replikationsjob anwerfen & bis Fertigstellung warten, Pool exportieren, abziehen, fertig.

Mache das zwar manuell (ist halt mein „offsite-Backup“), funktioniert dafür problemlos.

Seitdem ich Solaris/napp-ist/ZFS für mich entdeckt habe, trauere ich Linux/Windows jedenfalls für Fileserver-Dienste keine Träne hinterher. Aber nur meine 2 Cent.
 
Hast du sie auch mal dran gelassen und dann gebootet ob sie dann auch noch erkennt wird von OmniOS? Also es lief damals bei mir problemlos, bis auf das booten halt immer dass es Glück war ob sie erkannt wurden oder net.
 
Zuletzt bearbeitet:
Solaris und OmniOS haben zwar mit einem frühen Solaris Express 11 in 2010 die gleichen Wurzeln, haben sich aber zwischenzeitlich eigenständig (inkl Treiber) wntwickelt.
 
Ja. Auch Booten mit der USB geht problemlos. Allerdings alles immer mit Solaris 11.3, nicht OmniOS.
 
@gea
hat napp-it auch einen syslog-ng dienst impetto oder ist es besser syslog-ng auf einer anderen vm laufen zulassen?
 
Solaris erstellt umfangreiche Systemlogs. Der Fault Managagemen Dienst fmd protokolliert ebenfalls viele Ereignisse. Innerhalb napp-its kann man sich die Logs im Menü System anzeigen lassen.

Eine zentrale Protokollierung müsste ausserhalb von napp-it stattfinden.
 
kann mir jemand mal die iostats erklären? Also die roten Balken. Was da gerade gemacht wird?
Eigentlich macht der Server nichts .... bin ein bisschen verwirrt.

zfs iostat.JPG
 
Das gerade nichts gemacht wird sieht man daran dass auf den Pools nichts passiert.

Die Balken worst disk in Relation zu average disk zeigt nur das Verhältnis beider Werte auf 100% skaliert. Der Sinn dieser Balken ist lediglich die Antwort der Frage ob die schlechteste Disk im Durchschnitt ist oder eben viel schlechter als der Durchschnitt -> dann ist etwas faul mit der schlechtesten Platte und man muss das weiter untersuchen.

Solange beide Balken ähnlich sind ist alles in Ordnung.

ps
Das ist natürlich bei minimalster Last ziemlich wertfrei
und wird erst unter Last interessant.
 
Zuletzt bearbeitet:
Hallo,

noch einem Umzug auf andere Hardware komme ich nicht mehr auf die Napp It console:
folgend eFehlermeldung erscheint:
svc:/system/filesystem/local:default Warning /usr/sbin/zfs mount - failed exit status 1
svc:/system/filesystem/local:default Method "/lib/svc/fs-local" failed with exit staus 95
svc.startd[10] svc:/system/filesystem/local:default failed fatally

hat jemand eine Idee was man hier machen kann ?
 
OmniOS/ Solaris versucht beim Booten die Pools zu mounten. Das scheitert. Ursache vermutlich ein Hardware/Plattenproblem.

Ich würde jetzt erstmal herunterfahren, alle Daten-Platten ziehen um zu sehen ob das OS alleine bootet. Dann Platte um Platte einstecken und sehen ob sie sich meldet oder ob das System dabei hängt.
 
Ich benutze LZ4 für Datenbanken um die Latenzen der Storage zu drücken. Wenn weniger Blöcke geschrieben werden müssen, werden die Daten in kürzerer Zeit auf die Storage geschoben.
 
Ja aber es gibt ja auch SSDs die haben schon eingebaute Kompression

Wie updatet man LX Zones? In der Zone über apt-get update und install?
 
Zuletzt bearbeitet:
Von der SSD-internen Komprimierung her hat aber der Server nichts, denn der I/O über den Sata-Port ist trotzdem der unkomprimierte. Da gehts nur um die SSD-interne Datenhaltung. ZFS schreibt/liest aber in der Tat weniger Blöcke mit Komprimieren am Filesystem. sprich entlastet die I/O Ports und den ARC/Cache tatsächlich und lässt auch tatsächlich mehr nutzbaren Platz auf der SSD.
 
Zuletzt bearbeitet:
Ich halte das meist so.

Bei einem normalen Filer schalte ich es immer ein da LZ4 bei komprimierten Dateien kaum Performance kostet und bei komprimierbaren Dateien Performance bringt und Platz spart ohne die CPU allzusehr zu belasten.

Wenn ich aber weiß, dass Daten praktisch nicht oder sehr schlecht komprimierbar sind (z.B. VMs, Programme, Video) und ich auf maximale Performance > 1GB/s (10/40G, ESXi vmxnet3 etc) Wert lege, lasse ich es aus denn etwas RAM und CPU braucht es halt doch und da bringt es nichts.
 
Also ich hab nen LX Container mit Debian und Unifi drin, Kompression des Datasets wird mit 1,90x angegeben.
 
Ich komm bei typischen Windows-VMs auf ähnliche Raten. Ich hab LZ4 generell an ausser bei Datasets für Videofile-Storage.

Auch sehr nett kann es bei Tablespace-Files für Oracle sein, dort kommts natürlich stark drauf an, was das für DBs sind, was wird wie oft geschrieben, wo sind die Heat-Spots, etc. . Bei Oracle gibt es zwar selber verschiedene Möglichkeiten auf Oracle-Block-Ebene eine Komprimierung einzuschalten, aber die kann sogar nach hinten losgehen (wenn man nur Basis-Komprimierung lizensiert hat (die "Advanced Compression" kostet extra teure Lizenzbeträge) ), denn ein UPDATE... auf Datensätze führt zu sofortiger dekomprimierung der betroffenen Records und abspeichern in unkomprimierte Blöcke.
Ausserdem kann man evtl. CPU-Kerne für Oracle-Lizenzen sparen, wenn die Komprimierungsleistung auf Kernen ausserhalb der DB-VM liegt.
Für kommerzielle Anwender kann es daher durchaus interessant sein, LZ4@ZFS zu nutzen.
 
Zuletzt bearbeitet:
Hab hier einen ML10 v2 von HP. Habe von OmniOS 151020 auf 151022 geupdatet. Jetzt bootet er aber nicht mehr vom USB fängt. Er fängt scheinbar an und meldet dann dass das Gerät nicht mehr verfügbar ist. Gehe ich auf das alte BE zurück bootet er wieder ganz normal.
Hat das irgendwas mit dem neuen USB3 Support zu tun? Der USB Stick kann zwar USB3 hängt allerdings am Server an einem USB2 port. Jemand Ideen?

https://1drv.ms/i/s!Aqu7dAsPwMmShcNJpCV5sB5iTyb9_g
 
Zuletzt bearbeitet:
Frage:
Mir wurde an anderer Stelle gesagt, man solle keine qcow2 VM-Images auf einem ZFS ablegen, weil hiermit ein COW auf einem COW liegen würde und das gefährlich sei und es unter Umständen zur Datenkorruption kommen könne.
Wär klasse wenn mir jemand genau erklären könnte, wo da genau die Gefahren sind?
 
Diese Gefahren gibt es per se nicht. ZFS ist es vollkommen egal, was darauf abgelegt wird.

cu
 
CommanderBond schrieb:
Hab hier einen ML10 v2 von HP. Habe von OmniOS 151020 auf 151022 geupdatet. Jetzt bootet er aber nicht mehr vom USB fängt. Er fängt scheinbar an und meldet dann dass das Gerät nicht mehr verfügbar ist. Gehe ich auf das alte BE zurück bootet er wieder ganz normal.
Hat das irgendwas mit dem neuen USB3 Support zu tun? Der USB Stick kann zwar USB3 hängt allerdings am Server an einem USB2 port. Jemand Ideen?

https://1drv.ms/i/s!Aqu7dAsPwMmShcNJpCV5sB5iTyb9_g
Zum Vergrößern anklicken....

Im Wechsel vom OmniOS 151020 auf 22 wurde der USB Treiber erneuert und der Bootloader von BSD übernommen.
Ich vermute der neue USB Treiber macht hier Probleme.

Am einfachsten wird wohl eine Neuinstallation sein, wenns geht aber eher auf Sata /M.2 etc statt auf USB. Sata/ M.2 ist einfach zuverlässiger.
 
Ja werd mal neu installieren. Sata/M.2 geht leider im Moment nicht dann müsste ich für eine einzige Platte einen kompletten Controller kaufen.
Spricht eigentlich was dagegen eine SMR Platte als einzelne HDD zu verwenden mit ZFS, oder ist davon abzuraten?
Also für Backupzwecke beispielsweise
 
Zuletzt bearbeitet:
CommanderBond schrieb:
Ja werd mal neu installieren. Sata/M.2 geht leider im Moment nicht dann müsste ich für eine einzige Platte einen kompletten Controller kaufen.
Spricht eigentlich was dagegen eine SMR Platte als einzelne HDD zu verwenden mit ZFS, oder ist davon abzuraten?
Also für Backupzwecke beispielsweise
Zum Vergrößern anklicken....

Bei einzelnen Platten fällt die miese Schreibleistung nicht so ins Gewicht wie bei einem Raid. ich würde sagen kann man schon machen. Raid mit MSR ist aber ein nogo.

- - - Updated - - -

trendco schrieb:
Da hiess es Datenkorruption bei den qcow2 Files, weil das auch ein COW sei.
Zum Vergrößern anklicken....

Wenn ich das richtig sehe, funktioniert qcow wie bei ESXi bei dem nach einem Snapshot Änderungen in einer separaten Datei geschrieben werden. Das funktioniert ganz anders als ein CopyOnWrite Dateisystem bei dem bei Änderungen ein kompletter Datenblock neu angelegt wird und der vorherige Zustand zum überschreiben freigegeben wird - es sei denn man legt einen Snapshot an der das Überschreiben verhindert.

Egal wie auch immer, es gibt keine Datenkorruption.
Selbst ZFS Pools auf ZFS wie man es bei Pools auf iSCSI LUNs oder bei ZFS Verschlüssellung miz Lofi nutzt ist völlig problemfrei.
 
Anmelden, um zu antworten.

Ähnliche Themen

G
Wieviel ZFS steckt in Qnap ZFS ??
Antworten
5
Aufrufe
840
gea
G
Shihatsu
ZFS Pool "verschicken"
Antworten
9
Aufrufe
561
sandreas
S
thor17
Ceph Node auf bestehenden ZFS Pools
Antworten
3
Aufrufe
508
gea
G
G
[Übersicht] napp-it cs, Web-GUI für fast jeden ZFS Server oder Servergruppen
4 5 6
Antworten
158
Aufrufe
9K
gea
G
AliManali
*erledigt* Perc H310 flashen
Antworten
2
Aufrufe
293
AliManali
AliManali
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh