[Sammelthread] ZFS Stammtisch

Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Das klingt jetzt erstmal weniger schön...
Ich wollte gerade einer ältere Kiste mit OI auf OmniOS migrieren. Das lasse ich jetzt wohl, und werde auf Solaris 11.3 setzen.

btw:

ich habe hier ein Problem, das ich nach lösen kann.

Unter OSX mounte ich meine ZFS Freigaben wie gewohnt, habe aber das Problem, dass die Pfade nicht mehr stimmen.

Ein Bespiel:

/Volumes/datapool_bilder/

OSX bindet aber seit dem Update auf die neuste OmniOS Version die Fragegabe anders ein; nämlich so:

/Volumes/datapool_bilder-1/

Woher kommt das ?

Als Info:

ich habe keine snaps, die sich so nennen, oder angelegte Dateisysteme, die sich so nennen.

Im Finder sehen die Freigabe auch völlig normal aus. Nur wenn ich den Pfad kopiere und in Shell einbinde, dann sieht man den Unterschied. Normal wäre mir das egal, nur braucht eine Software von mir den genauen Pfad.

zfs list -o name,sharenfs,mountpoint --> zeigt auch alles "normal"

EDIT:

Hab mal das System ( OSX ) neu gebootet, jetzt läuft alles wieder :)
 
Zuletzt bearbeitet:
Genau das bedeutet es.
Die nächste OmniOS stable Version 151022 im Mai wird keine Updates von Illumos mehr erhalten.

Es gibt aber bereits Diskussionen, OmniOS mit OpenIndiana zusammenzuführen. Beides sind ja OpenSource Illumos Distributionen die fast identisch sind. OmniOS war wegen der festen Updatezyklen und eigenen Entwicklungen wie LX Zonen interessant. OI folgt mehr der Idee des ursprünglichen OpenSolaris mit der zusätzlichen Desktop/GUI Option - allerdings ohne feste Stable Versionen.

Man muss noch etwas warten was sich da entwickelt
PostOmniOS/Lobby - Gitter
 
Hi,

ZFS frisst meinen gesamten Ram auf. Hab gelesen, dass man in der "/etc/modprobe.d/zfs.conf" den maximal konsumierten Ram für den ARC Cache einstellen kann. siehe: 4.4 install to ZRAID10 | Page 2 | Proxmox Support Forum

Problem: Diese Datei existiert nicht. :fresse:
Die Datei zu erstellen, hat bei anderen nicht gefruchtet: Sie wurde schlichtweg ignoriert.

wie kann ich den Hunger von ZFS etwas stillen?
OS: Proxmox

Code: 
cat /sys/module/zfs/parameters/zfs_arc_max
0

Ich habe 2 VMs am Laufen (beides Linux) und beide haben 2GB Ram bekommen. Ich habe zwei 240GB SSDs im ZFS-Raid1 und 3*1TB HDD in ZFS-RaidZ1. Dazu 16GB DDR3-ECC. Sollte eigentlich noch ausreichend sein. Dennoch ballert der den RAM so voll, dass irgendwann der Server abstürzt und neustartet, da der komplette RAM voll ist.
 
Zuletzt bearbeitet:
MisterY schrieb:
wie kann ich den Hunger von ZFS etwas stillen?
OS: Proxmox
Zum Vergrößern anklicken....

Its not a bug, its a feature.
ZFS nutzt dynamisch freien RAM als Lesecache und zieht daraus seine Performance. Braucht ein anderes Programm RAM wird er wieder freigegeben. Von Solaris her kenne ich nur ganz wenige Fälle, in denen man den Arc limitieren musste z.B. auf max 70% des RAM da das Freigeben des RAM nicht schnell genug war. Ansonst ist volle RAM Nutzung bei ZFS perfekt. Man kauft den ja nicht fürs Nichtstun.

Das Memory Management von ZFS basiert aber immer noch auf Solaris, auch bei BSD und Linux. Deshalb brauchen die etwas mehr RAM und das ganze scheint nicht ganz so flüssig zu funktionieren. Ein Serverabsturz wegen zuwenig RAM sollte aber auch bei ZoL eher nicht passieren.

Wie man den Arc bei Proxmox limitiert (z.B. max 70% RAM) müssen andere beantworten.
 
Dass ZFS den RAM als Lesecache nutzt, ist mir klar und bewusst. Aber warum der nicht wieder freigegeben wird, sondern aufs Verderben alles auffrisst ist mir schleierhaft. Manche lassen 24TB mit 16GB Ram laufen, da sollten meine läppischen 3,5TB ja wohl auf einer Backe abgesessen werden können :fresse:

Kurios: Wenn nur Linux VMs laufen, hab ich da kein Problem. Läuft auch ne Windows 7 VM (auch mit aktiviertem Ballooning!), dann füllt der den RAM ohne Ende. Trotz KSM von mehreren GB... geswappt wird aber nichts.
 
Zuletzt bearbeitet:
Um einen 3,5 TB Pool im RAM zu cachen bräuchte man 3,5TB RAM.
Kein Problem also für ZFS den ganzen RAM als Cache zu nutzen.

Der Rest ist dann aber eher ein Problem von Proxmox/ZoL eventuell mit Windows VMs nicht von ZFS.
Den Arc Lesecache massiv zu begrenzen ist ja auch nicht produktiv.

Unter ESXi läuft das so, dass der Storage VM RAM zugewiesen wird.
Den blockiert sie komplett, mehr aber nicht. Bei Proxmox das ja VM und Storage hosten soll sicher nicht so einfach.
 
MisterY schrieb:
Kurios: Wenn nur Linux VMs laufen, hab ich da kein Problem. Läuft auch ne Windows 7 VM (auch mit aktiviertem Ballooning!), dann füllt der den RAM ohne Ende. Trotz KSM von mehreren GB... geswappt wird aber nichts.
Zum Vergrößern anklicken....

Und wo ist jetzt das Problem? Ungenutzter RAM ist rausgeschmissenes Geld. Ist doch wünschenswert, wenn er möglichst vollständig genutzt wird.
 
Moin Moin,

ich kann mir nicht helfen, aber bei Absturz denk ich zuerst an ein physikalisches Problem mit dem RAM. Schon mal Memtest laufen gelassen?

MfG
 
Der RAM ist in Ordnung.
@TCM: Caching kann der ja gerne machen, aber bis es zu einem Memory overflow muss es doch auch nicht sein, oder? BTW sind die meisten Daten dabei gar nicht gecached, zumindest laut htop.

nun zu einem anderen Frage: Jemand wollte mir weiß machen, dass ein RAIDZ1 aus 3 HDDs grotten langsam wäre. Filetransfer einer .iso liegt zwischen SSD ZFS-Raid1 und dem RaidZ1 liegt bei um die 250mb/s. sollte doch genug sein, sodass per Samba eine Datenrate von 118/MBs möglich ist, oder?

Edit: Ist es möglich, den ZFS-RAID1 aus SSDs sowohl für Proxmox, als auch als Cache für den HDD-ZFS-RAIDZ1 zu nutzen?


Also z.B. eine 10GB Parition auf beiden SSDs erstellen und diese dann als Cache einbinden?

Hier mal ein Crystaldiskmark über LAN zu einem Linux-Gast:
SSD-ZFSRaid1:
Code: 
----------------------------------------------------------------------
CrystalDiskMark 5.1.2 x64 (C) 2007-2016 hiyohiyo
                           Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

   Sequential Read (Q= 32,T= 1) :   118.471 MB/s
  Sequential Write (Q= 32,T= 1) :    60.530 MB/s
  Random Read 4KiB (Q= 32,T= 1) :    83.087 MB/s [ 20284.9 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :    66.507 MB/s [ 16237.1 IOPS]
         Sequential Read (T= 1) :   101.502 MB/s
        Sequential Write (T= 1) :    49.074 MB/s
   Random Read 4KiB (Q= 1,T= 1) :     5.663 MB/s [  1382.6 IOPS]
  Random Write 4KiB (Q= 1,T= 1) :     6.232 MB/s [  1521.5 IOPS]

  Test : 1024 MiB [] (x1)  [Interval=5 sec]

und HDD-ZFS-RAIDZ1:
Code: 
----------------------------------------------------------------------
CrystalDiskMark 5.1.2 x64 (C) 2007-2016 hiyohiyo
                           Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

   Sequential Read (Q= 32,T= 4) :   115.367 MB/s
  Sequential Write (Q= 32,T= 4) :    53.227 MB/s
  Random Read 4KiB (Q= 32,T= 4) :    67.689 MB/s [ 16525.6 IOPS]
 Random Write 4KiB (Q= 32,T= 4) :    55.710 MB/s [ 13601.1 IOPS]
         Sequential Read (T= 1) :    99.611 MB/s
        Sequential Write (T= 1) :    48.861 MB/s
   Random Read 4KiB (Q= 1,T= 1) :     5.586 MB/s [  1363.8 IOPS]
  Random Write 4KiB (Q= 1,T= 1) :     5.712 MB/s [  1394.5 IOPS]

  Test : 1024 MiB [] (x1)  [Interval=5 sec]

Da ist ja kaum ein Unterschied zwischen HDD und SSD??

edit: Hier CDM vom Host über Samba:
SSD:
Code: 
   Sequential Read (Q= 32,T= 4) :   118.515 MB/s
  Sequential Write (Q= 32,T= 4) :   118.359 MB/s
  Random Read 4KiB (Q= 32,T= 4) :   115.762 MB/s [ 28262.2 IOPS]
 Random Write 4KiB (Q= 32,T= 4) :    16.686 MB/s [  4073.7 IOPS]
         Sequential Read (T= 1) :   106.734 MB/s
        Sequential Write (T= 1) :    98.983 MB/s
   Random Read 4KiB (Q= 1,T= 1) :     8.706 MB/s [  2125.5 IOPS]
  Random Write 4KiB (Q= 1,T= 1) :     7.511 MB/s [  1833.7 IOPS]

HDD:
Code: 
  Sequential Read (Q= 32,T= 1) :   118.526 MB/s
  Sequential Write (Q= 32,T= 1) :   118.436 MB/s
  Random Read 4KiB (Q= 32,T= 1) :    82.035 MB/s [ 20028.1 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :    20.709 MB/s [  5055.9 IOPS]
         Sequential Read (T= 1) :   104.006 MB/s
        Sequential Write (T= 1) :   102.773 MB/s
   Random Read 4KiB (Q= 1,T= 1) :     8.063 MB/s [  1968.5 IOPS]
  Random Write 4KiB (Q= 1,T= 1) :     7.474 MB/s [  1824.7 IOPS]

Den Host kann ich mit voller Gbit-LAN Geschwindigkeit ansprechen.

Edit: Auch eine einzelne HDD ohne ZFS hat die gleichen Probleme. Liegt also nicht an meiner Hardware, sondern an Proxmox.
 
Zuletzt bearbeitet:
Hallo allerseits,
ich plane mir ein NAS mit Ubuntu und ZFS Filesystem im Raid auf 2 Festplatten einzurichten. Meine Frage: Wenn ich jetzt alles eingerichtet ist, und angenommen der ganze Computer verbrannt ist und die Hardwarekomponenten nirgends mehr zu bekommen, den Festplatten ist aber wie durch ein Wundern nichts passiert. Kann ich dann meine Daten retten, wenn ja, wie ? Kann ich eine ZFS Festplatte einfach in ein anderes System einbauen und es läuft ?

Wäre nett wenn ihr mir diese Frage beantworten könnt, bevor ich mich hier einlese und dann doch nicht sicher vor Datenverlust bin...

Vielen Dank,

Andi
 
Afaik sollte man einen zfs Pool in ein anderes System einbinden können
 
Ja kannst du. Das ist ja das Schöne an Software-RAID. :)
 
Falls jemand OpenIndiana, den Nachfolger von OpenSolaris probieren möchte -
ich habe dazu mein HowTo aktualisiert (Barebone bzw unter ESXi).

Das ist fast reines Illumos (OpenSource Solaris) aber mit optionaler GUI (Mate).
Killer Feature: Timeslider, man wählt einen Ordner im OI Dateimanager und geht dann zurück in der Zeit (Snaps)

http://www.napp-it.org/doc/downloads/setup_openindiana.pdf
 
Klasse gea, vielen Dank. Ich hatte nach der OmniTI Ankündigung schon versucht OI (Text) mit napp-it zu installieren und war direkt gescheitert.
 
Zuletzt bearbeitet:
OpenIndiana Hipster ist sehr nahe dran an Illumos also in etwa so aktuell wie OmniOS
siehe OpenIndiana · GitHub -> oi-userland
Lediglich die neueste OmniTi Entwicklung LX/Linux container ist momentan nur in OmniOS.

btw
Ich bin gerade dabei für die Repositories und Images vom OI und OmniOS einen DE-Mirror aufzusetzen
Index of / und package repository (14,18,20,22)
 
Nur zur Info, bei OpenIndiana Hipster minimal text edition musste ich noch explizit wget installieren (pkg install wget).

gea schrieb:
Falls jemand OpenIndiana, den Nachfolger von OpenSolaris probieren möchte -
ich habe dazu mein HowTo aktualisiert (Barebone bzw unter ESXi).

Das ist fast reines Illumos (OpenSource Solaris) aber mit optionaler GUI (Mate).
Killer Feature: Timeslider, man wählt einen Ordner im OI Dateimanager und geht dann zurück in der Zeit (Snaps)

http://www.napp-it.org/doc/downloads/setup_openindiana.pdf
Zum Vergrößern anklicken....
 
gea schrieb:
Falls jemand OpenIndiana, den Nachfolger von OpenSolaris probieren möchte -
ich habe dazu mein HowTo aktualisiert (Barebone bzw unter ESXi).
Zum Vergrößern anklicken....


Hi Gea,

wenn ich von der ESXI-All-In-One von Dir komme, kann ich das problemlos mit den existierenden Pools probieren?

Sprich:
1) napp-it-all-in-one Backup der Einstellungen
2) napp-it-all-in-one herunter fahren
3) OpenIndiana aufsetzen und napp-it per wget installieren
4) Pool der napp-it-all-in-one importieren
5) Recovery der napp-it-all-in-one Einstellungen
6) Ready to go?


Aus Gründen, die sich mir nicht erschliessen, kann ich von keinem Gerät oder Browser das PDF herunter laden. Muss ich nächste Woche von der Arbeit noch mal versuchen.

Cheers
 
Ich habe das noch nicht probiert, aber es wird mit ziemlicher Sicherheit funktionieren.
Wenn man ganz sicher gehen möchte nur napp-it Settings und nicht die Systemsachen (user, pw etc) restoren.

- - - Updated - - -

supemole schrieb:
Nur zur Info, bei OpenIndiana Hipster minimal text edition musste ich noch explizit wget installieren (pkg install wget).
Zum Vergrößern anklicken....

Ich werde die pdf anpassen
 
Encryption?

HI!

Ich überlege mein Storage auf ZFS umzustellen, vor allem auf 3 Killerfearures hab ich es abgesehen: Checksummen, Snapshots, Encryption.
Leider funktioniert zumindest die encryption nicht unter linux, unter openindiana ging es bei meinem Test auch nicht.
Braucht man dafür das "echte" Solaris?
 
"Echte" ZFS Verschlüssellung also Verschlüsselung als ZFS Eigenschaft mit der Möglichkeit einzelne Dateisysteme je mit einem eingenen Passwort zu verschlüsseln kann momentan nur Oracle Solaris.

Bei Datto wird das gerade für ZoL auf Basis der in Illumos enthaltenen Bits entwickelt (Grundlage auch von Oracle Verschlüssellung). Es gibt auch bereits Arbeiten das in Open-ZFS zu integrieren. Requests gibt es momentan dazu für Illumos und OSX, https://zfs.datto.com/slides/caputi.pdf

Ansonsten gibt es Verschlüssellung unterhalb von ZFS also auf der Ebene Platte oder Datei. Das ist aber inkompatibel zwischen Open-ZFS Plattformen
 
Zuletzt bearbeitet:
@gea

Wie hat das dann bei FreeNAS 10 aka Coral funktioniert ? Da konnte man Verschlüsselung (ich meine sogar einzelner Dateisysteme) nutzen - oder nutzen die ein anderes ZFS als Open-ZFS ?

Dann war das also auch unterhalb von ZFS ?
 
Zuletzt bearbeitet:
Luckysh0t schrieb:
@gea

Wie hat das dann bei FreeNAS 10 aka Coral funktioniert ? Da konnte man Verschlüsselung (ich meine sogar einzelner Dateisysteme) nutzen - oder nutzen die ein anderes ZFS als Open-ZFS ?

Dann war das also auch unterhalb von ZFS ?
Zum Vergrößern anklicken....

Ja (Geli)
Es gibt nur ZFS v37 mit Solaris von Oracle (kein OpenSource) und Open-ZFS v5000 = ZFS aus OpenSolaris, OpenZFS
 
@me777

Ich wollte auch genau dieses Feature und bin deswegen letztes Jahr von Debian ZoL mit dmcrypt auf Oracle Solaris 11.3 umgestiegen.
Nach einer Eingewöhnungsphase mit online Recherche und Hilfe von gea bin ich aber jetzt sehr froh den Schritt gemacht zu haben.
Solaris ist echt ein mega gutes OS! Nachdem der Main-Storage tadellos lief bin ich auch noch mit dem Backup-Storage auf Solaris umgestiegen!

MfG
 
Nachdem mein alter DS-30104-1 Controller in letzter Zeit immer wieder Probleme macht bin ich auf der suche nach einem neuen HBA. Kann mir jemand eine Empfehlung geben was man da zZ. am besten kauft? Er sollte mindestens 1x SFF-8087 besser aber gleich 2x SFF-8087 besitzen und der Stromverbrauch sollte Human sein und nicht 20w und mehr betragen.

Code: 
smartctl -i /dev/sdc | grep Capacity
User Capacity:        600,332,565,813,390,450 bytes [600 PB]
(Die Probleme des alten HBA
 
Ich würde derzeit bei dummen HBA wohl in der Regel zu LSI/Avago/Broadcom mit IT-Firmware tendieren. Also Controller mit SAS2008 (PCIe 2.0, 6 Gbit/s), SAS2308 (PCIe 3.0, 6 Gbit/s) oder SAS3008 (PCIe 3.0, 12 Gbit/s SAS) Chipsatz. Letztere haben aber in der Regel schon die SFF-8643.
Entsprechend halt auch die OEM-Modelle, die sich crossflashen lassen.

Mit den Dingern macht man in der Regel nix falsch und hat hohe Kompatibilität mit allen möglichen Betriebssystemen.
 
Zuletzt bearbeitet:
Anmelden, um zu antworten.

Ähnliche Themen

G
Wieviel ZFS steckt in Qnap ZFS ??
Antworten
5
Aufrufe
836
gea
G
Shihatsu
ZFS Pool "verschicken"
Antworten
9
Aufrufe
555
sandreas
S
thor17
Ceph Node auf bestehenden ZFS Pools
Antworten
3
Aufrufe
504
gea
G
G
[Übersicht] napp-it cs, Web-GUI für fast jeden ZFS Server oder Servergruppen
4 5 6
Antworten
158
Aufrufe
9K
gea
G
AliManali
*erledigt* Perc H310 flashen
Antworten
2
Aufrufe
290
AliManali
AliManali
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh