[Sammelthread] ZFS Stammtisch

Hallo,

wir haben hier ein Solaris10 und zfs in nutzung. Und wir haben die Vermutung das sich zfs von den (GB-RAM ordentlich was abzwackt, jmd eine idee wie man das kontrollieren kann oder wie man dort etwas einstellen kann?
Es ist eine SunT2000

Code: 
Memory: 8184M real, 223M free, 1957M swap in use, 6425M swap free

Code: 
 zpool status
  pool: vol1
 state: ONLINE
 scrub: none requested
config:

        NAME          STATE     READ WRITE CKSUM
        vol1          ONLINE       0     0     0
          mirror      ONLINE       0     0     0
            c0t0d0s4  ONLINE       0     0     0
            c0t1d0s4  ONLINE       0     0     0
          mirror      ONLINE       0     0     0
            c0t2d0    ONLINE       0     0     0
            c0t3d0    ONLINE       0     0     0

errors: No known data errors
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Solaris ist eigentlich so konzipiert, dass es freien Speicher für das Caching benutzt.
Ein schnelles Storage unter Last ohne freien Speicher ist sicher erstrebenswerter als ein langsames Storage mit viel freiem Speicher.

Ob und wo man dieses Verhalten aber einstellen kann, weiß ich nicht.
Ich hatte bisher noch keinen Bedarf, es abzustellen
 
Zur Anzeige wieviel RAM für ZFS genutzt wird kann man dieses nutzen:
Code: 
docsilly@nas:~# nice -10 echo "::memstat"|mdb -k
Page Summary		Pages			MB	%Tot
------------------   ------------      --------------   ----
Kernel			883888			3452	21%
ZFS File Data		2606707			10182	63%
Anon			195517			763	5%
Exec and libs		4095			15	0%
Page cache		30245			118	1%
Free (cachelist)	18788			73	0%
Free (freelist)		387012			1511	9%

Total			4126252			16118
Physical		4126251			16118
 
Kurz und knapp: ZFS Verschlüsselung mit ZFS 28, also kein Solaris 11?
Gibts da irgendwelche Lösungen? Von mir aus auch frickelig ...
 
Solaris 11 macht das schon extrem elegant. Einfach encryption=on und gut.
Wenn das wichtig ist, würde ich bei Solaris bleiben, bis es eine einfache ZFS-Alternative gibt.

Als Alternative kenne ich sonst auch nur Free-BSD und Geli oder iSCSI und auf dem Client verschlüsseln
 
DocSilly schrieb:
Zur Anzeige wieviel RAM für ZFS genutzt wird kann man dieses nutzen:
Zum Vergrößern anklicken....
und was ist wenn kein zfs dort erscheint??
Code: 
nice -10 echo "::memstat"|mdb -k
Page Summary                Pages                MB  %Tot
------------     ----------------  ----------------  ----
Kernel                     812196              6345   79%
Anon                       130086              1016   13%
Exec and libs               37329               291    4%
Page cache                  20132               157    2%
Free (cachelist)            12805               100    1%
Free (freelist)             15590               121    2%

Total                     1028138              8032
Physical                  1017001              7945


noch was anderes (etwas OT):
wir haben hier 2Solaris-Maschinen (Sun T2000; Sun V240) wir würden diese gerne im HA laufen lassen? wie macht man das mit Solaris? Unter linux würde ich hearbeat und DRBD nehmen.. gibts das was unter solaris?
 
Colttt schrieb:
noch was anderes (etwas OT):
wir haben hier 2Solaris-Maschinen (Sun T2000; Sun V240) wir würden diese gerne im HA laufen lassen? wie macht man das mit Solaris? Unter linux würde ich hearbeat und DRBD nehmen.. gibts das was unter solaris?
Zum Vergrößern anklicken....

Ich kenne da die kommerzielle Lösungen z.B. Oracle, High-Availability.com : Unix clustering solutions for Solaris, NexentaStor, MAC OS-X, Linux, AIX and HPUX (die auch Nexenta nutzt) .
Daneben gibt es seit kurzem einen Port der freien Clusterlabs-Lösung aus dem Linux Lager

Clustering/ High Availablity - OpenIndiana - OpenIndiana Wiki
ClusterLabs

Ich habe da aber noch keine Erfahrungen. Ich bin aber an allen Erfahrungen dazu interessiert.
Eine freie oder günstige HA/ Clustering Lösung fehlt noch für Solaris/OpenIndiana
 
OpenIndiana 151a prestable 2

Es ist ein drittes Update für OpenIndiana 151a verfügbar. Diese ist sogar das erste Update,
das als bootfähige ISO verfügar ist

oi_151a_prestable2 Release Notes - OpenIndiana - OpenIndiana Wiki

Dieses Update behebt das Problem, dass bisher bei der Installation mehrerer Packete nacheinander
immer jeweils ein reboot nötig war. (Ich habe dieses Problem mit meinem wget installer für napp-it für
ältere OI Versionen bereits behoben, indem der neue Installer vorab installiert wird)
 
Colttt schrieb:
und was ist wenn kein zfs dort erscheint??
Code: 
nice -10 echo "::memstat"|mdb -k
Page Summary                Pages                MB  %Tot
------------     ----------------  ----------------  ----
Kernel                     812196              6345   79%
Anon                       130086              1016   13%
Exec and libs               37329               291    4%
Page cache                  20132               157    2%
Free (cachelist)            12805               100    1%
Free (freelist)             15590               121    2%

Total                     1028138              8032
Physical                  1017001              7945
Zum Vergrößern anklicken....
Wie es ausschaut funktioniert die Anzeige wie bei mir erst ab Solaris 10 10/09 und neuer. Vielleicht hilft ja die zweite Antwort hier Used memory on Solaris 10 - Server Fault
 
klappt wirklich ausgezeichnet!!!
ich werde das in napp-it übernehmen.

Encryption in OpenIndiana and Pool V.28

Not integrated in ZFS like with Solaris 11 and ZFS V.31+
but on an underlaying disk level and therefor working with ZFS V.28

The thought is:
- create files on a ZFS dataset (ex 1 GB with the option to backup them to any Filesystem/ Cloud provider)
- build block-devices from the files with lofiadm. (lofiadm supports encryption, must enter a pw here)
- build a regular ZFS pool from these files (use ex ZFS Z2 to recover from backup files with errors)

ex:
1. create a 1G file in /tank/secrets (a ZFS dataset)
cd /tank/secrets
mkfile 1g file1


2. create encrypted blockdevices from these file(s) -> creates a device /dev/lofi/1
lofiadm -c aes-256-cbc -a /tank/secrets/file1
Enter passphrase: ..

-repeat for all disks if you want to build a pool from more disks to have redundancy
(important if you want to backup these files on a non-ZFS file system)


3. Create a regular (ex. basic) ZFS pool from this or these (encrypted) device(s)
zpool create secretpool /dev/lofi/1


The newly created pool works like any ZFS pool.
To take offline you must export the pool and remove the devices

zpool export secretpool
lofiadm -d /tank/secrets/file1

To take online you must build devices from the files again using the same PW and import the pool
lofiadm -c aes-256-cbc -a /tank/secrets/file1
Enter passphrase: ..

If you use the wrong PW, all seems ok but there are no files...


Now you can import your pool from these devices
zpool import -d /dev/lofi shows all available pools

To import the pool, you must use:
zpool import -d /dev/lofi/ secretpool

Only disadvantage may be some lower performance (goes through ZFS twice + encryption).
But its very elegant, easy to implement and it is based simply only on one or more encrypted files.
If you want to backup them, you can just copy them. With small files its not a problem, even on FAT disks
with a max file limit of 2 GB. If you have build redundant ZFS pools from several files (ex Raid-Z1/2/3) its even not
a problem if (1/2/3) files get damaged for whatever reason.


Introducing Sparse Encrypted ZFS Pools
The Blog of Ben Rockwood
https://blogs.oracle.com/yakshaving/entry/encrypted_fs_on_solaris_10
DBA Tips Archive for Oracle

Gea
 
Zuletzt bearbeitet:
Und es geht noch weiter, weil sich damit einige Schwächen der ZFS encryption umschiffen lassen.
Momentan kann S11 einen verschlüsselten Pool nicht per zfs send/recv auf einen anderen verschlüsselten Pool übertragen, das funktioniert mit den Blockdateien natürlich problemlos. Außerdem kann man die Blockdateien praktisch überall ablegen und dann auch per iSCSI oder NFS anbinden und mounten.

cu
 
Ein Solaris Pool ist vermutlich schneller und für große Pools sicher besser geignet.
Bei einem kleineren Pool mit sensiblen Daten ist die Idee aber genial.

Die ganze Palette der ZFS Sicherheitsfeatures. Auch dann wenn es mal auf einen alten
USB Stick oder in die Cloud gesichert wird. Da kommt schnell mal ein Bit anders zurück
oder eine Datei ist fehlerhaft. Das wäre bei vielen anderen Containern mit verschlüsselten
Daten richtig böse.
 
Man kann auch ganze rohe Festplatten verschlüsselt mounten und dann ZFS daraus erstellen.
Dann hätte man zumindest keinen ZPool auf einem ZPool ...
 
Info:

napp-it 0.8f preview mit Pools aus verschlüsselten AES 256-Dateien
auf Openindiana ist online
 
Ich habe hier an der Uni einen relativ schnellen Upload (ca. 5-10 MB/s) und jetzt 500 GB Speicher im Strato HiDrive.

Überlege jetzt, wie ich meinen zpool (ca. 350 GByte) am geschicktesten dort sichere, sodass ich in Zukunft mit inkrementellen (im Idealfall vollautomatisierten) Backups auskomme. Lässt sich das mit rsync realisieren? Die zfs Dateisysteme müssen nicht verschlüsselt sein, da die Übertragung mit rsync über ssh bzw. OpenVPN laufen würde.
 
Zuletzt bearbeitet:
antilope114 schrieb:
Ich habe hier an der Uni einen relativ schnellen Upload (ca. 5-10 MB/s) und jetzt 500 GB Speicher im Strato HiDrive.

Überlege jetzt, wie ich meinen zpool (ca. 350 GByte) am geschicktesten dort sichere, sodass ich in Zukunft mit inkrementellen (im Idealfall vollautomatisierten) Backups auskomme. Lässt sich das mit rsync realisieren? Die zfs Dateisysteme müssen nicht verschlüsselt sein, da die Übertragung mit rsync über ssh bzw. OpenVPN laufen würde.
Zum Vergrößern anklicken....

Das sollte schon funktionieren.
Mit rsync werden ja nur die geänderten Daten und nicht das ZFS Dateisystem kopiert.
 
gea schrieb:
Das sollte schon funktionieren.
Mit rsync werden ja nur die geänderten Daten und nicht das ZFS Dateisystem kopiert.
Zum Vergrößern anklicken....

Für meine vms wäre natürlich dedup-awareness perfekt um Speicherplatz auf dem Server zu sparen, aber das lässt sich vermutlich nicht realisieren, es sei denn, der remote host setzt selber auf zfs. Meines Wissens macht Strato das bei HiDrive sogar aber man bekommt natürlich keinen root-Zugriff.

Gibt es Hoster, die Server auf zfs Basis anbieten, sodass ich meine Dateisysteme inkrementell mit zfs send über ssh sichern kann ohne die Vorteile von beispielsweise dedup zu verlieren?
 
Zuletzt bearbeitet:
[x] du weist, wie viele GByte an RAM/SSD ein aktiviertes dedup benötigt.
Beantworte dir die Frage selbst, ob jemand pro Kunden noch zusätzlich 3GiB RAM für dedup in die Rechner rein steckt.
 
Hallo ZFS Freunde,

ich baue mir grad meine zweite ZFS Storage zusammen und suche nun ein passenden SATA Controller.

Beim überfliegen der 74 Seiten unseres Stammtisch Thread, fiel mir auf, das immer wieder Fragen nach Controllern, HBAs, Expander, usw. kommen.

Was haltet ihr von einer FAQ/Sammelthread wo wir die funktionierenden Controller/Expander/HBAs usw. auflisten.
So ne Art Whitelist. Wo jeder schnell sehen kann welche Kombination funktioniert und für was es sich lohnt mehr Geld auszugeben.

Was meint ihr?
 
Zuletzt bearbeitet:
Snuskhammer schrieb:
Was haltet ihr von einer FAQ/Sammelthread wo wir die funktionierenden Controller/Expander/HBAs usw. auflisten.
So ne Art Whitelist. Wo jeder schnell sehen kann welche Kombination funktioniert und für was es sich lohnt mehr Geld auszugeben.

Was meint ihr?
Zum Vergrößern anklicken....

Lohnt meiner Ansicht nach nicht wirklich.
Wenn man nur aktuelle Controller/Expander betrachtet, mit 6G Unterstützung und
Unterstützung für Platten > 2GB dann ist es ganz einfach:

Immer LSI HBA SAS2 Controller nehmen (oder HBA Controller mit LSI Chips)

z.B. LSI 9211 mit LSI 2008 chipset oder als billigere dazu kompatible Option
IBM 1015 (gibts billig in der Bucht, sollte auf IT geflasht werden)
SuperMicro AOC-USAS2-L8e (billig, 'links' herum bestückt, benötigt Slotblechumbau)

Host Bus Adapters

Immer Expander mit LSI SAS2 Chips nehmen (und dazu SAS Platten, bei Sata eher weitere HBA's kaufen)
z.B. Intel RES2SV240 24-port SAS2 Expander Wiki
Es gibt auch 19" Cases mit diesen Expandern z.B. SuperMicro

mehr:
RAID Controllers and Host Bus Adapters
 
Zuletzt bearbeitet:
@Gea

Das reicht ja auch schon. :)


Habe bei im napp-it Fehler bei den HDDs endeckt.

Was soll ich tun?
 

Anhänge

  • error_hdd.JPG
    error_hdd.JPG
    30,7 KB · Aufrufe: 129
Erstmal kein Panik. Platten haben mit der Zeit Fehler (kein Problem) , gehen irgandwann aber auch kaputt.
Wenn die Fehler plötzlich zunehmen kann es gefährlich werden.

Dann mit smartmontools oder einem Herstellertool die Platte testen.
Eine Ersatzplatte zum schnellen Reagieren wäre aber nicht schlecht.

Bei den heutigen Riesenplatten würde ich aber ohnehin weggehen von Raid-Z1/ Raid5,
hin zu Raid Z2/ Raid6. Das überlebt auch den Ausfall zweier Platten. Wichtig, falls
mal eine Platte ausfällt und ein Rebuild (ohne Redundanz) Tage dauern kann.
 
Anmelden, um zu antworten.

Ähnliche Themen

G
Wieviel ZFS steckt in Qnap ZFS ??
Antworten
5
Aufrufe
838
gea
G
Shihatsu
ZFS Pool "verschicken"
Antworten
9
Aufrufe
559
sandreas
S
thor17
Ceph Node auf bestehenden ZFS Pools
Antworten
3
Aufrufe
506
gea
G
G
[Übersicht] napp-it cs, Web-GUI für fast jeden ZFS Server oder Servergruppen
4 5 6
Antworten
158
Aufrufe
9K
gea
G
AliManali
*erledigt* Perc H310 flashen
Antworten
2
Aufrufe
290
AliManali
AliManali
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh