[Sammelthread] ZFS Stammtisch

[gea]

ich habe mich mit mit smartmontools (noch) nicht näher beschäftigt, würde aber mal die Konfiguration z.B. smartd.conf prüfen (gibt es die und was steht drin)

siehe auch
Setting up smartmontools on OpenSolaris « Caffeinated

smartmontools sollen laut einer info die ich erhalten habe, unter Nexenta bei der Installation nicht automatisch konfiguriert zu werden.



hier die mail von Andreas zu dem Thema: smartmontools
=============
Die Datei /etc/default/smartmontools wird leider nicht angelegt. Man muss sie manuell anlegen und editieren:
----
# Defaults for smartmontools initscript (/etc/init.d/smartmontools)
# This is a POSIX shell fragment

# List of devices you want to explicitly enable S.M.A.R.T. for
# Not needed (and not recommended) if the device is monitored by smartd
#enable_smart="/dev/hda /dev/hdb"

# uncomment to start smartd on system startup
start_smartd=yes

# uncomment to pass additional options to smartd on startup
smartd_opts="--interval=1800"
----
Die Datei /etc/smartd.conf muss editiert werden. den Eintrag DEVISCAN auskommentieren und am Ende der Datei die zu ueberwachenden Festplatten eintragen. Fuer *Solaris* ist es notwendig die 12 bit Variante zu nutzen, z.B.
/dev/rdsk/c6t0d0p0 -a -d sat,12 # meine Boot SSD im rpool
/dev/rdsk/c6t1d0 -a -d sat,12 # meine SATA HDD
/dev/rdsk/c6t2d0 -a -d sat,12 # meine SATA HDD
/dev/rdsk/c6t3d0 -a -d sat,12 # meine SATA HDD

Smartmontools im SMF
++++++++++++++++++++
Zur Info diese URL: http://cafenate.wordpress.com/2009/02/22/setting-up-smartmontools-on-opensolaris/

In der XML/Datei fuer das SMF muessen die Pfade fuer das Start|Stop Script angepasst werden.

start method:
[alt] /usr/local/etc/rc.d/init.d/smartd start
[neu] /etc/rc.d/init.d/smartd start

stop method:
[alt] /usr/local/etc/rc.d/init.d/smartd stop
[neu] /etc/rc.d/init.d/smartd stop

man path:
[alt] /usr/local/share/man
[neu] /usr/share/man

save file to /var/svc/manifest/site/smartd.xml,
change the file ownership to root:sys,
and invoke pfexec svccfg -v import /var/svc/manifest/site/smartd.xml.
Then check that the service is running (svcs smartd) and if not, enable it using pfexec svcadm enable smartd.


Falls die Info hilfreich ist, bitte ich um einen Kommentar.
Sobald ich etwas Zeit habe, will ich mich dem Thema auch widmen.

Gea

 

[Gelöschtes Mitglied 117520]

Hi gea,

erstmal Danke für die klasse Info!

Die Dateien werden bei der apt-get Installation durchaus angelegt, aber nicht richtig konfiguriert. Das habe ich nun nachgeholt - für beide Conf-Dateien. Nachdem ich die Platten nach Deinem Schema in die /etc/smartd.conf eingetragen hatte

/dev/rdsk/c0t0d0 -a -d sat,12
/dev/rdsk/c0t1d0 -a -d sat,12
/dev/rdsk/c0t2d0 -a -d sat,12
/dev/rdsk/c0t3d0 -a -d sat,12
/dev/rdsk/c0t4d0 -a -d sat,12
/dev/rdsk/c0t5d0 -a -d sat,12

konnte ich das ganze dann auch mit

/etc/init.d/smartd start

starten, allerdings gibts mein Script weiterhin NUR für die Platten am LSI Controller die Werte aus:

root@karinka:~# ./temps.sh
Drive c0t0d0 temp is
Drive c0t1d0 temp is
Drive c0t2d0 temp is
Drive c0t3d0 temp is
Drive c0t4d0 temp is
Drive c0t5d0 temp is
Drive c1t0d0 temp is
Drive c3t0d0 temp is 26C
Drive c3t1d0 temp is 26C
Drive c3t2d0 temp is 26C
Drive c3t3d0 temp is 26C
Drive c3t4d0 temp is 30C
Drive c3t5d0 temp is 29C
Drive c3t6d0 temp is 30C
Drive c3t7d0 temp is 26C

 

[layerbreak]

@gea

Zitat:
Warum ist die Speicherung weiterer VMS im pool sicherer?
Ich plane zusätzlcih pfsense oder ipcop in einer ESXi-VM laufen zu lassen. Spricht da was dagegen?

Der SAN-Server bietet ein NFS datastore auf ZFS. Im Vergleich dazu ist ESXi alles andere als gut. Insbesondere der Storage-Part von Gratis-esxi ist schon arg langsam und minimalistisch. Up/ Downloads von VM's oder ISO's mir dem eingebauten Dateibrowser ist eine arge Quälerei. Snapshot gehen nur ein paar und mit jedem wird es langsamer wobei der ESXi-eigene Storagepart eh schon langsam ist. Und die Datensicherheit im Vergleich zu ZFS - naja.

Weitere VM's daher auf dem ZFS-SAN-Server ablegen - Wie gesagt, ist das der Sinn des Ganzen. Viel schneller, viel sicherer, Snapshots, CIFS-Zugang... Storage Features ohne Ende.

Nachfrage:
Siehst du ein Sicherheitsproblem, wenn eine Firewall ala pfsense oder ipcop auch als VM mitlaufen und den Verkehr von außen überwachen sollen?

Den Sinn, dass du die anderen VMs auf der ZFS-VM ablegst, hab ich jetzt einigermassen verstanden.
Das heißt aber, doch auch, dass ein PowerManagement bei der ZFS-VM sinnfrei ist, da die anderen VMs immer auf die Platten zugreifen.

Zitat:
Auf das all-in-one hast du mich ja erst gebracht. Ursprünglich hatte ich ja den i3-560 vorgesehen, muss jetzt aber auf Xeon wechseln. Auch scheinen 8GB RAM zu wenig zu sein.

Wir haben mehrere VM-Server mit mehreren SAN-Storage Systemen mit 10GBe Switche im Einsatz.
All-In-One habe ich entwickelt, um die Anzahl der Server und Switche und damit der Fehlerquellen zu reduzeren.
Wir haben statt ursprünglich 4 VM-Server + 4 SAN-Server (8 Rechner) jetzt noch 4 All-In-One + Reserve/ Testsysteme.

Mein Testsystem hat aber auch nur 8GB. Reicht für den Anfang. Xeon sollte es aber schon sein.

Wieviel RAM hast du dann ESXi und ZFS je zugeordnet?
Ähm, was und warum ist es jetzt ein SAN Server und Switch?

Zitat:
Ich wollte eigentlich mehrere ZFS-Derivate (openindiana, NexentaCore, NexentaStor) als VM mit ESXi einrichten und bei jeder den gleichen HBA durchschleifen, also ein Plattenpool.
Es sollte aber immer nur eine VM laufen, um dann die einzelnen Derivate näher kennen zu lernen.

Das geht so ncht bzw.macht keinen Sinn. Der SAN Server läuft immer und nur er hat die Platten. Alle anderen VM's erhalten Ihre Platten virtuell vom SAN (Wie gesagt, Sinn der Übung)

Sinn als "produktiv" System macht das natürlich nicht. Ich wollte diese Konstellation auch nur zum Testen so einrichten. So kann ich alle drei Derivate antesten und mich dann natürlich für Eines entscheiden.

Zitat:
Kann man bei ESXi auch die onboard SATA durchschleifen?
Sollte eigentlich exclusiv gehen (esxi muss dann aber von usb booten, Ich bin mir aber nicht sicher, ob auf dem USB-Stick auch ein datastore angelegt werden kann. Wenn nicht, dann macht es keinen Sinn)

Also versteh ich das richtig, dass entweder ich reiche alle onboard SATA an die VM durch oder Keine?

 

[gea]

Siehst du ein Sicherheitsproblem, wenn eine Firewall ala pfsense oder ipcop auch als VM mitlaufen und den Verkehr von außen überwachen sollen?

Nur ein theoretisches, kein praktisches

Den Sinn, dass du die anderen VMs auf der ZFS-VM ablegst, hab ich jetzt einigermassen verstanden.
Das heißt aber, doch auch, dass ein PowerManagement bei der ZFS-VM sinnfrei ist, da die anderen VMs immer auf die Platten zugreifen.

Nicht ganz aber fast. Es macht aber eh keinen Sinn einen riesen Pool für VM's zu nehmen. Am Besten ein Raid-1 oder Raid-10 eventuell mit SSD, dann ist es eh kein Problem. Für das Datengrab und die Backups dann ein zweiter, grosser Pool. Da macht dann Powermanagement Sinn.

Wieviel RAM hast du dann ESXi und ZFS je zugeordnet?

ESXi kann ja Speichersharing und Speicher-Overcommitment, das heißt, dass man mehr Speicher zuweisen kann, als da ist. Dennoch sollte physisch genug da sein und jede VM sollte soviel bekommen wie nötig. Bei Solaris & Co heißt das je mehr desto schneller, also min 1 GB, gut sind 2-4 GB, mit Dedup und großen Pools können aber auch 64 GB angemessen sein.

Ähm, was und warum ist es jetzt ein SAN Server und Switch?

Eine typische Pro-Konstellation sieht doch so aus

1. VM Server (Irgend ein Dell, HP oder sonstwas Server)
2. SAN-Server (netapp, nexenta oder sonstwas Storage Server)
3. SAN/LAN/Vlan FC/ Netzwerk-Switch (Cisco, HP oder sonstwas) um SAN-Server, VM-Server und restliches Netz zu verbinden - meist getrennt z.B. SAN-Netz mit FC, Rest via IP

Mein All-In-One Konzept auf Basis freier/ kostenloser Software packt diese drei Komponenten/ Funktionen virtualisiert in eine Kiste.
freier ESXi übernimmt dabei Punkt 1. und 3.
NexentaCore, OpenIndiana oder Solaris Express den Storageteil - Punkt 2.
(wobei Solaris Express 11 nur für Tests und nichtkommerziellen Einsatz frei ist)

Also versteh ich das richtig, dass entweder ich reiche alle onboard SATA an die VM durch oder Keine?

Das gilt für jeden Controller, egal ob onbord oder extern. Alles oder nichts.

 

[mlampe]

Also versteh ich das richtig, dass entweder ich reiche alle onboard SATA an die VM durch oder Keine?

Es ist so, dass ein ganzes PCI-Device (onBoard-Gerät oder Steckkarte) per vt-d weitergereicht wird (werden kann).

Das Supermicro MB X8Si6-F Link hat beispielsweise 14 "SATA" Anschlüsse onboard.
Diese sind aber in 6x SATA Controller (Intel Chipsatz onboard) und 8x SAS-Controller (LSI2008 onboard) aufgeteilt.

Wenn Du hier die 6x "SATA Anschlüsse" per vt-d weiterreichst,
dann ist der per PCIe angebundene, onboard "aufgelötete" LSI2008 SAS-Controller davon nicht betroffen.
--> Es sind zwei unterschiedliche Geräte, die beide per PCIe angebunden sind.

Hier ist mal ein Bild, wenn man per vSphere-Client auf den ESXi verbunden ist und dort das entsprechende "Konfigurationsfenster" geöffnet hat.
Was man hier sieht ist natürlich abhängig von der verwendeten Hardware, klar!



Das Device 00:1f.2 ist beispielsweise der 6-Port onboard ICH9R SATA-Controller.
Weiterhin sind (typisch für ESX / ESXi Server) noch viele Gigabit Netzwerk-Karten zu sehen.

EDIT: Hier Link wird die Vorgehensweise mit VMDirectPath mit Bildern gut beschrieben.

Gruß
mlampe

 

[gea]

H
starten, allerdings gibts mein Script weiterhin NUR für die Platten am LSI Controller die Werte aus:

smartmontools soll nur mit SCSI und neuerem funktionieren.
SATA soll Probleme machen -

Sind die anderen Platten SATA und steht das bios auf ide oder ahci?



kleine Ergänzung am Rande

about ZFS für Linux von http://zfs.kqinfotech.com/
Features

ZFS scheint langsam Mainstream zu werden -
wobei ZFS ala Sun viel mehr als ein Dateisystem-add-on ist

 

[Gelöschtes Mitglied 117520]

Hi gea,

läuft als AHCI im BIOS. Wenn es die SATA Platten nicht erkennt ist das auch kein Beinbruch, denn gerade diese Platten laufen alle in einem Käfig mit Lüfter (Luft von aussen zuführend). Wäre halt "nice 2 have"

 

[layerbreak]

kleine Ergänzung am Rande

about ZFS für Linux von Home
Features

ZFS scheint langsam Mainstream zu werden -
wobei ZFS ala Sun viel mehr als ein Dateisystem-add-on ist

Ja ja es wird sich in den nächsten Monaten zeigen, ob Larry Ellisons Entscheidung, die Programmieroffenheit von Sun so radikal zu ändern gut war. Ich denke nicht.

---------- Beitrag hinzugefügt um 14:15 ---------- Vorheriger Beitrag war um 12:49 ----------

@gea

Zitat:
Den Sinn, dass du die anderen VMs auf der ZFS-VM ablegst, hab ich jetzt einigermassen verstanden.
Das heißt aber, doch auch, dass ein PowerManagement bei der ZFS-VM sinnfrei ist, da die anderen VMs immer auf die Platten zugreifen.

Nicht ganz aber fast. Es macht aber eh keinen Sinn einen riesen Pool für VM's zu nehmen. Am Besten ein Raid-1 oder Raid-10 eventuell mit SSD, dann ist es eh kein Problem. Für das Datengrab und die Backups dann ein zweiter, grosser Pool. Da macht dann Powermanagement Sinn.

Nochmals langsam für alte Männer.
Raid1 oder Raid10 kennt zfs ja nicht.
Ich habs jetzt so verstanden:
ESXi
darunter z.B. OpenIndiana mit
zpool create sanpool mirror dev0 dev1
dev0 und dev1 sind onboard SATA.
In sanpool werden dann einzelne Filesysteme, je VM eins, angelegt mit
zfs create sanpool/vm1
usw. und dann dort gespeichert.
Mit gleichem OpenIndianda ein weiterer mirror pool, weil ich meinen Pool nur als mirrors haben will und nicht raidz(1-3), mit
zpool create datengrab_backup mirror dev10 dev11 mirror dev12 dev13 ...

Jetzt hab ich aber in den vorigen Post gelernt, dass bei ESXi nur ein gesamter PCIe Device durchgereicht werden kann - alles oder nichts.
Das würde aber bedeuten, dass ich eine getrennte HBA für sanpool stecken muss. Komplett getrennte HBAs auch für datengrab_backup - sonst funktioniert es nicht mit dem Powermanagement.
Oder kann ich mit dem Powermanagement einzelne HDs auf meiner LSI HBA ansprechen?

Zitat:
Wieviel RAM hast du dann ESXi und ZFS je zugeordnet?

ESXi kann ja Speichersharing und Speicher-Overcommitment, das heißt, dass man mehr Speicher zuweisen kann, als da ist. Dennoch sollte physisch genug da sein und jede VM sollte soviel bekommen wie nötig. Bei Solaris & Co heißt das je mehr desto schneller, also min 1 GB, gut sind 2-4 GB, mit Dedup und großen Pools können aber auch 64 GB angemessen sein.

Jetzt geh ich mal davon aus, dass die meisten HomeUser ihre selbstgemachte Musik, ihre selbstgedrehten Filme oder die Filme welche sie mitgeschnitten haben auf "datengrab_backup" ablegen. Diese Dateien also die überwiegende Mehrheit im pool sind.
Bei solchem Datenbestand macht aber Dedup überhaupt keinen Sinn, da keine Datenduplikate vorhanden sind. Link

1. VM Server (Irgend ein Dell, HP oder sonstwas Server)
2. SAN-Server (netapp, nexenta oder sonstwas Storage Server)
3. SAN/LAN/Vlan FC/ Netzwerk-Switch (Cisco, HP oder sonstwas) um SAN-Server, VM-Server und restliches Netz zu verbinden - meist getrennt z.B. SAN-Netz mit FC, Rest via IP

Mein All-In-One Konzept auf Basis freier/ kostenloser Software packt diese drei Komponenten/ Funktionen virtualisiert in eine Kiste.
freier ESXi übernimmt dabei Punkt 1. und 3.
NexentaCore, OpenIndiana oder Solaris Express den Storageteil - Punkt 2.
(wobei Solaris Express 11 nur für Tests und nichtkommerziellen Einsatz frei ist)

Wie setzt du Punkt 3 um?
Steckst du weitere Netzwerkkarten in den Server, um einen Switch draus zu machen? Und welche Software nutzt du dazu?

 

[mlampe]

Wie setzt du Punkt 3 um?
Steckst du weitere Netzwerkkarten in den Server, um einen Switch draus zu machen? Und welche Software nutzt du dazu?

Ich weiß dass die Frage nicht an mich gerichtet ist

Hab hier mal ein paar allgemeine Info's zu dem Thema Netzwerk beim ESXi...

Link Hier gibt es eine kleine Doku bezüglich Netzwerk-Konfiguration, virtuelle Switche...
Hier wird nur ein kleiner Teil der Möglichkeiten gezeigt.

Hier mal die Komponenten eines virtuellen Netzwerkes beim ESX/ESXi...
vmware technical resources virtual networking

 

[gea]

Nochmals langsam für alte Männer.
Raid1 oder Raid10 kennt zfs ja nicht.

Falsch. ZFS kennt sehr wohl Raid-1 (mirror) und Raid 10 (striped mirror)
Einfach einen mirror anlegen und einen oder mehrer weitere Mirrors hinzufügen. Mit jedem weiteren Mirror steigt die Kapazität und die Performance

Ich habs jetzt so verstanden:
ESXi
darunter z.B. OpenIndiana mit
zpool create sanpool mirror dev0 dev1
dev0 und dev1 sind onboard SATA.
In sanpool werden dann einzelne Filesysteme, je VM eins, angelegt mit
zfs create sanpool/vm1
usw. und dann dort gespeichert.
Mit gleichem OpenIndianda ein weiterer mirror pool, weil ich meinen Pool nur als mirrors haben will und nicht raidz(1-3), mit
zpool create datengrab_backup mirror dev10 dev11 mirror dev12 dev13 ...

Falsch: Alle Pool Platten (sanpool und datengrab) hängen am SAS Controller mit pass-through.
Onboard Sata ist nur für die eine esxi Bootplatte sowie als Speicherort für das virtualisierte Nexenta/ Solaris selber.
Sata-Ports sind für die VM's nicht sichtbar.

ansonsten Korrekt
das ergibt einen Pool sanpool als Raid -1 und einen weiteren Pool
datengrab_backup als Raid-10 (wobei hier eher ein Raid-Z sinnvoll wäre)

Auf dem sanpool wird dann ein !! ZFS angelegt z.b. sanpool/nfs und per NFS und CIFS freigegeben. Unter ESXI wird dann dieses NFS-Share als datastore benutzt und alle VM's auf diesem einen datastore abgelegt.
(Für jede VM legt ESXi einen Ordner an)

Jetzt hab ich aber in den vorigen Post gelernt, dass bei ESXi nur ein gesamter PCIe Device durchgereicht werden kann - alles oder nichts.
Das würde aber bedeuten, dass ich eine getrennte HBA für sanpool stecken muss. Komplett getrennte HBAs auch für datengrab_backup - sonst funktioniert es nicht mit dem Powermanagement.
Oder kann ich mit dem Powermanagement einzelne HDs auf meiner LSI HBA ansprechen?

Der SAS-Ciontroller mit seinen max 8 Festplatten wird durchgereicht. 2 Platten bilden den sanpool, 4Platten den Backuppool. Weitere zwei Platten könnten die Pools vergrößern.

Powermanagement arbeitet nicht controllerbasiert sondern plattenbasiert. Jede einzelne Platte die entsprechend lange nicht genutzt wird, wird schlafen gelegt. Unabhängig vom Pool oder vom Controller.
(Fault-Management deaktivieren siehe Nexenta Project - Power Mgmt not working - The Nexenta Project)

Jetzt geh ich mal davon aus, dass die meisten HomeUser ihre selbstgemachte Musik, ihre selbstgedrehten Filme oder die Filme welche sie mitgeschnitten haben auf "datengrab_backup" ablegen. Diese Dateien also die überwiegende Mehrheit im pool sind.
Bei solchem Datenbestand macht aber Dedup überhaupt keinen Sinn, da keine Datenduplikate vorhanden sind. Link

Wenn keine Dubletten da sind, braucht man keine Deduplizierung. Dedup arbeitet aber blockbasiert. Ein Video bearbeiten und die Kopie abspeichern, bedeutet vermutlich > 90% identische Inhalte. Auch bei VM's würde es sich anbieten wenn es nicht so grosse Vorraussetzungen (RAM, CPU) hätte. Auch für Projektdaten ist es ideal. Wer kennt da nicht folgende Ordner Originale, Recherche, Enwurf, Erstfassung, Endfassung, Endfassung die Zweite, Endfassung die letzte - alle mit fast gleichem Inhalt.

Wie setzt du Punkt 3 um?
Steckst du weitere Netzwerkkarten in den Server, um einen Switch draus zu machen? Und welche Software nutzt du dazu?

Virtuelle Netzwerkswitche sind eines der Killerfeatures von esxi.
einfach mal die Links von mlampe durchgehen.

kurzes Howto:
Die eine physikalische Netzwerkkarte mit einem virtuellen Switch verbinden.
Die virtuellen Netzwerkkarten der VM's mit den Ports des virtuellen Switch verbinden. Es lassen sich dann virtuelle Netze (portbasiert oder per vlan) aufbauen.

 

[sun-man]

Ich empfehle nochmal die vorzügliche ZFS FAQ, gerade für Raidlevel und so.
ZFS Best Practices Guide - Siwiki

 

[layerbreak]

Falsch. ZFS kennt sehr wohl Raid-1 (mirror) und Raid 10 (striped mirror)
Einfach einen mirror anlegen und einen oder mehrer weitere Mirrors hinzufügen. Mit jedem weiteren Mirror steigt die Kapazität und die Performance

Ich meinte jetzt, zfs kenn raid-0 bis raid-60 nicht, sondern nur mirror, raidz1,2,3.
Aber wir sprechen Beide vom Gleichen.

das ergibt einen Pool sanpool als Raid -1 und einen weiteren Pool
datengrab_backup als Raid-10 (wobei hier eher ein Raid-Z sinnvoll wäre)

Warum, nur weil raidz ca. 20 % mehr Speicherplatz zur Verfügung stellt.
Ich sehe die Vorteile von mirror pool trotzdem als weit größer an.
- höherer, schnellerer Durchsatz, I/O
- scrubbing, resilver vieles schneller, da nur jeweils 2 Platten gleichzeitig beackert werden,
- geht eine Platte im pool kaputt, Neue rein und resilver mit der einen "Partnerplatte" fertig und nicht über den ganzen raidz-pool,
- pool lässt sich mit nur 2 Platten, egal welcher Größe, mehr ausbauen,
- Plattengröße ist immer nur paarweise wichtig,

Constantin Gonzalez geht in seinem Blog detailliert darauf ein, ferner haben mich die vielen Diskussionen in zfs-discuss von mirror-pools überzeugt.

Auf dem sanpool wird dann ein !! ZFS angelegt z.b. sanpool/nfs und per NFS und CIFS freigegeben. Unter ESXI wird dann dieses NFS-Share als datastore benutzt und alle VM's auf diesem einen datastore abgelegt.
(Für jede VM legt ESXi einen Ordner an)

Du legst alle VMs in einem FS ab?
Auf deiner Seite napp-it beschreibst du, dass du snapshots von den VMs mit zfs machst und nicht mit ESXi. Wenn alle VMs aber in einem FS sind, wird mit jedem snapshot alle VMs gleichzeitig gesichert und nicht jede einzeln, da snapshots nur FS oder Volumen sichern. Das bedeutet aber auch, dass beim rolling back Vorsicht angebracht ist, damit nicht die falsche VM überschrieben wird.

Wäre es nicht besser für jede VM ein eigenes FS anzulegen?

Virtuelle Netzwerkswitche sind eines der Killerfeatures von esxi.
einfach mal die Links von mlampe durchgehen.

kurzes Howto:
Die eine physikalische Netzwerkkarte mit einem virtuellen Switch verbinden.
Die virtuellen Netzwerkkarten der VM's mit den Ports des virtuellen Switch verbinden. Es lassen sich dann virtuelle Netze (portbasiert oder per vlan) aufbauen.

Wie meinst du jetzt das Wort Killerfeatures. Possitiv oder negativ?

Ja, danke auch mlampe und dir für meinen sonntäglichen Lesestoff.

Ich empfehle nochmal die vorzügliche ZFS FAQ, gerade für Raidlevel und so.
ZFS Best Practices Guide - Siwiki

Da geb ich dir absolut Recht. Diese Seite ist vorzüglich. Solche Seiten über zfs sollte es auch in Deutsch geben, dann wäre die steile Lernkurve nicht mehr ganz so steil.

 

[Gelöschtes Mitglied 117520]

Nabend,

ich erlaube mir mal hier nochmal mein smartmontools Problem etwas aufzudröseln - glaube nämlich so weit weg von der Lösung kann ich nicht mehr sein Ich hoffe es :P

Hier erstmal einige Ausgaben:

root@karinka:/export/home/dieta# smartd -q onecheck
smartd 5.39.1 2010-01-28 r3054 [i386-pc-solaris2.11] (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

Opened configuration file /etc/smartd.conf
Configuration file /etc/smartd.conf parsed.
Device: /dev/rdsk/c0t0d0 [SAT], opened
Device: /dev/rdsk/c0t0d0 [SAT], not found in smartd database.
Device: /dev/rdsk/c0t0d0 [SAT], is SMART capable. Adding to "monitor" list.
Device: /dev/rdsk/c0t1d0 [SAT], opened
Device: /dev/rdsk/c0t1d0 [SAT], not found in smartd database.
Device: /dev/rdsk/c0t1d0 [SAT], is SMART capable. Adding to "monitor" list.
Device: /dev/rdsk/c0t2d0 [SAT], opened
Device: /dev/rdsk/c0t2d0 [SAT], not found in smartd database.
Device: /dev/rdsk/c0t2d0 [SAT], is SMART capable. Adding to "monitor" list.
Device: /dev/rdsk/c0t3d0 [SAT], opened
Device: /dev/rdsk/c0t3d0 [SAT], not found in smartd database.
Device: /dev/rdsk/c0t3d0 [SAT], is SMART capable. Adding to "monitor" list.
Device: /dev/rdsk/c0t4d0 [SAT], opened
Device: /dev/rdsk/c0t4d0 [SAT], not found in smartd database.
Device: /dev/rdsk/c0t4d0 [SAT], is SMART capable. Adding to "monitor" list.
Device: /dev/rdsk/c0t5d0 [SAT], opened
Device: /dev/rdsk/c0t5d0 [SAT], not found in smartd database.
Device: /dev/rdsk/c0t5d0 [SAT], is SMART capable. Adding to "monitor" list.
Device: /dev/rdsk/c3t3d0 [SAT], opened
Device: /dev/rdsk/c3t3d0 [SAT], found in smartd database.
Device: /dev/rdsk/c3t3d0 [SAT], is SMART capable. Adding to "monitor" list.
Monitoring 7 ATA and 0 SCSI devices
Device: /dev/rdsk/c0t0d0 [SAT], opened ATA device
Device: /dev/rdsk/c0t1d0 [SAT], opened ATA device
Device: /dev/rdsk/c0t2d0 [SAT], opened ATA device
Device: /dev/rdsk/c0t3d0 [SAT], opened ATA device
Device: /dev/rdsk/c0t4d0 [SAT], opened ATA device
Device: /dev/rdsk/c0t5d0 [SAT], opened ATA device
Device: /dev/rdsk/c3t3d0 [SAT], opened ATA device
Started with '-q onecheck' option. All devices sucessfully checked once.
smartd is exiting (exit status 0)

Es geht um die Platten die onboard verbunden sind. Was ich nicht in die Birne bekomme - im BIOS ist SMART aktiviert, allerdings sind die Platten lt. smartctl nicht "enabled":

root@karinka:/export/home/dieta# smartctl -a /dev/rdsk/c0t0d0 -d sat
smartctl 5.39.1 2010-01-28 r3054 [i386-pc-solaris2.11] (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF INFORMATION SECTION ===
Device Model:     Hitachi HDS721010CLA332
Serial Number:    JP2921HQ1HD85A
Firmware Version: JP4OA39C
User Capacity:    1,000,204,886,016 bytes
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   8
ATA Standard is:  ATA-8-ACS revision 4
Local Time is:    Sun Jan  9 00:53:15 2011 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

SMART Disabled. Use option -s with argument 'on' to enable it.

starte ich den Befehl mit "-s on" bekomme ich:

A mandatory SMART command failed: exiting. To continue, add one or more '-T permissive' options.

Ok!

root@karinka:/export/home/dieta# smartctl -a /dev/rdsk/c0t0d0 -d sat -s on -T permissive
smartctl 5.39.1 2010-01-28 r3054 [i386-pc-solaris2.11] (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF INFORMATION SECTION ===
Device Model:     Hitachi HDS721010CLA332
Serial Number:    JP2921HQ1HD85A
Firmware Version: JP4OA39C
User Capacity:    1,000,204,886,016 bytes
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   8
ATA Standard is:  ATA-8-ACS revision 4
Local Time is:    Sun Jan  9 00:53:35 2011 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF ENABLE/DISABLE COMMANDS SECTION ===
Error SMART Enable failed: I/O error
Smartctl: SMART Enable Failed.

SMART Disabled. Use option -s with argument 'on' to enable it.

Und ab hier drehe ich mich im Kreis.

Die /etc/smartd.conf sieht wie folgt aus:

/dev/rdsk/c0t0d0 -a -d sat,12
/dev/rdsk/c0t1d0 -a -d sat,12
/dev/rdsk/c0t2d0 -a -d sat,12
/dev/rdsk/c0t3d0 -a -d sat,12
/dev/rdsk/c0t4d0 -a -d sat,12
/dev/rdsk/c0t5d0 -a -d sat,12
/dev/rdsk/c3t3d0 -a -d sat,12

Würde mich freuen wenn jemand 'ne Idee hätte

 

[gea]

Ich meinte jetzt, zfs kenn raid-0 bis raid-60 nicht, sondern nur mirror, raidz1,2,3.

ZFS hat sehr wohl etwas ähnliches wie Raid-0 oder raid 60
raid 0 = ZFS Pool aus basic disk + basic disk
raid 60 = ZFS Pool aus Raid Z2 + Raid Z2

Mit ZFS läßt sich Raidmäßig praktisch alles abbilden.

Warum, nur weil raidz ca. 20 % mehr Speicherplatz zur Verfügung stellt.

4TB zu 6 TB sind 2 TB=50% mehr.
Bei noch mehr Platten verschlechtert sich das Verhältnis weiter.
Aber es ist klar eine Abwägung Platz : Performance.
Deshalb auch sanpool raid 1 oder 10 und backup als Raid-Z irgendwas.

Du legst alle VMs in einem FS ab?
Auf deiner Seite napp-it beschreibst du, dass du snapshots von den VMs mit zfs machst und nicht mit ESXi. Wenn alle VMs aber in einem FS sind, wird mit jedem snapshot alle VMs gleichzeitig gesichert und nicht jede einzeln, da snapshots nur FS oder Volumen sichern. Das bedeutet aber auch, dass beim rolling back Vorsicht angebracht ist, damit nicht die falsche VM überschrieben wird.

Wäre es nicht besser für jede VM ein eigenes FS anzulegen?

Das hängt wie oft von den Anwendungen ab. Meine VM's sind relativ kleine Server ohne viel Daten und lassen sich in vertretbarer Zeit kopieren. Ich mache daher auch kein roll-back des Dateisystems sondern ein Wiederherstelen auf Ordnerebene via Windows-Vorherige Version via SMB. Das ist eben sehr viel komfortabler. Bei großen VM's sind sicher weitere Dateisysteme und Rollback besser.

Wie meinst du jetzt das Wort Killerfeatures. Possitiv oder negativ?

Absolut positiv, ist etwas wirklich Tolles.
Solaris* hat mit Crossbow zwar etwas vergleichbares, das nützt aber nichts, solange es keine vernünftige Virtualisierung unter Solaris*gibt. Ausserdem läßt es sich mit vspehre, wenn man das Prinzip erkannt hat, sehr einfach konfigurieren; Eine Wohltat verglichen mit Hyper-V das wir vorher hatten.




---------- Beitrag hinzugefügt um 01:20 ---------- Vorheriger Beitrag war um 01:13 ----------

Und ab hier drehe ich mich im Kreis.

nur wieder was vom HörenSagen:
OpenSolaris Forums : Smartmontools + SATA disks ...

..but the problem is that the SUNWhd module only works correctly on certain disk controllers (like the Marvell 88sx controller and a couple others) that (surprise!) are used on the x86 servers that Sun sells to it's customers (like the x4500 and x4540 "Thumper" series). This is akin to IBM's AIX only being able to get SMART data on IBM Power server's or HP's HP-UX only being able to get SMART data on HP Itanium servers but with one crucial difference: the source code for this new SATA frame work is probably buried somewhere inside the massive amount of OpenSolaris source code that is available on the internet, so you are free to extend the new SATA framework to other disk controllers on non-SUN manufactured hardware and have your changes get put back to the main OpenSolaris source code tree if you have the desire and skill to do so.

 

[Gelöschtes Mitglied 117520]

Moin,

einen kleinen Schritt bin ich weiter:

root@karinka:/etc/munin/plugins# smartctl -s on -a /dev/rdsk/c0t1d0 -d sat,12
smartctl 5.39.1 2010-01-28 r3054 [i386-pc-solaris2.11] (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF INFORMATION SECTION ===
Device Model:     Hitachi HDS721010CLA332
Serial Number:    xxxxxxxxxxxxx
Firmware Version: JP4OA3EA
User Capacity:    1,000,204,886,016 bytes
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   8
ATA Standard is:  ATA-8-ACS revision 4
Local Time is:    Sun Jan  9 02:52:52 2011 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF ENABLE/DISABLE COMMANDS SECTION ===
SMART Enabled.

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x84) Offline data collection activity
                                        was suspended by an interrupting command from host.
                                        Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever 
                                        been run.
Total time to complete Offline 
data collection:                 (10223) seconds.
Offline data collection
capabilities:                    (0x5b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        No Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine 
recommended polling time:        (   1) minutes.
Extended self-test routine
recommended polling time:        ( 170) minutes.
SCT capabilities:              (0x003d) SCT Status supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   016    Pre-fail  Always       -       0
  2 Throughput_Performance  0x0005   136   136   054    Pre-fail  Offline      -       94
  3 Spin_Up_Time            0x0007   129   129   024    Pre-fail  Always       -       324 (Average 262)
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       12
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   138   138   020    Pre-fail  Offline      -       31
  9 Power_On_Hours          0x0012   100   100   000    Old_age   Always       -       414
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       12
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       21
193 Load_Cycle_Count        0x0012   100   100   000    Old_age   Always       -       21
194 Temperature_Celsius     0x0002   222   222   000    Old_age   Always       -       27 (Lifetime Min/Max 18/30)
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       0

SMART Error Log Version: 0
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]


SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

bzw.

root@karinka:~# smartctl -s on /dev/rdsk/c0t1d0 -d sat,12
smartctl 5.39.1 2010-01-28 r3054 [i386-pc-solaris2.11] (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF ENABLE/DISABLE COMMANDS SECTION ===
SMART Enabled.

Starte ich aber meine temps.sh, bekomme ich leider immer noch keine Temperaturen angezeigt. Kann es sein, dass der den SMART Status nach dem Test wieder abschaltet?

 

[travelfreak]

Ich hab jetzt mal testweise Nexentastore auf XenServer als VM installiert.
Der VM habe ich 2 weitere Disks hinzugefügt. Diese werden aber in der
Webgui nicht angezeigt? Wo ist der Haken? Danke!

 

[Gelöschtes Mitglied 117520]

Ich hab schon wieder eine Frage :P

Und zwar kam mir vorhin die Idee ich könne ja mal spaßeshalber meine beiden Intel GBit Karten die im Mac Pro verbaut sind (onboard) zu einem Bonding zusammenfassen. Hier oben ist ein HP ProCurve 1800 im Regal welcher das GBit Netzwerk zur Verfügung stellt. Gesagt - getan. Rennt 1a - denke ich.

2 Fragen kommen nun:
1. Reicht denn ein einzelnes Kabel vom GBit Switch hier oben zum GBit Switch im Keller?
2. Kann ich Server einfach eine 2. Intel GBit PCIe NIC einbauen und die per Software bonden oder brauche ich auf der Seite auch wieder einen Switch der das übernimmt?

 

[gea]

um die Leistung zweier Netzwerkkarten zu bündeln, braucht man zwei Kabel und beide Seiten müssen es unterstützen. Es bringt aber nur etwas wenn mehrere Datenpackete parallel übertragen werde sollen. Ein einzelner Transfer wird nicht schneller.

siehe auch
http://www.hardwareluxx.de/community/f101/lan-teaming-etc-774546.html

 

[Gelöschtes Mitglied 117520]

Danke - ich hab mir eben schon die Finger verbrannt :P

Mein Time Machine Backup hat sich damit gekillt unter dem Vorwand "something wrong with the volume CNID DB, using temporary CNIDB DB insted. Check server messages for
details. Switching to read-only mode."

dbd -r /$pfad

hatte zwar einiges korrigiert doch behob den Fehler nicht wirklich. Sprich: Ich konnte mein TM Volume killen und neu erstellen. Zum Glück hatte ich mir heute morgen quasi selbst ein Tutorial geschrieben: Time Machine Volumes with ZFS & AFP « klein2 blog

Danke für die schnelle Antwort gea

 

[gea]

hast du AFP von Hand kompiliert oder mein Online-Installationsscript benutzt?

als Info falls es nicht bekannt ist:
Ich habe AFP Sharing inkl. Time-Machine Support mit Zero-Config und TimeMachine Quotas auf AFP Shares in meine napp-it web-Gui eingebaut

gea

 

[Gelöschtes Mitglied 117520]

Ich habs selber compiliert und auch Bonjour/avahi integriert.
Dein napp-it hatte ich ausprobiert, hatte allerdings einige Probleme gehabt und da ich Nexenta kennenlernen wollte habe ich beschlossen mich selber durchzuschlagen Zwecks Wissensaneignung.

 

[gea]

Probleme nach Möglichkeit rückmelden,
damit aus der 0.4 Version mal eine 1.0 wird )

 

[Gelöschtes Mitglied 117520]

Schande auf mein Haupt - nein mein ich wirklich so. War zu der Zeit schon in einem wirklich großen Projekt involviert (Kunde) und da stand mir der Kopf woanders

 

[negotiator]

Wie sind denn Eure Erfahrungen mit den aktuellen Platten mit 4k-Sektoren in Zusammenhang mit ZFS?
Ich plane kurzfristig den Umstieg auf ein RAID-Z mit entweder 5x WD20EARS oder 5x Samsung Spinpoint F4. Die EADS sind deutlich zu teuer und die alten F3 mit 512er Sektoren zu vernünftigen Preisen ebenfalls nahezu ausverkauft.

Im Hardforum gibt es einen Benchmark-Thread zu 4k-Platten, allerdings beziehen sich diese weitgehend auf das Package von sub.mesa basierend auf FreeBSD.
Ich möchte eigentlich ganz gerne bei Nexenta bleiben, daher die Frage, welche Optimierungen möglich sind und wie diese Platten möglichst sinnvoll und performant einzurichten sind.

 

[Gelöschtes Mitglied 117520]

Wenn mir jemand einen Weg zeigt einen sinnvollen Benchmark zu machen, biete ich mich gerne an. Ich habe 4x WD15EARS in meinem Nexenta Server als Backup-Platten verbaut.

 

[negotiator]

Gute Frage, was ein sinnvoller Benchmark ist. Bin eigentlich selbst kein Freund, irgendwelche synth. Benches über meine Platten laufen zu lassen.
Was macht den der Pool in MB/s lesend und schreibend im Schnitt und hast Du bei der Einrichtung irgendwas besonderes gemacht (Jumper an Platte gesetzt, irgendwelche Parameter bei der Einrichtung des Pools, ...?)

 

[Gelöschtes Mitglied 117520]

Hab die Platten einfach "drangeklatscht" - nix gejumpert und auch keine anderen Parameter als:

zfs create backup raidz1 c3d0t0 c3d1t0 c3d2t0 c3d3t0

Aber ich kann mal schauen was beim Scrub so rumkommt.

---------- Beitrag hinzugefügt um 16:35 ---------- Vorheriger Beitrag war um 16:29 ----------

Ok nach ca. 5min Laufzeit dürfte der Peak erreicht sein: 176MB/s

Das ist natürlich NICHT mit den 6x Hitachis 7200upm zu vergleichen die über 600MB/s beim Scrubben erreichen

 

[baldi]

Im Hardforum gibt es einen Benchmark-Thread zu 4k-Platten, allerdings beziehen sich diese weitgehend auf das Package von sub.mesa basierend auf FreeBSD.
Ich möchte eigentlich ganz gerne bei Nexenta bleiben, daher die Frage, welche Optimierungen möglich sind und wie diese Platten möglichst sinnvoll und performant einzurichten sind.

Ich hab schon viel probiert und Benchmarks gemacht ... jedoch ist die Sache mit den 4k-Platten noch zimliches Neuland und birgt noch viele Geheimnisse

Bei einem Raidz1 (5 Platten) erreiche ich sogar im WRITE bessere Werte als im READ -> merkwürdig?! ja
Bei einem Raidz2 (11 Platten) erreiche ich nahezu identische Werte ...

Es gibt diverse Einstellungen mit denen man die Blockgröße

Manche Leute berichten auch von katastrophalen Schreibraten im 1mb/s Bereich. Ich werd mal versuchen ein Script zu schreiben, welches mehrere Raidz-Konfigurationen automatisch testet (ähnlich wie dieses Script im hardforum / freebsd)

Folgende Sache werde ich auch mal probiern ZFS, zpool v28, OpenSolaris / OpenIndiana b147, 4k drives and you | Grant Pannell

Ich sag mal so ... 1gbit Netzwerkleitung kann ich locker auslasten und mehr brauch ich im Prinzip nicht.
Der Rest ist nur technische Spielerei und interessant, wenn man Pools exportiert/importiert/kopiert ...

 

[Gelöschtes Mitglied 117520]

Da stimmt ich baldi zu - deswegen sind die eigentlich auch ausreichend, wenn man nicht gerade ne Firma über eine 10GBit/s Leitung parallel mit Daten versorgen muss

Dennoch habe ich diese absichtlich für die Backups gewählt, einfach um die performanteren Platten für die täglichen Arbeiten zu haben.

 

[Gelöschtes Mitglied 117520]

Nabend,

ich habe ein kleines Script gebaut das man im crontab verwenden kann. Dieses prüft den Status eurer Pools und kann im Fehlerfall eine Meldung via Prowl an iOS Geräte (also iPhone & iPad) senden.

Alle Infos dazu hier: gesund-01 release « klein2 blog

PS. Natürlich ist es für Nexenta geschrieben, sollte aber zumindest unter *Solaris* auch direkt laufen.