[Sammelthread] ZFS Stammtisch

[gea]

Danke für die Ausführungen. Sehr interessant, auch wenn es mich nicht überzeugt. Entry Level und Midrange kann da vielleicht eine Grundlage sein.

Das Problem in dieser Diskussion ist, dass wir technische Fortschritte bei Dateisystemen mit der Frage mischen ob und wann das Sinn macht oder eingesetzt wird.

Das ist so wie wenn wir bei einer Autodiskussion die Frage ob ESP und ABS ein Fortschritt sind mit der Frage mischen ob und wann das in einem 40t LKW oder bei welchem Hersteller eingesetzt wird oder nicht.

 

[sun-man]

Stimmt auch wieder. Zudem? Welcher Storagehersteller scheert sich drum was WIR denken . Es wird viel Unsinn gemacht den Kunden wollen, aber am Backend ist Feierabend.

VG

 

[altgofur]

Was meinst du damit? Unter Windows verwende ich Diskcryptor und bei ganz neuen Systemen mit kompatiblen Mainboards (UEFI 2.3.1 aufwärts) und SSDs (eDrive, TCG Opal 2.0 & IEEE-1667 , M500, M550, 840 Evo...) die Bitlocker-eDrive-Funktionalität die die Crypto-Engine der SSD verwendet und somit keinerlei CPU-Last oder Performanceverluste erzeugt.

Bitlocker-eDrive funktioniert doch nur mit Bitlocker, oder? Ich habe zumindest auf die Schnelle hier im Zug nichts gefunden, dass darauf hindeutet, dass Diskcryptor oder Trueccrypt dies unterstützen.

Bitlocker wäre für mich jetzt nicht das Verschlüsselungstool der Wahl.

 

[TCM]

SSDs und HDDs sind mittlerweile als Computer-Blackboxen zu betrachten - kein Ort, an dem man Verschlüsselung machen will. Die Verschlüsselung gehört ins OS und der Datenträger hat nur verschlüsselte Daten zu kriegen.

 

[b99]

mal so eine Frage in den Stammtisch hinein: Ich habe mir jetzt für meinem Dell PowerEdge T20 ein 2. 4 GB ECC Modul direkt bei Dell gekauft, um somit für mein ZFS auf wenigstens 8 GB Ram zu kommen. Heute habe ich eine Versandbestätigung von Dell bekommen, aber es steht nirgendwo, womit die das verschicken. Hat jemand Erfahrung damit?

 

[sun-man]

SSDs und HDDs sind mittlerweile als Computer-Blackboxen zu betrachten - kein Ort, an dem man Verschlüsselung machen will. Die Verschlüsselung gehört ins OS und der Datenträger hat nur verschlüsselte Daten zu kriegen.

Naja, SAN Verschlüsselung und Festplattenverschlüsselung reichen und sind BSI konform. In den Firmen reicht BSI und Paranoia kann man woanders einsetzen. Wieviele Rechner/Server haben den Verschlüsselungschips die die Peromance nicht massiv einbrechen lassen?

Mal abgesehen davon: Hier verlässt keine einzige Platte das Unternehmen. Die gehen alle in den Shredder (Metallshredder) - meine das kommt auch vom BSI.

 

[layerbreak]

Besser spät als nie!

Richtig.

Was meinst du damit? Unter Windows verwende ich Diskcryptor und bei ganz neuen Systemen mit kompatiblen Mainboards (UEFI 2.3.1 aufwärts) und SSDs (eDrive, TCG Opal 2.0 & IEEE-1667 , M500, M550, 840 Evo...) die Bitlocker-eDrive-Funktionalität die die Crypto-Engine der SSD verwendet und somit keinerlei CPU-Last oder Performanceverluste erzeugt.
https://diskcryptor.net
http://www.hardwareluxx.de/communit...crypt-vs-bitlocker-vs-diskcryptor-689181.html
AnandTech | Hardware Accelerated BitLocker Encryption: Microsoft Windows 8 eDrive Investigated with Crucial M500
AnandTech | Crucial M550 Review: 128GB, 256GB, 512GB and 1TB Models Tested
AnandTech | Samsung SSD News: 1TB 840 EVO mSATA, RAPID for 840 Pro & eDrive for 840 EVO

Unter Linux kommt dmcrypt/LUKS zum Einsatz, vollständig verschlüsselt inklusive Root-Partition. Passwort bei Servern kann man via SSH in der init.rd eingeben oder via IPMI.
Ich nutze ZFS verschlüsselt seit Winter 2009 unter Linux, anfangs noch mit zfs-fuse, später mit ZFSonLinux. Zuvor unverschlüsselt seit Frühling/Sommer 2008 unter Opensolaris.

Das kann ich jetzt fast nicht glauben, dass DU auf Bitlocker und/oder Hardwareverschlüsselung setzt.
Bitlocker gehört zu MSFT und da behaupte ich, ohne es überhaupt beweisen zu können, dass es ein kleines oder auch größeres Hintertürchen gibt.
Bei der Hardwareverschlüsselung gab es vor einiger Zeit mal ein Bericht in der c't und da war nicht ein einziges Teil auch wirklich sicher. Zum Teil wurde die Passphrase im Klartext auf den Geräten gespeichert.

IMHO gehört Verschlüsselung ins Betriebssystem und das Speichermedium sollte nur verschlüsselte Daten angeliefert bekommen.
Leider sehen die Entwickler bei Illumos offensichtlich keine Notwendigkeit Dies umzusetzen. Es kann aber doch nicht sein, dass deren Kunden keine Verschlüsselung wollen. Spätestens seit den Steuer-CDs, den veröffentlichten Geheimdienstaktivitäten und der Industriespionage sollte doch jede Firma darauf bedacht sein ihre Daten zu schützen.

Dieses Konstrukt welches du machst, ist definitiv nichts für mich. Linux mit ZFS.
Dafür kenn ich mich bei Linux/ZFS überhaupt nicht aus und mein Wissen in Omnios/ZFS ist auch zu beschränkt, als dass ich mich hier auf Experimente einlasse. Und bei Verschlüsselung sollte man wohl genau wissen was man macht, wenn nicht sind die Daten ganz schnell für immer futsch - und ein Klartext-Backup macht das Ganze ja obsolet.

- - - Updated - - -

Ich hatte hier ja berichtet, dass in meinem Pool ein neue HDD den Geist aufgegeben hatte.

Kein Problem hab ja eine Spare im pool. Omnios wird jetzt ein resilver anstoßen und die Spare aktivieren und die Defekte rauswerfen.
Aber Pustekuchen - gar nichts passierte.

Ok, dann halt händisch.
# zpool replace -f pool_ripley c1t5000CCA22BEEF6A3d0 c1t5000CCA22BF5B9DEd0
Sofort beginnt das Resilvering.

Diese sprang aber nicht automatisch ein.

Der Grund war, dass ich 'autoreplace' nicht auf on gesetzt hatte und Dies ist notwendig, dass die Spare in einem Problemfall aktiviert wird.
Offensichtlich ist es im man zpool(1m) Section "Hot Spares" und bei Properties "autoreplace" falsch bzw. ungenügend beschrieben und keiner der Gurus von Illumos sieht eine Notwendigkeit darin, diese kleine Änderung in der Man-Page zu machen.

@gea, Verbesserungsvorschlag für napp-it:
In dem Moment wo über Pool erweitern eine Spare eingebunden wird, die Eigenschaften für diesen Pool auf 'autoreplace=on' setzen.

Das Problem ist, dass ich die defekte HDD nicht per remove aus dem pool bringe, da die Defekte überhaupt nicht mehr auftaucht in napp-it/delete - aber in napp-it/replace schon.
Solange bleibt der pool degraded.

Da ich oben den Befehl 'replace' genommen hatte, ging es nur mit

# zpool detach pool_ripley c1t5000CCA22BEEF6A3d0

die defekte HDD aus dem Pool dauerhaft zu entfernen.

 

[automatenraum]

Du beziehst dich hier explizit auf Hotspare, aber nur mal so als Info in den Raum geworfen:

Autoreplace funktioniert automatisch bei neuerer Hardware nur noch bei Hotspares.

Früher ging das mal noch bei gleichen Platten, die nur Controller und ID verwendeten, z. B: c2t0d0 -ID,
bei SAS2 Platten und WWN Disks (also die langen Nummern, wie c3t50014EE058D7E1C1d0) geht nur
manuelles Disk Replace, oder man hat vorher ein Hotspare definiert (und autoreplace auf on natürlich).

 

[startplus]

Bei autoreplace=on wird, eine als spare für den Pool definierte Platte verwendet, wenn:
* Der FMA agent ein event sendet

Das macht er aber wohl nicht in jedem (Plattenfehler)Fall.

Dann wird automatisch der Befehl zpool replace die_platte_entsprechend_dem_event eine_als_spare_def_platte ausgeführt.
... resilvered ...

Der Pool bleibt aber degraded.
* Die spare Platte bleibt eine spare Platte

Um den Pool wieder online zu bekommen stehen jetzt alle Wege offen die_platte_entsprechend_dem_event aus dem Pool zu enfernen:
zpool replace die_platte_entsprechend_dem_event eine_neue_platte
... resilvered ...
-> die spare Platte wird wieder ein verfügbares spare

oder zpool detach die_platte_entsprechend_dem_event
-> die spare Platte wird vdevPlatte
... wenn es die letzte spare Platte für den Pool war - hat der Pool jetzt keine spare Platte mehr.

Das eine Spare Platte nur ein temporären Ersatz für eine defekte Platte darstellt, ist im "Raidcontroller" Context normal. Der Techniker kommt halt erst am nächsten Tag und wechselt die defekte Platte aus. So bleibt die Geometrie des Raidverbundes(vdev) mit mehreren Controllern erhalten.

 

[gea]

Ich sehe das genauso mit autoreplace. Das geht nur wenn eine Platte nach einem Austausch die ID beibehält, nicht mit WWN wo jede Platte eine individuelle ID hat.

Ansonsten gilt:
Hotspare dem Pool hinzufügen reicht.
Beim Ausfall einer Platte springt die Hotspare (zumindes prinzipiell) ein

Wenn man es manuell macht:
zfs replace (oder napp-it Platte - ersetzen) ersetzt eine Platte durch eine andere

zfs detach entfernt eine Platte aus einem mirror
(oder napp-it Platte - entfernen, das entfernt mirrors oder cache disks)

Wenn die Platte die zum Ersetzen benutzt wird ein Hotspare war, so behält diese die Hotspare Eigenschaft. Die Idee dahinter ist, dass eine Hotspare nur solange einspringt bis man die defekte Platte durch eine Neue ersetzt hat und diese dann wieder zu einer normalen Hotspare wird.

 

[ty_ascot]

Hey,
mal eine kurze Frage zum "Design".
Ich hab hier im Moment 4x 4TB und es kommt später (im Laufe des Jahres) noch eine dazu (letzter freier Anschluss).
Es existieren bis zu 1TB Daten die absolut nicht verloren gehen dürfen und verfügbar sein sollen. Der Rest sind ca 5-6TB und relativ flexibel in der Größe tendentiell und hat überhaupt keine Anforderungen an Sicherheit und Verfügbarkeit.
Wie würdet ihr das ganze aufbauen, besonders im Hinblick auf die 5te Platte die noch kommen wird.
Systemlaufwerk ist getrennt.

 

[GuNa]

Hallo,

HILFE
habe heute versucht mein NAS (Illumios+Napp-it) auf Jumbo Frames umzustellen. Das NAS ist ein HP N54L mit 2 NIC (Interne und eine Intel Pro 1000 PCIe). Habe in der Napp-it GUI unter Netzwerk für die bge Schnittstelle MTU von 1500 auf 9000 geändert.
Seitdem kann ich auf das das NAS nicht mehr zugreifen. Einen Neustart habe ich schon probiert. Ping auf beide Adressen geht leider nicht.
Könnt ihr mir sagen wie ich die Änderung rückgängig machen kann oder wie ich die NIC's reseten kann oder ob es eine conf gibt die ich ändern kann?

Gruß

 

[gea]

zwei Möglichkeiten:

1. Auf einen früheren Systemsnap/BE zurückgehen.
Vor heiklen Aktionen würde ich immer einen BE anlegen (nur anlegen, nicht aktivieren)

oder 2.
an der Console die MTU manuell rücksetzen z.B.
dladm set-linkprop -p mtu=1500 bge0

Setting Datalink Properties - Oracle Solaris Administration: Network Interfaces and Network Virtualization

Ich würde auch das Management Interface nicht anrühren sodern nur Werte der zweiten Nic (e1000) anpassen.

 

[GuNa]

Mensch danke gea für die schnelle Antwort.
Lesson learnd.

Hab natürlich OmniOS drauf nicht Illuminos.

Ich komme wieder auf die Kiste.

Ein schönes WE wünsch ich dir!

 

[layerbreak]

@startplus, @gea,

ich kann nur auf das hinweisen, was ich auch am Sonntag geschrieben hatte.

Der Pool hatte den Status degraded, ob und wie fern der FMA agent ein Event generiert hat oder nicht, kann ich nicht nach vollziehen.

Wenn aber bei diesen Werten kein Event generiert wird - dann frage ich mich wann dann

SMART overall-health self-assessment test result: FAILED!
Drive failure expected in less than 24 hours. SAVE ALL DATA.
See vendor-specific Attribute list for failed Attributes.
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x000b 100 100 016 Pre-fail Always - 0
2 Throughput_Performance 0x0005 137 137 054 Pre-fail Offline - 78
3 Spin_Up_Time 0x0007 125 125 024 Pre-fail Always - 617 (Average 621)
4 Start_Stop_Count 0x0012 100 100 000 Old_age Always - 25
5 Reallocated_Sector_Ct 0x0033 100 100 005 Pre-fail Always - 0
7 Seek_Error_Rate 0x000b 058 058 067 Pre-fail Always FAILING_NOW 340
8 Seek_Time_Performance 0x0005 119 119 020 Pre-fail Offline - 35
9 Power_On_Hours 0x0012 100 100 000 Old_age Always - 170
10 Spin_Retry_Count 0x0013 100 100 060 Pre-fail Always - 0
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 25
192 Power-Off_Retract_Count 0x0032 097 097 000 Old_age Always - 4566
193 Load_Cycle_Count 0x0012 097 097 000 Old_age Always - 4566
194 Temperature_Celsius 0x0002 193 193 000 Old_age Always - 31 (Min/Max 15/47)
196 Reallocated_Event_Count 0x0032 100 100 000 Old_age Always - 0
197 Current_Pending_Sector 0x0022 100 100 000 Old_age Always - 8
198 Offline_Uncorrectable 0x0008 100 100 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x000a 200 200 000 Old_age Always - 0

Fakt ist auch, dass die Spare nicht automatisch eingesprungen ist.

Und diese Antwort habe ich von der eMail-Liste erhalten:

Instead of a 'zpool remove ...', you want to do a 'zpool detach ...' to
get rid of the old device. If you turn the 'autoreplace' property on
for the pool, the spare will automatically kick in the next time a drive
fails...

Kevin

The man page seems misleading or incomplete on the subject of
"autoreplace" and spares. Setting 'autoreplace=on' should cause your
hot spare to kick in during a drive failure - with over 1100 spindles
running ZFS here, we've had the "opportunity" to test it many times! ;-)

I couldn't find any authoratative references for this, but here's a few
unautoratative ones:

Solaris
Open or not open, that is the stupid question.: [Level 1] How to Set Autoreplace in ZFS Pool?
Sun - ZFS cheatsheet

Hope this helps,
Kevin

Da Kevin Unix Admin an der Colorado State ist, bin ich davon ausgegangen, dass er schon weis von was er schreibt.

 

[gea]

Ich beschäftige mich jetzt seit 2008 intensiv mit Solaris und ZFS und entdecke dennoch täglich Neues. Auch verhält es sich auf jeder Hardware und jeder Distribution manchmal anders. Manchmal merkt man nichteinmal dass sich ein bekanntes Verhalten ändert wie bei autoreplace und WWN. Wenn man keine LSI SAS2 HBA's im IT-Mode (da gibts WWN) nutzt, merkt man das nie.

Ähnlich ist es mit Problemen. Da gibt es ganz klare Fälle, oft ist man da aber auf Tests, Spekulationen oder ein Gefühl aufgrund von Erfahrung angewiesen.Manchmal kann man das im Nachhinein garnicht erklären.

Das einzige was ich beitragen kann, ist dass ein Plattenfehler erst mit dem ersten vergeblichen Zugriff einen Fehler mit replace auslöst. Ein Fehler im Disk-Status reicht nicht immer.

- - - Updated - - -

Hey,
mal eine kurze Frage zum "Design".
Ich hab hier im Moment 4x 4TB und es kommt später (im Laufe des Jahres) noch eine dazu (letzter freier Anschluss).
Es existieren bis zu 1TB Daten die absolut nicht verloren gehen dürfen und verfügbar sein sollen. Der Rest sind ca 5-6TB und relativ flexibel in der Größe tendentiell und hat überhaupt keine Anforderungen an Sicherheit und Verfügbarkeit.
Wie würdet ihr das ganze aufbauen, besonders im Hinblick auf die 5te Platte die noch kommen wird.
Systemlaufwerk ist getrennt.

Ideal wäre:
- Ein Raid-Z2 aus 6 x 4 TB Platten (am Besten System auf SSD via USB)
Kapazität: 16 TB, (Plus 1 TB Extraplatte für Backup an USB)
2 beliebige Platten dürfen ausfallen. Genug Platz für Snaps mit Vorversionen.

Gut wäre:
Alles was zwei beliebige Ausfälle verkraftet, also ein Raid-Z2 ab 4 Platten
oder ein Raid-10 aus 4 Platten (je eine Platte per vdev darf ausfallen dafür bessere I/O als Raid-Z2)
Kapazität 8TB - auch hier das Backup nicht vergessen -> extra Platte

Ausfall egal: dann würde ich die Daten gar nicht erst ansammeln.

 

[layerbreak]

Ich beschäftige mich jetzt seit 2008 intensiv mit Solaris und ZFS und entdecke dennoch täglich Neues. Auch verhält es sich auf jeder Hardware und jeder Distribution manchmal anders. Manchmal merkt man nichteinmal dass sich ein bekanntes Verhalten ändert wie bei autoreplace und WWN. Wenn man keine LSI SAS2 HBA's im IT-Mode (da gibts WWN) nutzt, merkt man das nie.

Ähnlich ist es mit Problemen. Da gibt es ganz klare Fälle, oft ist man da aber auf Tests, Spekulationen oder ein Gefühl aufgrund von Erfahrung angewiesen.Manchmal kann man das im Nachhinein garnicht erklären.

Das einzige was ich beitragen kann, ist dass ein Plattenfehler erst mit dem ersten vergeblichen Zugriff einen Fehler mit replace auslöst. Ein Fehler im Pool-Status reicht nicht.

Aufgefallen war ja der HDD Fehler als wir eine Datei streamten und Diese auf einmal ins Stocken kam.

Ich kann aber noch einen oben drauf setzen.

Hab mich heute mal mit power.conf beschäftigt. Dazu den Server an ein Energieverbrauchsmessgerät gehängt um zu sehen, ob und wie Änderungen sich auswirken.
Als erstes hab ich über PowerMgmt/configure 300sec für CPU und 600sec für Discs eingetragen. Hier ist ein kleiner Fehler, denn in power.conf wird u.a.
cpu-threshold 300s eingetragen, aber der standardgemäße Eintrag cpu-threshold 1s wird nicht gelöscht.

An der Energieanzeige ist schön zu sehen, dass nach der vorgegebener Zeit der Verbrauch von ca 167W runter auf 82W geht - dann aber nach ein paar Minuten der Verbrauch wieder hoch geht.
Aahh, Moment da war doch was, bereits 2011 hatten wir hier auch schon mal die Diskussion über power.conf und da hatte @hominidae darauf hingewiesen, dass fmd regelmässig die Hardware überprüft.
Also noch in /usr/lib/fm/fmd/plugins/disk-transport.conf 'setprop interval 12h' hinzugefügt, Dienst neu gestartet und alles ok. Aber nichts wars - jetzt werden die HDD nicht mehr schlafen gelegt.

root@arche:~# fmadm faulty
--------------- ------------------------------------  -------------- ---------
TIME            EVENT-ID                              MSG-ID         SEVERITY
--------------- ------------------------------------  -------------- ---------
Apr 11 20:41:26 4bba2224-a942-60d8-b021-8b8d0f2ce052  FMD-8000-3F    Minor

Host        : arche
Platform    : X8SIA     Chassis_id  : 0123456789
Product_sn  :

Fault class : defect.sunos.fmd.config
Affects     : fmd:///module/disk-transport
                  faulted and taken out of service
FRU         : None
                  faulty

Description : A Solaris Fault Manager component could not load due to an
              erroroneous configuration file.  Refer to
              http://illumos.org/msg/FMD-8000-3F for more information.

Response    : The module has been disabled.  Events destined for the module
              will be saved for manual diagnosis.

Impact      : Automated diagnosis and response for subsequent events associated
              with this module will not occur.

Action      : Use fmdump -v -u <EVENT-ID> to locate the module.  Use fmadm load
              <module> to load the module after repairing its configuration.
#
root@arche:~# fmdump -v -u 4bba2224-a942-60d8-b021-8b8d0f2ce052
TIME                 UUID                                 SUNW-MSG-ID EVENT
Apr 11 20:41:26.9663 4bba2224-a942-60d8-b021-8b8d0f2ce052 FMD-8000-3F Diagnosed
  100%  defect.sunos.fmd.config

        Problem in: -
           Affects: fmd:///module/disk-transport
               FRU: -
          Location: -

Offensichtlich hat sich Dies von 2011 bis heute auch geändert.
Wie wird denn jetzt die "Überprüfungszeit"-Property geändert?

 

[gea]

Man kann jetzt alles was Plattenzugriffe macht (inkl. Fehlerprüfungen) abschalten damit die Platten schlafen können. Sie brauchen aber immer noch recht viel Strom und man muss beim Zugriff recht lange warten bis alle wieder laufen - macht viele andere Probleme.

Ich würde eher den Server an lassen wenn man ihn braucht und komplett ausschalten wenn nicht. Wenn das zu festen Zeiten geschieht, reicht ein down-job zusammen mit einer einfachen Zeitschaltuhr für Power off/on.

Wenn man flexibler beim Einschalten sein möchte geht das mit IPMI oder ganz universell mit einer IP-basierten Fernschaltsteckdose. Wenn man zwei Pool samt unabhängiger Stromversorgung hat könnte man auch den Server immer an lassen und nur einen Pool samt Platten stromlos schalten - idealerweise zusammen mit einem job für export-import.

 

[Timmie]

Werde aus bonnie++ so recht nicht schlau... Vorallem Seq-Write und Seq-Read passt doch vorne und hinten nicht. Ich würde gern wissen wie schnell Daten auf die Platte geschrieben und gelesen werden können.

https://www.dropbox.com/s/gjmyz5548dso00u/Screenshot%202014-04-12%2022.03.36.png

Der erste Pool ist RaidZ1 aus 3 3TB Platten. Der zweite ein mirror aus 2 2,5" 1TB Platten.

Sind die Werte okay?

Über LAN kommt mir das ganze nämlich irgendwie zulangsam vor, so hat der zweite Pool in etwa nur 30MB/s schreiben und 50MB/s lesen.

 

[automatenraum]

Die Werte können durchaus realistisch sein.

Die langsamen Transferraten können ihre Ursachen in Netzwerkkomponenten und/oder Netzwerkkonfigurationen haben. Das kann viele Ursachen haben und du müsstest durch testen herausfinden, was dafür verantwortlich ist.

z. B.:

* Netzwerkkarten: werden Intel Karten verwendet und keine billigen Realtek oder sonstige, die evtl. langsam sind oder Treiberprobleme machen
* Medium, welches Kabel wird verwendet, wie ist die Netzwerkinfrastruktur
* Switch
* Jumbo Frames testen (Vorsicht kann Probleme machen und muss auf beiden Seiten aktiviert werden)
* TCP Parameter tunen
* Einstellungen der Netzwerkkarten bzw. Konfiguration der Treiber optimieren

Grüße

 

[layerbreak]

Man kann jetzt alles was Plattenzugriffe macht (inkl. Fehlerprüfungen) abschalten damit die Platten schlafen können.

Ist dir das entsprechende Command und die man-page dazu bekannt, wie man die fma-Module verändern kann?

Sie brauchen aber immer noch recht viel Strom und man muss beim Zugriff recht lange warten bis alle wieder laufen - macht viele andere Probleme.

Das ist IMHO das größte Problem - es dauert bis zu 60 sec bis der Zugriff wieder anstandslos funktioniert und das ist nicht wirklich akzeptabel.

Ich würde eher den Server an lassen wenn man ihn braucht und komplett ausschalten wenn nicht. Wenn das zu festen Zeiten geschieht, reicht ein down-job zusammen mit einer einfachen Zeitschaltuhr für Power off/on.
Wenn man flexibler beim Einschalten sein möchte geht das mit IPMI oder ganz universell mit einer IP-basierten Fernschaltsteckdose.

Das Problem mit der Zeitschaltuhr ist halt, dass man per IPMI nicht mehr an den Server kommt. Am flexibelsten wäre wenn 'autoshutdown' richtig funktionieren würde -
Ich versuchs mal - also frei nach dem Motto "Versuch macht klug"

Wenn man zwei Pool samt unabhängiger Stromversorgung hat könnte man auch den Server immer an lassen und nur einen Pool samt Platten stromlos schalten - idealerweise zusammen mit einem job für export-import.

Das hört sich richtig geschmeidig an. Beim nächsten Generationenwechsel ist das für mich eine Option.
Wenn ich dich richtig verstehe, ein separates Case mit MB und allen HBAs. Eigenes Case für den Pool_X mit Netzteil und HDDs - verbunden nur an die zugehörigen HBAs. Weitere Cases jeweils nur für eine Pool.

Patrick hatte doch da mal was auf seiner Webseite vorgestellt. Supermicro CSE-PTJBOD-CB1 JBOD Power Board - DIY JBOD Made EasySTH – Server and Workstation Reviews
Ich frage mich nur, wie soll das WOL command bei dem SM jbod Teil ankommen oder braucht mal letztendlich doch ein MB, ein 0815-Teil, das nur die Funktion hat, das Ganze zum Leben zu erwecken.

 

[automatenraum]

Ich hatte mir vor Jahren mal ein externes Gehäuse von Netstor zugelegt, als mein Server noch in einem normalen PC Gehäuse eingebaut war. Mittlerweile nutze ich das externe Gehäuse für meinen Backuppool, welchen ich dann stromlos machen und abklemmen kann.

Sowas - muss ja kein Netstor sein - könnte man auch gut nutzen, um nicht so oft benutzte Pools unterzubringen und per IP Steckdose abschalten und Pools eportieren/importieren.

 

[gea]

Ist dir das entsprechende Command und die man-page dazu bekannt, wie man die fma-Module verändern kann?

Leider nein - ich müsste auch googeln und dann Versuche starten.

Ansonsten
- es gibt IP Steckdosen mit Timer z.B (hab diese nicht selber getestet)
http://www.amazon.de/Websteckdose-D...8&qid=1397407570&sr=1-7&keywords=schalter+web

Wenn man ein externes Case nimmt, dann am Bestern als externes SAS JBOD Case (also nur Platten, kein Mainboard), entweder SAS Platten direkt angeschlossen oder per SAS Expander. Sata sollte man vermeiden sofern man die max. 1m Kabellänge nicht einhalten kann (mit Expandern würde ich Sata nach Möglichkeit immer vermeiden)

 

[Colttt]

@sun-man: ich hab jetzt leider nicht alles verfolgt oder gelesen. Aber ich bin der Meinung das man mit einem ZFS-SAN NetApp/EMC/Equalogic bis 100k locker mithalten kann. Alles was danach kommt müsste man genau prüfen, aber ich denke das die großen auch nicht Zaubern können und es alles machbar ist.

Du hattest öfters geschrieben das die großen/teuren systeme XY können was ZFS nicht kann.. kannst du mir das bitte nochmal auflisten?

Schonmal danke vorab

 

[bogomil22]

Hallo, ich möchte hier nochmal zwei Themen aufgreifen, auch wenn sie hier schon öfters besprochen wurden.

1) Zu Geli und Raidz: Soweit ich es verstanden habe liegt die GELI Verschlüsselung unterhalb des ZFS Raidz2. Heisst natürlich die ganze Disk (nicht einzelne FS) ist verschlüsselt. Was ich aber nicht verstehe ist wie das überhaupt funktioniert Ich mein sagen wir mal eine HDD geht kaputt -> Durch das Raidz2 ist das ja kein Problem. Aber das GELI liegt ja noch unterhalb der Raid-Engine sodass ZFS vielleicht irgendwas resilvern kann, aber nicht die verschlüsselung. Würde dann ZFS nicht nur Schrott resilvern? Ich verstehe grad nicht wie das gehen soll.

2) Ich hatte vor einiger Zeit mal einige Links bezüglich TRIM support gepostet nachdem die Frage aufkam wie der aktuelle Stand ist. (z.B. diesen). FreeBSD hat ja schon länger TRIM support mit ZFS. Warum implementiert man nicht einfach den Code zu Illumos/Solaris? Geht das aufgrund der verschiedenen Architekturen nicht? Es wird zwar HIER beschrieben das der Ansatz von FreeBSD nicht so toll ist wie der Versuch von Illumos TRIM zu implementieren aber laut dem Feature-Ticket tut sich da seit 2 Jahren nichts mehr.

PS: Die ZFS Erneuerungen/Updates von nexenta, OI und OmniOS basieren ja alle auf illumos richtig? Wie sieht das bei FreeBSD, FreeNas etc aus? Programmieren die ihre eigenen neuen ZFS Features oder ist illumos auch bei denen die zentrale Anlaufstelle und implemtieren diese einfach?

 

[TCM]

1) Zu Geli und Raidz: Soweit ich es verstanden habe liegt die GELI Verschlüsselung unterhalb des ZFS Raidz2. Heisst natürlich die ganze Disk (nicht einzelne FS) ist verschlüsselt. Was ich aber nicht verstehe ist wie das überhaupt funktioniert Ich mein sagen wir mal eine HDD geht kaputt -> Durch das Raidz2 ist das ja kein Problem. Aber das GELI liegt ja noch unterhalb der Raid-Engine sodass ZFS vielleicht irgendwas resilvern kann, aber nicht die verschlüsselung. Würde dann ZFS nicht nur Schrott resilvern? Ich verstehe grad nicht wie das gehen soll.

Das sind einfach Schichten: Disk <-> GELI <-> ZFS.

GELI verschlüsselt zur Disk hin und entschlüsselt zu ZFS hin. Für ZFS ist das einfach eine (virtuelle) Disk im Klartext.

 

[Timmie]

Würde gern auf einem Windows PC ein Snapshot per Doppelklick erstellen können. Soweit ich weiß muss man sich dann ja erst einloggen der ssh und dann über die Kommandozeile den Snapshot erstellen.

Gibt es wen der das ganze schonmal als eine Art Batch Datei erstellt hat? Wo man dann einfach nur noch per Doppelklick ein Snap anlegen kann?

 

[widdo]

müsste das nicht so in der art gehen?
ssh benutzer@zfs 'zfs snapshot tank/test@`date +%F-%T`'

braucht man natürlich ein installiertes SSH

EDIT: mir fällt gerade auf das steht alles in man ssh, man zfs und man date
hätte mit den beitrag sparen können

 

[phlowx]

Unter Windows sollte sich das recht einfach mit plink.exe realisieren lassen.

plink.exe -pw PASSWORT (alternativ mit Keyfile) root@IP "zfs snapshot tank/daten@$(date +%F-%T)"

 

[excelsionb]

Hallo,

bei uns ist die Entscheidung gefallen, unsere Nutzer auf VDI umzustellen. Zunächst sind die ersten 200 "Office"-Nutzer an der Reihe. Was steht alles fest: Jeder Nutzer eine eigene VM, wobei wir mit 8GB RAM und 100GB HDD ausgehen. Es wird wohl gleich Windows 8.1 werden

Und da stehen wir nun und haben uns von verschiedenen Herstellern mit Werbung berieseln lassen.

1. HP: Einer unserer Haus- und Hoflieferanten. "EVA" ist tot. Eine "3Par" soll es richten.
2. Dell: Will schon lange bei uns einen Fuß in die Türe bekommen.
3. Nuantix: Keine Ahnung, woher die wussten, dass wir VDI planten.
4. Tintri: "Bei uns booten 400 VMs innerhalb von 10 Minuten".


Jeder "schimpft" über den anderen. Ok, falsch formuliert. Aber jeder ist natürlich besser als der andere... Wer es werden soll? Keine Ahnung. Meine KollegInnen und ich sind da verschiedenster Meinung und keiner weiß so richtig, was man nehmen soll.

Wie hieß es früher: Wenn Du Cisco kaufst, wirst Du nicht gefeuert (wenn was schief laufen sollte). Also sollen wir HP nehmen? Weil die schon immer bei uns waren. Weil wir dann die Schuld bei Bedarf auf HP schieben können? Dazu natürlich der original Hersteller Servicevertrag?

Was unterscheidet denn die Hersteller so großartig voneinander? Wenn ich mir die verschiedenen angepriesenen Varianten anschaue:

Man nehme:
- SAS/Fibrechannelplatten
- x-fach redundante Controller
- PCIe-SSDs fürs Caching
- genügend ECC-RAM
- irgendeine Blackbox-Logik, die automatisch, basierend auf der benötigten IOP-Auslastung, die VMs zwischen den Platten verschiebt
- manch einer wirbt mit eigenen ASICs, die irgendetwas beschleunigen sollen.


Neben den obengenannten ist das ganze für mich Einheitsbrei. Die Hardware kann ich mir selbst zusammenstellen.
Für den Preis, den ich für die obigen Varianten zahle, könnte ich mir 2,3,4 Quanta/Supermicro-Pendants mit einer Solaris/FreeBSD ZFS-Installation hinstellen (lassen). (Ja, wir haben meiner Meinung nach genügend Wo(men) power für das ganze) Wir werden für die VDI-Geschichte sowieso mehr ausgeben, als man uns consultet hat. Also wieseo soll ich mich auf eine proprietäe Blackbox einlassen...

Nachdem ich hier in diesem Thread schon auf ein paar größere Nutzer mit Hitachi-Systemen gestoßen bin, würde ich mich freuen, wenn der eine oder andere von Euch ein paar Tips in Sachen VDI geben könnte.

Grüße