[Sammelthread] ZFS Stammtisch

[Digi-Quick]

Interessant wären die Smartwerte aller HDDs gewesen, und nicht eine nicht nachvollziehbare "Beurteilung" derselben - von wegen Error oder nicht Error!
In deinem Eingangspost stand bei 9 HDDs "too many errors"
Anhand der Smartwerte hätte man evtl rausledsen können welcher Art diese Fehler sind (Current pending Sector count, uncorrectable Sector count, UDMA CRC Error count, HiFly Writes, G-Sense usw.)

Was ich gerade nicht verstehe: wieso werden 3 HDDs resilvered, wenn Raidz2 nur den Ausfall von 2 HDDs verträgt?

 

[SUNMorph]

Das sagt er noch immer bei den 9 Platten die degraded sind.

Ich bin momentan bei fast 10% reslivering. Leider bin ich, wie schon erwähnt , absoluter Laie was ZFS betrifft. Da kann gea vielleicht später genau Auskunft geben warum da jetzt 3 platten reslivered werden.

Kanns mir nur so vorstellen, das die Platten ja nicht defekt sind sondern nur einen Ausfall hatten und er jetzt den Pool aus allen Platten wieder aufbaut, oder das die 3 Platten nur aufgebaut werden und dann der pool zusammengesetzt wird. Wie gesagt ich lass mich überraschen, sehr spannend alles als Laie .

pool: Data
state: DEGRADED
status: One or more devices is currently being resilvered. The pool will
continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
scan: resilver in progress since Mon Jul 4 09:48:31 2016
1.13T scanned out of 12.9T at 467M/s, 7h21m to go
114G resilvered, 8.71% done
config:

NAME STATE READ WRITE CKSUM CAP Product /napp-it IOstat mess
Data DEGRADED 0 0 0
raidz2-0 DEGRADED 0 0 0
c3t5000C50049807259d0 DEGRADED 0 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C50049F749AEd0 DEGRADED 0 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C50049FF9F65d0 DEGRADED 0 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5004E9247FBd0 DEGRADED 0 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5004E94E28Fd0 DEGRADED 0 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5004E94EC17d0 DEGRADED 0 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5004E96106Ed0 DEGRADED 0 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5004F401AD1d0 ONLINE 0 0 0 (resilvering) 3 TB ST3000DM001-1CH1 S:0 H:0 T:0
c3t5000C5005241B1A8d0 DEGRADED 0 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5005DB2217Fd0 DEGRADED 0 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5005DB256E7d0 ONLINE 0 0 0 (resilvering) 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5005DB282B2d0 ONLINE 0 0 0 (resilvering) 3 TB ST3000DM001-9YN1 S:0 H:0 T:0

errors: No known data errors

- - - Updated - - -

Ok komisch, da stand gerade noch ca 7Std to go, jetzt ist er aber schon fertig.

pool: Data
state: DEGRADED
status: One or more devices has experienced an unrecoverable error. An
attempt was made to correct the error. Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
using 'zpool clear' or replace the device with 'zpool replace'.
see: http://illumos.org/msg/ZFS-8000-9P
scan: resilvered 146G in 0h52m with 0 errors on Mon Jul 4 10:41:15 2016
config:

NAME STATE READ WRITE CKSUM CAP Product /napp-it IOstat mess
Data DEGRADED 0 0 0
raidz2-0 DEGRADED 0 0 0
c3t5000C50049807259d0 DEGRADED 0 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C50049F749AEd0 DEGRADED 0 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C50049FF9F65d0 DEGRADED 0 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5004E9247FBd0 DEGRADED 0 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5004E94E28Fd0 DEGRADED 0 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5004E94EC17d0 DEGRADED 0 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5004E96106Ed0 DEGRADED 0 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5004F401AD1d0 ONLINE 0 0 0 3 TB ST3000DM001-1CH1 S:0 H:0 T:0
c3t5000C5005241B1A8d0 DEGRADED 0 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5005DB2217Fd0 DEGRADED 0 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5005DB256E7d0 ONLINE 0 0 0 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5005DB282B2d0 ONLINE 0 0 0 3 TB ST3000DM001-9YN1 S:0 H:0 T:0

errors: No known data errors

Hmm, Fragen über Fragen, was soll ich jetzt machen?

Soll ich so ein zpool clear durchführen? und wenn ja wie mache ich das genau (werde das natürlich auch noch googeln und selbst suchen) aber ich warte auf alle Fälle auf eure Anweisungen diesbezüglich.

Danke nochmals für die Hilfe

 

[SUNMorph]

Bei einem ZFS Raid-Z2 passiert folgendes:
-...... Ein Pool > Clear Erros und gut.
....

Hmm ich glaub ich bin blind ich finde unter dem PoolMenuReiter kein Clear Errors.

habs gefunden.

cannot open 'Data': pool I/O is currently suspended cannot open 'Users': I/O error
Pool VER RAW SIZE/ USABLE ALLOC RES FRES AVAIL zfs [df -h/df -H] DEDUP FAILM EXP REPL ALT GUID HEALTH SYNC ENCRYPT ACTION ATIME
Data - 32.5T/ 0 12.9T - - 0 [15T /16T] 1.00x wait off off - 10717948930174071048 UNAVAIL n.a. clear errors -
Users - -/ 0 - - - 0 [ /] - - - - - 3634831406708562917 FAULTED n.a. clear errors -
rpool - 34.8G/ 33.6GB 4.30G - - 28.3G [29G /31G] 1.00x wait off off - 2927956946084261417 ONLINE standard n.a. clear errors off
Info: RAW poolsize does not count redundancy, usable/available size is from zfs list, df -h displays size as a power of 1024 wheras df -H displays as a power of 1000

ich hoffe es war richtig hier bei Action auf clear errors zu drücken

jetzt schauts nach dem clear errors so aus

pool: Data
state: UNAVAIL
status: One or more devices are faulted in response to IO failures.
action: Make sure the affected devices are connected, then run 'zpool clear'.
see: http://illumos.org/msg/ZFS-8000-HC
scan: resilvered 8K in 0h0m with 0 errors on Mon Jul 4 12:15:13 2016
config:

NAME STATE READ WRITE CKSUM CAP Product /napp-it IOstat mess
Data UNAVAIL 0 0 0 insufficient replicas
raidz2-0 UNAVAIL 0 0 0 insufficient replicas
c3t5000C50049807259d0 ONLINE 0 0 0 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C50049F749AEd0 ONLINE 0 0 0 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C50049FF9F65d0 ONLINE 0 0 0 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5004E9247FBd0 FAULTED 27 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5004E94E28Fd0 ONLINE 0 0 0 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5004E94EC17d0 ONLINE 0 0 0 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5004E96106Ed0 ONLINE 0 0 0 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5004F401AD1d0 ONLINE 0 0 0 3 TB ST3000DM001-1CH1 S:0 H:1 T:2
c3t5000C5005241B1A8d0 ONLINE 0 0 0 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5005DB2217Fd0 FAULTED 12 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5005DB256E7d0 ONLINE 0 0 0 3 TB ST3000DM001-9YN1 S:0 H:0 T:0
c3t5000C5005DB282B2d0 FAULTED 9 0 0 too many errors 3 TB ST3000DM001-9YN1 S:0 H:0 T:0

errors: 7 data errors, use '-v' for a list

- - - Updated - - -

Ich habe napp-it nochmal gestartet.

nachdem ich Pools aufgerufen habe, hängt es und in den logs und auf der console bekomme ich folgende Fehlermeldungen.

Jul 4 12:38:52 NASOmniOS scsi_vhci: [ID 734749 kern.warning] WARNING: vhci_scsi_reset 0x1
Jul 4 12:38:52 NASOmniOS scsi: [ID 243001 kern.warning] WARNING: /pci@0,0/pci15ad,7a0@16/pci1000,3030@0 (mpt_sas7):
Jul 4 12:38:52 NASOmniOS mptsas_handle_event_sync: event 0xf, IOCStatus=0x8000, IOCLogInfo=0x31120101
Jul 4 12:38:52 NASOmniOS scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci15ad,7a0@16/pci1000,3030@0 (mpt_sas7):
Jul 4 12:38:52 NASOmniOS mptsas_check_task_mgt: Task 0x3 failed. IOCStatus=0x4b IOCLogInfo=0x0 target=18
Jul 4 12:38:52 NASOmniOS scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci15ad,7a0@16/pci1000,3030@0 (mpt_sas7):
Jul 4 12:38:52 NASOmniOS mptsas_ioc_task_management failed try to reset ioc to recovery!
Jul 4 12:38:54 NASOmniOS scsi: [ID 365881 kern.info] /pci@0,0/pci15ad,7a0@16/pci1000,3030@0 (mpt_sas7):
Jul 4 12:38:54 NASOmniOS MPT Firmware version v20.0.4.0 (SAS2308)
Jul 4 12:38:54 NASOmniOS scsi: [ID 365881 kern.info] /pci@0,0/pci15ad,7a0@16/pci1000,3030@0 (mpt_sas7):
Jul 4 12:38:54 NASOmniOS mpt_sas7 MPI Version 0x200
Jul 4 12:38:54 NASOmniOS scsi: [ID 365881 kern.info] /pci@0,0/pci15ad,7a0@16/pci1000,3030@0 (mpt_sas7):
Jul 4 12:38:54 NASOmniOS mpt7: IOC Operational.
Jul 4 12:39:11 NASOmniOS scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci15ad,1976@10 (mpt0):
Jul 4 12:39:11 NASOmniOS Disconnected command timeout for Target 0
Jul 4 12:39:31 NASOmniOS scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci15ad,1976@10 (mpt0):
Jul 4 12:39:31 NASOmniOS Disconnected command timeout for Target 0
Jul 4 12:39:51 NASOmniOS scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci15ad,1976@10 (mpt0):
Jul 4 12:39:51 NASOmniOS Disconnected command timeout for Target 0
Jul 4 12:40:03 NASOmniOS scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci15ad,7a0@16/pci1000,3030@0 (mpt_sas7):
Jul 4 12:40:03 NASOmniOS config header request timeout
Jul 4 12:40:03 NASOmniOS scsi: [ID 365881 kern.warning] WARNING: /pci@0,0/pci15ad,7a0@16/pci1000,3030@0 (mpt_sas7):
Jul 4 12:40:03 NASOmniOS NULL command for address reply in slot 1
Jul 4 12:40:11 NASOmniOS scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci15ad,1976@10 (mpt0):
Jul 4 12:40:11 NASOmniOS Disconnected command timeout for Target 0
Jul 4 12:40:31 NASOmniOS scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci15ad,1976@10 (mpt0):
Jul 4 12:40:31 NASOmniOS Disconnected command timeout for Target 0
Jul 4 12:40:51 NASOmniOS scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci15ad,1976@10 (mpt0):
Jul 4 12:40:51 NASOmniOS Disconnected command timeout for Target 0
Jul 4 12:41:04 NASOmniOS scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci15ad,7a0@16/pci1000,3030@0 (mpt_sas7):
Jul 4 12:41:04 NASOmniOS config header request timeout
Jul 4 12:41:11 NASOmniOS scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci15ad,1976@10 (mpt0):
Jul 4 12:41:11 NASOmniOS Disconnected command timeout for Target 0
Jul 4 12:41:31 NASOmniOS scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci15ad,1976@10 (mpt0):
Jul 4 12:41:31 NASOmniOS Disconnected command timeout for Target 0
Jul 4 12:41:51 NASOmniOS scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci15ad,1976@10 (mpt0):
Jul 4 12:41:51 NASOmniOS Disconnected command timeout for Target 0
Jul 4 12:42:05 NASOmniOS scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci15ad,7a0@16/pci1000,3030@0 (mpt_sas7):
Jul 4 12:42:05 NASOmniOS config header request timeout
Jul 4 12:42:05 NASOmniOS scsi: [ID 243001 kern.warning] WARNING: /scsi_vhci (scsi_vhci0):
Jul 4 12:42:05 NASOmniOS sd18: path mpt_sas8/disk@w5000c5004f401ad1,0, reset 1 failed
Jul 4 12:42:05 NASOmniOS scsi_vhci: [ID 734749 kern.warning] WARNING: vhci_scsi_reset 0x0
Jul 4 12:42:05 NASOmniOS scsi: [ID 365881 kern.warning] WARNING: /pci@0,0/pci15ad,7a0@16/pci1000,3030@0 (mpt_sas7):
Jul 4 12:42:05 NASOmniOS NULL command for address reply in slot 3
Jul 4 12:42:05 NASOmniOS scsi: [ID 365881 kern.warning] WARNING: /pci@0,0/pci15ad,7a0@16/pci1000,3030@0 (mpt_sas7):
Jul 4 12:42:05 NASOmniOS NULL command for address reply in slot 4

Bin absolut ratlos

 

[morph027]

Da ist was in der Hardware faul.

 

[SUNMorph]

ich habs auch schon befürchtet, gea meinte ja es liegt wahrscheinlich am HBA, Backplane oder der Stromversorgung.
meine Hardware schaut so aus.

Mainboard : Supermicro X9SCM IIF
CPU : Xenon eE3 1245v2
Ram : 32GB ECC
HBA : LSI 9207 4i4e
SAS Expander : HP 468406-B21
Gehäuse : Norco RPC-4224

2xi350 Netzwerkkarte für Sophos UTM

irgend einen Tipp womit ich jetzt anfangen soll?

---

EDIT:

ist es möglich die 12 harddisks von den oberen 3 backplanes in die unteren 3 zu setzen, als testzweck, oder müssen die Platten in der gleichen Reihenfolge bleiben?

Ich habe momentan alle platten draussen aus dem system. Sicherheitshalber.

 

[morph027]

Zwar unwahrscheinlich, aber du kannst ja mal schauen, ob alle Kabel zwischen HBA und Backplane ordentlich drin sind...

 

[SUNMorph]

Zwar unwahrscheinlich, aber du kannst ja mal schauen, ob alle Kabel zwischen HBA und Backplane ordentlich drin sind...

habe ich schon gemacht, heute in der früh

 

[SUNMorph]

Ok ich habe jetzt alle 12 Platten in die unteren 12 Slots gesteckt, clear errors gemacht und der Pool ist wieder vorhanden.

Wie kann ich jetzt die Fehlersuche gestalten, ich nehme an das einer der 3 oberen Backplanes defekt ist

 

[gea]

Man könnte jetzt umstecken nach dem Motto geht/geht nicht.

Nach dem clear error weiter oben waren 3 Platten "faulted", der Rest online.
Das könnte man jetzt als Anhaltspunkt für eine defekte Backplane nehmen (da wo die Platten drin waren)

Leider ist ein Expander beteiligt. Da kann eine halbdefekte Platte auch dazu führen, dass dadurch Probleme entstehen die nicht mehr eindeutig zugeordnet werden können. Wohl der Hauptgrund dass Anbieter wie z.B. auch OmniTo keinen Support für Lösungen mit Expander und Sata bieten. Professionell würde ich das daher niemals empfehlen und bei einem Expander immer SAS Platten einsetzen oder eben mit mehreren HBA und ohne Expander arbeiten

 

[Morpheus2200]

Da ich gerade dabei bin, meinen Homeserver Plattentechnisch neu aufzubauen/umzubauen:

Kann mir jemand kurz und knackig sagen, was ich für Vorteile mit ZFS statt wie bisher BTRFS habe?

Ich hab damals auf BTRFS gesetzt, weil mir im Hinterkopf lag, das ZFS doch etwas resourcenhungrig ist (?)

ist halt nur nen kleiner Dualcore Ontario (AMDs Antwort auf Intel Atom) und 8 GB Ram.

Grüße

 

[gea]

Ich bin jetzt nicht so der btrfs Spezialist, mit fällt aber folgendes pro ZFS ein

- viel ausgereifter
- läuft auf BSD, Linux, OSX und Solaris
- Raid-Z1-3 statt nur Raid-1 stabil verfügbar
- Zvols (ZFS Dateisystem als Blockdevice)
- L2ARC Cache SSD und Slog Logging device

btw
ZFS ist nicht besonders resourcenhungrig (wenn man Dedup ausser acht läßt)
Oracle gibt als Minimum für Solaris 2GB an - egal welche Poolgröße

Mehr RAM bringt aber wegen des größeren Lesecaches Performance

 

[Trambahner]

Ressourcenmäßig komm ich mit 8-9GB Ram für die BSD-VM hin bei einem Raidz2-Pool 6*6TB hin. Allerdings nur 1 User (ich ), dafür aber mit 10Gbit-Anbindung zu den Clients. Sequentiell read/write liegt dabei dann bei etwa 700-800 MB/s zwischen Windows-Clients und dem Pool.

(Hypervisor ESXI 5.5, Nas4free 10.2 als BSD-VM)

 

[Morpheus2200]

wie schaut das mit der CPU-Last aus? Ram wäre ja notfalls auch fix dazugesteckt, nur ein neues Brett + CPU ist erstmal nicht in Planung.

hmm.. SSD und Ram Caching ist mir ehrlich recht Wurst, daheim steht nur ein 1Gbit Netz... die 60-70MB/s schaffen die Platten auch so :P

'Raid-Z1-3' ... der Wikiartikel dazu kam mir jetzt nicht so hilfreich vor... Reichen da n+1 Platten für 'n-Kapazität'? Kann ich da Platten verschiedener Größen zusammenschmeißen?

Grüße

 

[SUNMorph]

Man könnte jetzt umstecken nach dem Motto geht/geht nicht.

Nach dem clear error weiter oben waren 3 Platten "faulted", der Rest online.
Das könnte man jetzt als Anhaltspunkt für eine defekte Backplane nehmen (da wo die Platten drin waren)

Leider ist ein Expander beteiligt. Da kann eine halbdefekte Platte auch dazu führen, dass dadurch Probleme entstehen die nicht mehr eindeutig zugeordnet werden können. Wohl der Hauptgrund dass Anbieter wie z.B. auch OmniTo keinen Support für Lösungen mit Expander und Sata bieten. Professionell würde ich das daher niemals empfehlen und bei einem Expander immer SAS Platten einsetzen oder eben mit mehreren HBA und ohne Expander arbeiten

Mir ist der Expander eh schon seit längerem ein Dorn im Auge, ich weiss du empfiehlst immer LSI Produkte für dein napp-it mit passtrough.

Würde der Adaptec auch mit EXSI Passtrough funktionieren?

Adaptec HBA 1000-16i Preisvergleich | Geizhals Österreich

 

[gea]

Mir ist der Expander eh schon seit längerem ein Dorn im Auge, ich weiss du empfiehlst immer LSI Produkte für dein napp-it mit passtrough.

Würde der Adaptec auch mit EXSI Passtrough funktionieren?

Adaptec HBA 1000-16i Preisvergleich | Geizhals Österreich

Mit pass-through - wahrscheinlich,
eventuell auch mit Windows, vielleicht auch mit Linux -
ganz sicher nicht mit Solarish und napp-it

Wenn ein 16 Port Controller, dann LSI 9201 oder 9300-16i
billiger sind wohl z.B. 2 x Dell H200 oder IBM 1015, jeweils mit LSI 9211/IT Firmware

 

[barnacle2k]

Mir ist der Expander eh schon seit längerem ein Dorn im Auge, ich weiss du empfiehlst immer LSI Produkte für dein napp-it mit passtrough.

Würde der Adaptec auch mit EXSI Passtrough funktionieren?

Adaptec HBA 1000-16i Preisvergleich | Geizhals Österreich

Wird der Expander evtl zu warm?
Denn der HP braucht definitiv nen lüfter in Gehäusen mit wenig airflow.

 

[SUNMorph]

Wird der Expander evtl zu warm?
Denn der HP braucht definitiv nen lüfter in Gehäusen mit wenig airflow.

ja er wird definitiv warm, zu warm glaube ich nicht, denn es sind 5 Lüfter im Gehäuse die meiner Meinung nach genug Airflow erzeugen sollten.

- - - Updated - - -

Mit pass-through - wahrscheinlich,
eventuell auch mit Windows, vielleicht auch mit Linux -
ganz sicher nicht mit Solarish und napp-it

Wenn ein 16 Port Controller, dann LSI 9201 oder 9300-16i
billiger sind wohl z.B. 2 x Dell H200 oder IBM 1015, jeweils mit LSI 9211/IT Firmware

haben die neueeren LSI irgendwelche Vorteile, ausser 12Gbits und PCI 3. Sie sind ja "nur" ca 50E teuerer als der 9201.

Wenns nur die 50E wären glaube ich würde ich die neure Version nehmen, ich müsste aber auch neue Kabel dann kaufen, dann sind wir schon wieder bei 100E+

Wattangabe haben sie beide ca die gleichen (möchte natürlich für nen Homeserver die so weit wie möglich unten halten), aber der 9201 hat noch dabei sethen das er nen bestimmten Luftzug braucht 16W Typical (Airflow min 200 LFM), ist der neuere diesbezüglich nicht so kritisch?

 

[gea]

Da es keine Platten gibt die 12G liefern und selbst schnelle SSDs nur 6G bieten, ist das performancemäßig egal. Relevant wird es nur, wenn man ein externes Jbod per Expander anbinden möchte. Bei einem HGST oder SuperMicro Case mit 60-90 Platten oder bei kaskadierten Expandern kann ein 12G Anschluß schon Sinn machen.

 

[Opticum]

Ist der IBM 1015 mit LSI Firmware immer noch Mittel der Wahl zum Durchreichen von 4 S-ATA Festplatten für ZFS?

 

[Trambahner]

@ dreadkopp : Der Unterbau ist ein X10SL7 nebst E3-1275v3. Der BSD-VM hab ich 2 Kerne gegeben (die sie natürlich selten bis nicht auslastet). Ich meine mal, 70% Peak CPU-Last dann in der Web-GUI von Nas4free der VM gesehen zu haben, in der Regel aber eher weniger. Arg wirds, wenn ich mit ZFS send/receive Snaps via SSH zur Backupkiste (ein T20 mit Xeon 1225v3) schubse, dann sind beide virtuellen Kerne ausnahmsweise annähernd auf Volllast wenn ich mich recht erinnere.

Aber wie gesagt: beim E3-1275v3. Wg. 10Gbit ists aber wohl nicht vergleichbar von der CPU-Last.


@ Opticum: So setze ich es ein. Der LSI2308 mit IT-Firmware im gerade genannten Supermicro, durchgereicht an die Storage-VM. Und ein M1015 mit LSI-Firmware im IT-Mode beim Dell T20, auch durchgereicht. Jeweils mit 6 Platten dran für ein Raidz2 . Keine Probleme damit, sehr gute Performance auf beiden Maschinen.

 

[teqqy]

Macht jemand ein Onlinebackup aus einem CIFS Share via Napp-it heraus, wenn ja wie?
Das Problem ist, dass Backblaze und Crashplan offiziell kein Netzwerkshare als Backupquelle akzeptieren und ich aber keine Lust auf Frickelleien in diesem Bereich habe. Backup sollte set and forget sein was den normalen Ablauf angeht (Testrücksicherungen mal ausgenommen).

 

[gea]

wie schaut das mit der CPU-Last aus? Ram wäre ja notfalls auch fix dazugesteckt, nur ein neues Brett + CPU ist erstmal nicht in Planung.

hmm.. SSD und Ram Caching ist mir ehrlich recht Wurst, daheim steht nur ein 1Gbit Netz... die 60-70MB/s schaffen die Platten auch so :P

'Raid-Z1-3' ... der Wikiartikel dazu kam mir jetzt nicht so hilfreich vor... Reichen da n+1 Platten für 'n-Kapazität'? Kann ich da Platten verschiedener Größen zusammenschmeißen?

Grüße

CPU braucht am ehesten ZFS Compress und etwas die Raid Berechnung.
ZFS ist aber mit allen halbwegs aktuellen CPUs problemlos möglich.

Caching ist der Schlüssel für Performance.
Eine normale Platte bringt in den inneren Bereichen mit kleinen Dateien eher 20MB/s als 40MB/s. Dazu kommt dass eine Platte nur ca 100 iops liefern kann (max Anzahl wahlfreier Zugriffe). Da ein guter Cache über 80% aller Zugriffe aus dem RAM bedient ist das ein riesiger Unterschied - auch wenn es wohl egal ist wenn z.B. bei einem Mediaserver nur eine Person einen Film schaut.

Raid-Z1/Z2 ist quasi verbessertes Raid 5/6 ohne Write Hole Problem. Die Kapazität ist n-1 oder n-2. Dafür dürfen 1 oder 2 Platten (bei Raid-Z3 drei Platten) ausfallen ohne dass Daten verloren gehen. Wie bei jedem Echtzeit Raid sollten die Platten gleich groß sein da die kleinste die Raid Kapazität bestimmt.

- - - Updated - - -

Macht jemand ein Onlinebackup aus einem CIFS Share via Napp-it heraus, wenn ja wie?
Das Problem ist, dass Backblaze und Crashplan offiziell kein Netzwerkshare als Backupquelle akzeptieren und ich aber keine Lust auf Frickelleien in diesem Bereich habe. Backup sollte set and forget sein was den normalen Ablauf angeht (Testrücksicherungen mal ausgenommen).

Je nach Cloudanbieter gibt es wohl folgende Möglichkeiten

- rsync
- ftp/scp
- eine Clientsoftware (da muss man schauen ob Solaris unterstützt wird)
- eine Windows/Linux Backup/Restore VM mit entsprechender Clientsoftware. Die kann dann auf CIFS zugreifen

 

[TCM]

Je nach Cloudanbieter gibt es wohl folgende Möglichkeiten

- rsync
- ftp/scp
- eine Clientsoftware (da muss man schauen ob Solaris unterstützt wird)
- eine Windows/Linux Backup/Restore VM mit entsprechender Clientsoftware. Die kann dann auf CIFS zugreifen

Amazon Cloud Drive bietet ein API, das mit einem OpenSource Python-Client (acd_cli) bedient werden kann.

 

[Saykel]

Hallo zusammen,

ich bin gerade dabei meinen neuen Homeserver mit Proxmox und ZFS einzurichten. Nun hänge ich aber am exportieren via NFS. Meine Vorstellung wäre, dass alle Hosts im 192.168.0.0/16 die Filesysteme lesen können und ein spezieller Host auch schreiben kann. Ich habe bisher aber nicht den richtigen Syntax gefunden um dem sharenfs Parameter unterschiedliche Optionen für Hosts mitzugeben.
Folgendes funktioniert wunderbar:
# zfs set sharenfs="ro=@192.168.0.0/16" datapool

Ich habe jetzt soweit gelesen, dass auf Grund von "root squashing" einfach nur rw als Berechtigung zu setzen nicht hilft. Habe auch Solaris-Syntax in dieser Form gefunden:
# zfs set sharenfs="rw=@192.168.0.0/16,root=192.168.5.1" datapool

Das liefert auf dem Debian aber lediglich
cannot set property for 'datapool': 'sharenfs' cannot be set to invalid options

Ich meine ich müsste die Option "no_root_squash" irgendwo unterbringen, finde aber nicht den richtigen Syntax dafür.

Hat hier jemand ein ähnliches Setup oder kann mir einen Hinweis geben wie ich die gewünschte Konfiguration umsetzen kann?

Vielen Dank für jeden Hinweis.

 

[zos]

Hallo zusammen,

ich bin gerade dabei meinen neuen Homeserver mit Proxmox und ZFS einzurichten. Nun hänge ich aber am exportieren via NFS. Meine Vorstellung wäre, dass alle Hosts im 192.168.0.0/16 die Filesysteme lesen können und ein spezieller Host auch schreiben kann. Ich habe bisher aber nicht den richtigen Syntax gefunden um dem sharenfs Parameter unterschiedliche Optionen für Hosts mitzugeben.
Folgendes funktioniert wunderbar:
# zfs set sharenfs="ro=@192.168.0.0/16" datapool

Ich habe jetzt soweit gelesen, dass auf Grund von "root squashing" einfach nur rw als Berechtigung zu setzen nicht hilft. Habe auch Solaris-Syntax in dieser Form gefunden:
# zfs set sharenfs="rw=@192.168.0.0/16,root=192.168.5.1" datapool

Das liefert auf dem Debian aber lediglich
cannot set property for 'datapool': 'sharenfs' cannot be set to invalid options

Ich meine ich müsste die Option "no_root_squash" irgendwo unterbringen, finde aber nicht den richtigen Syntax dafür.

Hat hier jemand ein ähnliches Setup oder kann mir einen Hinweis geben wie ich die gewünschte Konfiguration umsetzen kann?

Vielen Dank für jeden Hinweis.

Keine Ahnung, ob Dir dieser Link bzgl. no_root_squash unter Debian noch helfen könnte. Warum hier jedoch "invalid options" angemeckert werden weiß ich nicht, für mich (und auch unter OmniOS) sind diese korrekt.

 

[automatenraum]

Hallo Gea,

ich bin gearde dabei meine Applicance mit den Daten aus dem Backupjob umzuziehen.
Dabei ist mir gerade aufgefallen, dass die FTP (proftpd) Konfiguration nicht mitgesichert wird.
Liegt unter "/opt/local/etc/proftpd.conf", wäre nett wenn man die auf /var/web-gui umbiegt, damit
sie automatisch mitgesichert wird oder wenn das nicht geht den backup job erweitert, dass wenn
installiert die relevanten Daten aus /opt/local/etc/... mitgesichert werden.

Danke und Grüße

Reiner

 

[gea]

Hallo Gea,

ich bin gearde dabei meine Applicance mit den Daten aus dem Backupjob umzuziehen.
Dabei ist mir gerade aufgefallen, dass die FTP (proftpd) Konfiguration nicht mitgesichert wird.
Liegt unter "/opt/local/etc/proftpd.conf", wäre nett wenn man die auf /var/web-gui umbiegt, damit
sie automatisch mitgesichert wird oder wenn das nicht geht den backup job erweitert, dass wenn
installiert die relevanten Daten aus /opt/local/etc/... mitgesichert werden.

Danke und Grüße

Reiner

Hallo Reiner,
dafür gibt beim Backup Job die Option:
add custom script /var/web-gui/_my/backup.sh:
So ein Script mit einem cp Befehl anlegen


ansonsten
Ich habe was neues zum Ausprobieren: Appliance Maps (napp-it 16.04f2 oder 16.08dev)

Damit kann man bis zu 9 Maps anlegen um die Platzierung der Platten zu visualisieren.
Man definiert zunächst Maps (2,5" oder 3,5"), Anzahl der Spalten und Reihen sowie Blindabdeckungen und NVMe Slots.

In einem zweiten Schritt weist man die Platten den Slots zu, am Einfachsten nur die erste Platte einer Reihe. Die restlichen Slots kann man automatisch zuweisen lassen.

Mit napp-it free kann man einen avalkey nehmen um die Map zu erstellen, dann als Screenshot ausdrucken und auf den Server legen.

 

[automatenraum]

Appliance Maps: Links der Add Button ist falsch belegt oder nur das Mouse over ist falsch, wenn man drauf geht: "Delete all slots in this row" statt Add.

UPDATE: Oder für das steht "add" ? Nicht für hinzufügen?

- - - Updated - - -

Irgendwie funktioniert das mit der backup.sh nicht bei bei:

root@fileserver:/var/web-gui/_my# cat backup.sh
mkdir -p ./opt/local/etc/
cp /opt/local/etc/proftpd.conf ./opt/local/etc/

Finde aber nix unter backup_appliance direkt oder in der Sicherung unter /var/web-gui/_my/opt...

Kann ich dem Skript irgendwie den Backup Pfad als Variable übergeben?

- - - Updated - - -

EDIT: Für die Appliance Maps hätte ich noch einen Wunsch:

Kommentarfeld, in dem man was eingeben kann, vielleicht direkt unter der Bezeichnung des SAS Slots.

- - - Updated - - -

Die Temperaturanzeigen werden bei mir auch nicht dargestellt in der Map

- - - Updated - - -

Ah für die Anzeige der Temperatur, muss man Smartinfo einmal angegtriggert haben...

- - - Updated - - -

Noch ein Bug, bei mir fehlen Platten, die nicht angezeigt werden und somit nicht der Map zuzuordnen sind...

 

[Saykel]

Hallo zusammen,

ich bin gerade dabei meinen neuen Homeserver mit Proxmox und ZFS einzurichten. Nun hänge ich aber am exportieren via NFS. Meine Vorstellung wäre, dass alle Hosts im 192.168.0.0/16 die Filesysteme lesen können und ein spezieller Host auch schreiben kann. Ich habe bisher aber nicht den richtigen Syntax gefunden um dem sharenfs Parameter unterschiedliche Optionen für Hosts mitzugeben.
Folgendes funktioniert wunderbar:
# zfs set sharenfs="ro=@192.168.0.0/16" datapool

Ich habe jetzt soweit gelesen, dass auf Grund von "root squashing" einfach nur rw als Berechtigung zu setzen nicht hilft. Habe auch Solaris-Syntax in dieser Form gefunden:
# zfs set sharenfs="rw=@192.168.0.0/16,root=192.168.5.1" datapool

Das liefert auf dem Debian aber lediglich
cannot set property for 'datapool': 'sharenfs' cannot be set to invalid options

Ich meine ich müsste die Option "no_root_squash" irgendwo unterbringen, finde aber nicht den richtigen Syntax dafür.

Hat hier jemand ein ähnliches Setup oder kann mir einen Hinweis geben wie ich die gewünschte Konfiguration umsetzen kann?

Vielen Dank für jeden Hinweis.

Habe jetzt ein bisschen weiter probiert und bin an folgendem Syntax hängen geblieben:
# zfs set sharenfs="rw=@192.168.0.0/16,no_root_squash" datapool

Das funktioniert auch zunächst wunderbar, hat nur den riesigen Nachteil, dass nun jeder Client im Netzwerk auf meine Filesysteme schreiben kann. Das war ja eigentlich nicht wirklich der Plan.
Mir stellt sich also weiterhin die Frage, wie ich das nun so konfiguriere, dass nur ausgewählte Clients schreiben und der Rest lesen kann?

 

[gea]

Appliance Maps: Links der Add Button ist falsch belegt oder nur das Mouse over ist falsch, wenn man drauf geht: "Delete all slots in this row" statt Add.

UPDATE: Oder für das steht "add" ? Nicht für hinzufügen?

- - - Updated - - -

Irgendwie funktioniert das mit der backup.sh nicht bei bei:

root@fileserver:/var/web-gui/_my# cat backup.sh
mkdir -p ./opt/local/etc/
cp /opt/local/etc/proftpd.conf ./opt/local/etc/

Finde aber nix unter backup_appliance direkt oder in der Sicherung unter /var/web-gui/_my/opt...

Kann ich dem Skript irgendwie den Backup Pfad als Variable übergeben?

- - - Updated - - -

EDIT: Für die Appliance Maps hätte ich noch einen Wunsch:

Kommentarfeld, in dem man was eingeben kann, vielleicht direkt unter der Bezeichnung des SAS Slots.

- - - Updated - - -

Die Temperaturanzeigen werden bei mir auch nicht dargestellt in der Map

- - - Updated - - -

Ah für die Anzeige der Temperatur, muss man Smartinfo einmal angegtriggert haben...

- - - Updated - - -

Noch ein Bug, bei mir fehlen Platten, die nicht angezeigt werden und somit nicht der Map zuzuordnen sind...

ist weitgehend so geschehen (16.08 dev von jetzt).

Zu den fehlenden Platten.
Im Topmenü (neben Logout) kann man "edit" einschalten.
Dann werden im Anschluss an die Maps alle Programm-Parameter gezeigt.

Sind die Fehlenden Platten da in all_dsk vermerkt?

zum Backupscript.
Der Backup job führt folgendes aus

if ($addscript eq "yes") {
if (-f "/var/web-gui/_my/backup.sh") {
$r.=`sh /var/web-gui/_my/backup.sh`;
}
}

im Script kann man einfach mit absoluten Pfaden arbeiten.