[Sammelthread] ZFS Stammtisch

[layerbreak]

Hier mal was zum Vergleichen:
OI läuft als VM unter ESXi 4.1U1 mit Intel Xeon X3450, 16 GB RAM, OI 8GB reservierter RAM und passthrough HBA LSI9211-8

OI-Server <==> Win7 x64 Client
TCP connection established.
Packet size 1k bytes: 103.09 MByte/s Tx, 30.78 MByte/s Rx.
Packet size 2k bytes: 104.43 MByte/s Tx, 30.20 MByte/s Rx.
Packet size 4k bytes: 107.22 MByte/s Tx, 44.61 MByte/s Rx.
Packet size 8k bytes: 100.49 MByte/s Tx, 42.49 MByte/s Rx.
Packet size 16k bytes: 99.99 MByte/s Tx, 43.22 MByte/s Rx.
Packet size 32k bytes: 95.01 MByte/s Tx, 43.04 MByte/s Rx.
Done.

Win7 x64 Server <==> OI-Server Client
TCP connection established.
Packet size 1k bytes: 101031 KByte/s Tx, 109748 KByte/s Rx.
Packet size 2k bytes: 108586 KByte/s Tx, 110564 KByte/s Rx.
Packet size 4k bytes: 106529 KByte/s Tx, 113049 KByte/s Rx.
Packet size 8k bytes: 109598 KByte/s Tx, 110413 KByte/s Rx.
Packet size 16k bytes: 105809 KByte/s Tx, 106210 KByte/s Rx.
Packet size 32k bytes: 107379 KByte/s Tx, 104964 KByte/s Rx.
Done.


Bonnie++ siehe Anlage:
sanpool: 2 x Hitachi HDS72105 Mirror
archepool 2 x 2 SAMSUNG HD203WI Mirror

 

[gea]

Hallo Gea,

zwei Fragen:
1. Wo kann ich im "menue-script" ein neues Zeitraster hinzufügen?
2. Kann ich irgendwo einstellen das der dedup Vorgang einmal am Tag läuft?
Nachts z.b.?

Gruß

Snuskhammer

Menü jobs-snaps-autosnap editieren.

Zeitraster/ Menü (rot) im script unter:
&ask('select_month','Month (1..12)','every,1,2,3,4,5,6,7,8,9,10,11,12','every');
&ask('select_day','Day (1..31 sun..sat)',',every,sun,mon,tue,wed,thu,fri,sat,1,2,3,..,30,31','every');
&ask('select_hour','Hour (0..23)','every,0,3,6,7,8,9,10,11,12,13,14,15,16,17,18,19,22,23,8-12-16,8-10-12-14-16-18,..,'23');
&ask('select_min','Minute',',every,15-30-45,0,15,30,45,','0');
&ask('end');

Problem:
angelegte Jobs bleiben nach einem Update erhalten
für neue Jobs muss nach einem Update das Raster wieder angepasst werden


zu dedup:
dedup ist immer etwas was direkt beim Schreiben neuer Dateien passiert.
Es geht also nicht offline für vorhandene Dateien.

nachträgliches Deduplizieren geht nur durch Umkopieren auf ein ZFS mit aktiviertem dedup


Gea

 

[Metzzo]

Glaube Solaris ist weiblich. Gestern 55MB heute 8xMB, Stimmungsschwankungen?

Allerdings kommen wir nun in einen Erträglichen Bereich, zumindest für CIFS.

 

[layerbreak]

Glaube Solaris ist weiblich. Gestern 55MB heute 8xMB, Stimmungsschwankungen?

Der war gut. Hoffe, dass Solaris nicht weiblich ist, sonst kommen Wechseljahre auf uns noch zu.

Hast du was am PowerManagement gemacht?
Als ich den ersten Netio-Test gemacht habe, war die Performance auch zuerst misserabel. Beim zweiten Lauf war dann alles im grünen Bereich.

 

[hotzen]

OI-Server <==> Win7 x64 Client
TCP connection established.
Packet size 1k bytes: 103.09 MByte/s Tx, 30.78 MByte/s Rx.
Packet size 2k bytes: 104.43 MByte/s Tx, 30.20 MByte/s Rx.
Packet size 4k bytes: 107.22 MByte/s Tx, 44.61 MByte/s Rx.
Packet size 8k bytes: 100.49 MByte/s Tx, 42.49 MByte/s Rx.
Packet size 16k bytes: 99.99 MByte/s Tx, 43.22 MByte/s Rx.
Packet size 32k bytes: 95.01 MByte/s Tx, 43.04 MByte/s Rx.
Done.

Win7 x64 Server <==> OI-Server Client
TCP connection established.
Packet size 1k bytes: 101031 KByte/s Tx, 109748 KByte/s Rx.
Packet size 2k bytes: 108586 KByte/s Tx, 110564 KByte/s Rx.
Packet size 4k bytes: 106529 KByte/s Tx, 113049 KByte/s Rx.
Packet size 8k bytes: 109598 KByte/s Tx, 110413 KByte/s Rx.
Packet size 16k bytes: 105809 KByte/s Tx, 106210 KByte/s Rx.
Packet size 32k bytes: 107379 KByte/s Tx, 104964 KByte/s Rx.
Done.

Das kann ich absolut nicht nachvollziehen. Habe jetzt Notebook, Workstation und Solaris in jeder Paarung mit mehreren CAT5e Kabeln direkt verbunden (Autosensed "Cross-Over") und ich komme ungefähr auf folgende Werte:

TCP connection established.
Packet size  1k bytes:  65.74 MByte/s Tx,  66.50 MByte/s Rx.
Packet size  2k bytes:  108.37 MByte/s Tx,  110.72 MByte/s Rx.
Packet size  4k bytes:  112.73 MByte/s Tx,  65.28 MByte/s Rx.
Packet size  8k bytes:  45.24 MByte/s Tx,  47.14 MByte/s Rx.
Packet size 16k bytes:  42.76 MByte/s Tx,  46.54 MByte/s Rx.
Packet size 32k bytes:  42.78 MByte/s Tx,  45.98 MByte/s Rx.
Done.

Über den ProCurve 1800 Switch mit den gleichen (langen, alten, CAT5e) Kabeln wird das noch schlechter:

Packet size  1k bytes:  107.18 MByte/s Tx,  50.97 MByte/s Rx.
Packet size  2k bytes:  102.49 MByte/s Tx,  92.57 MByte/s Rx.
Packet size  4k bytes:  44.72 MByte/s Tx,  45.61 MByte/s Rx.
Packet size  8k bytes:  44.74 MByte/s Tx,  45.67 MByte/s Rx.
Packet size 16k bytes:  43.26 MByte/s Tx,  45.07 MByte/s Rx.
Packet size 32k bytes:  42.81 MByte/s Tx,  44.73 MByte/s Rx.

Wobei das mit einem relativ neuen, kurzen CAT5e Kabel per Direkt/Cross-Over auch nicht viel besser war. Es ist schonmal eine erhebliche Verbesserung zwischen den Intel Adaptern und dem built-in Notebook Ethernet-Port zu sehen. Aber ich komme nicht mal ansatzweise auf deine Werte...

 

[DarkDeveloper]

Was ich jetzt als nächste Schritte probieren würde:

- Sicherstellen das nirgendwo irgendwelche CPU-Stromsparmechanismen dazwischenfunken
- Auto-Neg. aus und fest auf Gbit, Vollduplex einstellen
- Flow-Control ausstellen

 

[Metzzo]

N'abend.
Nachschub aus der NFS Ecke.

1. Test war als VM aufm NFS DataStor
2. Test wird sein von ner Linux Kiste via Bonnie++

 

[TheLastBoyscout]

Hallo zusammen,

mal zur Info. Benchmark 5x1TB: WD Green (3x) und (2x) Samsung. Alles keine 4k. Raidz2. Auf HP Microserver mit 8 GB RAM.
Benchmark 5x1TB RaidZ2
Scheint mir für den Hausgebrauch voll ausreichend

Gruss
Otto

Hallo Otto!

Hmm, ich frage mich, was mit meinen char read/write Benchmarks auf 'testpool' (siehe Anhang) nicht in Ordnung ist? Nur beim sequenziellen Schreiben von Chars auf dem 'rpool' ist die CPU Last mal NICHT bei 99% (und das ist auf einem Intel XEON X3440, 8 GB ECC RAM, OpenIndiana 148).
'rpool' ist ein Mirror bestehend aus 2x80 GB LaptopHDD
'testpool' ist ein RAIDZ2 bestehend aus 4x1,5 TB Samsung F2

Ist das normal? Deine Werte für die CPU Last sehen irgendwie besser aus und du fährst einen HP Microserver...?
Mit den anderen Werten bin ich ja zufrieden

Danke für die Hilfe!
TLB

 

[Metzzo]

Naja würd ja gern mal ein paar Tests mit Bonnie auf einen NFS Share auf der Nexenta Box machen, aber die hängt sich bei jedem 2. Test auf

Kiste steht dann komplett und nur ein langer Knopfdruck hilft dann noch

Jemand scho ähnliche Erfahrungen gemacht?

Grüße

 

[otto123]

Was ein Ritt

Ok Leute,

zwei Programmierer verschlissen, nun haben wir es. ALSO: Napp-it all in one, Esxi installiert, SE11 express als VM installiert dann Einbinden des NFS Folders wo dann die VMs abgelegt werden sollen. Dann kommt die tolle Fehlermeldung:
bla,bla ... hostdatastoresystem.createnasdatastore bla,bla...

Das hilft:
Fixing the "HostDatastoreSystem.CreateNasDatastore" for object "ha-datastoresystem" error when setting up VMware NFS data store | Jeffrey Costa

Gea, bitte ins howto aufnehmen.

Gruss aus der Nerdhölle,
Otto

 

[otto123]

Speicher für Supermicro

Hallo zusammen,

mal so eine Frage am Rande: Ich will mehr Speicher in mein Board stecken:
Super Micro Computer, Inc. - Products | Motherboards | Xeon Boards | X8SIE-LN4F
Die tested memory list ist leider sehr gut:
Super Micro Computer, Inc. | Support | Resources

Kann man auch Kingston nehmen??
heise online - Home
Ca. 50 Euro pro 4 GB.

Gruss,
Otto

 

[layerbreak]

Hallo zusammen,

mal so eine Frage am Rande: Ich will mehr Speicher in mein Board stecken:
Super Micro Computer, Inc. - Products | Motherboards | Xeon Boards | X8SIE-LN4F
Die tested memory list ist leider sehr gut:
Super Micro Computer, Inc. | Support | Resources

Kann man auch Kingston nehmen??
heise online - Home
Ca. 50 Euro pro 4 GB.

Gruss,
Otto

Du musst die Fußnote bei System Memory beachten:

 

[otto123]

Du musst die Fußnote bei System Memory beachten:

Oh ja! Naja, Gutti und Silvana färben schon ab ;-) Bedeutet also: Die genannten können genauso gut/ schlecht sein wie nicht genannte...

 

[layerbreak]

Oh ja! Naja, Gutti und Silvana färben schon ab ;-) Bedeutet also: Die genannten können genauso gut/ schlecht sein wie nicht genannte...

Wer auch immer Gutti und Silvana sind.
Es geht darum, dass die Riegel, wegen des Chipsatzes, x8 sein müssen.

Ich habe meine Riegel bei MemorySolution gekauft. Wenn du willst, kann ich dir Telefonnummer und Ansprechpartner geben.
Leider sind die etwas teurer - Enterprise halt.

 

[otto123]

Wer auch immer Gutti und Silvana sind.

Der Herr und die Dame die es mit den Fussnoten nicht so genau nahmen ;-)

Es geht darum, dass die Riegel, wegen des Chipsatzes, x8 sein müssen.

Habe bei Kingston geschaut - die wird mein Supermicro Board aufgeführt

Ich habe meine Riegel bei MemorySolution gekauft. Wenn du willst, kann ich dir Telefonnummer und Ansprechpartner geben.
Leider sind die etwas teurer - Enterprise halt.

Danke, probiere mein Glück erstmal mit den Kingston.

Andere Sache - schaue gerade wie man VmWare Vsphere / Esx 4.1.0 upgraded. Soweit ich sehe sollte es da neue Version geben. Weißt Du wie das geht?

Gruss
Otto

 

[layerbreak]

Andere Sache - schaue gerade wie man VmWare Vsphere / Esx 4.1.0 upgraded. Soweit ich sehe sollte es da neue Version geben. Weißt Du wie das geht?

Ich weis wie man ESXi updated, aber nicht ESX 4.1.0, also nur die kostenlose Version. Bei ESXi bekommst du von ESXi einen Link, wo dann das neue VShere dir holen kannst.

Hier kannst du schauen, obs eine neue Version gibt: VMware
Bei ESXi brauchst du noch vcli: vSphere Command-Line Interface
Manual: vSphere Command-Line Interface Reference

ESXi Update:
vihostupdate.pl --server "IPserver" --username "username" --password "passwort" -i -b "Pfad\Update.zip" mit Anführungszeichen eingeben

ESXi Config-Backup
Beispiele siehe vicfg-cfgbackup.pl per view öffnen und dann Beispiele am Ende
vicfg-cfgbackup.pl --server "IPserver" --username "username" --password "passwort" -s backup.txt

ESXi Config-Restore
vicfg-cfgbackup.pl --server "IP-server" --username "username" --password "passwort" -f -l backup.txt
ACHTUNG bei der kostenlosen (i)-Version geht kein Restore, da nur read-only Zugang.
Es gibt aber einen Trick, wo der Restore trotzdem funktioniert:
unter Konfiguration/Software/Lizenzierte Funktionen umstellen auf Testmodus, kein Wartungsmodus, Restore wie oben beschrieben zurückschreiben und Server startet mit „Yes“ auf der Console neu.

Manual bekommst du so:
perldoc command.pl oder command.pl -help

 

[Gelöschtes Mitglied 117520]

Hmm.. geht's nur mir so oder ist bei Euch auch napp-it 0.415p nightly Apr.07.2011 unter OpenIndiana DEUTLICH fixer als unter Solaris 11 Express (ja bin wieder bei OpenIndiana gelandet Irgendwie hatte ich keinen Draht auf ORACLE).

 

[TheLastBoyscout]

Kann man auch Kingston nehmen??

Hab in meinem SUpermicro X8 Boards regECC von Kingston. Die haben zumindest von Supermicro fast alle Boards gelisted und geben auch an, welche Speicherriegel AVL getestet sind: Kingston's Speichersuche

Das wichtigste ist jedoch, auch die x8 Anordnung zu achten!

TLB

 

[otto123]

Ich weis wie man ESXi updated, aber nicht ESX 4.1.0, also nur die kostenlose Version. Bei ESXi bekommst du von ESXi einen Link, wo dann das neue VShere dir holen kannst.

Hi,

super, herzlichen Dank. Hier ist noch ne gute Anleitung für Esx:
Update von ESX « GW-Preislisten Blog

Gruss
Otto

 

[Gr3yh0und]

Bitte für VMWare Geschichten den entsprechenden Thread verwenden!!
http://www.hardwareluxx.de/community/f101/esx-esxi-hilfethread-748644.html

 

[Metzzo]

Frohe Ostern

Also sauge gerade mal wieder openSUSE 11.4, da meine Nexenta Kiste bei jedem 2. Benchmark unter Last den Geist aufgibt und komplett freezed.
Kann mir auch gerade nicht wirklich vorstellen, warum die Kiste das von Heute auf Morgen macht.

 

[Gelöschtes Mitglied 117520]

Frohe Ostern

Also sauge gerade mal wieder openSUSE 11.4, da meine Nexenta Kiste bei jedem 2. Benchmark unter Last den Geist aufgibt und komplett freezed.
Kann mir auch gerade nicht wirklich vorstellen, warum die Kiste das von Heute auf Morgen macht.

Also bei Dir eine Abkehr von ZFS oder versuchst Du es mit FUSE?

Mal eine Frage an die Experten (besonders natürlich an @gea weil es in napp-it gefunden wurde )
Ich bekomme "Illegal Requests" angezeigt (Screenshot: http://dl.dropbox.com/u/157973/zfs-illegal-requests.jpg)

Was sagt mir das? Klingt irgendwie nicht so prall :/

 

[Metzzo]

Hey

Also eine Abkehr würde ich es nicht nennen, finde ZFS als solches nach wie vor gut, auch wenn es den ein oder anderen Haken hat.
Aber zumindest werde ich vorerst von NexentaStor abrücken. Das System ist zwar durchaus durchdacht aber bislang habe ich auch folgende Erfahrungen gemacht:

*Hin und wieder flog mal der ganze pool weg und war erst nach einem Neustart wieder nutzbar
*Schwankende Performance, teilweise echt schlechte NFS Performance
*System freezes bei Benchmarks

Werde entweder bei Suse bleiben, da dort die NFS/CIFS Performance super ist, oder zum Spaß noch etwas mit OI/Solaris testen.

Grüße

 

[gea]

Also bei Dir eine Abkehr von ZFS oder versuchst Du es mit FUSE?

Mal eine Frage an die Experten (besonders natürlich an @gea weil es in napp-it gefunden wurde )
Ich bekomme "Illegal Requests" angezeigt (Screenshot: http://dl.dropbox.com/u/157973/zfs-illegal-requests.jpg)

Was sagt mir das? Klingt irgendwie nicht so prall :/

eine Erklärung dazu habe ich auch nicht und googeln nach
iostat +"illegal requests" bringt zwar einiges, ab keine wirkliche Erklärung.

Solange sonst nichts auftaucht wird es aber müßrig sein, zu rätseln, ob
der Controller, der Treiber oder die Platte die Ursache ist.

Es scheint aber nur ein Hinweis und kein kritischer Fehler zu sein.



Gea

---------- Beitrag hinzugefügt um 18:32 ---------- Vorheriger Beitrag war um 18:03 ----------

Hey

Also eine Abkehr würde ich es nicht nennen, finde ZFS als solches nach wie vor gut, auch wenn es den ein oder anderen Haken hat.
Aber zumindest werde ich vorerst von NexentaStor abrücken. Das System ist zwar durchaus durchdacht aber bislang habe ich auch folgende Erfahrungen gemacht:

*Hin und wieder flog mal der ganze pool weg und war erst nach einem Neustart wieder nutzbar
*Schwankende Performance, teilweise echt schlechte NFS Performance
*System freezes bei Benchmarks

Werde entweder bei Suse bleiben, da dort die NFS/CIFS Performance super ist, oder zum Spaß noch etwas mit OI/Solaris testen.

Grüße

Ich habe jetzt seit drei Jahren Nexenta (jetzt Core, davor auch Store, künftig vermehrt OI) im Einsatz.
Richtige OS-Stabilitätsprobleme mit CIFS und NFS hatte ich eigentlich nie.

Was ich jedoch sehr schnell gemerkt habe, war dass Solaris sehr empfindlich bei der Hardware ist. Richtig gut war
eigentlich immer nur das, was Sun/ Oracle/ Nexenta selbst verbaut oder was absolut Mainstream im Solaris-Bereich ist.
- Also keine Experimente bei der Hardware-.

Pool-Freeze hatte ich bei Nexenta/ OI auch schon. (Das OS läuft noch, Zpool und ZFS Befehle aber nicht mehr; damit
hängt auch die Nexenta/ napp-it GUI bei diesen Befehlen). Immer war jedoch entweder eine Platte oder eine Kabel/ Controller daran schuld. (Eine hängende Platte kann den Pool einfrieren lassen).

Auch muss man einfach akzeptieren, dass die Feautures von ZFS nicht zum Nulltarif zu haben sind.
Es ist deutlich mehr RAM/ CPU vonnöten, um die gleiche Performance wie mit einfacheren Dateisystemen zu erhalten.
(Das wird auch mit SUSE nicht anders sein, wenn es mal btfrs gibt).

Dafür skaliert ZFS und Solaris dann sehr gut. Mehr CPU vor allem mehr RAM bringt einen deutlichen Mehrwert.


Gea

 

[otto123]

Hab in meinem SUpermicro X8 Boards regECC von Kingston. Die haben zumindest von Supermicro fast alle Boards gelisted und geben auch an, welche Speicherriegel AVL getestet sind: Kingston's Speichersuche

Das wichtigste ist jedoch, auch die x8 Anordnung zu achten!

TLB

Danke für die Info. Was bedeutet x8? Ich habe
http://www.kingston.com/deroot/serverzone/pdf_files/Mem_ranks_GER_revJuly05.pdf
gefunden. Bin aber nicht schlauer geworden. Habe 6 Bänke. Wollte nun 4x4 reinstecken und ggf irgendwann nochmals 2x4.
Da bin ich aber unsicher weil mein CPU angeblich max 16 GB kann:
Intel® Xeon® Processor L3406 (4M Cache, 2.26 GHz)with SPEC Code(s)SLBQQ, SLBT8

Gruss,
Otto

 

[gea]

Danke für die Info. Was bedeutet x8? Ich habe
http://www.kingston.com/deroot/serverzone/pdf_files/Mem_ranks_GER_revJuly05.pdf
gefunden. Bin aber nicht schlauer geworden. Habe 6 Bänke. Wollte nun 4x4 reinstecken und ggf irgendwann nochmals 2x4.
Da bin ich aber unsicher weil mein CPU angeblich max 16 GB kann:
Intel® Xeon® Processor L3406 (4M Cache, 2.26 GHz)with SPEC Code(s)SLBQQ, SLBT8

Gruss,
Otto

zum Speicher
http://de.wikipedia.org/wiki/Speichermodul

passender Kingston Speicher siehe
Kingston Technology Company - Kingston Memory Search - Search Results for:


ansosten Memory List siehe:
(Super Micro Computer, Inc. - Products | Motherboards | Xeon Boards | X8SIE-F

. Up to 32GB DDR3 1333/1066/800MHz
ECC Registered DIMM /

oder
16GB Unbuffered DIMM

nur Speicher kaufen, der kompatibel ist oder von dem bekannt ist,
dass er geht.

siehe auch (ähnliches Board):
Supermicro X8SIL-F compatible RAM? - Web Hosting Talk

Gea

 

[xymos]

@gea


Danke für die sATA Controller info.

@all

mit welchen Parametern habt ihr den Bonniebenchmark gestartet ?

Gruß

:xymos.

 

[otto123]

@gea


Danke für die sATA Controller info.

@all

mit welchen Parametern habt ihr den Bonniebenchmark gestartet ?

Gruß

:xymos.

Hab im napp-it einfach Start gedrückt
Gruss
Otto

---------- Beitrag hinzugefügt um 15:55 ---------- Vorheriger Beitrag war um 13:44 ----------

---------- Beitrag hinzugefügt um 16:25 ---------- Vorheriger Beitrag war um 13:44 ----------

zum Speicher
Speichermodul

Gea

Herzlichen Dank Gea!

Was ist dann eigentlich geschickter falls man doch mal voll ausbauen wollte?
4x8GB
oder 4x4 plus 2x8?

Oder schenkt sich das nichts?

Gruss,
Otto

 

[gea]

Was ist dann eigentlich geschickter falls man doch mal voll ausbauen wollte?
4x8GB
oder 4x4 plus 2x8?

Oder schenkt sich das nichts?

Gruss,
Otto

das ist egal.
wenn der Speicher >16GB sein soll, wird halt ausschliesslich registered Speicher
benötigt. Der ist teurer und nochmal etwas teurer bei den großen 8GB Modulen.

Grundüberlegung:
16 GB reichen: 'normalen, billigen' Speicher nehmen
mehr als 16 GB sind angestrebt: teureren registered Speicher nehmen,
mit 4 GB Modulen anfangen (Speicherpreise sinken immer)


Gea

 

[xymos]

@gea,

kann dein napp it Projekt inzwischen ein 4k alignment setzen ?
Meine Versuche mit ZFS Guru einen entsprechenden Pool anzulegen -und dann zu exportieren / importieren wollte nicht fruchten, denn ZFS Guru will den Pool bestehend aus sechs WD EARS nicht anlegen.

Das einspielen mit Ashift will ich nicht, da ich da zu sehr in System eingreife.

Habt ihr andere Ideen ?

Danke

_xymos.