[Sammelthread] ZFS Stammtisch

[DarkDeveloper]

bei SAS Controllern heisst es eben:

IT mode (Initiator-Target mode, native SAS)
IR mode (Integrated Raid mode, braucht extra Treiber)

Solaris mag am liebsten "dumme IT mode controller", die Raid Sachen macht es
selber viel besser. Es sind auch mehr Platten möglich. Es wird kein Extra Software-Layer
im Controller benutzt. Die IR-mode Treiber gibt es nicht für jede ZFS-OS-Version. Die
IT-mode Treiber sind oft ausgereifter, schneller und stabiler.

Ich hab nur den mpt_sas Treiber drauf, soweit ich weiss ist das genau derselbe der auch für IT-Firmware zuständig ist. Meine Platten werden auch alle als einzelne Devices nach draussen gereicht, so wie ZFS das haben will. Daher frage ich mich, ob IR (zumindest für diesen Controller) nicht einfach nur eine Obermenge von IT ist.

---------- Beitrag hinzugefügt um 18:13 ---------- Vorheriger Beitrag war um 17:47 ----------

Habe paar posts über diesem schon über meine Performance-Probleme geschrieben, auf [H] auch nochmal: Bad ZFS Performance - [H]ard|Forum
Hat da jemand noch einen Lösungsansatz in der Tasche?
Danke

Wenn ich einfach hochrechne und die 13% Idle auch genutzt würden, wäre der Durchsatz auch nur bei ~37MB/s.
Sieht der Duchsatz und die CPU-Belastung ohne Encryption genauso schlecht aus?
Die reine Netzwerk-Performance ist ok (netio)? Und das Quelllaufwerk auf dem Client kann die Daten auch mit GBit Geschwindigkeit liefern?

 

[otto123]

Weiß gerade nicht welches OS bzw. System ihr nutzt ob NExentaStor, Core, etc. Aber zumindest beim NexentaStor wäre es:

/volumes/<dein pool>/<dein share>

//Edit, scheint sich um OI zu handeln, also wär mein Tipp hinfällig XD


Grüße

Hi,

Solaris Express 11.

Gruss,
Otto

 

[hotzen]

Krass wenig. In beiden Rechnern ist eine Intel CT Desktop Gigabit Adapter, über einen HP Procurve 1800 Gigabit Switch. Derbe schlecht oder ist das normaler TCP overhead?

NetIO 131 Win7 SP1 Client <=> SE11 Server

TCP server listening.
TCP connection established ...
Receiving from client, packet size  1k ...  99.09 MByte/s
Sending to client, packet size  1k ...  50.62 MByte/s
Receiving from client, packet size  2k ...  108.65 MByte/s
Sending to client, packet size  2k ...  50.05 MByte/s
Receiving from client, packet size  4k ...  45.18 MByte/s
Sending to client, packet size  4k ...  42.32 MByte/s
Receiving from client, packet size  8k ...  45.39 MByte/s
Sending to client, packet size  8k ...  43.18 MByte/s
Receiving from client, packet size 16k ...  88.77 MByte/s
Sending to client, packet size 16k ...  42.73 MByte/s
Receiving from client, packet size 32k ...  43.30 MByte/s
Sending to client, packet size 32k ...  44.21 MByte/s
Done.

UDP server listening.
UDP connection established ...
Receiving from client, packet size  1k ...  74.47 MByte/s
Sending to client, packet size  1k ...  112.24 MByte/s
Receiving from client, packet size  2k ...  21.71 MByte/s
Sending to client, packet size  2k ...  112.65 MByte/s
Receiving from client, packet size  4k ...  42.60 MByte/s
Sending to client, packet size  4k ...  114.35 MByte/s
Receiving from client, packet size  8k ...  73.00 MByte/s
Sending to client, packet size  8k ...  114.42 MByte/s
Receiving from client, packet size 16k ...  99.57 MByte/s
Sending to client, packet size 16k ...  114.50 MByte/s
Receiving from client, packet size 32k ...  104.21 MByte/s
Sending to client, packet size 32k ...  114.65 MByte/s
Done.

ansonsten folgende groben messungen:
nosync: 46 MB/s
nocrypt: 55 MB/s
crypt: 32 MB/s

Wobei auffällt dass bei Shares ohne sync oder ohne encryption die letzten paar hundert MB einer 2GB Datei immer von 45MB/s auf über 60MB/s hochschnellen. Sind das irgendwelche Cache-Sachen?

Quellaufwerk ist eine 1TB Seagate 7200rpm, die sollte flockig >50MB packen...

 

[DarkDeveloper]

Die Werte sehen nicht gut aus. Hab's bei mir grad mal getestet:

TCP connection established.
Packet size  1k bytes:  109.55 MByte/s Tx,  110.16 MByte/s Rx.
Packet size  2k bytes:  110.63 MByte/s Tx,  110.29 MByte/s Rx.
Packet size  4k bytes:  112.42 MByte/s Tx,  112.44 MByte/s Rx.
Packet size  8k bytes:  112.47 MByte/s Tx,  112.34 MByte/s Rx.
Packet size 16k bytes:  112.54 MByte/s Tx,  112.32 MByte/s Rx.
Packet size 32k bytes:  112.81 MByte/s Tx,  112.33 MByte/s Rx.
Done.

 

[hotzen]

Hmmmm, dann muss ich mir wohl mal den Switch anschauen und mal per Cross-Over probieren. Gibt es spezielle NIC-Settings wie Jumbo Frames, die essentiell sind?

 

[DarkDeveloper]

Ich hab alles auf Standardeinstellungen. Im Windows 7-Client ein On-Board Marvell, im Server ein Intel-Kärtchen und dazwischen ein kleiner Netgear. Auf dem Server werkelt immer noch OpenSolaris b134.

 

[otto123]

Benchmark 5x1TB RaidZ2

Hallo zusammen,

mal zur Info. Benchmark 5x1TB: WD Green (3x) und (2x) Samsung. Alles keine 4k. Raidz2. Auf HP Microserver mit 8 GB RAM.

Scheint mir für den Hausgebrauch voll ausreichend

Gruss
Otto

 

[Metzzo]

Hmmmm, dann muss ich mir wohl mal den Switch anschauen und mal per Cross-Over probieren. Gibt es spezielle NIC-Settings wie Jumbo Frames, die essentiell sind?

Moin, die verwendete Hardware ist zwar ne Nummer größer, aber man sieht trotzdem ganz gut das Jumbo Frames nicht den gewünschten Effekt bringen:

Jumbo Frames Comparison Testing with IP Storage and vMotion » boche.net – VMware Virtualization Evangelist

Die Aussage haben auch schon einige Storage Consultants die bei uns im Haus waren bestätigt.

Grüße

 

[Gelöschtes Mitglied 117520]

Moin (ja mich gibts noch)

Hatte einen kleinen Ausflug in die wunderbare Welt des Windows Server 2008 R2 gemacht und bin wieder zurückgekommen Letzte Nacht habe ich dann wieder Solaris installiert mit napp-it tja und das läuft schon schöner. Aktuell rsynce ich meine Daten von der Datenplatte (4.5TB) auf den Filer.

Wie dem auch sei.

@gea Ist eigentlich zukünftig eine FTP oder SFTP Implementation in napp-it geplant? Fände das Feature sehr praktisch um ehrlich zu sein - oder ist es schon drin und ich finde es nur nicht?

Ciao
Dennis

 

[barnacle2k]

afaik hat solaris nen ftpd integriert, ob der was taugt? - kA
Sollte wu-ftpd sein.
Und im napp it hab ich da schon einen eintrag zu dem configfile gefunden.
Was du da nun aber eintragen musst - ebefalls kA.

Hotzen:
Du verwendest ja keinen ESXI oder?
Ansonsten check mal die /kernel/drv/e1000g.conf.
Das sind die treibereinstellungen für die intelkarten.

 

[otto123]

Hallo zusammen,

an dem FTP wäre ich auch sehr interessiert. Bin am WE auf einer Nerdsession und da gibt es so viel Code zu teilen...

Gruss
Otto

---------- Beitrag hinzugefügt um 15:39 ---------- Vorheriger Beitrag war um 15:38 ----------

Moin (ja mich gibts noch)
Ciao
Dennis

Das ist schön!

 

[gea]

@gea Ist eigentlich zukünftig eine FTP oder SFTP Implementation in napp-it geplant? Fände das Feature sehr praktisch um ehrlich zu sein - oder ist es schon drin und ich finde es nur nicht?

Ciao
Dennis

ftp als ZFS-Freigabe ist irgendwann mal geplant.
SFTP auf / ist enthalten, - als user oder auch als root,
wenn es unter Dienste-SSH erlaubt wird.

Gea

 

[layerbreak]

Ich hoffe ihr könnt mir weiterhelfen.

Mein OI kommt nicht mehr ins Internet.
Ich kann von OI im LAN alle IPs pingen und auch von Win7 nach OI geht der ping. Napp-it geht, aber update nicht.

So sieht es nach einem Neustart aus:

Last login: Tue Apr 19 22:25:24 2011 from 192.168.2.50
OpenIndiana     SunOS 5.11      oi_148  November 2010
# ping google.de
ping: sendto No route to host
# svcs network/physical:nwam
STATE          STIME    FMRI
online         22:23:44 svc:/network/physical:nwam
# ping google.de
ping: sendto No route to host
# svcadm restart  network/physical:nwam
# ping google.de
google.de is alive

Ich komm nicht dahinter was ich eventl. verbogen habe. Gestern ging noch alles wunderbar.
Kann es eventl. am ESXi VMXNET3 Treiber liegen?

 

[Steggi]

Ist denn das Gateway eingetragen bzw bezogen worden, falls du DHCP verwendest? Denn laut der Fehlermeldung findet deine Kiste ja keine Route.

 

[layerbreak]

Sorry hatte ich vergessen anzugeben.

Ja, fest IP vergeben und auch die passende Route dazu.

 

[Steggi]

Dann hast du hoffentlich auch neben der eigenen IP, den Router und den DNS Server (normalerweise auch der DLS Router) angegeben?
Funktioniert denn der DNS Lookup ins Internet?
Probier mal auf eine IP zu pingen z.b 74.125.77.104 (google)

 

[layerbreak]

Ich hab nicht bewuß verändert und wie geschrieben, hat alles bis gestern abend gut funktioniert.
Auch eine öffentliche IP pingen geht nicht.

 

[otto123]

Fehler...

Hallo zusammen,

ich werde nicht schlau. Ich habe wieder Fehler (s.u.). Daher:
1) Sind solche Fehler eigentlich normal?
2) Fehler ist wieder an der Platte die am zusätzlichen Onboard SATA des Microservers hängt. Die Platte ist nun ohne Controller direkt per Kabel angeschlossen. Ich dachte mir nun:
a) Es könnte noch ein Hardwaredefekt vorliegen (HDD, Kabel etc)
b) Kann es damit zu tun haben, dass die Platte per Sata "zugeschaltet" wurde und nicht wie die anderen vier an dem Minisas Stecker steckt?

Für ein paar Zeilen wäre ich dankbar.

Gruss
Otto

state: ONLINE
status: One or more devices has experienced an unrecoverable error. An
attempt was made to correct the error. Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
using 'zpool clear' or replace the device with 'zpool replace'.
see: http://www.sun.com/msg/ZFS-8000-9P
scan: scrub repaired 128K in 2h20m with 0 errors on Tue Apr 19 19:48:34 2011
config:

NAME STATE READ WRITE CKSUM
sola ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
c7t0d0 ONLINE 0 0 0
c7t1d0 ONLINE 0 0 0
c7t2d0 ONLINE 0 0 0
c7t3d0 ONLINE 0 0 0
c9d1 ONLINE 0 0 3
(c9d1 ist die Platte im Bay per Sata Kabel)

 

[Gelöschtes Mitglied 117520]

@layerbreak Mit dem Probleme hatte ich gestern mit Solaris 11 Express zu kämpfen. Die /etc/resolv.conf wird bei jedem Boot neu geschrieben, weil noch ein DHCP Agent im Hintergrund läuft, auch wenn Du die Daten schon statisch vergeben hast.

Schau mal hier: OTN Discussion Forums : resolv.conf - blank every new start of ...

Damit hatte ich es gelöst bekommen.

Bei mir steht heute übrigens was spannendes auf dem Plan: Trunking bzw. Bonding per LACP vom Solaris zum (ProCurve) Switch der LACP kann zum Mac Pro der es wohl auch unterstützt. Ich bin mal gespannt wie das so klapp. Traumziel ist es eine wirklich fixe iSCSI Platte am Mac Pro einzubinden für performanten Videoschnitt

 

[otto123]

@layerbreak Mit dem Probleme hatte ich gestern mit Solaris 11 Express zu kämpfen. Die /etc/resolv.conf wird bei jedem Boot neu geschrieben, weil noch ein DHCP Agent im Hintergrund läuft, auch wenn Du die Daten schon statisch vergeben hast.

Schau mal hier: OTN Discussion Forums : resolv.conf - blank every new start of ...

Damit hatte ich es gelöst bekommen.

Bei mir steht heute übrigens was spannendes auf dem Plan: Trunking bzw. Bonding per LACP vom Solaris zum (ProCurve) Switch der LACP kann zum Mac Pro der es wohl auch unterstützt. Ich bin mal gespannt wie das so klapp. Traumziel ist es eine wirklich fixe iSCSI Platte am Mac Pro einzubinden für performanten Videoschnitt

Hab ich schon drinnen. Ein Trunk über linkaggreg. Geht ganz ok nach Anweisung von Oracle.

Gruss
Otto

 

[Gr3yh0und]

@otto: RDM Zuweisung hat der Teufel gesehen. Hab mit nem Freund diesselben Probleme auf Intel H57 Systemen.

@Dieta: Trunk muss ich auch noch machen zum 1800-8

 

[layerbreak]

@layerbreak Mit dem Probleme hatte ich gestern mit Solaris 11 Express zu kämpfen. Die /etc/resolv.conf wird bei jedem Boot neu geschrieben, weil noch ein DHCP Agent im Hintergrund läuft, auch wenn Du die Daten schon statisch vergeben hast.

Schau mal hier: OTN Discussion Forums : resolv.conf - blank every new start of ...

Damit hatte ich es gelöst bekommen.

Momentan ist in /etc/resolv.conf bei mir der richtige Nameserver eingetragen.

Hast du es mit diesem OTN-Beitrag gelöst bekommen?

You can prevent dhcpagent from touching your resolv.conf, just change the PARAM_REQUEST_LIST value in the /etc/default/dhcpagent file.

.7/M.

Bei mir steht in der /etc/default/dhcpagent:
PARAM_REQUEST_LIST=1,3,6,12,15,28,43

Was mir nicht klar ist, soll ".7/M" in PARAM_REQUEST hinzugefügt werden? Was muss in der Parameterliste stehen?

Bei mir steht heute übrigens was spannendes auf dem Plan: Trunking bzw. Bonding per LACP vom Solaris zum (ProCurve) Switch der LACP kann zum Mac Pro der es wohl auch unterstützt. Ich bin mal gespannt wie das so klapp. Traumziel ist es eine wirklich fixe iSCSI Platte am Mac Pro einzubinden für performanten Videoschnitt

Dann könnte dir dieser Link eventl. helfen.
Ubiquitous Talk » Running ZFS over NFS as a VMware Store

 

[Snuskhammer]

Hab ich schon drinnen. Ein Trunk über linkaggreg. Geht ganz ok nach Anweisung von Oracle.

Gruss
Otto

Moin,

hast nen Link bzw. die Anleitung?

Gruß

 

[Snuskhammer]

drei Möglichkeiten:
1. stündliche snaps machen (every hour)
2. mehrere Jobs definieren, die je zu einer bestimmten Stunde laufen
3. im menue-script ein neues Zeitraster z.B. 0-3-6-9-12-15-18-21 hinzufügen

Gea

Hallo Gea,

zwei Fragen:
1. Wo kann ich im "menue-script" ein neues Zeitraster hinzufügen?
2. Kann ich irgendwo einstellen das der dedup Vorgang einmal am Tag läuft?
Nachts z.b.?

Gruß

Snuskhammer

 

[otto123]

Moin,

hast nen Link bzw. die Anleitung?

Gruß

Hatte ich schon gepostet oder? Sonst bitte kurze Info dann krame ich es raus.

 

[Gelöschtes Mitglied 117520]

Dieses ".7/M" ist die Signatur von dem User. Glaube nen einfaches auskommentieren (# vor die Zeile) sollte hier reichen.

@otto123 & @Gr3yh0und Also das mit dem trunken war ne Sch***-Idee. Zwar lief beides über beide Leitungen, aber wirklich mehr Durchsatz kam nicht bei raus. Viel schlimmer jedoch die Spätfolgen. Nachdem ich die 2. NIC dann wieder entfernt hatte (was soll ich mit 2 darin wenn die nichts bringen?) hat der mir ganz schön mein Profil zerschossen und auch AFP funktioniert nicht mehr wirklich.

Ich hab einfach kein Glück mit den Kisten

 

[layerbreak]

Dieses ".7/M" ist die Signatur von dem User. Glaube nen einfaches auskommentieren (# vor die Zeile) sollte hier reichen.

Danke. Das versuch ich wenn es das nächste Mal vorkommt.

@otto123 & @Gr3yh0und Also das mit dem trunken war ne Sch***-Idee. Zwar lief beides über beide Leitungen, aber wirklich mehr Durchsatz kam nicht bei raus. Viel schlimmer jedoch die Spätfolgen. Nachdem ich die 2. NIC dann wieder entfernt hatte (was soll ich mit 2 darin wenn die nichts bringen?) hat der mir ganz schön mein Profil zerschossen und auch AFP funktioniert nicht mehr wirklich.

Ich hab einfach kein Glück mit den Kisten

Du benutzt aber schon beadm, um dein ganzes Pech abzufedern?

 

[Gelöschtes Mitglied 117520]

Du benutzt aber schon beadm, um dein ganzes Pech abzufedern?

beadm!? Was das'n!?

 

[layerbreak]

beadm!? Was das'n!?

Guck hier: Document Information - OpenSolaris 2010.03 Managing Boot Environments
http://raichoo.blogspot.com/2008/10/beadm-ich-bin-nicht-eins-ich-bin-viele.html
Leider gibts zumindest bei OI noch kein integriertes man.

Management deiner Boot Umgebung
Ein geniales Tool. Einfach bevor du was testest ein be anlegen, wenns schief geht das Sicherungs-be aktivieren und du hast deinen alten Zustand wieder.

Von Vorteil ist es auch, wenn du den TimeSlider aktivierst. So kannste auch wieder zurück.

---------- Beitrag hinzugefügt um 19:20 ---------- Vorheriger Beitrag war um 19:08 ----------

Ich habe unter /var/mail/root eine email vom System erhalten. Besteht die Möglichkeit, dass das System mir die Nachrichten auf mein eMail Account z.B. bei web.de verschickt? Und wo kann ich die Parameter einstellen?

 

[Metzzo]

N'abend

Hier mal wieder ein paar Daten.

"Raid10" bzw. Pool mit zwei Mirrors (4HDDs) unter NexentaStor:

WRITE CPU RE-WRITE CPU READ CPU RND-SEEKS
117MB/s 23% 68MB/s 14% 164MB/s 12% 550/sec
117MB/s 23% 68MB/s 14% 162MB/s 12% 565/sec
--------- ---- --------- ---- --------- ---- ---------
234MB/s 23% 137MB/s 14% 327MB/s 12% 558/sec

Noch ein paar netio Daten , allerdings von einem Optiplex 745 @ Server 2008 Std. und meinem Win7 Client. Hab noch kein Tool gefunden ums direkt auf der Nexenta Box zu testen. Nur mal um zu sehen ob der Switch o.ä. Stress macht:

TCP connection established.
Packet size 1k bytes: 60.60 MByte/s Tx, 6.70 MByte/s Rx.
Packet size 2k bytes: 58.80 MByte/s Tx, 30.23 MByte/s Rx.
Packet size 4k bytes: 88.09 MByte/s Tx, 95.21 MByte/s Rx.
Packet size 8k bytes: 94.75 MByte/s Tx, 6.26 MByte/s Rx.
Packet size 16k bytes: 109.84 MByte/s Tx, 94.30 MByte/s Rx.
Packet size 32k bytes: 88.41 MByte/s Tx, 94.48 MByte/s Rx.
Done.

Werte schwanken immer etwas, abhängig welche Starcaft-Streams gerade laufen

Das erklärt nun aber nicht die schlechten NFS/CIFS Performance.

Grüße