[Sammelthread] ZFS Stammtisch

[barnacle2k]

Ich habe meinen conti mit diesem file unter DOS geflashed:
-> SAS3081ER_P20_Supports_SAS_1-5G_3G_6G_and_SATA_3G_6G_HDD

Und den Controller kannst du ja einfach in einen Freien PCI-E Stecken
und kucken was das BIOS des controllers ausgibt.

 

[Metzzo]

Nabend, wollte heut Abend nochmal Nexenta installieren und nem Raid10 Build eine Chance in Sachen Performance geben allerdings:

Die Kiste rennt nach booten von CD direkt in den GRUB, keine Ahnung warum bzw. wie ich ihn dazu bewegen könnte den installer zu starten.

Jemand ne Idee?

 

[Pac2]

Was ist eigentlich der Unterschied zwischen der Firmware

SAS3081ER_P20_Supports_SAS_1-5G_3G_6G_and_SATA_1-5G_3G_HDD

und

SAS3081ER_P20_Supports_SAS_1-5G_3G_6G_and_SATA_3G_6G_HDD

?

Und hat schon jemand 4k Platten mit dem Controller im Einsatz?

 

[barnacle2k]

Steht doch dabei, die eine kann sata 1 (1.5Gbit), 2 (3Gbit) und die andere SATA 2 (3Gbit) und 3 (6Gbit) Festplatten ansteuern.
Sata 1 (1.5Gbit) UND 3 (6Gbit) scheint merkwürdigerweise nicht möglich zu sein.
Aber normal können alle SATA platten der letzten 4 Jahre 3Gbit.
Und NEIN damit wird der controller NICHT zum 6Gbit Controller.

Und 4k oder nicht macht vom controller her keinen unterschied.
(Weil die KEINE raidcontroller sind)

Metzo:
Platform?
Schonmal die Returntaste versucht?
Gibt er irgentwelche Meldungen?

 

[otto123]

Ich habe meinen conti mit diesem file unter DOS geflashed:
-> SAS3081ER_P20_Supports_SAS_1-5G_3G_6G_and_SATA_3G_6G_HDD

Und den Controller kannst du ja einfach in einen Freien PCI-E Stecken
und kucken was das BIOS des controllers ausgibt.

Danke für die Infos!
Gruss
Otto

 

[Metzzo]

Moin

Plattform isn P35+C2D, nichts wildes.
Darauf lief Nexenta auch bereits, hatte es kurzzeitig durch SUSE & Co. zu Testzwecken ersetzt.

Wie gesagt keine Fehlermeldungen o.ä. bleibt einfach im Grub stehen. Enter bzw. Befehle ala boot o.ä. beeindrucken ihn nicht wirklich.

 

[otto123]

Eigentlich dachte ich ja ich bin schlau - habe noch ein externes USB Floppylaufwerk. Und sogar das richtige (da gab es welche die bei F6 net wollten). Nun will das Ding aber ZWEI Disketten. Habe nur noch eine...

Ok, kennt Ihr sicher alle aber doch ein Tip wert:
Bios-boot-usb-stick - Anleitung: BIOS Update per bootfähigen USB-Stick - www.biosflash.com
USB Stick mit Dos bootbar.

Auf dem Controller ist 1.26.00.00-IR Da muss also angesetzt werden.

---------- Beitrag hinzugefügt um 06:24 ---------- Vorheriger Beitrag war um 05:47 ----------

Puh, das Adrenalin hält sicher bis Mittag. Erstmal ein paar Klimmzüge machen. ABER: Hat wohl geklappt

Also:
1) USB Stick vorbereiten falls nötig, sonst Floppy mit zwei Disketten Bios-boot-usb-stick - Anleitung: BIOS Update per bootfähigen USB-Stick - www.biosflash.com
2) Hier LSI SAS3081E-R : Host Bus Adapters : Produkte : Channel Gateway die Firmware laden. Ich habe SAS3081ER_P20_Supports_SAS_1-5G_3G_6G_and_SATA_3G_6G_HDD genommen. (siehe Infos auf dieser Seite oben von barnacle2k)
3) Direkt ausgepackt in die Wurzel des USB Sticks
4) Boot Reihenfolge im BIOS ggf auf USB STick stellen
5) Booten und dann den Anweisungen aus dem File in der Firmware folgen SASFLASH_readme (ist ganz angenehm wenn man das an einem anderen Bildschirm offen hat oder ausgedruckt)
6) DIe Kiste merkt, dass es kein LSI COntroller ist sonder Intel. Flash anyway drücken
7) Es kommt eine lange LIste wo man wählen muss welchen Chip man hat. GENAU lesen! 3081. Es hat auch einen 3018 oder so ähnlich. Nicht den falschen nehmen...
8) IT muss man wählen und er fragt noch irgendwo welchen Chip man hat das zeigt er aber vorher an - >

"
The above shows which chip is on the HBA
For 1068E(B1) Type 1
For 1068E(B2) Type 2
To Exit Type q"

Bei mir war das B3.

Und dann los...

Also: Wenn ich es geschafft habe. sollte es jede(r) andere auch ...

Danke nochmals für eine Hilfe.

Ahch so - im Controller Bios sagt es dann 1.32.00.00-IT

Gruss
Otto

 

[Metzzo]

Hrmmmmmm

Dachte naja wenn Nexenta nicht will, test ich mal OI.
Und was macht der?
Genau das gleiche.

Tippe ich "boot" ein, nachdem die Kiste im Grub hängt:

grub error 8: Kernel must be loaded before booting

Einige Foreneinträge weisen immer wieder auf einen defekten bootloader hin, allerdings startet das Setup hier garnicht mehr. Weder mit allen, einer, keiner, etc. HDDs angeschlossen.

Nerv!

//Edit

Problem gelöst.
Solaris hat einfach kein bock auf USB DVD Laufwerke -.-
Mit einem "echten" via SATA läufts rund oO

 

[barnacle2k]

Wenn nicht mal der kernel geladen wird stört sich nicht Solaris an etwas sondern grub stört sich an etwas.

Hast du mal alle festplatten ausgebaut bzw mal ne linux oder windows CD versucht?
Nicht das die linux distri den grub verwirrt bzw der falschen grub (den vom Linux) startet.

Hmm, ich habe Solaris 11 schon per USB cd installiert.



@otto:

Schön das das so problemlos gelaufen ist.
Aber adrenalin wegen eines BIOS flash? - Najaaaaa
Scheinst ja einen heidenrespekt vor deiner hardware zu haben...
Sei beruhigt: Sie funktioniert nicht mit schwarzer magie sondern nur mit Strom!

 

[otto123]

@otto:

Schön das das so problemlos gelaufen ist.
Aber adrenalin wegen eines BIOS flash? - Najaaaaa
Scheinst ja einen heidenrespekt vor deiner hardware zu haben...
Sei beruhigt: Sie funktioniert nicht mit schwarzer magie sondern nur mit Strom!

Naja, Dienstag will ich basteln. Und wenn das Ding hin ist... Fritzbox ist so auch abgek... - übers GUI und tod. Zyxel NAS ebenso - USb Stick per Anleitung - tod. Seitdem respekt vor der Sache... Aber vielleicht ist das auch eine andere Harwarekategorie.

Nachdem ich nun Win 7 Ultimate habe kann ich auch mal Zugriff per NFS versuchen. Mal schauen ob das bessere Raten liefert.

 

[barnacle2k]

Tja DANN fängt das basteln erst richtig an.
Da wird Flugs der JTAG oder SPI adapter angeschlossen und losgedebuggt.
Oder einen flashcardreader direkt an die pins des Onboard flashs gebrutzelt und losghackt.
Alternativ versucht man eine RS232 zu finden wo sich vlt noch ein bootloader meldet.
*gnahaha*

(OK BTT...)

Wenn du die Netzwerk performance testen willt kannst du NETIO verwenden.
Das sollte man zuerst machen wenn man mit den Datenraten nicht zufrieden ist.

 

[Metzzo]

Es fängt an wie es aufgehört hat mit der NexentaKiste.

Volume erstellt, NFS angeworfen, schwups volume weg. Alle HDDs wieder ngeblich verfügbar. Lassen sich abr nicht nutzen da sie angeblich zu einem pool gehören, der sich auch nicht mehr importieren lässt.

Reboot und Volume ist wieder da oO (das orginale)

 

[Gr3yh0und]

Ich fleddere mal ein altes Thema: 4k und co.

Was ist denn davon zu halten? Hitachi Deskstar 5K3000 2000GB, SATA 6Gb/s (HDS5C3020ALA632) | Geizhals.at Deutschland
Scheinen neue 2TB mit 667er Plattern (ergo 3) zu sein und 512kb Sektoren. 6Gbit/s hört sich auch nicht unbedingt schlecht an und die Benches/Verbrauch auch.

 

[otto123]

Vmware Tools unter SE11 express?

Hallo zusammen,

arbeite langsam GEAs all-in-one ab. VmWare habe ich installiert, Solaris Express 11 drauf. Leider blicke ich nicht wie man die VmWare Tools unter SE11 express installierrt. Hat jemand nen heißen Tip? Wenn ich es im Esxi versuche sagt er - CD Laufwerk ist belegt (doer so ähnlich)

Gruss
Otto

---------- Beitrag hinzugefügt um 10:56 ---------- Vorheriger Beitrag war um 10:55 ----------

Ich fleddere mal ein altes Thema: 4k und co.

Was ist denn davon zu halten? Hitachi Deskstar 5K3000 2000GB, SATA 6Gb/s (HDS5C3020ALA632) | Geizhals.at Deutschland
Scheinen neue 2TB mit 667er Plattern (ergo 3) zu sein und 512kb Sektoren. 6Gbit/s hört sich auch nicht unbedingt schlecht an und die Benches/Verbrauch auch.

Schaut ja wirklich nach nem "bargain" aus. Bin ich auch an Infos interessiert.

 

[Metzzo]

Steh gerade irgendwie aufm Schlauch.

Wie erstell ich bei Nexenta ein "Raid10"?
Zu Beginn (4 HDDs) bietet er nur Mirror und zRaid1-3 an.
Wenn ich zwei Mirrors erstelle hab ich nicht die Möglichkeit da einen Stripe zu erstellen. Bräucht da mal en Tipp.

Aktuell teste ich mit 4 x 1TB HDD + 1 x 8GB SSD als Cache im zRaid1
Leider ist die Performance leider noch noch nicht so prall.
~ 55MB NFS & ~ 80MB CIFS

Sehe auch keine Möglichkeit auf der Kiste RAM/CPU Usage über einen längeren Zeitraum zu monitoren. Default mäßig sehe ich da nicht die passenden Graphen.

Grüße

 

[barnacle2k]

Also Ein Raid10 kriegst du wenn du Mehrere Mirrors zu einem ZPOOL zusammen legst.
Wie das in der Nexenta gui geht weiss ich nicht.
Hier steht wie es per shell geht.
Kurzform: Einen mirror aus zwei platten erstellen
und dann einen weiteren mirror zum pool hinzufügen.

CPU monitoring:
Per putty (SSH) auf das ding connecten und top eingeben.
Dann gibt er dir die CPU auslastung, das worauf du dort achten solltest ist die Kernelzeit.

 

[gea]

Hallo zusammen,

arbeite langsam GEAs all-in-one ab. VmWare habe ich installiert, Solaris Express 11 drauf. Leider blicke ich nicht wie man die VmWare Tools unter SE11 express installierrt. Hat jemand nen heißen Tip? Wenn ich es im Esxi versuche sagt er - CD Laufwerk ist belegt (doer so ähnlich)

Erst unter VM-Einstellungen (esxi) das CD Laufwerk trennen
- zur Not Solaris dann neu starten

Gea

 

[Metzzo]

Also Ein Raid10 kriegst du wenn du Mehrere Mirrors zu einem ZPOOL zusammen legst.
Wie das in der Nexenta gui geht weiss ich nicht.
Hier steht wie es per shell geht.
Kurzform: Einen mirror aus zwei platten erstellen
und dann einen weiteren mirror zum pool hinzufügen.

CPU monitoring:
Per putty (SSH) auf das ding connecten und top eingeben.
Dann gibt er dir die CPU auslastung, das worauf du dort achten solltest ist die Kernelzeit.

An die command line habe ich vorhin garnicht gedacht

vmstat 5

Oracle Solaris Performance Analysis: Favorite Commands

//Edit:

Also CPU ist max mit 50-75% ausgelastet während des Benchmarks.
Dazu sind fast permanent 1GB von 4GB RAM frei.

Nacher mal testen ein Raid10 nachzubauen, anstatt ein zRaid1

 

[hotzen]

Hallo,
C2D E6600 (2*2,4 Ghz), 4*1GB DDR2, 3*Seagate 5900.3 (2TB, SATA 6Gbps) im RaidZ, Solaris 11 Express, zfs-encryption enabled. Pool ist mit gepatchtem zpool auf ashift=12 geforced.

Ich hab beim schreiben nur 30 MB, wenn ich auf ein non-encrypted zfs schreibe, kriege ich auch nur um die 40.

Wie kriege ich jetzt das Bottleneck heraus?

kai@knecht:~/smartmontools-5.40$ vmstat 5
kthr memory page disk faults cpu
r b w swap free re mf pi po fr de sr s0 s1 s2 s3 in sy cs us sy id
1 0 0 4375080 2815916 11 45 1 0 0 0 36 2 40 40 40 1249 751 4086 0 34 65
4 0 0 2087020 522820 2 11 0 0 0 0 0 0 146 147 143 2369 226 5686 0 84 16
4 0 0 2086776 522616 0 0 0 0 0 0 0 0 155 156 159 2539 197 6359 0 86 14

Ich interpretiere das als CPU-Idle um 14-16%? Dann wäre die Cpu maxed-out?

 

[Metzzo]

Kleines Update

Pool mit zwei Mirrors / Raid10 erstellt und mal angefangen zu testen.

Aktuell während des Benchmarks:

15-25% CPU Usage @ kanpp 1GB RAM, also wesentlich sparsamer als ein zRaid.

IOMeter 32KByte 100% Sequential

100% Read
87MByte/s + 2622 IO/s
100% Write:
73 Mbyte/s + 2227 IO/s

tbc

 

[xymos]

kennt einer von euch einen sauber funktionierenden (bezahlbaren) SATA 6 Gb/s Hostadapter für Nexenta / Nappit ?

_xymos.

 

[gea]

kennt einer von euch einen sauber funktionierenden (bezahlbaren) SATA 6 Gb/s Hostadapter für Nexenta / Nappit ?

_xymos.

am Besten ist:
LSI SAS 9211-8i : Host Bus Adapters : Produkte : Channel Gateway

aber mit IT firmware flashen, falls Raid Firmware drauf
How-to Flash Supermicro X8SI6-F LSI SAS 2008 Controller with LSI IT Firmware Guide | ServeTheHome.com

billigste Ausführung (gibts ab und zu günstig gebraucht in der Bucht)
IBM Serveraid M1015
läßt sich aber wohl nicht mit IT Firmware flashen,
soll aber mit OpenIndiana/ SE11 sauber laufen, Nexenta weiss ich nicht.

siehe auch
LSI RAID Controller - HBA Equivalency Mapping


oder ein neues SuperMicro Mainboard mit SAS2 Controller und LSI2008 onboard
- falls mittelfristig eh ein neues Board geplant ist.


Gea

 

[DarkDeveloper]

aber mit IT firmware flashen, falls Raid Firmware drauf

Hab mich schon immer gefragt warum? Meiner läuft seit über einem Jahr ohne Probleme mit IR.

 

[otto123]

napp-it all in one mit Solaris Express 11 - noch nicht ganz...

Erst unter VM-Einstellungen (esxi) das CD Laufwerk trennen
- zur Not Solaris dann neu starten

Gea

Hallo Gea,

das habe ich gemacht. Dann Rechtsklick auf die virtuelle Maschine. Dort "Gast" ausgewählt und da hat es ja den Punkt "VmWare Tools installieren". Draufgedrückt. Dann kommt "installiere die Tools" (oder so ähnlich). Neustart. Er macht es dann aber nicht. Daher: Muss ich die VmWare Tools unter SolarisExpress 11 "per Hand" installieren? Und wenn ja - wie geht das? Habe leider bisher nichts im Netz gefunden.
Edit: Gelöst siehe http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1023956


Zweite Sache an der ich hänge: Das NFS Datastore (auf dem dann die weiteren VMs abgelegt werden sollen) einbinden. Habe nun VmWare installiert, den Controller installiert, durchgereicht. In einer virtuellen Maschine habe ich SolarisExpress 11. Dann habe ich eigentlich Dein How To abgearbeitet:
napp-it installiert
Passwörter geändert für User und Root
Ordner NFS angelegt und per NFS/SMB freigegeben.
Von Windows aus auch "Jeder" Vollzugriff gesetzt.
IP Adresse der virtuellen Maschine eingegeben (über Windows komme ich auch auf den Share nfs)
Pfad /name des pools/ ordner für das NFS Datastore angegeben
-> tut aber nicht, siehe Screenshot.
Habe ich noch einen blöden Fehler drinnen??

Noch zur Info - ich habe den Esx Vsphere Advanced.

Gruss
Otto

 

[gea]

Hab mich schon immer gefragt warum? Meiner läuft seit über einem Jahr ohne Probleme mit IR.

wenn es läuft ist es ok, wenn man die Wahl hat, dann IT nehmen.

warum?
es ist ähnlich wie bei den SATA Einstellungen am Mainboard. Da gibt es
- AHCI (native SATA)
- Raid (mit Raid Funktionalität, Extra Treiber nötig)
- IDE Emulation

bei SAS Controllern heisst es eben:

IT mode (Initiator-Target mode, native SAS)
IR mode (Integrated Raid mode, braucht extra Treiber)

Solaris mag am liebsten "dumme IT mode controller", die Raid Sachen macht es
selber viel besser. Es sind auch mehr Platten möglich. Es wird kein Extra Software-Layer
im Controller benutzt. Die IR-mode Treiber gibt es nicht für jede ZFS-OS-Version. Die
IT-mode Treiber sind oft ausgereifter, schneller und stabiler.

Also genug Gründe.


Gea

---------- Beitrag hinzugefügt um 10:52 ---------- Vorheriger Beitrag war um 10:32 ----------

Hallo Gea,

das habe ich gemacht. Dann Rechtsklick auf die virtuelle Maschine. Dort "Gast" ausgewählt und da hat es ja den Punkt "VmWare Tools installieren". Draufgedrückt. Dann kommt "installiere die Tools" (oder so ähnlich). Neustart. Er macht es dann aber nicht. Daher: Muss ich die VmWare Tools unter SolarisExpress 11 "per Hand" installieren? Und wenn ja - wie geht das? Habe leider bisher nichts im Netz gefunden.

Installiert wird über ein perl-script auf der tools cd.
vmware-tools-distrib/vmware-install.pl

siehe
http://www.napp-it.org/doc/downloads/all-in-one.pdf Kapitel 7.1

"Howto Install vmware-tools on OpenIndiana
Disconnect OpenIndiana Boot-CD (VM-CD-Settings, uncheck connected)

Right-klick on the Virtual machine Icon and select Guest-Install/upgrade vmware tools The tools cd is now mounted as /cdrom/vmwaretools

open a terminal, enter su to get root permissions and start

nautilus (filebrowser) open compressed tools cd and copy included folder (vmware-tools-distrib) to /tmp

open a new terminal and su to get root permissions and enter
perl /tmp/vmware-tools-distrib/vmware-install.pl"



zum NFS Problem.
Hört sich alles richtig an.
Ich habe zwar kein advanced sondern Gratis-ESXi,
das sollte aber egal sein. Läuft auf jeden Fall auf meiner
Heim/ Test-Maschine ohne Problem.

einziger Unterschied zu mir, den ich sehe ist nbmand:
nbmand vielleicht noch einschalten (mandatory filelocking)
und nfs neu starten.

eventuell mal einen ping von Solaris auf ESXi machen, um zu sehen
ob es vielleicht ein Problem mit dem virtuellen ESXi Switch gibt.


Gea

 

[otto123]

zum NFS Problem.
Hört sich alles richtig an.
Ich habe zwar kein advanced sondern Gratis-ESXi,
das sollte aber egal sein. Läuft auf jeden Fall auf meiner
Heim/ Test-Maschine ohne Problem.

einziger Unterschied zu mir, den ich sehe ist nbmand:
nbmand vielleicht noch einschalten (mandatory filelocking)
und nfs neu starten.

eventuell mal einen ping von Solaris auf ESXi machen, um zu sehen
ob es vielleicht ein Problem mit dem virtuellen ESXi Switch gibt.


Gea

Also ein Ping tut.

Nur nochmals um ganz sicher zu sein. Der Pfad muss lauten
POOL/nfsfolder? (das wäre hier dann sola/nfs)
oder
HOST/nfsfolder?

Gruss
Otto

 

[gea]

Also ein Ping tut.

Nur nochmals um ganz sicher zu sein. Der Pfad muss lauten
POOL/nfsfolder? (das wäre hier dann sola/nfs)
oder
HOST/nfsfolder?

Gruss
Otto

der Pfad muss folgendermaßen heissen (so wie im Dateisystem):
/pool/folder

also /sola/nfs
der Host wird ja separat angegeben.


Gea

 

[otto123]

Ok. Dann muss ich nochmals suchen. Notfalls mal neu machen.

Gerade kopiere ich von Microserver SE11 auf virtualisiertes SE11 (Xeon). 25 Mb/s über Gbit Netzwerk. Nicht berauschend. Die Platten auf beiden Pools hatten jeweils weit über 100 Mb/s im Benchmark. Naja, mal Mittag machen.

 

[Metzzo]

Pfad /name des pools/ ordner für das NFS Datastore angegeben
-> tut aber nicht, siehe Screenshot.
Habe ich noch einen blöden Fehler drinnen??

Weiß gerade nicht welches OS bzw. System ihr nutzt ob NExentaStor, Core, etc. Aber zumindest beim NexentaStor wäre es:

/volumes/<dein pool>/<dein share>

//Edit, scheint sich um OI zu handeln, also wär mein Tipp hinfällig XD


Grüße

 

[hotzen]

4k-Alignment prinzipiell

Guden,

benutze Seagate 5900.3 mit 4k-Sektoren, 3 Stück im RaidZ. Pool ist mit dem gepatchten zpool auf ashift=12 initialisiert. Benutzt wird zfs-mäßig die gesamte Platte ohne Partition oder Slices. Ist das so korrekt? Man muss da nichts alignen, weil ZFS das über ashift=12 schon selbst "ahnt"?

Habe paar posts über diesem schon über meine Performance-Probleme geschrieben, auf [H] auch nochmal: Bad ZFS Performance - [H]ard|Forum
Hat da jemand noch einen Lösungsansatz in der Tasche?

Danke