[Sammelthread] ZFS Stammtisch

[otto123]

Problem beim all-in-one

Hallo zusammen,

nun hat mein grosser Server endlich seine 16GB RAM (+ extra SAS Controller usw -alles was man für nap-it all-in-one braucht).

Esxi, installiert und SE11 als VM. Soweit so gut. Im SE11 habe ich dann einen e1000g als Netzwerkadapter. AutoMagic habe ich abgeschaltet und statischte IP an e1000g eingerichtet. nun das ABER: beim Neustart der VM ist dieser Link zwar noch vorhanden - aber "down". Wenn ich ihn lösche, neu anlege - gleiches Spiel. Was kann das sein?

Und noch eine "logische" Frage: Dem V-Switch im Esxi sind drei physische Nics zu geordnet. Die gehen dann auf den physischen Switch. Muss ich in der VM ebenfalls mehrere (virtuelle) Nics einrichten und aggregation machen um über 1Gbit/s zu kommen (von SE11->Esxi->physisches Netzwerk)? Mir ist nämlich nicht klar wie, wie schnell sich die Datenpakete zwischen der VM und dem Esxi bewegen BEVOR sie der Esxi an die physischen Nics leitet.

Erhellung sehr erwünscht.
Gruss,
Otto

 

[rengiared]

del

 

[gea]

Hallo zusammen,

nun hat mein grosser Server endlich seine 16GB RAM (+ extra SAS Controller usw -alles was man für nap-it all-in-one braucht).

Esxi, installiert und SE11 als VM. Soweit so gut. Im SE11 habe ich dann einen e1000g als Netzwerkadapter. AutoMagic habe ich abgeschaltet und statischte IP an e1000g eingerichtet. nun das ABER: beim Neustart der VM ist dieser Link zwar noch vorhanden - aber "down". Wenn ich ihn lösche, neu anlege - gleiches Spiel. Was kann das sein?

Und noch eine "logische" Frage: Dem V-Switch im Esxi sind drei physische Nics zu geordnet. Die gehen dann auf den physischen Switch. Muss ich in der VM ebenfalls mehrere (virtuelle) Nics einrichten und aggregation machen um über 1Gbit/s zu kommen (von SE11->Esxi->physisches Netzwerk)? Mir ist nämlich nicht klar wie, wie schnell sich die Datenpakete zwischen der VM und dem Esxi bewegen BEVOR sie der Esxi an die physischen Nics leitet.

Erhellung sehr erwünscht.
Gruss,
Otto

Mit mehreren vnics könnten Gäste link-aggregation machen - wenig sinnvoll.
Wenn dann sollte ESXi das machen. Die Gäste haben ja VMXNET3 Treiber und damit
High-speed zum virtuellen Switch mit mehreren Gbit.

Link aggregation von ESXi zum externen Switch macht aber nur Sinn, wenn mehrere
Computer gleichzeitig darauf zugreifen. Für einen einzelnen Computer bringt das nicht soviel.

Insgesamt mache ich persönlich einen großen Bogen um Link aggregation.
Macht eigentlich nur viel Ärger. Wenn mehr Performance, dann gleich auf 10 GB gehen.


Das ist genau wie fixe IP bei OI und networkefault
Die dauerhaften Einstellungen werden hier mit einem neuen Tool namens ipadm getroffen.
napp-it unterstützt das noch nicht (Nexenta kann das noch nicht, ich warte auf Nexenta4)

Mein Tip: mwam lassen und mit nwam die IP auf manuell stellen, nur eine Netzwerkkarte nehmen
- oder Oracle Dokus lesen und ...

siehe auch [H]ard|Forum - View Single Post - OpenSolaris derived ZFS NAS/ SAN (Nexenta*, OpenIndiana, Solaris Express)


Gea

---------- Beitrag hinzugefügt um 21:53 ---------- Vorheriger Beitrag war um 21:50 ----------

Hallo,

ich hätte nochmals eine kurze Fragen.
Ich würde gerne mehrere ZFS Folder anlegen die ineinander verschachtelt sind und dann auch so im SMB Share angezeigt werden.

D.h. ich hab z.b. folgende ZFS Folder:
data/PVE
data/PVE/00-01
data/PVE/00-02
data/PVE/01-01
data/PVE/01-02

wenn ich jetzt allerdings auf den SMB Share \\ip-adresse\PVE\ Zugreife sind die Ordner "00-01", "00-02", usw. nicht sichtbar
Sie sind nur per \\ip-adresse\00-01 erreichbar

Der Grund ist der das ich die einzelnen ZFS-Folder ala "00-01" in ProxmoxVE Umgebungen per NFS einbinden möchte für dessen Snapshot Backup, ich aber auch den Komfort des durchklickens am SMB-Share gerne hätte

vielen dank schonmal und noch einen schönen sonntag

Das geht nicht mit dem Kernel- CIFS Server. Da ist SMB-sharing eine
ZFS Eigenschaft und damit völlig losgelöst von darunter gemounteten
anderen ZFS Dateisysteme.

Alternative1: Samba nehmen und damit ein Problem lösen
und andere Probleme finden...

Alternative2: keine eigenen Dateisysteme sondern nur Ordner im
Dateisystem anlegen.


Announcement: napp-it 0.500h
empfohlen für alle, die Replikation nutzen
neues Feature bei autojobs: alle n Min/Stunden aber opt. nur morgens und/oder nachmittags/ nachts

Gea

 

[rengiared]

del

 

[otto123]

Das ist genau wie fixe IP bei OI und networkefault
Die dauerhaften Einstellungen werden hier mit einem neuen Tool namens ipadm getroffen.
napp-it unterstützt das noch nicht (Nexenta kann das noch nicht, ich warte auf Nexenta4)

Mein Tip: mwam lassen und mit nwam die IP auf manuell stellen, nur eine Netzwerkkarte nehmen
- oder Oracle Dokus lesen und ...

siehe auch [H]ard|Forum - View Single Post - OpenSolaris derived ZFS NAS/ SAN (Nexenta*, OpenIndiana, Solaris Express)


Gea

---------- Beitrag hinzugefügt um 21:53 ---------- Vorheriger Beitrag war um 21:50 ----------





Gea

Danke Gea,
habe es auf die harte Tour hinbekommen. Ohne NWam. Die Manpages habe ich nun in dem Bereich durch...

Und das mit Aggregation habe ich nun auch klar - auf dem Esxi habe ich nun sechs NICs (4 onboard und eine Steckkart mit zwei). Drei davon verbunden für die VMs und auf dem physischen Switch als Aggregation verbunden.

Ich schicke mal ein paar Screenshots wenn alles zusammengefriemelt ist.

Gruss
Otto

 

[otto123]

Wird doch...

So langsam klappt alles Der Pool mit 5x EARS 2TB macht 320 Mb/s lesen. Es stellt sich mir aber noch eine dumme Frage - wie kopiere ich am schnellsten von Solaris zu Solaris? Über GUI kann man zB auf Windows Share verbinden (nehmen an das ist dann CIFS). Das geht aber grottig lahm. Witzigerweise langsamer als wenn ich über einen WIndowsrechner vom einen auf den anderen Solaris Share schaufele.

Daher - wie geht es am fixesten von einem Solaris zum anderen Solaris?

Gruss
Otto

 

[pugnacity]

scp, rsync, nfs such dir was aus wobei nfs export bei zfs meines wissens dabei ist

 

[gea]

Daher - wie geht es am fixesten von einem Solaris zum anderen Solaris?

Gruss
Otto

ZFS replication.
Damit wird eine identische Kopie des ZFS Dateisystems mit allen snaps
und allen Eigenschaften z.B. ACL angelegt.

Kann aber wegen der mitkopierten snaps länger dauern als ein Copy.
Dafür kann man die Replikation immer wieder laufen lassen.
Ab dem 2. Mal werden nur die geänderten Datenblocks übertragen

-> napp-it-> appliance group bilden -> replication job anlegen (manuell starten)

Gea

 

[otto123]

Dankeschön zusammen.

Und nachdem ich wieder in die Cryptofalle getappt bin (nach Scrub Fehler) darf ich das auch wohl alles schnell machen.
OpenSolaris Forums : bug? ZFS crypto vs. scrub ...
Scheint noch nicht so richtg gar das Crypto...

Gruss
Otto

 

[xymos]

So langsam klappt alles Der Pool mit 5x EARS 2TB macht 320 Mb/s lesen. Es stellt sich mir aber noch eine dumme Frage - wie kopiere ich am schnellsten von Solaris zu Solaris? Über GUI kann man zB auf Windows Share verbinden (nehmen an das ist dann CIFS). Das geht aber grottig lahm. Witzigerweise langsamer als wenn ich über einen WIndowsrechner vom einen auf den anderen Solaris Share schaufele.

Daher - wie geht es am fixesten von einem Solaris zum anderen Solaris?

Gruss
Otto

hi Otto,


320 mb/s klingen gut - hast Du die 4k besonders behandelt ?
Denn ich komme nicht auf den Speed.
Sind die Werte aus einem RaidZ1 oder RaidZ2 ??

Welche Durchsatz hast Du mit dem Link agg. in der Praxis.


thx und gruß,

-xymos.

 

[otto123]

hi Otto,


320 mb/s klingen gut - hast Du die 4k besonders behandelt ?
Denn ich komme nicht auf den Speed.
Sind die Werte aus einem RaidZ1 oder RaidZ2 ??

Welche Durchsatz hast Du mit dem Link agg. in der Praxis.


thx und gruß,

-xymos.

Hi,

nein, ich habe mal gar nichts gemacht Aber ich entsinne mich, dass GEA sagte 5 Platten wären aus irgendeinem Grund gut... RaidZ2

Die Kiste läuft ja unter VmWare. Also muss ich da aggregieren. Das geht aber bisher nicht. Habe es beim physikalischen Switch eingestellt Procurve 1800. LACP. Macht aber nichts so scheint es mir.

Gruss
Otto

 

[DarkDeveloper]

nein, ich habe mal gar nichts gemacht Aber ich entsinne mich, dass GEA sagte 5 Platten wären aus irgendeinem Grund gut... RaidZ2

Ja für RaidZ, RaidZ2 sind 6 Platten
Aber das ist nicht so dramatisch, die sequentielle Leistung scheint nur nicht linear mit der Anzahl der Platten zu skalieren, sondern ist am besten, wenn die 128K Records gleichmäßig auf die Datenplatten verteilt werden.

 

[xymos]

@Otto

Kannst Du mal etwas transparenter sein , was deine Hardware angeht ?
Somit habe ich dann einen Vergleich.
Welche Rekordsize habe deine zvol ?

@Darkdelveloper

Ich habe 6x 1,5TB WD EARS und bin weit unter den werten von denen. die Otto erzielt.
Danke

 

[rengiared]

del

 

[otto123]

@Otto

Kannst Du mal etwas transparenter sein , was deine Hardware angeht ?
Somit habe ich dann einen Vergleich.
Welche Rekordsize habe deine zvol ?

@Darkdelveloper

Ich habe 6x 1,5TB WD EARS und bin weit unter den werten von denen. die Otto erzielt.
Danke

Hi,

also mit etwas Glück habe ich nun eine Signatur wo alles drinnen steht...
Wo schaue ich die Rekordsize nach?

Gruss
Otto

---------- Beitrag hinzugefügt um 08:48 ---------- Vorheriger Beitrag war um 08:40 ----------

Hallo zusammen,

will endlich das Verschlüsselungsthema vom Tisch habe. Nachdem das mit Solaris m.E. z.Zt. noch unausgegoren ist -> Truecrypt. Allerdings verstehe ich das ZFS zu wenig -> Wenn ich mit Truecrypt einen Container auf dem ZFS anlege wird der formatiert. Und zwar mit NTFS. Ändert es dann das ZFS oder liegt das NTFS irgendwie "drüber"??

Hier habe ich etwas gefunden - aber nicht schlau draus geworden
TrueCrypt Forums :: ZFS compatibility?
TC works on the block level. It should be compatible with any filesystem. Just format a volume as raw, mount it, then mkfs the drive and go from there.

Und hier gibt es eine Anleitung wie man Truecryptcontainer mit beliebigen Filesystem erstellt. Damit sollte auch ZFS gehen:
Qvintvs scribet

Kann aber in beiden Fällen nicht einschätzen was das in Bezug auf das ZFS bedeutet.
Ideal wäre: ZFS Ordner erstellen, freigeben, von Windows Rechner aus Container erstellen und fertig.

Gruss,
Otto

 

[sun-man]

Im Grunde legst Du nur eine Datei auf das ZFS - was da drinnen ist, ist ZFS Wumpe. TC nimmt sich die "Datei" und benutzt es als Filesystem. TC "sieht" also nicht das ZFS sondern nur den Container/die Datei.
ZFS dagegen "sieht" halt nur den Container und arbeitet damit. Also wenn Du 50GB TC Container hast kann ZFS auch nur jeweils die ganzen 50gb bewegen und nicht nur Teile davon.

 

[otto123]

Im Grunde legst Du nur eine Datei auf das ZFS - was da drinnen ist, ist ZFS Wumpe. TC nimmt sich die "Datei" und benutzt es als Filesystem. TC "sieht" also nicht das ZFS sondern nur den Container/die Datei.
ZFS dagegen "sieht" halt nur den Container und arbeitet damit. Also wenn Du 50GB TC Container hast kann ZFS auch nur jeweils die ganzen 50gb bewegen und nicht nur Teile davon.

Ok, das bedeutet ich kann einen 3TB Container machen. Und der liegt dann eben so rum. Bewegt werden soll er ja auch nicht ;-)

Danke!

 

[barnacle2k]

sowas würde ich per iscsi machen.
Das Volume kannst du ja sowieso nur auf einem pc mounten.
Auf den volume machst du dann eine gpt partition die du dann mit Truecrypt cryptest.
(btw nimm lieber diskcryptor)
dann kannst du das volume auch in der grösse ändern.

 

[otto123]

sowas würde ich per iscsi machen.
Das Volume kannst du ja sowieso nur auf einem pc mounten.
Auf den volume machst du dann eine gpt partition die du dann mit Truecrypt cryptest.
(btw nimm lieber diskcryptor)
dann kannst du das volume auch in der grösse ändern.

Hi,

hatte ich auch dran gedacht. Müsste ich dann aber auf 4 Rechnern einrichten. Und auf allen Rechnern habe ich eh schon TC. Diskcryptor kenne ich nicht - TC nutze ich seit vielen Jahren. Keine neue Front aufmachen...

Gruss
Otto

 

[Metzzo]

Hey

Spiele gerade wieder mit OI + NappIT

Habe gerade einen neues RaidZ1 aus 5 x 1TB HDDs gebaut, findet da im Hintergrund anschließend eine Art "Sync" statt?
Aktuell werkelt der Kernel bei ~ 75% Usage.
Via TOP zeigt er mir den Übeltäter nicht an, suche gerade nach weiteren Parametern.
Ich weiß das ZFS einiges an Resources brauch aber idle über 70% kann ich mir bei einem C2D 6750 nicht recht vorstellen

Grüße

 

[otto123]

Hey

Spiele gerade wieder mit OI + NappIT

Habe gerade einen neues RaidZ1 aus 5 x 1TB HDDs gebaut, findet da im Hintergrund anschließend eine Art "Sync" statt?
Aktuell werkelt der Kernel bei ~ 75% Usage.
Via TOP zeigt er mir den Übeltäter nicht an, suche gerade nach weiteren Parametern.
Ich weiß das ZFS einiges an Resources brauch aber idle über 70% kann ich mir bei einem C2D 6750 nicht recht vorstellen

Grüße

Also bei mir hat RaidZ2 bauen mit 5 Platten vielleicht eine handvoll Sekunden gedauert...

Gruss
Otto

 

[Metzzo]

Hey

Also soweit sieht es fertig aus und ist auch nutzbar, nur die CPU kommt nicht zur Ruhe.

 

[DarkDeveloper]

Beim Anlegen eines RaidZx müssen nur die Metadaten initialisiert werden, das geht in wenigen Sekunden.
Wenn du mit top nichts siehst, versuch prstat, das zeigt bei mir immer mehr und besser an.

 

[otto123]

Im Grunde legst Du nur eine Datei auf das ZFS - was da drinnen ist, ist ZFS Wumpe. TC nimmt sich die "Datei" und benutzt es als Filesystem. TC "sieht" also nicht das ZFS sondern nur den Container/die Datei.
ZFS dagegen "sieht" halt nur den Container und arbeitet damit. Also wenn Du 50GB TC Container hast kann ZFS auch nur jeweils die ganzen 50gb bewegen und nicht nur Teile davon.

Irgendwie fallen mir da noch die Haare aus. Habe nun meinen 3 TB Container, den mounte ich von Windows und bekomme einen lokalen Laufwerksbuchstaben. Und was bekomme ich - ein immer langsamer werdenden Transfer der so von 100 Mb/s auf 5Mb/s langsam zusammenschrumpft. CPU ist so mit zwei Kernen bei 50%. Was könnte die Kiste derart ausbremsen? Habe einen i5 auf dem Desktop. Der kann sogar den AES Befehl. Und auch 8 GB RAM.
???

Gruss
Otto

 

[Metzzo]

Mein OI hat sich inzwischen etwas beruhigt und dümpelt be 15-20% CPU load herum.

Aktuell komme ich via CIFS/SMB auf ~70-80MB & mit NFS nur auf ~ 50MB.
Allerdings teste ich NFS nur aktuell via VM und NFS eben als Datastor.
Hat jemand ähnliche Erfahrungen gemacht?

@OTTO

Hast du mal geschaut was dein Server so macht? Memory/CPU?

Btw. da fällt mir gerade auf, dass die OI Systemüberwachung und top extrem andere Ansichten vertreten

Laut OI GUI sind 3xx MB RAM in Use & laut top sind gerademal 6xxMB free.

Und da gerade ein Bench läuft, glaube ich eher top

//Edit:

@Gea

Was für einen "shutdown" Befehl nutzt du denn in deinen Scripts?
Denn bei mir bleibt die Kiste immer nach "synching file systems... done" stehen.

//Edit2:
Lag scheinbar an der Energie-Modi Einstellung im BIOS. Von S3 auf S1 und schon klappts oO

 

[otto123]

ZFS replication.
Damit wird eine identische Kopie des ZFS Dateisystems mit allen snaps
und allen Eigenschaften z.B. ACL angelegt.

Kann aber wegen der mitkopierten snaps länger dauern als ein Copy.
Dafür kann man die Replikation immer wieder laufen lassen.
Ab dem 2. Mal werden nur die geänderten Datenblocks übertragen

-> napp-it-> appliance group bilden -> replication job anlegen (manuell starten)

Gea

Dankeschön Gea.
So, jetzt komme ich dazu es auszuprobieren. Scheint gut zu gehen. Soweit ich verstehe ist es aber "nur" eine Kopie, kein sync? Geht also nur in eine Richtung?

Gruss
Otto

 

[Metzzo]

Funktioniert bei euch die power.conf bzw. die verwendeten Settings?

device-thresholds ignorieren meine HDDs gekonnt.
Unter SUSE konnte ich die gemütlich via hdparm -S xx schlafen legen.

Hat sich schon jemand intensiver mit den Energiespar-Möglichkeiten befasst?

 

[barnacle2k]

@Metzzo
Jo bei mir funktionierts exakt wie eingestellt.
Aber "Intensiv" habe ich mich damit nicht beschäftigt.

Es kommt SEHR auf den Controllertreiber an an dem die Platten hängen.

LSI1068e und SAS2008 [NUR MIT IT FIRMWARE!!!] funktionieren gut.
Onboard AHCI sollte auch vernünftig gehen.

Ansonsten poste doch mal deine power.conf

@Otto:
Hast du das File etwa als Sparse angelegt?
Langsam formatiert? wenn nein dann mach das bitte.

Aber langsam nimmt ja auch das ZFS on Linux Projekt benutzbare Formen an
sodass wir bald kein Solaris mehr benötigen.
(Hoffentlich kommt das "Richtige" solaris 11 bald damit ZFS v31 sourcen endlich verfügbar werden.)

 

[Metzzo]

Hey nutze den empfohlenen LSI1068E (orginal Firmware).

#
# Copyright 1996-2002 Sun Microsystems, Inc.  All rights reserved.
# Use is subject to license terms.
#
#pragma ident   "@(#)power.conf 2.1     02/03/04 SMI"
#
# Power Management Configuration File
#

device-dependency-property removable-media /dev/fb
autopm                  default
autoS3                  default
cpu-threshold           1s
# Auto-Shutdown         Idle(min)       Start/Finish(hh:mm)     Behavior
autoshutdown            30              9:00 9:00               noshutdown
cpupm  enable
cpu-threshold 300s 
device-thresholds         /dev/dsk/c1t0d0     300s 
device-thresholds         /dev/dsk/c1t1d0     300s 
device-thresholds         /dev/dsk/c1t2d0     300s 
device-thresholds         /dev/dsk/c1t4d0     300s 
device-thresholds         /dev/dsk/c1t6d0     300s 
device-thresholds         /dev/dsk/c1t7d0     300s

 

[otto123]

@Metzzo


@Otto:
Hast du das File etwa als Sparse angelegt?
Langsam formatiert? wenn nein dann mach das bitte.

Hi,

kann mal leider nicht ganz folgen... Ich habe
1) Ordner mit Napp-it angelegt
2) Auf Windows per Netzwerklaufwerk verbunden
3) TC auf Win7 angeworfen, Container erstellen (auf das Netzwerklaufwerk unter Win7) und los. Formatieren tut dann das TC. Da kann ich - glaube ich - nichts einstellen.

Oder wie hast Du es gedacht?

Gruss
Otto

PS: Mein Traum wäre Freenas mit (funktionierendem ) ZFS und fertig...





---------- Beitrag hinzugefügt um 15:57 ---------- Vorheriger Beitrag war um 15:55 ----------

Hey nutze den empfohlenen LSI1068E (orginal Firmware).

#
#

Nachdem ich auch den Controller mit nun 5 Platten habe würde mich das auch sehr interessieren. Magst Du posten was Du wie, wo genau gemacht hast wenn es geht? Danke vorab Otto