[Sammelthread] ZFS Stammtisch

Ok, mit @gea s napp-it kann ich einen Stresstest mit bonnie++ machen.

Aber was gefällt dir nicht an den Werten, @baldi. Ich kann die Zahlen nicht interpretieren.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Es ist wohl ironisch gemeint.
Die Werte sind sehr gut..

Sequentielle Datenraten beim blockweisen Lesen von 376 MB/s und 279 MB/s und Datenraten beim sequentiellen blockweisen Schreiben von 329 MB/s und 403 MB/s sind sehr gut.

Ich habe 9 Platten (WD 2 TB RE4, auch green drives, keine 4k) im RaidZ3 auf einem Intel P5000 Mainbaord mit 8GB Ram und 8 Core. Damit erreiche ich ca 600 MB/s lesen und ca 400 MB/s schreibend.

Gea
 
Zuletzt bearbeitet:
um dem auf den Grund zu gehen müßte man jede Platte einzeln testen, um zu sehen ob eine einzelne Platte schuld ist und dann die Werte mit nicht 4k Drives vergleichen um zu sehen ob es ein 4k Problem mit den EARS ist.
 
um dem auf den Grund zu gehen müßte man jede Platte einzeln testen, um zu sehen ob eine einzelne Platte schuld ist und dann die Werte mit nicht 4k Drives vergleichen um zu sehen ob es ein 4k Problem mit den EARS ist.

Im hardforum hab ich auch schonmal ähnliche Werte gelesen [H]ard|Forum - View Single Post - Testing ZFS RAID-Z performance with 4K sector drives

Aber ich werds einfach bei dem belassen und darauf hoffen, dass eine zukünftige OS-Version keine Probleme mit 4k Platten hat :-)
 
um dem auf den Grund zu gehen müßte man jede Platte einzeln testen, um zu sehen ob eine einzelne Platte schuld ist und dann die Werte mit nicht 4k Drives vergleichen um zu sehen ob es ein 4k Problem mit den EARS ist.

Ok, die kleine Anspielung verstanden. :-)

@gea, lässt sich in napp-it bonnie++ so einstellen, dass jede einzelne Platte gestresst wird, oder immer nur ein Pool?
 
Zuletzt bearbeitet:
Seitdem ich napp-it installiert habe, funktioniert auch das Temperatur auslesen bei allen Platten :-)
Vorher gings bei 1-3 Festplatten nicht.
 
Kurze Frage: ich habe NextentaStore testweise auf einer VM mit 2 zusätzlichen HDDs am laufen. Habe ein Volume angelegt, ein SCSI Target und ein zvol. Was fehlt ist jetzt noch eine LUN. Ich find allerdings in der Console nirgends den Menüpunkt dazu, welcher im User Guide auf Seite 102 beschrieben wird (Create new Mapping).

Was mach ich falsch?

Edit: LUN Mapping scheint wohl bei der Community Version nur über command line möglich zu sein.

Kann mir einer kurz den Unterschied zwischen Napp-It und der NexentaStor CE Edition erklären?
 
Zuletzt bearbeitet:
Kurze Frage: ich habe NextentaStore testweise auf einer VM mit 2 zusätzlichen HDDs am laufen. Habe ein Volume angelegt, ein SCSI Target und ein zvol. Was fehlt ist jetzt noch eine LUN. Ich find allerdings in der Console nirgends den Menüpunkt dazu, welcher im User Guide auf Seite 102 beschrieben wird (Create new Mapping).

Was mach ich falsch?

Edit: LUN Mapping scheint wohl bei der Community Version nur über command line möglich zu sein.

Kann mir einer kurz den Unterschied zwischen Napp-It und der NexentaStor CE Edition erklären?

1. zu Comstar:

Es sind bei Comstar 4 Schritte notwenig um ein Target zu erhalten, mit dem man sich verbinden kann:

1. LU (Logical Unit) anlegen - als Datei, als Volume oder als Disk
2. ein Target definieren (daran kann man sich anmelden)
3. eine Target-Gruppe definieren und das Target aus 2. als Mitglied hinzufügen
4. für jede LU (aus 1.) muss jetzt eine View (Ansicht) definiert werden, das geht entweder für alle Target-Gruppen oder eine bestimmte. Dadurch wird diese LU beim Target sichtbar und kann als LUN gemounted werden.

Sinn des Ganzen: sehr hohe Flexibilität, mehrere virtuelle Platten (LUN) pro Target aber etwas aufwendiger zum Konfigurieren.

In der Nexenta Community Edition sind nicht alle Comstar-Features der Enterprise-Version in der GUI. Es geht aber alles per Console.


2. Nexenta vs napp-it

Die Firma Nexenta (nexenta.com) vertreibt den kommerziellen Storageserver NexentaStor EE (Enterprise Edition) für den Enterprise-Sektor der mit einer einer eigenen Weboberfläche bedient wird, vorzugsweise auf zertifizierter Hardware über zertifizierte Partnerfirmen. Die Preise dafür richten sich nach Support-Level, Speicherkapazität und kommerzielle Plugins (z.B. High Availability, VM-Serveranbindung oder FC/Comstar targets). Die Nutzung und der Support ist auf die enthaltenen Funktionen beschränkt. Es gibt also keine weiteren Anwendungen, selbst die shell ist eigentlich für Nutzer verboten.

Von Beginn an gab es davon eine kostenlose Version bei nexentastor.org, zu Beginn als developper-Version mit wenigen TB, dann als Community Edition mit jetzt 18TB. Es handelt sich dabei um den kommerziellen StorageServer, jedoch ohne Support, ohne die kommerziellen Plugins und auf 18 TB begrenzt. Die offizielle Nutzung ist ebenfalls auf den Storagebereich begrenzt. Da es aber eh keinen Support gibt, sind aber auch andere Anwendungen denkbar.

Das Geschäftsmodell ist dabei ähnlich wie z.B. bei Citrix mit kommerziellen Produkten, Gratisangeboten davon (Xenserver) bei völlig freier OpenSource Basissoftware (XEN).

Das völlig freie OpenSource Basisbetriebssystem von NexentaStor heisst NexentaCore (nexenta.org). Es ist für allgemeine Serveranwendungen ohne irgendwelche Restriktionen konzipiert und von der Idee her so etwas wie Ubuntu Server mit Solariskern. Es wird aber von Nexenta nicht mit der eigenen Web-Gui ausgeliefert, sondern ist CLI only.


Was ist nun mein napp-it
napp-it ist kein eigenes Betriebssystem, sondern eine Erweiterung für Eon, Nexentacore, OpenSolaris, OpenIndiana oder Solaris Express. Es ist nicht auf NexentaCore oder Storageanwendungen beschränkt.


napp-it besteht dabei aus den vier Teilen

1. Online Installer zum lauffähigen Konfigurieren dieser Systeme für NAS/SAN/Webserver Anwendungen inkl Tools wie smartmontools, bonnie, netcat oder midnight commander. Zusätzlich werden Anwendungen und Services wir z.B. AFP (Apple AFP Server mit Time Machine) aus den neuesten Quellen kompiliert oder ein AMP-Webserver lauffähig installiert.

2. Einer eigenen Web-Gui für den napp-it ZFS-Server zum Bedienen des Systems, der Dienste und der Erweiterungen z.B. AFP Server shares. Die Web-Gui kann dabei von jedem mit etwas perl/php Kenntnissen modifiziert oder erweitert werden.

3. Grundlage ist ein von mir entwickeltes Framework, um eigene Web-GUI's als Schnittstelle zu den CLI-Befehlen zu erstellen. Das funktioniert auf jedem OS, für den es einen cgi-fähigen Webserver mit Perl gibt. Ein eigenes napp-it for Linux/ Windows oder OSX für irgendeine Anwendung wäre genauso möglich wie der napp-it ZFS Server für OpenSolaris & Co.

4. napp-it All-In-One
Konzept, um einen ZFS-Storageserver mit Web-Ui auf einem ESXi Server in voller Performance zu virtualisieren. (VMserver + virtualisiertesNAS + virtuelles Netzwerkswitch in enem Rechner)


ich hoffe, ich habe es verständlich erklärt.

Gea
 
Zuletzt bearbeitet:
Hallo :)

Nach langem mitlesen, habe ich heute testweise auch mal NexentaCore installiert. Scheitere allerdings komischerweise an napp-it. In meiner VM hatte ich es problemlos mit "wget -O - www.napp-it.org/nappit | perl" eingerichtet, und dann über ip:81 zugriff gehabt. Nun kommt folgende Meldung:
napp-it imperator network & nas appliance v. 0.414j nightly Jan.14.2011

Content-type: text/html (sub array2file ) Datei /var/web-gui/data/napp-it/_log/group/imperator~127.0.0.1.txt konnte nicht geschrieben werden.)
Fragen Sie bei Bedarf Ihren Systembetreuer Content-type: text/html
Software error:
(sub array2file ) Datei /var/web-gui/data/napp-it/_log/group/imperator~127.0.0.1.txt konnte nicht geschrieben werden.) at admin-lib.pl line 420.

For help, please send mail to this site's webmaster, giving this error message and the time and date of the error.
[Mon Jan 17 14:08:49 2011] admin.pl: (sub array2file ) Datei /var/web-gui/data/napp-it/_log/group/imperator~127.0.0.1.txt konnte nicht geschrieben werden.) at admin-lib.pl line 420.

An der napp-it Installation habe ich nichts geändert. Auch das System an sich ist jungfräulich. Wo liegt der / mein Fehler?
 
Hallo :)

Nach langem mitlesen, habe ich heute testweise auch mal NexentaCore installiert. Scheitere allerdings komischerweise an napp-it. In meiner VM hatte ich es problemlos mit "wget -O - www.napp-it.org/nappit | perl" eingerichtet, und dann über ip:81 zugriff gehabt. Nun kommt folgende Meldung:


An der napp-it Installation habe ich nichts geändert. Auch das System an sich ist jungfräulich. Wo liegt der / mein Fehler?

das ist ein Fehler der gestrigen Version 0.414j bei Neuinstallationen.

Bitte nochmal den Installer laufen lassen.
Die heutige 0.414k behebt den Fehler.

Gea
 
Ich habe eine, vielleicht unglaublich dämliche Frage :)

Wenn ich einen Pool scrubbe - sagen wie "storage" und ich habe ein Volume "storage/A" erstellt - dann wird dieser bei einem "zpool scrub storage" doch mitge"scrubbt", oder?
 
es gibt kein dämlichen Fragen - nur dämliche Antworten -

Scrubbing ist eine Aktion auf pool-Ebene.
Es werden daher die Daten aller enthaltenen Dateisysteme getestet/ refreshed.

---------- Beitrag hinzugefügt um 17:59 ---------- Vorheriger Beitrag war um 17:40 ----------

wichtige news;

OpenIndiana kündigt erste stabile Version 02.2011 an.

klingt gut !
2011.Q1 - Foreverware - OpenIndiana - OpenIndiana Wiki
 
habe gelesen das in den Open-Vm-Tools der VMXNET3 jetzt auch
mit Jumboframes für Solaris drin sein soll.
Leider habe ich es nicht geschafft die Tools zu Kompilieren. :wall:
Und Vorkompiliert gibts die -Natürlich- nicht.
Naja ich will den Filer eh nicht Virtualisieren sondern VMs auf dem Filer laufen lassen.
Will dafür Virtualbox einsetzen. (Und XVM wenigstens mal testen)
 
Zuletzt bearbeitet:
Unter OpenIndiana oder Solaris 11 sollte die Installation direkt
über ESXi-vsphere

-> vmware tools installieren aufrufen
-> gemountete cd nach /tmp entpacken
-> installer aufrufen

klappen
 
Unter OpenIndiana oder Solaris 11 sollte die Installation direkt
über ESXi-vsphere

-> vmware tools installieren aufrufen
-> gemountete cd nach /tmp entpacken
-> installer aufrufen

klappen

Ja das funktioniert.
Aber ohne Jumbo Frames und damit völlig ohne nutzen für mich!
Und die Virtuellen E1000er können auch keine.
(Zumindest als ich das das letzte mal getestet habe.) ~nen monat her.

Oh und btw. Ein frisch installiertes SolarisExpress 11 hatt standardmässig kein GCC an bord.
Installiert dein installer das inwzischen bevor er versucht die Smartmontools zu compilen?
 
Zuletzt bearbeitet:
Oh und btw. Ein frisch installiertes SolarisExpress 11 hatt standardmässig kein GCC an bord.
Installiert dein installer das inwzischen bevor er versucht die Smartmontools zu compilen?

Ich habe die Smartmontools zwar noch nicht umfassend in die Web-Gui integriert (Menüpunkt Disk - smartinfo), es sollte aber mit dem Online-Installer auf Nexenta, OpenIndiana und Solaris installiert werden (seit Ende Dezember)

Gea
 
Hallo,

Ich bin gerade dabei mir ein NAS selber zu bauen.
Zum Glück habe Ich Eurer Thread gefunden, bevor Ich mir einen Raid Controller bestellt habee :hail:.

Ich habe mir auf einer virtuellen Maschine einmal NexentaStor CE installiert und bin eigentlich rund um zufrieden.

Eine Frage habe Ich aber noch, wenn Ich ein Volume aus einer Platte angelegt habe und Ich baue eine 2. gleich große ein. Kann Ich die dann als Mirror hinzufügen? Ich hab nur Optionen zur Vergrößerung des Volumes gefunden.

Nebenbei lade Ich gerade Nexenta Core und will das ganze dann mal mit Napp-It testen. Klingt ja auch sehr vielversprechend. Mit gutem Support hier im Forum :d

Thx
Pac
 
Eine Frage habe Ich aber noch, wenn Ich ein Volume aus einer Platte angelegt habe und Ich baue eine 2. gleich große ein. Kann Ich die dann als Mirror hinzufügen? Ich hab nur Optionen zur Vergrößerung des Volumes gefunden.

Du kannst einen Pool mit dieser einen Platte erstellen und später jederzeit eine zweite Platte als mirror hinzufügen. Also ja, funktioniert ;)

Was verstehst du unter "Volumes"?
 
Eine Frage habe Ich aber noch, wenn Ich ein Volume aus einer Platte angelegt habe und Ich baue eine 2. gleich große ein. Kann Ich die dann als Mirror hinzufügen? Ich hab nur Optionen zur Vergrößerung des Volumes gefunden.

Insbesondere im Zusammenhang mit ZFS muss auf die genaue Bedeutung der Begriffe geachtet werden. Sonst gibt es dauernd Missverständnisse.

Zunächst gibt es da mal Datenpools. Darauf werden Daten gespeichert oder Dateisysteme angelegt. Datenpools können auch nachträglich fast ins unendliche wachsen.

Datenpools bestehen aus einem oder mehreren vdevs. Das kann eine einzelne Platte oder ein Raidverbund sein. Dieses einzelne vdev kann nicht vergrößert werden oder der Raidlevel nachträglich geändert werden.

(Ausnahme: Raid 1 <-> Single drive und das nach-und-nach Auswechseln aller Platten mit Rebuild, um die Kapaziät des vdevs zu erhöhen)

Auch ist gut zu wissen, dass vdevs und damit auch pools nicht verkleinert werden können (Die Praxis zeigt, dass es auch unnötig ist und wenn dann muss man halt umkopieren, dank ZFS-send kein Problem)

Diese vdevs oder Raidsets sind übrigens das womit andere Betriebssysteme ausschließlich arbeiten. Der übergeordnete Pool ist was ZFS-typisches.
Häufig entstehen aus Unkenntnis dieser Besonderheit falsche Schlüsse,

ZFS Dateisysteme oder ZFS Folder
sind so etwas wie Partitionen auf anderen Systemen. Sie können jeweils eigene Eigenschaften haben und werden unterhalb des Pools gemounted, sehen also auf den ersten Blick aus wie normale Ordner!

normale Folder und Ordner (einfach ein Ordner, nichts besonderes)


Volumes sind blockbasierte devices, die man auf einem ZFS Dateisystem anlegen kann und die wie echte Festplatten benutzt werden können (Quasi eine virtuelle Festplatte) -> braucht man vor allem bei iSCSI

LU (logical units) für iSCSI können auf einem Volume, einer Platte oder als normale Datei angelegt werden. Nach Zuordnung einer LU zu einem iSCSI Target kann dieses virtuelle Festplatte als LUN von einem anderen Rechner wie eine lokale Festplatte benutzt werden.


hat einer von euch schon praktische Erfahrungen mit SSDs als read/write cache sammeln können ?

Wenn schnelle (CPU) und langsame Baugruppen gekoppelt werden, benutzt man überall in der EDV Caches z.B. CPU-> Ram oder auch CPU->Platten.

Cache ist also was Tolles. Bei ZFS kommt hinzu, dass Sun dieses Hybridplattenkonzept als essentielles ZFS-Feature vorgesehen hat und es perfekt in die inneren Strukturen von ZFS integriert hat, damit der maximale Nutzen daraus gezogen wird. Es bringt also wirklich eine deutliche Performanzesteigerung.

ARC Lesecache SSD
meist 30-256 GB groß. Alle letzten Lesevorgänge werden hier abgelegt. Da die Zugriffszeit um den Faktor 100 besser ist als bei Platten, reagiert das System erheblich schneller. Wenn dieses Cachelaufwerk ausfällt, passiert nichts, ZFS geht halt ganz normal und langsam auf den normalen Plattenpool.

ZIL Schreibcache-SSD oder -DRAM:
sollte wenigstens so groß sein, wie der Arbeitsspeicher, max 2 x Arbeitsspeicher ist sinnvoll. Er wird ausschliesslich bei syncronen Schreiboperationen (da wartet die Anwendung, dass erfolgreich geschrieben wurde) benutzt, bringt also vor allem bei NFS, iSCSI, Datenbank- oder Virtualisierungen etwas. Fällt diese Platte aus, so sind die darin gespeicherten letzten bis zu 30s verloren, bereits auf dem Pool befindliche Daten sind immer sicher.

Erst ab Zpool Version 19 kann ein Schreibcache (heißt ZIL) entfernt werden und der Pool läuft auch ohne ZIL weiter. Er kann aber in diesem Zustand nicht mehr importiert werden. Crashed das System, ist der Pool dann verloren. Davor konnte der Pool direkt bei Ausfall des ZIL verloren gehen. Deswegen waren und sind ZIL meist gespiegelt.

siehe auch http://www.solarisinternals.com/wiki/index.php/ZFS_Evil_Tuning_Guide
 
Zuletzt bearbeitet:
@gea,

danke für deine Erläuterungen. Das Wiki liest sich interessant- da muss ich wohl ein wenig probieren....
Hast Du noch Infos bezüglich des Pool Designs ?
Wenn Performance und Ausfallsicherheit über ein RaidZ1 + Spare gewährleistet sind, wie würdest Du dann den Pool sinnigerweise anlegen ?
z.b an einem Bespiel von 3 / 6 -oder auch 9 Platten.

-xymos.
 
@gea,

danke für deine Erläuterungen. Das Wiki liest sich interessant- da muss ich wohl ein wenig probieren....
Hast Du noch Infos bezüglich des Pool Designs ?
Wenn Performance und Ausfallsicherheit über ein RaidZ1 + Spare gewährleistet sind, wie würdest Du dann den Pool sinnigerweise anlegen ?
z.b an einem Bespiel von 3 / 6 -oder auch 9 Platten.

-xymos.

Es ist immer ein Abwägen von Performance vs Kapazität vs Sicherheit.
Je mehr man einen Punkt betont, desto mehr leiden die anderen.

wobei es sich hier eigentlich nicht um ein Pooldesign sondern um die Frage, was für vdevs lege ich an handelt :-))

z.b. 9 Platten
max Platz: Raid Z1 oder Z2 aus allen Platten
max Sicherheit Raid 1n mit 1 bis 9 Platten oder Raid Z3
max Performance alle Platten im Raid-0 (max. unsicher) oder
4 x Raid-1 addiert + hotfix, typisch für high-speed

siehe ZFS Best Practices Guide - Siwiki

Gea
 
Zuletzt bearbeitet:
wie sieht es dann mit der Erweiterbarkeit aus ?
Kann ich dann auch problemlos in einen bestehenden Pool aus z.B drei oder sechs Platten auch noch mal welche hinschieben , um so die Kapazität zu erweitern ?
Sehe da Probleme in der Parität, wenn dann mal eine HD abraucht.
Wenn der der dann ewig braucht um das zu fixen, wenn eine neue HD im Pool sitzt.
Meine Erfahrungen sind leider aktuell nur unproduktive Testphasen in einer vorrangegangen VM und nun auf einem TestPC.

thx

_xymos.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh