[Sammelthread] ZFS Stammtisch

Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Neue Messungen mit Nexenta und Z1 (3 x 2 TB)

So nun habe ich den Mirror aus 3 Platten gekillt und das eigentlich geplante Z1 aus den drei Platten erstellt. Schreiben 217 MB/s und Lesen 207 MB/s. Für drei Platten sieht da doch recht ok aus.

DD Bech:

bild002y.png


Bonnie bestätigt das: Schreiben 220 MB/s und Lesen 227 MB/s.

Von einem echten Client wird die Leserate bei ca. 100 MB/s wie erwartet begrenzt. Leider ist die Schreibrate mit max 30 MB/s viel zu niedrig.



Messergebnis aus einer VM die auf dem NFS Share liegt. Das Leseergebnis wird jetzt nicht mehr vom Switch begrenzt und steigt an , aber die Schreibrate bleibt gleich schlecht.

bild004.png


Es bleibt die Frage was die Schreibrate über SMB so ausbremst. Ist das denn nur bei mir so?
 
Dem widerspricht Constantin Gonzalez von Sun/Oracle aber in seinem Artikel: OpenSolaris ZFS: Mirroring vs. other RAID schemes

Demnach wird der Speed auf gestackten Mirrors deutlich schneller als bei RAIDz*.

Ein RAID-1 ist ein Spiegelsatz bestehend aus 2 Platten. Beim Lesen kann idealerweise von beiden Platten gleichzeitig gelesen werden. Mehr als doppelte Leserate im Vergleich zur einzelnen kann also gar nicht sein. Beim Schreiben wird alles auf zwei Platten parallel geschrieben, was idealerweise so schnell geht wie bei einer Platte.

Anders ist die Grundfrage, was ist schneller - ein vdev aus mehreren addierten Raid-1 (z.B. Raid-10)
aus 4 Platten oder ein Raid-z1 aus 4 Platten. In diesem Fall ist das das Raid-10 in der Summe der Eigenschaften (sequentiell lesen und schreiben sowie IO-Leistung) schneller, das Raid-Z hat dafür mehr Kapazität; es ist also eine Frage der gewollten Optimierung Platz vs Geschwindigkeit.
 
Ich benötige Hilfe wie ich unter NexentaCore die VMWareTools zum laufen bekommen und ob damit dann die VMX3 NIC unterstützt wird.

Ich hatte ja bist nur die E1000 im Nexenta installiert und das auch ohne VMWare Tools. Vielleicht ist da ja der Grund für meine SMB Probleme.

Leider bin ich also Linuxahnungsloser etwas hilflos in der NexentaConsole.

Die Anleitung unter "http://solori.wordpress.com/2010/06/17/in-the-lab-install-vmware-tools-on-nexentastor-vs/"

will bei mir nicht funktionieren.

Ich habe die VMWare tools gemountet und kann das Archiv auch unter /cdrom/vmwaretools auch sehen. Nur mit dem entpacken und installieren wills nicht klappen.

@GEA Wäre fein wenn Deine Anleitung in diesem Punkt nicht nur auf OI eingeht sondern auch auf NexentaCore. Da habe ich leider kein Nautilus und nicht mal den MC.
Wenn "Nexenta is fully supported and my major platform i..." stimmt sollte sich die Anleitung dann nicht auch auf NexentaCore beziehen und nicht auf OI?


Kann ich in einer bestehenden NExentaCore Installation mit der E1000 als NIC und installiertem napp-it auf die VMX3 Nic wechseln? Wenn ja wie geht das?
 
Zuletzt bearbeitet:
Ich benötige Hilfe wie ich unter NexentaCore die VMWareTools zum laufen bekommen und ob damit dann die VMX3 NIC unterstützt wird.

Ich hatte ja bist nur die E1000 im Nexenta installiert und das auch ohne VMWare Tools. Vielleicht ist da ja der Grund für meine SMB Probleme.

Leider bin ich also Linuxahnungsloser etwas hilflos in der NexentaConsole.

Die Anleitung unter "http://solori.wordpress.com/2010/06/17/in-the-lab-install-vmware-tools-on-nexentastor-vs/"

will bei mir nicht funktionieren.

Ich habe die VMWare tools gemountet und kann das Archiv auch unter /cdrom/vmwaretools auch sehen. Nur mit dem entpacken und installieren wills nicht klappen.

@GEA Wäre fein wenn Deine Anleitung in diesem Punkt nicht nur auf OI eingeht sondern auch auf NexentaCore. Da habe ich leider kein Nautilus und nicht mal den MC.
Wenn "Nexenta is fully supported and my major platform i..." stimmt sollte sich die Anleitung dann nicht auch auf NexentaCore beziehen und nicht auf OI?


Kann ich in einer bestehenden NExentaCore Installation mit der E1000 als NIC und installiertem napp-it auf die VMX3 Nic wechseln? Wenn ja wie geht das?

Unter Nexenta gibt es momentan keinen vmxnet3 Treiber
Die Installation der tools geht mit: apt-get install vmware-tools

siehe Kapitel 12
http://www.napp-it.org/doc/downloads/all-in-one.pdf

Midnight commander wird aber durch den napp-it installer installiert.
einfach mc in der Commandozeile eingeben

Ansonsten:
All in One mache ich momentan ausschliesslich mit OpenIndiana
Auch bei reinen Strorage Systemen bin ich gerade am Wechseln zu OI 151
 
Auch bei reinen Strorage Systemen bin ich gerade am Wechseln zu OI 151

Oh, nicht doch lieber auf den "Stable" Build warten? Bugs wie dieser hier, lassen mich doch ein wenig and der Stabilität von 151b zweifeln...
Zugegeben, ich bin erst mit 148b dazu gekommen, aber das läuft eigentlich recht rund. Gibt's gute Gründe von 148b auf 151b upzugraden wenn man OI für ein All-In-One System nutzt?

-TLB
 
Unter Nexenta gibt es momentan keinen vmxnet3 Treiber
Die Installation der tools geht mit: apt-get install vmware-tools

siehe Kapitel 12
http://www.napp-it.org/doc/downloads/all-in-one.pdf
Da ich der VM aber die Vmxnet3 NIC zugewiesen hatte gab es natürlich keinen Inet Zuagng. Also war mein Plan erstmal die VMWARe tools zu installieren mit der Hoffnung das dann die vmxnet3 NIC zum laufen zu bekommen ist.


Midnight commander wird aber durch den napp-it installer installiert.
einfach mc in der Commandozeile eingeben
Ohne laufende NIC konnte ich auch kein Napp-It installieren.

Ansonsten:
All in One mache ich momentan ausschliesslich mit OpenIndiana
Auch bei reinen Strorage Systemen bin ich gerade am Wechseln zu OI 151
Ich will es mal mit der Comunity Editon von EnxentaStor probieren da es die als fertige VMWAre Appliance gibt. Kannst Du das empfehlen oder ist die OI besser?

Und funktioniert die vmxnet3 unter beiden?
 
Hallo Ihr,

nach dem Lesen des kompletten Threads werde ich mir jetzt auch einen neuen Fileserver mit OI und ZFS bauen und den bestehenden W2k8R2 abbauen. Auf dem Windowsserver läuft bisher VMware Server 2.0.2, dank der unermüdlichen Arbeit von Gea wird's wohl sogar ein AllinOne werden. Bei der Hardware halte ich mich genau an die Empfehlungen von Gea, der Windowsserver mit Sandybridge ist mir zu modern dafür und würde wohl einige Schwierigkeiten machen (VT-d, NIC). Nach Migration der Daten (ca. 7TB) wuerde ich diesen dann aber gerne als Backupserver verwenden, dann aber nativ mit OI und Nappit. Dazu einige Fragen, welche ich bisher noch nicht herauslesen konnte.

was passiert mit einem Pool, wenn der Server crasht, bevor der Pool exportiert wurde? Kann ich die Platten trotzdem in einen zweiten neuen Server unter OI einbauen und auf die Daten, sprich den Pool zugreifen? Haben die Platten eine Kennung, wie z.B. beim IntelRaid, so das sich diese in beliebiger Reihenfolge an beliebigen freien Sataports anschliessen könnte? Oder muss ichmir vorher irgendwelche Konfigurationsfiles etc, sichern für diesen Ernstfall?

Bei meiner bisherigen Backupstrategie habe ich wie üblich verschiedenen Backupstände zur Verfügung und kann sogar fileweise auf jede einzelne Datei zugreifen (Backup mit rsync und hardlinks). Könnte ich mir einen zweiten Server mit OI und ZFS hinstellen, welcher scriptgesteuert zb. einmal am Tag hochfährt, eine snapshot seiner Daten anfertigt und dann den neuen Datenbestand per ZFS send/recieve vom Hauptserver empfängt und dann wieder herunter fährt? Auf die unterschiedlichen Backupstände könnte ich dann per Nautilus zugreifen? Kann ich dabei direkt auf die einzelnen Dateien zugreifen oder muss ich einen kompletten Snapshot "einspielen/aktivieren" und damit den letzten Stand überschreiben? das habe ich leider noch nicht verstanden, snapshots sind Neuland für mich.

Gruß Millenniumpilot
 
@wirrkopf
NexentaStor CE ist NexentaCore + closed source Nexenta Web-GUI und begrenzt auf 18TB in der kostenlosen Version.
vmxnet3 geht daher damit auch nicht. e1000g Treiber in der VM geht aber immer und ist so langsam auch nicht.

OI ist komplett frei, hat eine grafische Oberfläche mit Timeslider und eine neuere ZFS Version. Der Rest ist Geschmackssache


@ milleniumplot
Die Poolkonfiguration steht auf den Platten. Man kann sie daher (zumindest nach reboot) beliebig an beliebigen Controllern einstecken. Ein Pool-Import geht auch ohne vorherigen Export problemlos (Probleme gibts wenn ein vorher vorhandenes Write-Cache SSD fehlt).

Falls keine iSCSI Volumes benutzt werden, geht der Zugriff auf Snapshots filebasiert, das heißt am Einfachsten über Windows-vorherige Version oder mit Hilfe des Timesliders. Der hat den Vorteil, dass ein Ordner ausgewählt werden kann und man dann mit einem Schieberegler in der Zeit zurückgehen kann. (Sonst muss man erst ein Datum wählen und sieht dann den Datenstand zu diesem Zeitpunkt)

Backup mit einer zweiten Maschine ist perfekt. Backups können dann filebasiert mit rsync oder robocopy oder blockbasiert mit ZFS send/ receive vorgenommen werden. Auf der ersten Maschine können dann zusätzlich Kurzzeitbackups z.B. stündlich am Tag max 8/ täglich max 7 und auf der zweiten längere z.B. wöchentlich/ max 4 und monatlich/ max 12 angelegt werden.

Scriptgesteuertes Hochfahren könnte eventuell ein Problem sein.
(Läßt sich aber mit einem einfachen 230V Zeitschalter lösen)

---------- Beitrag hinzugefügt um 13:16 ---------- Vorheriger Beitrag war um 13:11 ----------

Oh, nicht doch lieber auf den "Stable" Build warten? Bugs wie dieser hier, lassen mich doch ein wenig and der Stabilität von 151b zweifeln...
Zugegeben, ich bin erst mit 148b dazu gekommen, aber das läuft eigentlich recht rund. Gibt's gute Gründe von 148b auf 151b upzugraden wenn man OI für ein All-In-One System nutzt?

-TLB

OI 151 ist zumindest nicht unstabiler als der ältere Developer-Build 148
Der genannte Bug ist mit napp-it unerheblich, da hier ein eigener autosnap Mechanismus benutzt wird.

Oi 151 stable wird wohl in den nächsten Wochen soweit sein.
 
Zuletzt bearbeitet:
Hallo gea,

vielen Dank, alle Fragen meinerseits sind geklärt. Ist ja wirklich ein tolles System. Mit LVM unter Linux habe ich schon gearbeitet, war auch toll, ist aber kein Vergleich dazu ;-)
Wobei man bei LVM Platten wieder aus dem Pool entfernen konnte.

Gruß millenniumpilot
 
Oi 151 stable wird wohl in den nächsten Wochen soweit sein.

Bevor ich es mit der falschen Version probiere: Wo finde ich die RICHTIGE OI151? Desktop/server/Test/Grafisch...?

Wenns geht bitte den Link zur richtigen installations iso DANKE!

Ist das der richtige: http://dlc-int.openindiana.org/151/oi-dev-151-text-x86-20110526-1.iso ?

Die OI 151 Server ist jetzt installiert, Napp-It installiert und die ersten benchmarks sind gelaufen.

Ergebnis: Es ist kein wesentlicher Unterschied zwischen NexentaCore und OI 151 zu sehen. Schreibrate per SMB immer noch zu niedrig, Leserate OK.
Heute sind Board, CPU und RAM für mein eigentliches System gekommen aber das sich damit die Ergebnisse grundlegend ändern ist ja nicht zu erwarten...

Mich würden mal die Werte anderer über SMB interessieren.
 
Zuletzt bearbeitet:
Der genannte Bug ist mit napp-it unerheblich, da hier ein eigener autosnap Mechanismus benutzt wird.
Ahh, danke gea! Gut zu wissen.

Oi 151 stable wird wohl in den nächsten Wochen soweit sein.
Ich werd' wohl trotzdem noch auf das "stable" release warten, so dass ich nur einmal das OS wechseln muss. Wenn's nur noch ein paar Wochen sind - solange kann ich warten :cool:

-TLB
 
Bevor ich es mit der falschen Version probiere: Wo finde ich die RICHTIGE OI151? Desktop/server/Test/Grafisch...?
Wenns geht bitte den Link zur richtigen installations iso DANKE!

OI 151 gibts her:
http://wiki.openindiana.org/oi/oi_151

Ich nehme immer die Live/ Deskop Version da hier Timeslider
dabei ist und es einfach komfortabler ist.

Textversion ist CLI only (halt Server pur)
 
Zuletzt bearbeitet:
Hallo Ihr,

zur oft angesprochenen 4k-Problematik der wdears Platten fällt mir noch ein, das ja nicht nur die Länge der Sektoren einFaktor ist, sondern auch die Lage des Startsektors. Dafür gibt es auf den Platten noch eine Jumperposition, welche den Startsektors intern verschieben kann, so dass je nach Formatierung des Betriebsystem der Startsektor auf eine durch 4 teilbare Position verschoben wird. Bei Windows < 7 ist dies wohl noch notwendig. Wäre hier noch Testbedarf oder liegen die Startsektoren unter ZFS schon richtig? Da ich WD20EARS verwenden werde, kann ich ja mal bei Bedarf den Performanceunterschied (mit vs. ohne Jumper) beim Scruben testen. Oder ist dies vergebene Liebesmühe?
 
hab mich heute dazu entschlossen nexenta ce mit napp-it zu installieren.

Leider scheitere ich irgendwie, vlt. hat jemand von euch eine idee.
und zwar Erkennt napp-it irgendwie keine Disks.
Die Web-Gui von Nexante (die auf Port: 2000) erkennt 6 Festplatten aber bei napp-it bekomme ich immer eine Fehlermeldung:

Code:
Software error:

Can't load '/var/web-gui/data/napp-it/CGI/auto/IO/Tty/Tty.so' for module IO::Tty: ld.so.1: perl: fatal: relocation error: file /var/web-gui/data/napp-it/CGI/auto/IO/Tty/Tty.so: symbol PL_dowarn: referenced symbol not found at /usr/lib/perl/5.8/DynaLoader.pm line 225.
 at /var/web-gui/data/napp-it/CGI/IO/Tty.pm line 30
Compilation failed in require at /var/web-gui/data/napp-it/CGI/IO/Pty.pm line 7.
BEGIN failed--compilation aborted at /var/web-gui/data/napp-it/CGI/IO/Pty.pm line 7.
Compilation failed in require at /var/web-gui/data/napp-it/CGI/Expect.pm line 22.
BEGIN failed--compilation aborted at /var/web-gui/data/napp-it/CGI/Expect.pm line 22.
Compilation failed in require at /var/web-gui/data/napp-it/zfsos/_lib/zfslib.pl line 1356.
BEGIN failed--compilation aborted at /var/web-gui/data/napp-it/zfsos/_lib/zfslib.pl line 1356.

For help, please send mail to this site's webmaster, giving this error message and the time and date of the error.

weiß jemand von euch was ich da falsch gemacht haben könnte?

tia jonny
 
hab mich heute dazu entschlossen nexenta ce mit napp-it zu installieren.

Leider scheitere ich irgendwie, vlt. hat jemand von euch eine idee.
und zwar Erkennt napp-it irgendwie keine Disks.
Die Web-Gui von Nexante (die auf Port: 2000) erkennt 6 Festplatten aber bei napp-it bekomme ich immer eine Fehlermeldung:

Code:
Software error:

Can't load '/var/web-gui/data/napp-it/CGI/auto/IO/Tty/Tty.so' for module IO::Tty: ld.so.1: perl: fatal: relocation error: file /var/web-gui/data/napp-it/CGI/auto/IO/Tty/Tty.so: symbol PL_dowarn: referenced symbol not found at /usr/lib/perl/5.8/DynaLoader.pm line 225.
 at /var/web-gui/data/napp-it/CGI/IO/Tty.pm line 30
Compilation failed in require at /var/web-gui/data/napp-it/CGI/IO/Pty.pm line 7.
BEGIN failed--compilation aborted at /var/web-gui/data/napp-it/CGI/IO/Pty.pm line 7.
Compilation failed in require at /var/web-gui/data/napp-it/CGI/Expect.pm line 22.
BEGIN failed--compilation aborted at /var/web-gui/data/napp-it/CGI/Expect.pm line 22.
Compilation failed in require at /var/web-gui/data/napp-it/zfsos/_lib/zfslib.pl line 1356.
BEGIN failed--compilation aborted at /var/web-gui/data/napp-it/zfsos/_lib/zfslib.pl line 1356.

For help, please send mail to this site's webmaster, giving this error message and the time and date of the error.

weiß jemand von euch was ich da falsch gemacht haben könnte?

tia jonny

tja
entweder NexentaStore mit Nexenta Web-UI oder
NexentCore/ OpenIndiana oder Solaris Express 11 + napp-it

napp-it ist ja eine Alternatibe zu NexentaStore
 
ja eigentlich habe ich die NexentCore installiert... und wollte napp-it verwenden.
kA kenn mich da irgendwie nicht aus...

hab ich da ein falsche Betriebssystem installiert?
wenn ja ist es besser auf OpenIndiana zu setzen? allerdings ist die 151 ja noch beta? oder läuft die bereits stabil?
 
ja eigentlich habe ich die NexentCore installiert... und wollte napp-it verwenden.
kA kenn mich da irgendwie nicht aus...

hab ich da ein falsche Betriebssystem installiert?
wenn ja ist es besser auf OpenIndiana zu setzen? allerdings ist die 151 ja noch beta? oder läuft die bereits stabil?

es gibt derzeit (auf Basis von OpenSolaris Builds):
1. OpenSolaris, OpenSource, letzter freier Build (Version) war 134, gekauft von Oracle 2010; jetzt kommerziell

2. NexentaStor EE (Build 134+, kommerzieller Storage Server mit Nexenta Web-UI und Support, opt. inkl. supported hardware und add-ons z.B. Replication, HA)
3. NexentaStor CE (Community edition), wie 1. aber kostenlos, kein support, keine add-ons und max 18 TB
4. Nexentacore, freie Basis von NexentaCore, ohne NexentaWebUI aber ohne Einschränkung nutzbar

5. OpenIndiana Build 151 dev (stabile Version demnächst), freier Fork (Abspaltung) von OpenSolaris

6. Solaris 11 Build 151 (Express) von Oracle, kommerziell mit support, frei für nichtkommerzielles und demo-use

Ohne Geld sind die interessantesten Alternativem NexentaStor (The Nexenta Project) und OpenIndiana (OpenIndiana)
Meine persönliche Hauptplatform war bisher NexentaCore. Ich bin aber zunehmend am Wechseln zu OpenIndiana da
es komplett OpenSource ist, ein neueres ZFS enthält und es keine "Interessenkonflikte" mit einem kommerziellen ZFS-Server gibt.

ps
napp-it (Ready to use ZFS-NAS/SAN mit Web-UI) läuft auf 4.-6. (mit Einschränkung auf 1.)
 
Zuletzt bearbeitet:
ok danke für die Aufklärung dann dürfte ich da wirklich das falsche Image runtergeladen haben...

Gut dann ich sowieso noch keine Daten oben hab und sowieso Neu-Installieren muss werd ich es mit OpenIndiana 151 dev probieren (ist ein eigenes System also keine Virt Maschine)

Vielen Dank für die Aufklärung!
 
Ich habe nun die OI 151 Desktop laufen und auch Napp-it installiert. Was nicht klappt ist die Installation der VM-Ware tools. Beim ausführen der vmware installations scriptes kommen jede Menge Fehler das da was mit perl 5 bzw 5.1 nicht zusammenpassen würde.
Installieren der vmware tools mit "apt get ...." klappt auch nicht.
 
Zuletzt bearbeitet:
Ich habe nun die OI 151 Desktop laufen und auch Napp-it installiert. Was nicht klappt ist die Installation der VM-Ware tools. Beim ausführen der vmware installations scriptes kommen jede Menge Fehler das da was mit per 5 bzw 5.1 nicht zusammenpassen würde.
Installieren der vmware tools mit "apt get ...." klappt auch nicht.

apt.. ist Nexenta only, gibt es bei OpenIndiana nicht
es gehen nur die ESXi 4.1 Tools von VMware, installiert via perl-installer und installiert als root (In ESXi muss Solaris 10-64 Bit als OS-Typ eingestellt sein)
 
es gehen nur die ESXi 4.1 Tools von VMware, installiert via perl-installer und installiert als root (In ESXi muss Solaris 10-64 Bit als OS-Typ eingestellt sein)
Ich habe Solaris 10-64 bit eingestellt. Aber selbst wenn das falsch ist kann man ja manuell die Solrais VMWARE-tools ISO mappen? Mehr macht das auswählen der VMWAREtools im vSphere CLient auch nicht oder?

Probleme habe ich damit mich als root anzumelden. Es klappt immer nur "su" und dann das root PW. Sollte es so nicht auch klappen?

Ich habe ja die vage Hoffnung das sich mein SMB Durchsatz mit dem vmsnet3 vielleicht doch steigert.

Frage ganz konkret an Dich Gea : Wie ist denn Dein Write Durchsatz per SMB gemessen aus einem Windows Client der auch auf dem NFS Share installiert ist? Natürlich freue ich mich auch über jeden anderen der mir mal Vergleichswerte liefert!

---------- Beitrag hinzugefügt um 09:38 ---------- Vorheriger Beitrag war um 07:44 ----------

Wenn ich mich als "root" bei OpenIndiana 151 anmelden will bekomme ich immer die Fehlermeldung: "Roles can only ne assumed by authorized users" und dann die zweite Fehlermeldung: "Permission denied"
Das PW passt aber wenn ich es für den "SU" modus nehme...

Wenn ich mich mit dem normalen User anmelden, SU und PW eingebe und dann das VMWARE installtionsscript ausführe kommt:

bild001.png
 
Zuletzt bearbeitet:
Solaris erlaubt das direkte Anmelden von 'root' normalerweise ganz einfach nicht. Das liegt daran, dass root nur als Rolle und nicht als normaler User gekennzeichnet ist.
Man soll das auch irgendwie ändern können (rolemod), habe ich aber nicht probiert und werde ich wohl auch nicht.
 
Ich will mich ja eigentlich auch gar nicht als root anmelden. Ich will doch nur die VMWAre Tools installieren...
 
wg: SMB Performance
Eine Windows VM auf einem all-in-One macht bei mir (5 weitere VM's laufen,
aber nur wenig Last, SSD only Pool, sync write aktiv):

atto.png


wegen Root-Zugang
den kann man in napp-it unter services-ssh aktivieren.
(damit man z.B. als root winscp nutzen kann), ist für die Installation
der tools nicht notwendig

wegen dem Installationsproblem
hatte ich auch bei meinem ersten Versuch und es dann auf OI 151 geschoben.
Ich habe es dann Tage später nochmal probiert und es lief auf meiner Testmaschine sofort
Ich habe die Ursache dann aber nicht weiter verfolgt.

Ist denn napp-it bereits installiert? Es kann durchaus sein, dass der napp-it
Installer etwas installiert, was benötigt wird.
 
Zuletzt bearbeitet:
Napp-It ist installiert und funktioniert auch. Das aufrufen des vmware scripts habe ich mehrfach probiert. immer mit dem selben Ergebnis.

nettes Benchmark Ergebnis.

Hast Du nicht zufällig einen ähmlichen pool wie ich damit der Vergleich aussagekräftiger wird? Also im Idealfall ein Z1 aus drei 2 GB Hdds.... ? Und da als Vergleich auch die DD-Bench/Bonnie Werte... Achja was für ein Windows ist dass auf dem der Benchmark läuft?

Und hast Du vielleicht eine idee was es bei mir sein kann was das schreiben so langsam macht?
 
Mein Windows ist 2003 Server

Ich habe noch einen Spiegelsatz aus 3xWD 1 TB/ 7200 U in der Maschine
Die besseren Atto Werte liegen da bei 25-50 MB/s schreiben und bis 200 MB/s lesen

Das ist eigentlich das was ich erwarte.
Die Schreibwerte liegen deutlich unter dem Maximum einer Platte. Die Lesewerte etwa
beim erwarteten Wert (2-3 x Einzelplatte). Bessere Schreibwerte könnten sich durch
Ausschalten von sync write (napp-it Menü zfs folder) ergeben. Auch atime sollte off sein
(ist aber default beim Anlegen eines ZFS mit napp-it)

Alle ESXi/NFS Schreiboperationen sind sync writes. Das Deaktivieren kann allerdings dazu
führen, dass von ZFS bestätigte Schreiboperationen bei einem Stromausfall noch nicht auf
der Platte sind. Beschleunigen kann man das durch schnelle Platten (daher meine SSD Pools)
oder etwas durch SSD write cache Platten.
 
Zuletzt bearbeitet:
Ich habe noch einen Spiegelsatz aus 3xWD 1 TB/ 7200 U in der Maschine. Die besseren Atto Werte liegen da bei 25-50 MB/s schreiben und bis 200 MB/s lesen
Aber so sind meine Werte ja auch. Warum sagt mir denn keiner das meine Werte ganz normal für ZFS sind???

Wie passt das mit den DD Bench/Bonnie Werten zusammen bei denen die Schreirate doch viel höher gemessen wird? Das verstehe ich nicht so ganz.

Das ist eigentlich das was ich erwarte. Die Schreibwerte liegen deutlich unter dem Maximum einer Platte. Die Lesewerte etwa
beim erwarteten Wert (2-3 x Einzelplatte).
Also alles ein großes Mißverständnis...
Bessere Schreibwerte könnten sich durch Ausschalten von sync write (napp-it Menü zfs folder) ergeben. Auch atime sollte off sein
(ist aber default beim Anlegen eines ZFS mit napp-it)
Das mit dem sync write off soll ja wohl sehr riskant sein so das ich das besser sein lasse.

Alle ESXi/NFS Schreiboperationen sind sync writes. Das Deaktivieren kann allerdings dazu
führen, dass von ZFS bestätigte Schreiboperationen bei einem Stromausfall noch nicht auf
der Platte sind. Beschleunigen kann man das durch schnelle Platten (daher meine SSD Pools)
oder etwas durch SSD write cache Platten.
Hast Du das sync write off???

Nochmal grundsätzlich: Die Schreibrate bei einem Z1/Z2 wird immer deutlich geringer sein als eine EInzelplatte. Unabhängig davon aus wieviel Platten ein z1 besteht? Also wird sich meine Schreibrate auch mit 6 HDDs im Z1 nicht verbessern richtig?

Wenn das alles so richtig ist wie schaffe ich dann Deine hohe Schreibrate im Benchmark? Sind das allein die SSDs? Müssen es zwei sein oder bringt auch eine schon richtig viel?
 
Benchmarks wie dd und bonnie messen vor allem sequentielle Transferraten
(Schreiben/ Lesen großer Dateien am Stück). Dabei kommen meist tolle Werte zustande..

Viele Anwendungen z.B. Datenbanken und Webserver brauchen vor allem hohe I/O Werte
die damit garnicht erfasst werden. Hier zählen Transaktionen und Zugriffszeiten.

ESXi+ZFS NFS bringen die Besonderheit, dass sie sync-write schreiben, das heisst, dass die
Schreiboperationen bestätigt werden müssen. Das bringt enorme Sicherheit (Wenn ZFS eine
Schreiboperation bestätigt, sind die Daten tatsächlich konsistent auf der Platte). Normalerweise
sagt das Betriebssystem OK und schreibt dann mit Verzögerung irgendwann die Daten oder eben nicht.

Wenn die Schreiboperation z.B. heißt, A hat mir eine Million überwiesen, deshalb und dann überweise
ich 800000 Euro nach B dann ist es schon wichtig, das bei einem Problem die Daten auf der Platte stimmen.

Da dies vor allem kleine und viele Daten/s betrifft, sind vor allem die großen Platten mit geringer Zugriffszeit
hier relativ schlecht. SMB Server via ZFS-NFS via ESXi sind deshalb oft richtig sicher aber nicht so schnell.
Speziell bei All-In-One kann aber eventuell sync ausgeschaltet werden, da bei Problemen der schreibende
Rechner mit abstürzt und dieser eh keine weiteren Transaktionen aufgrund falscher Daten durchführen kann.

Ansonsten: Schnell braucht schnelle Platten oder langsame Platten als Hybridspeicher mit SSD
(wobei sich deren Vorteil bei sequentiellen Tests nicht erschließt)

Bei sequentiellen Test steigt die Schreib/Leserate mit jeder Datenplatte entsprechend, da ZFS
(falls genug CPU-Leistung da ist) ja parallel liest und schreibt - nicht jedoch die I/O Rate und nicht
bei sync-write. Richtig schnell sind da nur Pools aus mirrors, am Besten aus schnellen kleinen Platten
oder SSD only oder als Hybridspeicher.

Benchmarks und Optimierungen sind darüber immer extrem einzelfallabhängig.
Ein toller Rechner und ein halbdefektes Kabel können tagelange Fehlersuche bedeuten und selbst
fast identische Systeme können völlig unterschiedliche Benchmarks ergeben.

Ich habe mir Benchmarks und Optimierungen daher weitgehend abgewöhnt. Ich plane meine Server mit etwas Reserve.
Entweder es ist dann gefühlsmäßig ok oder es ist was grundlegend falsch gelaufen oder defekt.
(Meine persönliche Regel lautet: mehr als 30% mehr Performance und nur dann fühle ich das wirklich)

Das ist es ja was ZFS ausmacht. Es ist das sicherste Dateisystem. Es kann auch richtig schnell sein,
braucht dann aber auch richtig Hardware-Power. Sync write lasse ich immer eingeschaltet.

Literatur:
http://constantin.glez.de/blog/2010...ove-oracle-solaris-zfs-filesystem-performance
http://www.solarisinternals.com/wiki/index.php/ZFS_Evil_Tuning_Guide
 
Zuletzt bearbeitet:
Benchmarks wie dd und bonnie messen vor allem sequentielle Transferraten (Schreiben/ Lesen großer Dateien am Stück). Dabei kommen meist tolle Werte zustande..
Der DD Bench schreibt ja eine 10 GB Datei und liest diese wieder. Wenn dieser Benchmark aber z. B. 70 MB/s schreibend anzeigt sollte dann das kopieren einer einzelnen 10 GB Datei von einem Windows Client auf den Pool per SMB oder NFS nicht einen ähnlichen Wert ergeben? Vorrausgesetzt das der Client die Daten schnell genug liefern kann.
 
Zuletzt bearbeitet:
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh