[Sammelthread] ZFS Stammtisch

Hätte noch jemand nen Tip wegen meiner HDD Frage oben?

Was nebenbei auch gut geht - Rechner (OS) sichern via Acronis TI mit Boot CD auf Nexanta auf dem Proliant.

Gruss
Otto
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Nabend

Teste hier gerade mal NexentaStor Community Edition 3.0.4 auf folgender Hardware:

C2D E6750
Gigabyte P35 Board
Intel SASUC8I "JBOD" Controller
4GB RAM
Intel Pro1000 PCI NIC
+
RAID-Z1 Pool bestehend aus 3 x Spinpoint F3R HE103SJ 1TB
+
HP PROCURVE 18108


Und bislang ist die performance "out of the box" echt mies.

NFS ~ 50 MB/s im Schnitt
CIFS ~ 50 MB/s im Schnitt
Jeweils mal mit Spitzen bei 80 MB/s
IO/s ~ 2300

Da lacht sogar mein QNAP TS 239 Pro II mit über 3000 IO/s bei ~ 100 MB/s.

Habt ihr ähnliche Erfahrungen gemacht? Versuche gerade herauszufinden warum das Teil so lahm ist ...
 
Hi,

wie testest Du? Ich habe nämlich gemerkt:
1) Neuer Desktop mit Win 7 von SSD -> nexenta. Volle Gbit Geschwindikeit.
2) Vom IBM X61 -> nexenta 5 Mb/ s

Weiterhin: Geschwindigkeit scheint manchmal im Zeitverlauf abzunehmen (startet schnell und geht dann auf so 60 Mb/s runter.

Also so ganz klar bin ich auch nicht. Ach ja, ich habe 8 GB RAM drinnen aber deutlich lhmerern CPU (im Microserver). Vielleicht eine weitere Möglichkeit.

Gruss
Otto
 
Moin

NFS Test:
Als Datastor am ESXi --> Neue HDD/VMDK für eine VM auf dem Datastor erstellt --> Bechmarks (Atto/HDTune/IOMeter)

CFIS:
Die Benchmarks (siehe oben) einfach aufs Netzlaufwerk losgelassen.
 
Moin

NFS Test:
Als Datastor am ESXi --> Neue HDD/VMDK für eine VM auf dem Datastor erstellt --> Bechmarks (Atto/HDTune/IOMeter)

CFIS:
Die Benchmarks (siehe oben) einfach aufs Netzlaufwerk losgelassen.

Ok, nicht sicher ob das nun für Dein Setup zutrifft. Aber der Transfer wenn die Datenplatte unter Vmware nicht direkt angesprochen wird (siehe comments Gea hier) ist schlecht. Wenn Virtualisierung musst Du den Controller (und damit die HDDs wo die Daten liegen) direkt ansprechen. Ich habe das umgangen weil ich nexenta direkt installiert habe. Nicht in VM.

Gruss
 
Das hast du falsch verstanden, meine Nexenta Kiste ist keine VM.
Sie stellt aktuell nur einen Datastor via NFS zur Verfügung.

Werde heute Abend noch etwas rumspielen, bin allerdings bislang nicht sehr begeistert von dem Teil.
 
Das hast du falsch verstanden, meine Nexenta Kiste ist keine VM.
Sie stellt aktuell nur einen Datastor via NFS zur Verfügung.

Werde heute Abend noch etwas rumspielen, bin allerdings bislang nicht sehr begeistert von dem Teil.

Hmm, auf meinem Xeon rennt sie kräftig. Microserver ist auch gut. Werde auch die Tage nochmal spielen und dann posten. Bisher aber nur CIFS genutzt.
 
@Metzo

Ich habe dazu drei Anmerkungen:

1. ZFS is nicht schneller als Linux oder Windows mit deren Dateisystemen -
ganz im Gegenteil. Features wie Copy on write, End to End Datenprüfung und Software-Raid
kosten nämlich zuerst mal Leistung. ZFs ist deshalb zwar das überlegene Dateisystem was
Features und Sicherheit angeht, es braucht aber erheblich mehr CPU und RAM.

ein C2D und 4 GB RAM sind da eher wenig als viel - vor allem mehr RAM wäre gut.


2. ZFS reagiert sehr empfindlich auf manche Hardware z.b. machen Realtek Netzwerkkarten
gerne Probleme - falls das Gigabyte das hat, wäre ein Vergleich mit einer Intelkarte hilfreich.
zum Test mal einen Disk-Performancetest via dd oder bonnie machen.


3. Ein weiterer Punkt sind manche Features wie dedup, compress, atime, sync-writes -
zum Test, die mal ausschalten, eventuell mal einen Test mit einem Raid-10 machen,
um zu sehen wie stark Raid-Z bremst.


@otto123
die Systemplatte hat keine Auswirkung auf die NAS-Performance, das Management kann
aber recht zäh werden

zu 10GB Karten
10 GB Karten gibt es bereits unter 400 Euro. Zum Verbinden zweier Rechner braucht man zwei davon.
Switche mit 10 Gb (z.B. HP Procurve 29xx) kosten ab ca 1300,-- + ca 250 Euro pro 10 Gbit Port.
Wenns nicht privat ist, geht das.


Gea
 
Zuletzt bearbeitet:
2. ZFS reagiert sehr empfindlich auf manche Hardware z.b. machen Realtek Netzwerkkarten
gerne Probleme - falls das Gigabyte das hat, wäre ein Vergleich mit einer Intelkarte hilfreich.
zum Test mal einen Disk-Performancetest via dd oder bonnie machen.

Nutze schon Intel Karten.

3. Ein weiterer Punkt sind manche Features wie dedup, compress, atime, sync-writes -
zum Test, die mal ausschalten, eventuell mal einen Test mit einem Raid-10 machen,
um zu sehen wie stark Raid-Z bremst.

Ist soweit schon alles aus. Das mit dem Performance Unterschied zwischen RaidZ und Raid10 hab ich heute schonmal gelesen, dem werd ich mal eine Chance geben.


Ansonsten Danke für die Tipps :wink:
 
Hoi zusammen,

wollte nur mal sagen - der Thread und die Infos hier finde ich super. Macht grossen Spass.

10 Gbit brauche ich für meine Wohnung eher doch nicht. Habe mir nun die WD Raptor mit 300 GB für die VM Kiste bestellt. Für nexenta auf Microserver dann mal die 3x 2 TB WDs und eine alte Notebookplatte. Oder einfach zwei USB Sticks. SSD als Cache habe ich irgendwo gelesen - schaue erstmal so was läuft. Wobei ich gerade ne Intel 120 GB rumliegen habe die ins X61 soll - vielleicht mal zum Test an den ESATA des Microsever stecken (der führt einen nach Außen).

Ach so wegen Performance: Habe ja zwei Nics zum Trunk gemacht. Gestern mal mit drei Rechnern geschrieben und gelesen. CPU im Microserver ging auf 75%. Schwer zu sagen aber vielleicht ist RAM wichtiger als CPU. Zumindest wenn wir so vom Bereich 150 MB/ sec Transfer reden.

So, noch ne Runde Tippen.

Gruss und frohes Basteln.
 
Hallo zusammen,

habe ein HP Proliant n36l.

Muss man eigentlich bei der Installation von Nexenta etwas im Bios umstellen? Bekomme bei dem Versuch der Installation auf einem USB Stick immer folgende Meldung nach Auswahl des Sticks:

Cannot create ZFS 'root' pool using disks with error:
cannot open '/dev/dsk/c0t0d0s0': no such device or address


Grüsse
xmasman
 
Hallo zusammen,

habe ein HP Proliant n36l.

Muss man eigentlich bei der Installation von Nexenta etwas im Bios umstellen? Bekomme bei dem Versuch der Installation auf einem USB Stick immer folgende Meldung nach Auswahl des Sticks:

Cannot create ZFS 'root' pool using disks with error:
cannot open '/dev/dsk/c0t0d0s0': no such device or address


Grüsse
xmasman

Ich habe es direkt auf die HDD des Microserver installiert (die dabei war) mittels USB DVD. Das ging alles ohne Problem. USB habe ich nicht probiert.

Gruss
 
Hallo zusammen,

habe ein HP Proliant n36l.

Muss man eigentlich bei der Installation von Nexenta etwas im Bios umstellen? Bekomme bei dem Versuch der Installation auf einem USB Stick immer folgende Meldung nach Auswahl des Sticks:

Cannot create ZFS 'root' pool using disks with error:
cannot open '/dev/dsk/c0t0d0s0': no such device or address


Grüsse
xmasman

Installation auf USB wird von Nexenta nicht unterstützt.
Als auf der normalen Bootplatte installieren.

Gea
 
Alles klar...dann brauche ich es nicht mehr weiter probieren.
Aber irgendwo schade, wollte das Betriebssystem nur auf nen Stick haben.
SSD würde gehen?
 
Moin

Jo auf eine SSD geht, habe ich hier die Tage gerade getestet.

Gruß
 
nachdem ich in der firma zfs auf sparc nutze wollte ichs zuhause auf nem x86 backupserver ebenfalls nutzen, mit solaris 11 express.
tja, leider ist das alles andere als stabil! 2x hats das filesystem so geschossen dass man kein einziges commando mehr ausfuehren kann, und dabei ist der server nicht einmal abgestuerzt oder sonstwas. einfach nur nach einem reboot nach dem ersten zugriff aufn zpool. also zfs auf x86 - greif ich sicher nicht mehr an!
 
Aktuell bin ich von Nexenta erstmal wieder abgerückt, nicht sehr prall wie ich finde.
Mal eben OpenSUSE installiert, NFS Server & RAID eingerichtet und direkt doppelte Performance out of the box. :fresse:

Evtl. test ich mal open Solaris als "native" distri, anstatt als fertigen Fileserver.
 
Hatte gestern merkwürdige Fehler während ein SCRUB lief:

Code:
Mar 12 18:19:44 enterprise ahci: [ID 517647 kern.warning] WARNING: ahci1: watchdog port 1 satapkt 0xffffff02da8f5878 timed out
Mar 12 18:19:44 enterprise ahci: [ID 517647 kern.warning] WARNING: ahci1: watchdog port 1 satapkt 0xffffff02d0b4e9b0 timed out
Mar 12 18:20:49 enterprise ahci: [ID 517647 kern.warning] WARNING: ahci1: watchdog port 1 satapkt 0xffffff02c9000790 timed out
Mar 12 18:22:59 enterprise last message repeated 2 times
Mar 12 18:24:04 enterprise ahci: [ID 517647 kern.warning] WARNING: ahci1: watchdog port 1 satapkt 0xffffff02daca14e0 timed out
Mar 12 18:26:15 enterprise last message repeated 2 times
Mar 12 18:27:20 enterprise ahci: [ID 517647 kern.warning] WARNING: ahci1: watchdog port 1 satapkt 0xffffff02daca14e0 timed out
Mar 12 18:29:30 enterprise last message repeated 2 times
Mar 12 18:30:35 enterprise ahci: [ID 517647 kern.warning] WARNING: ahci1: watchdog port 1 satapkt 0xffffff02c8dd65b8 timed out
Mar 12 18:32:45 enterprise last message repeated 2 times
Mar 12 18:33:50 enterprise ahci: [ID 517647 kern.warning] WARNING: ahci1: watchdog port 1 satapkt 0xffffff02c8dd65b8 timed out
Mar 12 18:39:16 enterprise last message repeated 5 times
Mar 12 18:40:21 enterprise ahci: [ID 517647 kern.warning] WARNING: ahci1: watchdog port 1 satapkt 0xffffff02c8dd65b8 timed out
Mar 12 18:44:41 enterprise last message repeated 4 times

Hier waren dann die Platten nicht mehr erreichbar :/
Nach dem Neustart lief wieder alles ...

Ich muss dazu sagen, dass der Server nur alle paar Tage eingeschaltet wird und jetzt wegen dem SCRUB mal länger durchgehend gelaufen ist. Dies sollte aber eigentlich kein Problem sein?!
 
Hmm, wie weiter

Hallo zusammen,

habe mich die letzten Abend mal durch den ganzen Thread gehangelt. Noch nicht alles klar aber einiges besser. Nun grüble ich:

Doch noch einen Controller kaufen (100 Eier) und dann Geas "All in one" auf dem Xeon?
Ich habe das Supermicro Board und den kleinen Xeon und 3 EARS Platten (ja, das mit den 4k... Aber soweit ich gelesen habe muss einen das nicht so schrecken. Etwas Performance runter ist mir egal).
Dann noch den Controller dazu (der wäre ok http://www.intel.com/Assets/PDF/prodbrief/RAID_SASWT4I_prodbrief.pdf?) und vielleicht eine 10k SAS 2.5 Zoll für so 110 dran (da sollen dann die VMs drauf).

Wenn ich das richtig verstanden habe kann ich damit:
Esxi laufen lassen
Solaris Express plus Napp it nehmen und hätte dann schon Verschlüsselung
Hätte einen LAMP
Und kann noch andere virtuelle Maschinen nach Laune erstellen?

Gea, das läuft dann alles schön? (Ach so, vielleicht noch 8 GB RAM drauf damit 16 total)

Gruss
Otto

Man könnte natürlich auch einfach die c't Spezial Server nehmen, den Server von dort draufklatschen (da langt sicher auch der Microserver) und gut.
 
Servus,

nachdem ich keine Lösung gefunden hatte, habe ich alle gesichert (was einige Zeit dauerte, da es knapp 4TB waren) und habe heute begonnen Debian Squeeze zu installieren. Tolles Teil ABER schon das Setup der der SW RAIDs ist eine Qual :/ Der ist hier seit über 2 1/2h beim "Erzeugen" eines ext4 Systems im Setup (5x 1.5TB HDs im RAID5). Das lässt schon wenig Spaß erahnen.

Da mein Server nun mit Nexenta scheinbar Inkompatibilitäten aufweist: was ist eine Alternative? ZFS wirkt ja sooo sexy, wenn man hier so einen Prozess sieht :/

Ich kenne: FreeBSD 8.2 (ZFS v15), Solaris 11 Express (wenig Lust zu und soll noch nicht so wirklich stabil sein), OpenIndiana (auch noch nicht "stable").

Was gibt's noch für Optionen?

Freue mich auf Euer Feedback!!

Vielen Dank!

Ciao
Dennis

PS. Da ich nur über einen "Server" verfüge, ist es wichtig, dass ich eine Virtualisierung habe. Bei Nexenta hatte ich VirtualBox laufen - was ganz gut klappte.
 
Zuletzt bearbeitet von einem Moderator:
Wenn du hauptsächlich große Daten auf dem SW Raid hast kannst du acuh gut xfs nehmen da dauert das initialisieren sogut wie nix - hab ich auch auf meinem 6Tb Array laufen :)
 
was ist eine Alternative? ZFS wirkt ja sooo sexy, wenn man hier so einen Prozess sieht :/

Ich kenne: FreeBSD 8.2 (ZFS v15), Solaris 11 Express (wenig Lust zu und soll noch nicht so wirklich stabil sein), OpenIndiana (auch noch nicht "stable").

Was gibt's noch für Optionen?

tja, genau vor dem stand ich auch, allerdings wollte ich _unbedingt_ verschluesselung und das gibts nur in solaris 11 express, welches alles andere als stable laeuft. alles in allem verwende ich nun arch linux mit btrfs.
arch linux weil man dort nen aktuellen kernel hat, btrfs wegen checksum und snapshots. verschluesselung ueber dm-crypt. rennt im gegensatz zu solaris 11 auf der kiste wesentlich schneller und vor allem stabil!
ist imho auch die einzige alternative zu zfs. snapshots sind hier im uebrigen standardmaessig schreibbar und man kann sie behandeln wie ganz normale verzeichnisse.
 
@ulukay: Wie stabil ist denn btrfs mittlerweile? Wundert mich, dass es schon im Debian Squeeze zu sehen ist.

Verschlüsseln ist wohl recht simpel mit Debian Squeeze ;) Für ZFS Crypt brauchste ne fixe CPU und VIEL RAM.

@Hades2k: Ist der "Mediapool" - also unsere komplette Videothek als Backup von Medien - teilweise bis zu 10GB Dateien, aber eben auch MP3's.

Ok - Frage selber beantwortet: "WARNUNG: Btrfs ist in einem frühen Entwicklungsstadium. Es ist nur für Benchmarking- und Testzwecke geeignet."
 
Zuletzt bearbeitet von einem Moderator:
@ulukay: Wie stabil ist denn btrfs mittlerweile? Wundert mich, dass es schon im Debian Squeeze zu sehen ist.

Ok - Frage selber beantwortet: "WARNUNG: Btrfs ist in einem frühen Entwicklungsstadium. Es ist nur für Benchmarking- und Testzwecke geeignet."

naja, stabiler als zfs (bei mir) ;)

As of 2.6.31, we only plan to make forward compatible disk format changes

2.6.31 wurde im september 2009 released - debian squeeze verwendet 2.6.32. arch linux 2.6.37.
hab aber nen btrfs thread im linux subforum erstellet, wenn sich bei meinem backupserver mit btrfs was ereignet werd ichs dort posten.
 
Danke! Werde ich auf jeden Fall im Blick behalten. Ist das eigentlich normal, dass RAID5 SOOO lange formatiert? Der erste RAID (RAID10 aus 6x Hitachi 1TB) war ruckzuck durch.. Hmm...
 
ZFS hat Vor- und Nachteile, wie jedes System und die gilt
es eben abzuwägen.

Auf der Haben-Seite ist das modernste und flexibelste Dateisystem
mit integriertem Raid- und Volumemanagement, mit integriertem
Windows-kompatiblem CIFS, NFS und iSCSI Sever. Alles aus einem Guss
und perfekt in das Betriebssystem integriert - eben kein add-on und Sammelsurium
- alles aus einer Hand, ursprünglich von Sun (heute Oracle) entwickelt.

Wohl einzigartig ist volle Paritätprüfung über die realen Daten, nicht nur auf Raidcontroller- oder
Plattenebene wie sonst. ZFS weiss also immer, ob die Daten ok sind.

Damit verbunden ist die Möglichkeit, Online-Filetests durchzuführen um stille Dateifehler
zu entdecken und zu reparieren.

Ideal ist auch Copy on Write (alle geänderten Daten werden neu geschrieben, nicht geändert) und
die damit verbundene Möglichkeit, Snapshots ohne Zeitverlust und ohne anfänglichen Platzverbrauch
zu erstellen.

Dem gegenüber steht das Problem, dass es nicht mainstream ist. Vieles läuft gar nicht, einiges mit
Problemen und nur ganz wenig völlig problemlos. Wer ZFS wirklich möchte tut gut daran, sich eng an
getestete Konfigurationen zu halten oder gar nur das zu verbauen, was SUN/ Oracle/ Nexenta in seinen
Storagesystemen verbaut. Da gibt es viel Ähnlichkeiten mit Apple und den Hackintoshes oder wie
VMware ESXi. (Wobei wie bei ESXi vor allem Netz und Storage-controller kritisch sind)

Und auf diesen Systemen läuft es stabil in den Storage-relevanten Teilen,
selbst mit als "unstable" deklarierten wie OpenIndiana b148 - es ist auf jedenfall
in vielen Punkten stabler als das letzte stable OpenSolaris.
Nexenta und Solaris Express 11 sind ohnehin als stable gekennzeichnet.


Auch sind diese Features nicht umsonst zu haben. SUN hat z.B. vermutlich einen der besten NFS Server
integriert, dennoch wird damit auf ZFS niemals die Performance erreicht werden können, wie dies
ohne ZFS und Software-Raid der Fall wäre. Der Preis lautet eben mehr RAM und mehr CPU ist nötig,
um dieselbe Performance zu halten.

Das ist wie bei modernen Autos. Die brauchen genausoviel Benzin wie die vor 10 Jahren.
Sind aber dafür halt viel sicherer, schneller, komfortabler und 30% schwerer.


Gea
 
Zuletzt bearbeitet:
@Gea: Das paradoxe ist ja: Ich HABE mich ja an die Hardware"standards" für OpenSolaris gehalten und Hardware verbaut, die mir 2 Sun.. eh.. Oracle Mitarbeiter empfohlen haben.

Weiß nicht ob Du meinen Fehlerpaste-Log gesehen hast ([Bash] Nexenta log - Pastebin.com).

Nun eben - nach unglaublichen 6h und 20min hat es Debian Squeeze übrigens endlich geschafft die 5x 1.5TB als RAID5 zu bauen und zu formatieren (ext4). Ein schlechter Scherz wenn ich an ZFS denke, wo das in wenigen Sekunden über die Bühne gegangen ist.

Nochmal @gea: Kannst Du mir ein System wirklich EMPFEHLEN, welches Stabil, NICHT NEXENTA ist und auf dem ich VirtualBox laufen lassen kann?
 
@Gea: Das paradoxe ist ja: Ich HABE mich ja an die Hardware"standards" für OpenSolaris gehalten und Hardware verbaut, die mir 2 Sun.. eh.. Oracle Mitarbeiter empfohlen haben.

Weiß nicht ob Du meinen Fehlerpaste-Log gesehen hast ([Bash] Nexenta log - Pastebin.com).

Nun eben - nach unglaublichen 6h und 20min hat es Debian Squeeze übrigens endlich geschafft die 5x 1.5TB als RAID5 zu bauen und zu formatieren (ext4). Ein schlechter Scherz wenn ich an ZFS denke, wo das in wenigen Sekunden über die Bühne gegangen ist.

Nochmal @gea: Kannst Du mir ein System wirklich EMPFEHLEN, welches Stabil, NICHT NEXENTA ist und auf dem ich VirtualBox laufen lassen kann?

Wo sitzt Ihr eigentlich alle? Vielleicht kann man ein Solaris Hack Wochenende machen ;-) Sitze am Bodensee.

PS: Irgendwie ist mein Ehrgeiz geweckt - ohne stabil und schnell laufenden Solaris Homefileserver kann ich nicht mehr... (aber die Verschlüsselung. Truecrypt Container sollten gehen oder? Als Behelf)
 
Zuletzt bearbeitet:
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh