[Sammelthread] ZFS Stammtisch

du verwendest vier steinalte (Erscheinungsjahr 2008) ECOGreen Platten im RAIDZ2 und erwartest Performance? Nicht dein Ernst oder? Da brauchst du dir über 16GB oder ZIL erstmal keine Sorgen zu machen, denn diese Platten werden nie das bringen, was du dir erhoffst.

Na, komm mal runter, zumindest eine HD154UI hatt ich letztens auch noch im Setup. Klar, keine I/O-Wunder, aber man sollte nicht so tun als wär das Teil (und es ist ja nicht nur eins) zu lahm, um ein 10er Ethernet auszulasten.

Dein Gedankenfehler ist, sequentielles Lesen mit Random zu verwechseln. Wenn du innerhalb des selben Pools Daten von einer LUN zur anderen schaufelst, müssen die Platten ständig neu positionieren, wenn dann dein Pool auch noch fragmentiert ist (ist er zwangsläufig) und Snapshots hat, dann hast du fast 100% Random I/O und da sind 2-3MB/s durchaus normal.

Für 100% dumme Systeme: Richtig.
Aber: ZFS liest, sofern es das für richtig erachtet, auch gerne mehr als die direkt angeforderten Blöcke voraus. Und: Platten haben neben ihrem Cache auch NCQ, das, wenn aktiviert und benutzt, genau solche Szenarios dämpft. Echte Random-IOs kann man damit nicht abfedern, wohl aber kleinere sequentielle Reads mit gleichzeitigen Writes.


@Sync: Ich hab das bei mir zwangsweise schon auf Poolebene deaktiviert, da mein Ubuntu auf SMB und NFS mit lausigen <5 MB/s schreibt. Und zwar sync, grundlos. Schalt ichs serverseitig auf async, knallt die Bandbreitenkurve bei 120-121 MB/s an. So, wie es halt sein soll. Bei den dd-Benches war davon nix zu merken, denn die sind ja eh async...und unter Windows hatt ich auch keine Performanceprobleme (nur Würgerei mit SMB/NFS an sich, aber so ist Windoofs halt).

@4K: Wenns da noch um die HD154UI ging, die sind 512B nativ. Aber ashift=12 schadet imho nicht, im Hinblick auf künftige Erweiterungen und/oder Ersatzplatten.


Mal wieder ne Frage an gea: Wie krieg ich ohne zigfaches Geklicke meinen v34-Encrypteten Pool unlocked? Ich muss bisher entweder den Pool entschlüsseln und dann jedes ZFS davon nochmal mit leerem PW mounten lassen, oder ich mach per SSH einen export/import-Zyklus. Gibts da nix schöneres?
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
mit "normalen Platten"... wid er 154ui.... vier stück in einem RaidZ2... also meine bisherige Konfiguration.. kein DeDup... keine Komprimierung.. nichts..... was für Transferraten sollte ich da bei 4 Gigabit-Anbindung der ESXi-Träger erreichen können ?
Mir erscheinen trotz der logischen Erklärung von Ludwinator die Zahlen immer noch sehr klein.... ich hab jetzt einen reinen Lesevorgang auf das RaidZ2 aktiv da ich die Luns gerade leer räume.... der läuft mit 35MB/s.... da sollte doch deutlich mehr gehen....
Jetzt reden wir schließlich von einem sequentiellen LeseZugriff...
 
Na, komm mal runter, zumindest eine HD154UI hatt ich letztens auch noch im Setup. Klar, keine I/O-Wunder, aber man sollte nicht so tun als wär das Teil (und es ist ja nicht nur eins) zu lahm, um ein 10er Ethernet auszulasten.

Du solltest dich erstmal damit beschäftigen wir ZFS bei RAIDZx liest und schreibt, bevor du hier irgendwas hinausposaunst. Ja, es ist im wesentlichen nur EINE Platte, mit der du arbeitest, in ganz seltenen Fällen kriegst du von den anderen unabhängig auch was geliefert.
ZFS ist nicht dumm, aber im Laufe der Zeit können viele Blöcke im Pool immer weniger sequentiell abgearbeitet werden, das ist eine ganz einfach Folge der Fragmentierung von COW. Read-ahead wird nur für aufeinanderfolgende Blöcke gemacht (nutzt aber nix wenn der nächste Block nicht dazugehört) und auch nur, wenn Zeit ist.

cu
 
Hm..... gebt mir doch bitte mal eine "Kaufberatung" ;)
basierend auf dem Performancedilemma mit den 154ui werde ich den Umbau meines Storagesystems jetzt vorziehen....
Geplant waren eigentlich 6 Laufwerke a 3TB im RaidZ2 - also 18TB RAW und 12TB Nutzung + LOG & Cache-SSD (diese sind bereits vorhanden, 2x128GB Samsung 840 Pro).

Macht das aus Sicht der Skalierbarkeit / Sicherheit / Performance auch Sinn, oder sollte ich eher auf 3 Mirros im Stripe gehen ? Sprich 18TB RAW und 9TB Nutzung? was ist "performanter, sicherer und skalierbarer" ?
am Storagesytem hängen für den Start erstmal zwei ESXi-Träger welche über 8Gbit-FibreChannel angebunden sind, mittelfristig wird noch ein dritter Knoten dazu kommen.

Bzgl. der Plattenwahl hatte ich "Seagate Constellation CS ISE 3000GB" oder an "Western Digital Red 3000GB" gedacht, oder würdet Ihr etwas ganz anderes empfehlen ?

Das ganze wollte ich wie bisher unter Nexenta 3.1.5 oder 4.0 realisieren - Grund dafür ist die einfach Einbindung der Fibre-Channel-Config dank guter Guides (ich bin kein Unix-Experte *gg*)

Was meint Ihr? Bzw. wie würdet Ihr das ganze umsetzen ?

Edit: Ich bin außerdem am überlegen ob ich HDD-Controller mitkaufen soll da mit den 9 HDDs (6xRaid + 1 Log + 1 Cache + 1 System) die Boardmöglichkeiten ausgereizt sind. Was würdet Ihr da nehmen ?
(raid soll wie gesagt ZFS sein, also muss der Controller keine Raidfunktionalität haben sondern "nur" sauber die Platten durchreichen)
 
Zuletzt bearbeitet:
Einfache Antwort: RAIDZx kann man nicht direkt erweitern, Mirror problemlos.
Performance und Skalierbarkeit sind erheblich besser, Sicherheit mindestens ebenbürtig.
Überleg dir das mit den LOG-SSDs nochmal, ich glaube die kannst du dir sparen und damit auch zusätzlichen den Controller.
Ich persönlich würde Hitachi Deskstar 7K4000 nehmen, die sind einfach deutlich schneller als die WD RED und du hättest wieder 12TB.
cu
 
Als VM Storage würde ich schon die Seagate Constellation CS bevorzugen, die ist sehr schnell, Lautstärke+Wärmeentwicklung für eine 7200 rpm HDD eher Subjektiv leises Modell und niedrige Zugriffszeiten, die ja bei der WD Red eher sehr ungünstig hoch wären.

Bei mir mit der Seagate Constellation CS ->

~ 380 MB/s Schreiben
~ 350 MB/s Lesen

mit 4 Stück im "Raid 10" also ein Stripped Mirror unter Solaris.

Als HBA für ZFS immer noch mein Favorit der IBM ServRaid M1015, bei Ebay gebraucht für ~ 115 € zu bekommen, kannst du auf die LSI IT Firmware flashen und dann mit 8x 6 Gb/s HDDs/SSDs bestücken geht wunderbar :)
 
Zuletzt bearbeitet:
Guten Abend Ihr beiden,

also im Prinzip sagt Ihr ja beide Striped Mirror - damit ist eine grundlegende Frage ja schonmal beantwortet ! ;)

@Ludwinator
die Deskstar sind aber nicht für den 24/7-Betrieb freigegeben.... deshalb hatte ich die geistig von meiner Liste gestrichten.... oder irre ich mich diesbezüglich ?
Die LOG-SSD liegt ja nu eh schon hier - und für meine Worstations habe ich je 2x256GB im Betrieb, da sind mir die 128er zu klein... wobei fürs Notebook... *grübel*
Also ohne Log, aber mit Cache-SSD ? Ich werde halt im Juni auf eine Serverplatform mit 64GB Ram wechseln... und dann ggf. DeDub auch wieder anmachen - oder nutzt sowas keiner von euch ?


@AG1M
die Werte hätte ich dann auch gerne :d

Aber schon lustig das Ihr im Prinzip alle Raid10 fahrt und das in einem ZFS-Forum :d

Hm.. hat einer Erfahrung von euch bzgl. FibreChannel unter OpenIndiana? Bin halt die ganze Zeit am grübeln ob ich bei Nexenta bleibe oder wechseln soll.... ;)
 
Nexenta ist ok wenn man Service braucht. Ist halt etwas teurer.
Nexenta CE is max 18 TB RAW und kommerzieller Einsatz ist verboten (Home use and self-education only).
Nexenta3 basiert noch auf OpenSolaris 134 Uralt. Nexenta4 wie OI und OmniOS auf Illumos.

Problem bei OI ist dass die Entwicklung praktisch ruht, ich würde mir mal OmniOS als Alternative anschauen.
(Die gibt es als stable, momentan würde ich bloody nehmen - next stable wohl alsbald auf Basis der jetzigen bloody)

Zum Storage Design:
Bei normalen Platten hat multiple-Mirror die besten I/O Werte z.B. als ESXi datastore.
Da braucht man aber meist nicht viel Platz. Daher nehme ich da SSD only Pools (Raid-Z2).

Für einen normalen Filer ist Mirror Verschwendung. Da eher Raid-60+ (Multiple Raid-Z2) nehmen.

Ansonsten:
Supermicro-Serverboards (X9..-F), viel RAM und LSI HBA (auch billige IBM 1015 geflashed aif 9211-IT). Das passt eigentlich immer. FC habe ich nicht (Intel 10 GBe bei mir)

SSD ZIL ist für Highspeed nicht wirklich schnell. Wenn Performance gebraucht wird, eine ZeusRam nehmen oder sync ausschalten. Ansonsten soviel RAM als Readcache wie möglich.

Ansonsten: Für Sata Expander vermeiden. Hitachi und Seagte Constellation sind ok
 
Zuletzt bearbeitet:
Nabend Gea,

es geht um de CE-Version. die beiten ESXi-Träger + SAN sind Bestandteil meiner privaten Spielwiese / Testumgebung.
Daher auch keine reinen -SSD-Pools, mir 8x eine Samsung 840 Pro 512GB zu kaufen... ist mir dann doch etwas zu teuer :d
(Hab derzeit in etwas ein gutes Dutzend VMs laufen da in der Spielwiese auch meine komplette Micros9oft-Testumgebung läuft
(mehrere DCs, Datenbankserver usw.)

Bzgl. Serverhardware: hab als Basis für die ESXi das jeweils das X9SCM-F und da mir die Leistung des NL40 bzw. die Beschränkung auf 4HDDs stört
ist genau das mein Gedanke... einfach ein Storagesystem basierend auf X9SCM-F aufzubauen, viel RAM rein und dann halt auch DeDub zu aktivieren
für die LUN auf der die VMs liegen ;)

10GBe wäre auch meine erste Wahl.. aber die sind halt noch teuer, und die 8GB-FC bekomme ich atm fast umsonst...

Ok, also werde ich wohl erstmal auf Nexenta bleiben und halt "nur" auf die 4.0 Milestone 23 updaten.

Greez Menig

Edit:
wobei die Mischung vielleicht die Lösung ist...
Schritt 1: 4x Constellation
Schritt 2: Switch auf X9SCM-F + Xeon1265v2 und 32GB Ram
Schritt 3: 4x 840 Pro 512GB und Dedub an....
 
Zuletzt bearbeitet:
Kann man alles machen aber ich rate eindringlich von dedup ab, wenn du nicht mind. 50% Platz gewinnst (und auch brauchst).
Auch bei mehr als ausreichend RAM sorgt dedup für massive Performanceverschlechterung, sowohl beim lesen als auch beim schreiben.
LZ4 ist die Lösung, ist in OmniOS drin, k.a. wie das bei Nexenta aussieht.
 
Hm.... ok.... ich werde es wenn es sowei ist mal testen... ich würde das eh nur für die in Schritt drei genannte SSD-LUN aktivieren... und das wäre in dem Fall eine 1TB-SSD-LUN bei 32GB Ram.
SSDs sind halt noch sehr teuer.... naja., mal sehen, bis Schritt 3 dauert es eh mindestens bis Juli/August ;)
 
Schau dir mal die Crucial M500 960 GB SSD an, hab davon die 480 GB Version, hat die Schreibraten der alten Crucial M4 etwa verdoppelt auf über 400 MB/s und ist auch Preis/Leistung einfach stimmt, so wird so eine Sache wieder interessant und ein kleiner Kondensator gegen Datenverlust bei Stromausfall ist auch eingebaut, sieht man auch nicht jeden Tag bei Consumer SSDs.
 
Hm... aber RaidZ2 würde ja trotzdem heißen 4 Stück davon.... das wird ganz schön teuer :d
Ob nun 4x 480 Crucial für 1260 oder 4x512 840 Pro für 1500 - ist auf jeden fall für 1TB nutzbares Volumen ein Stolzer Preis :d
(Wobei dann natürlich über Performance nicht mehr diskuttiert werden muss :d)
 
Und warum nicht 2x 960 GB im Mirror oder 3x 960 GB im 3-Way-Mirror? Selbst jetzt sind die Dinger für ~ 520,- gelistet obwohl noch nicht Lieferbar, der Preis wird sicher auch noch sinken, dann ist das wieder interessant.
 
@Ag1im
der Vergleich bezog sich auf den Doppelmirror mit SSDs statt HDDs - deshalb 4 ;) - klar würden auch 2x 960 GB reichen.... aber das geht eh erst im Sommer bei mir, mal sehen wo bis dahin die Preise stehen :)
 
Zum Storage Design:
Bei normalen Platten hat multiple-Mirror die besten I/O Werte z.B. als ESXi datastore.
Da braucht man aber meist nicht viel Platz. Daher nehme ich da SSD only Pools (Raid-Z2).

Du verwendest tatsächlich SSD Pools mit RAID-Z2 produktiv für ESXi? Ich habe in den letzten 3 Jahren immer mal wieder defekte SSDs gehabt und bin eher skeptisch ob ich dieses Risiko jetzt schon eingehen sollte. Welche Erfahrung hast Du mit defekten SSDs?
 
Du verwendest tatsächlich SSD Pools mit RAID-Z2 produktiv für ESXi? Ich habe in den letzten 3 Jahren immer mal wieder defekte SSDs gehabt und bin eher skeptisch ob ich dieses Risiko jetzt schon eingehen sollte. Welche Erfahrung hast Du mit defekten SSDs?

Ich habe meine ersten zwei SSD only Pools vor gut 2 Jahren aufgesetzt (erste Generation Sandforce). Aus Sicherheitsgründen habe ich da 4 x 3way mirror eingesetzt. Die anfängliche Ausfallrate war auch relativ hoch. Ca 20% der Platten gingen zurück als Garantiefall.

Das hat sich dann gebessert (Firmwareprobleme der ersten Generation). Ich gehe mal von ca 10% Defekten im ersten Jahr aus. Aktuell setze ich neuere Intel 320 und Winkom Pro ein. Da hatte ich im letzten halben Jahr einen Ausfall. Ich würde also durchaus sagen, Zuverlässigkeit wie bei guten Festplatten.

Vorteil is die sehr kurze Resilverzeit so dass ein Ausfall weniger bremst als bei Platten. Ich gehe dabei von einer Nutzungszeit von 3- max 5 Jahren aus. Auch sollte man die Pools nicht zu arg füllen und immer ein extra ZIL (bevorzugt ZeusRAM oder SLC SSD) nehmen um weniger kleine Writes zu erzeugen. Unter n x Raid-Z2 + hotfix oder 3 way mirror würde ich aber nicht gehen. (Zwei erlaubte SSD-Ausfälle gleichzeitig)
 
Zuletzt bearbeitet:
Hi,

kurze Frage: Ist es nun möglich einen bestehenden Raidz-Pool, um eine weitere Festplatte zu erweitern?
 
Hi,

kurze Frage: Ist es nun möglich einen bestehenden Raidz-Pool, um eine weitere Festplatte zu erweitern?

Frage: Pool oder Raid-Z?

Ein Pool kann um weitere vdevs (Basic, Mirror, RaidZ) erweitert werden
Ein Raid-Z vdev kann nicht erweitert werden.
 
Ein Raid5-Array oder RAID-Z1 in der ZFS-Terminologie :d ... Aber die Frage wurde ja soeben beantwortet. Ziemlich doofe Sache, hinterlässt einen bitteren Beigeschmack.
Hm, leider verbrauchen die Killer-Features (Deduplizierung und Kompression) zu viel Ressourcen, was es noch unattraktiver macht :/
Schade, werde wohl weiter mit mdadm, luks-crypt und LVM fahren.
 
Zuletzt bearbeitet:
Ein Raid5-Array oder RAID-Z1 in der ZFS-Terminologie :d ... Aber die Frage wurde ja soeben beantwortet. Ziemlich doofe Sache, hinterlässt einen bitteren Beigeschmack.
Hm, leider verbrauchen die Killer-Features (Deduplizierung und Kompression) zu viel Ressourcen, was es noch unattraktiver macht :/
Schade, werde wohl weiter mit mdadm, luks-crypt und LVM fahren.

Hallo,

teilweise falsch!
Kompression spart Resourcen, verbraucht wenige % CPU-Last, die meist sowieso reichlicher vorhanden, spart dabei aber recht viel IOs und Bandbreite zum Storage (meist dem größten Flaschenhals).
Bei Dedup braucht's allerdings richtig viel RAM.
 
Hi gea,

z.Zt betreibe ich unter anderem einen HP N40L mit OI+Napp-It Pro (09b2).
Gerne würde ich das System auf "Napp-it-to-Go" umstellen. Frage:
- Muss ich den Pool exportieren ?
- Kann ich die Version von Napp-it-to-go auf die Pro Version aktivieren ?
- Ist es möglich die Konfiguration aus dem OI via Backup zu übernehmen ?

Auf was muss ich noch achten bei der Umstellung ?

Wird OmiOS die neue Standardplattform für Napp-It ?

Gruß
GuNa
 
Hi gea,

z.Zt betreibe ich unter anderem einen HP N40L mit OI+Napp-It Pro (09b2).
Gerne würde ich das System auf "Napp-it-to-Go" umstellen. Frage:
- Muss ich den Pool exportieren ?
- Kann ich die Version von Napp-it-to-go auf die Pro Version aktivieren ?
- Ist es möglich die Konfiguration aus dem OI via Backup zu übernehmen ?

Auf was muss ich noch achten bei der Umstellung ?

Wird OmiOS die neue Standardplattform für Napp-It ?

Gruß
GuNa

- export ist nicht nötig (aber der saubere Weg)
- gleicher Hostname: Ja, Key eintragen
- Menü System - backup napp-it sichert den kompletten /var/web-gui Ordner auf den Datenpool
nacher einfach manuell zurückkopieren z.B. per Winscp oder Midnight Commander

Falls z.B. lokale user und ACL benutzt wurden:
- user neu anlegen und eventuell ACL neu setzen

- OmniOS ist meine aktuelle Standardplattform
(Entwicklung schreitet bei OI zu langsam voran, Omni ist aktueller, besser gepflegt
und es gibt eine stable, optional mit kommerziellem Support)
 
Zuletzt bearbeitet:
Ich möchte heute auf auf nappit to go wechseln :)
-Wie ist das mit den USB-Sticks und dem Mirror? Wenn ich 2 oder 3 Sticks (bin noch am überlegen) als zpool mirror betreiben möchte, muss ich dann das Usb-image einfach auf jeden sticks kopieren oder muss ich den mirror später manuell in nappit anlegen?
-Habe zurzeit bei nappit smb und afp laufen (OS= OI). Gibt es irgendwas bei nappit oder generell was zur Zeit auf OmniOs noch nicht läuft? (Im vgl zu OI)
-soll Bloody oder Stable von Ominos nehmen?
-Und, wie mache ich wenn OmniOs dann auf dem N40L läuft und es mal ein Update für OmniOS gibt? Hat OmniOS ein "updater"?
-atime und sync auf dem zpool deaktivieren richtig?
-Bei der nappit sicherung werden die acl und die nappit-user nicht mitgesichert? (Was ist mit smb und afp freigaben auf dem raidz?)

ps: wie genau kann ich die nappit-sicherung später zurückkopieren? :)
hab da keine ahnung
 
Zuletzt bearbeitet:
Ich möchte heute auf auf nappit to go wechseln :)
-Wie ist das mit den USB-Sticks und dem Mirror? Wenn ich 2 oder 3 Sticks (bin noch am überlegen) als zpool mirror betreiben möchte, muss ich dann das Usb-image einfach auf jeden sticks kopieren oder muss ich den mirror später manuell in nappit anlegen?
-Habe zurzeit bei nappit smb und afp laufen (OS= OI). Gibt es irgendwas bei nappit oder generell was zur Zeit auf OmniOs noch nicht läuft? (Im vgl zu OI)
-soll Bloody oder Stable von Ominos nehmen?
-Und, wie mache ich wenn OmniOs dann auf dem N40L läuft und es mal ein Update für OmniOS gibt? Hat OmniOS ein "updater"?
-atime und sync auf dem zpool deaktivieren richtig?
-Bei der nappit sicherung werden die acl und die nappit-user nicht mitgesichert? (Was ist mit smb und afp freigaben auf dem raidz?)

ps: wie genau kann ich die nappit-sicherung später zurückkopieren? :)
hab da keine ahnung

Rpool mirror: anlegen mit napp-it Menu Disk - Mirror rpool

SMB: ist eine ZFS Eigenschaft, ist also im Pool gespeichert.
AFP: Shares neu anlegen

Oi vs Omni: Alles was SAN oder NAS relevant ist läuft (inkl. Mediaserver Mediatomb und Xampp)
Ich nehme aktuell die bloody wg LZ4. Sobald das in der stable ist, wechsle ich auf stable

Update: Unless otherwise noted, any interim ("weekly") release may be applied via 'pkg update' without a reboot. siehe ReleaseNotes

Atime: immer ausmachen (Performancekiller), Sync kann man auf default lassen

Sicherung: napp-it liegt komplett im Ordner /var/web-gui. Ein Backup auf /'pool'/napp-it.bak/'datum'/
Zurückspielen: aktuellen Ordner /var/web-gui umbenennen und aus Backup wiederherstellen (Kopieren)
napp-it setzt die Rechte beim Login automatisch neu

ACL sind Dateieigenschaften (sind also im Pool)
Solaris User werden nicht gesichert.
 
Vielen Dank gea !
Ich werde das System morgen mal umstellen. Muss noch eine Sicherung fahren.
Danke für Deine mühe !
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh