[Sammelthread] ZFS Stammtisch

[brigadeleiter]

Spoiler

hallo zusammen,

nachdem unser openindiana nas sehr zuverlässig, jedoch nicht allzu flink gelaufen ist, wollte ich einmal nach eurer meinung fragen, denn es gilt aufzurüsten oder gar neu zu kaufen. allerdings ist das budget wie immer recht klein, ich denke mal 250€.
mittlerweile sind ja sockel 1155 boards sehr günstig geworden und ram auch, bei der cpu bin ich mir nicht sicher was es denn für eine werden muss, der olle core2duo lief eigentlich garnicht soo schlecht. naja und ne ssd solls nun endlich auch werden. ist mittlerweile ja doch kein bastelprojekt mehr und steht auch bald nimmer im keller, wo man mal eben runtergehen kann..

hier unsere aktuelle (februar/2011) config:

[/size]

die config hab ich mir mal im geizhals zusammengemoused... geht das oder nicht oder was sollte man ändern ??

1 x Intel SSD 330 Series 60GB, 2.5", SATA 6Gb/s (SSDSC2CT060A3K5)
1 x Intel Core i3-2120, 2x 3.30GHz, boxed (BX80623I32120)
1 x Corsair ValueSelect DIMM Kit 16GB PC3-10667U CL9-9-9-24 (DDR3-1333) (CMV16GX3M2A1333C9)
1 x MSI B75MA-P45, B75 (dual PC3-12800U DDR3) (7798-010R)

vielen lieben dank schon einmal und eine gn8,
david

Denkst du nicht eher auch, dass die bescheidene Performance von deinem Raid10 über drei verschiedene HDD-Modelle her kommt?

möglicherweise hast du ja recht, aber ich dachte, dass es bei einem raid 10 nicht so die rolle spielt, sonst hätten wir uns ja nicht drauf eingelassen, ausserdem war die performance schon besser als ein gewöhnliches raidz..
immerhin haben die 500gb hdds auch recht ähnliche daten und richtig langsam ist auch keine.

möglicherweise kann man ja nach und nach gegen 1gb oder 2 gb mirrors austauschen, aber die hdd preise sind ja leider noch nicht wieder im keller wie damals

ich fand das board ja schon immer schrott, aber es war kein anderes da und auch kein geld mehr ;( (ich geb dem board also die hauptschuld)

möglicherweise könnt ihr ja ein günstiges board empfehlen, gegen ein funktionierendes vt-d hätte ich nix und würd auch lieber gea´s aio board kaufen, aber ich kanns mir leider nicht aussuchen.

ich hab nochma zwei rausgesucht
Gigabyte GA-Z68AP-D3, Z68 (dual PC3-10667U DDR3) Preisvergleich | Geizhals Deutschland
MSI Z68MA-G45, Z68 (dual PC3-10667U DDR3) (7676-030R) Preisvergleich | Geizhals Deutschland

ist der corei3 ausreichend?

vielen dank, david

 

[startplus]

Na dann schau Dir mal an von wann das DDRDrive X1 stammt. Ansonsten ist es mir egal wie alt das Teil ist, wenn es mir hilft, dann können das auch Laufwerke aus Feuerstein sein.

Da gebe ich Dir recht.

 

[gea]

Hast Du das ddrDrive im Einsatz?

Nein, weder ein DDrDrive noch das üblichere ZeusRAM.
Bei den Pools, wo es mir darauf ankommt, gehe ich auf SSD only Pools ohne ZIL.

Das ist bei kleineren Pools günstiger, bei größeren Pool aber auch teuer - in jedem Fall aber schneller.

---------- Post added at 20:38 ---------- Previous post was at 20:20 ----------

[
ich fand das board ja schon immer schrott, aber es war kein anderes da und auch kein geld mehr ;( (ich geb dem board also die hauptschuld)

möglicherweise könnt ihr ja ein günstiges board empfehlen, gegen ein funktionierendes vt-d hätte ich nix und würd auch lieber gea´s aio board kaufen, aber ich kanns mir leider nicht aussuchen.

ich hab nochma zwei rausgesucht
Gigabyte GA-Z68AP-D3, Z68 (dual PC3-10667U DDR3) Preisvergleich | Geizhals Deutschland
MSI Z68MA-G45, Z68 (dual PC3-10667U DDR3) (7676-030R) Preisvergleich | Geizhals Deutschland

ist der corei3 ausreichend?

vielen dank, david

Ganz ehrlich.
Entweder das alte Board behalten oder für ZFS nichts unterhalb eines SuperMicros X9-S.. (ab ca 150,--) kaufen. Damit hat man dann nicht mehr die komischen Realtek Netzwerkkarten sondern zwei Intels, ECC RAM, genügend schnelle Slots und vt-d mit der passenden CPU sowie IPMI Fernbedienung.

Selbst mit einem 17W Dual V.2 Xeon rennt das dann richtig und kann sogar pass-through und spart Strom.

 

[Cappo]

So,

jetzt hab ich endlich eine Konfig gefunden, die was taugt.

Als Software will ich Solaris11 und Napp-It verwenden.
So kann ich die in ZFS eingebaute Verschlüsselung für Folder problemlos verwenden.
Das funktioniert echt gut.
Jetzt zu den Problemen:
-Nach einem Neustart ist der verschlüsselte und über SMB freigegebne Ordner nich über SMB verfügbar.
(der Folder wurde natürlich vorher verschlüsselt )
Bei Napp-It wird aber unter der Folderverwaltung der Freigabename mit angezeigt.
Wenn ich nun noch mal den Folder freigebe, ist er sofort über SMB ansprechbar.
Ist das nur eine Einstellungssache, oder muss man das via skript erledigen?


Als Hardware hab ich ein Zotac H55 mit nem I5 und AES-NI.
8GB RAM(kein ECC, ich weiß), 6 Sata(Intel) und 1 E-Sata(JMicron JMB360).

Jetzt will ich 6 HDDs für mein Storage nehmen brauche aber noch ne Bootplatte.
Entweder ich versuche den E-Sata nach innen zu verlegen oder ich kauf mir ne SSD für Mini PCI-E.

Hat jemand schon mal ähnliches versucht und den JMB360 oder ne SSD über Mini PCI-E, mit Solaris zum laufen gebracht?


MFG

Josch

Also das mit dem JMicron JMB360 hat schonmal net geklappt.
Solaris erkennt da einfach nix drann.

Jetzt könnte ich nochmal SSD für Mini PCI-E probieren.
Alternativ hätte ich noch nen Perc5 und Perc6(will ich aber nicht wegen Stromverbrauch und 4k Problemen)
Hat dass schonmal jemand getestet.

Aso, bei Heise hab ich gelesen dass die 11.1 von Solaris draußen ist.
Aber alle Images, die man bei Oracle zu laden kann, sind alt.
Weiß jemand, wo man das aktuelle Image bekommt?
Vielleicht unterstützt dass dann ja mehr Hardware.


mfg

Josch

 

[startplus]

Es ist jetzt folgender Server geworden:

Supermicro | Products | SuperServers | 3U | 6037R-E1R16N

+ 2x Rear Hot-swap 2.5" Drive Bays
+ 2x Xeon(R) CPU E5-2603 0 @ 1.80GHz
+ 4 x 16GByte RAM
+ 16 x Seagate Constellation ES 1000GB, SATA 6Gb/s (ST1000NM0011)

- LSI 2108 SAS2 RAID wurde ersetzt durch
+ IBM M1015 card ist jetzt LSI in IT-Mode

Was ist wenn dieser Rechner nach stromlos machen, 5 Minuten warten, beide Stecker wieder anschließen und nach betätigen der ONOFF Taste zwar alle Laufwerke anlaufen aber nicht bis zum BIOS kommt und auch kein BEEP von sich gibt?

War vorher im Bios und habe:
"Restore Optimized Defaults" eingestellt anschließend "Save Changes and Reset"
warten...
wieder ins Bios um mein Boot-laufwerk an erste Stellen zu setzen wieder "Save Changes and Reset"
warten ...
keine Reaktion mehr. Kein BEEP...

Da werde ich wohl Montag erst weiterkommen.

 

[bluesunset]

Ohne Beep Code CPU bzw. RAM in der Regel, seltener eine Karte die nicht passt.
Wieso verwendest du eigentlich nicht den schon onboard vorhandenen LSI2108 sondern den älteren LSI2008 auf einer extra Karte?

 

[startplus]

Ohne Beep Code CPU bzw. RAM in der Regel, seltener eine Karte die nicht passt.
Wieso verwendest du eigentlich nicht den schon onboard vorhandenen LSI2108 sondern den älteren LSI2008 auf einer extra Karte?

wegen dem IT Mode. Für die andere Karte gibt es das wohl nicht oder doch?

Das der Rechner nicht möchte ist ärgerlich, hat aber bis Montag werde ich da nichts machen können.

 

[brigadeleiter]

hallo zusammen,


wir haben jetzt eine 60gb intel ssd im system und kommen mit der anleitung nicht ganz klar. diese soll nun in zwei partitionen aufgeteilt werden und dann eine für log datein und eins für cache. im nappit finden wir die partitionen nicht... und auch auf die schnelle keine gute anleitu.g

vielen dank,
david

Festplattenpartition erstellen unter OpenSolaris | Blog@Laukien

 

[AG1M]

Einfach per CLI machen ->

Beispiel c1d0 ist deine Intel SSD, p1 ist Partition Nr.1 mit 8 GB und p2 ist die Partition Nr.2 mit dem Rest für den Lesecache.

Für ZIL

zpool add deinpool log c1d0p1

Für L2ARC

zpool add deinpool cache c1d0p2

Aber ob das so gut ist beides auf einer SSD und ich nehme an wird eine MLC SSD sein, ist ist eine andere Frage.

 

[brigadeleiter]

hm ok. gparted sagt "dateisystem unbekannt" hab ich da noch irgendwas vergessen oder?

 

[AG1M]

Mit dem normalen Linux Gparted wird das nichts, das kann kein ZFS Dateisystem. Das machst du mit dem Befehl format per CLI, du hast doch die richtige Anleitung gepostet. Genau damit hab ich das vor vielen Monaten gemacht, damit 2 Partionen erstellen und dann loslegen wie ich beschrieben habe.

 

[brigadeleiter]

danke, hat erstmal geklappt. ich dachte die partitionen werden dann im nappit oder anderswo angezeigt. im gparted konnte ich mir die bezeichnung dann abschreiben.

http://s7.directupload.net/images/121014/h85jdn76.jpg


dankeschön u gn8,
david

 

[gea]

danke, hat erstmal geklappt. ich dachte die partitionen werden dann im nappit oder anderswo angezeigt. im gparted konnte ich mir die bezeichnung dann abschreiben.

http://s7.directupload.net/images/121014/h85jdn76.jpg


dankeschön u gn8,
david

napp-it wird ab Version 0.9 Partitionen unterstützen.
Momentan gilt:

Partitionen manuell per CLI format/ fdisk einrichten.

Partitionen, die mit Gparted oder parted erstelt werden: nur erste Partition ist für ZFS nutzbar, daher:
Format/ fdisk benutzen: damit lassen sich bis zu 4 Solaris/ZFS Partitionen anlegen.

Neben Partitionen kennt Solaris auch Slices. Damit läßt sich die erste Solaris Partition weiter aufteilen. Das ist aber sehr unhandlich (Konzept stammt noch aus Vor-ZFS Zeit). Echte Partitionen sind einfacher zu nutzen als Slices.

 

[brigadeleiter]

Hallo nochmal,

es ist jetzt noch ne 500ér Hdd dazugekommen, eine 320ér ist durch die ssd als log device ersetzt worden und ich hab grade vom three way mirror gelesen
macht das jetzt mehr "Sinn" die eine 320ér und eine 500ér als 3way mirror laufen zu lassen und nur eine 500ér als spare.
ODER aber
man macht aus der 320+500 einen weiteren raid1 und lässt die übrige 500er als spare laufen, bis was grösseres eingebaut wird. (abduck)

AKTUELLES SYSTEM
RAID 10
2x WDC WD5000AAKS, mirror
2x ST3500418AS, mirror
2x WDC WD3200AAKS, mirror
-----------------------------------
1x WDC WD5000AAKS, spare
1x WDC WD5000AAKS, neu dazugekommen
1x WDC WD3200AAKS, spare
1x Intel SSD 330 Part. 1 als log
1x Intel SSD 330 Part. 2 als cache

jetzt aber wirklich gn8,
david

 

[antilope114]

Ohne jetzt auf die Konfiguration im Speziellen einzugehen: 3-way mirror anstelle von 2-way mirror + 1 spare macht durchaus Sinn:
1) Höhere Datenverfügbarkeit - bei Ausfall einer Platte musst nicht erst resilvered werden um erneut Redundanz herzustellen
2) Höhere Lesegeschwindigkeit (theoretisch), da zfs ein Round-Robin über drei anstelle von zwei Platten verteilen kann.

Nachteil u.U. (minimal) höherer Energieverbrauch, weil die dritte Platte u.U. nicht im Standby gehalten werden kann (aber ob zfs spares überhaupt im Standby-Modus hält, da bin ich mir nicht mal so sicher...)

edit/ bei dir würde sich wohl am ehesten ein Raid 10 über 4x500 GB ohne spare anbieten (also dem jetztigen mirror vdev einen weiteren mirror hinzufügen) und den 320er 2-way mirror als 3-way mirror zu betrieben (s.o.)

 

[V.I.P.E.R]

Hat jemand schonmal Erfahrung mit einem Wechsel von nas4free(zfs) nach Linux gesammelt (z.b. Debian)
Ist das zu empfehlen ?was muss ich beachten ? Ich kann mich mit nas4free irgendwie nicht so richtig anfreunden ...

 

[brigadeleiter]

edit/ bei dir würde sich wohl am ehesten ein Raid 10 über 4x500 GB ohne spare anbieten (also dem jetztigen mirror vdev einen weiteren mirror hinzufügen) und den 320er 2-way mirror als 3-way mirror zu betrieben (s.o.)

wenn ich einen weiteren mirror aus 2*500gb hinzufüge, ab ich doch aber kein spare mehr, falls eine platte wegfliegt. ist es nicht so besser --- 2* 3way mirror aus 500er hdd´s und einen 3way aus 320érn, da hab ich zwar auch kein spare mehr, aber es können max. zwei hdd´s pro mirror ausfallen und die lesegeschwindigkeit erhöht sich.

mirror-0
c4t0d0 500 GB
c4t1d0 500 GB
+ c2t1d0 500 GB (ehem. 500GB Spare Hdd)
mirror-1
c4t7d0 500 GB
c4t3d0 500 GB
+ c2t2d0 500 GB (neue 500GB Hdd)
mirror-2
c4t5d0 320 GB
c4t2d0 320 GB
+ c4t6d0 320 GB (ehem. 320GB Spare Hdd)
logs
c2t0d0p1 15 GB (SSD)
cache
c2t0d0p2 15 GB (SSD)
spare
kein spare
(edit : die bezeichnungen für die hinzukommenden platten stimmen nicht ganz.)

so hab ich deinen vorschlag verstanden:

Spoiler

mirror-0
c4t0d0 500 GB
c4t1d0 500 GB

mirror-1
c4t7d0 500 GB
c4t3d0 500 GB

mirror-2
c4t5d0 320 GB
c4t2d0 320 GB
+ c4t6d0 320 GB (ehem. 320GB Spare Hdd)

mirror-3
c2t2d0 500 GB (neue 500GB Hdd)
c2t1d0 500 GB (ehem. 500GB Spare Hdd)

logs
c2t0d0p1 15 GB (SSD)
cache
c2t0d0p2 15 GB (SSD)
spare
kein spare
(edit : die bezeichnungen für die hinzukommenden platten stimmen nicht ganz.)

Ciao & danke,
david

 

[antilope114]

Ich hatte auch gestern Nacht nicht mehr genau gelesen - ich dachte du hättest bisher nur einen mirror aus 2x500.

Das dritte mirror vdev wirkt sich ggü. dem Fall 2x3-way mirror aber i.d.R. günstiger auf die Performance aus (abhängig von der konkreten IO-Last).

Wenn du ein Backup der Daten hast (was man unabhängig von der Pool-Konfiguration immer haben sollte) dann würde ich bei meinem Vorschlag bleiben.

Falls du kein Backup hast zieh den 320er mirror raus und nehm die beiden Platten zum Backup. Durch den neuen 500er mirror hast du ja den Platz wieder drin.

Mixed vdevs sind ohnehin nicht best practice.

 

[AG1M]

Hat jemand schonmal Erfahrung mit einem Wechsel von nas4free(zfs) nach Linux gesammelt (z.b. Debian)
Ist das zu empfehlen ?was muss ich beachten ? Ich kann mich mit nas4free irgendwie nicht so richtig anfreunden ...

Nehm mal die Suche, hab hier schon einmal was gelesen das jemand ZFS on Linux, oder ZFS Fuse genutzt hat, wo auch die Performance mit Stand.

Aber ich würde entweder OpenIndiana/Solaris oder FreeBSD bei ZFS nehmen, bei Linux schon eher BTRFS, aber selbst da wäre mir das auch noch zu "riskant".

Was ist denn mit NAS4Free nicht ok? Performanceprobleme etc.?

 

[ron2105]

Hallo,

ich habe hier im Büro eine Workstation (QC, 16GB RAM) mit openSUSE, fuse-zfs, einem zpool aus 3x mirror HDDs + 2x SSD als mirror ZIL + Cache. Auf der Kiste laufen z.Zt. 5x WinXP + 7x Linux/OI/Nexenta VMs für die tägliche Arbeit und div. andere Kleinigkeiten (Youtube etc.). Ist von der Schwupdizität nicht die MEGAmaschine aber geht ganz gut.

 

[Asa]

Hallo zusammen,

ich lese mich gerade in ZFS ein bisschen ein.
Was mir jetzt derzeit nicht ganz klar ist:

Ich betreibe derzeit Verschlüsselten Container mit dmcrypt.
Wenn ich jetzt auf einem extra Volume "von vorne" mit ZFS anfange, gibt es eine Möglichkeit eine mittelstarke Verschlüsselung direkt über ZFS zu realisieren?

MFg

 

[AG1M]

Wenn du Solaris 11 nimmst kannst du direkt über ZFS verschlüsseln -> How to Manage ZFS Data Encryption

 

[Asa]

DAnke für den Link.
MAx ist dann aber 256 Bit, richtig? Nicht das es nicht ausreicht, nur als nachfrage

 

[hotzen]

Hmja, das benutze ich auch seit paar Jahren. Funktioniert auch relativ prächtig, von der mangelhaften AES-NI Unterstützung abgesehen.
Jedoch sollte einem klar sein, dass das nur mit Solaris läuft! Keine andere Distribution unterstützt dieses ZFS-Level und wird es auch nie tun,
ich habe mich damit effektiv in Solaris Vendor LockIn'd und bereue es jetzt etwas.
Auf der anderen Seite gibt's nur hacky Alternativen... Aber ne Nexenta Appliance wär schon nett

 

[GrafikTreiber]

Man kann auch ganz einfach dmcrypt/LUKS und zfsonlinux verwenden, alles wunderbar inklusive AES-NI-Unterstützung!

 

[Belatis]

Nabend. Ich spiele gerade etwas mit ZFS und der nachinstallierten Zusatz napp-it herum. Meine Frage ist: wenn ich jetz ein schon gefülltes iSCSI-Target vergößern möchte im napp-it per Menü bei Comstar, überschreibt er die vorhandene LUN mit generiert eine frische nur mit gleichen Namen?

 

[Shad]

Ich habe da mal ne "dumme" Anfängerfrage...

Wenn ich ein normales Raid 5 (Debian ext3/4) habe, kann ein Rebuild schiefgehen wenn eine andere Platte unbemerkte Sektorenfehler hat.
Beim nem Raid-Z unter Solaris/Freebsd... passiert sowas durch das "selbstheilende" ZFS eher nicht oder habe ich etwas falsch verstanden?
Gilt das gleiche dann auch im jeweiligen verschlüsselten Modus?

Danke

 

[Wirrkopf]

Bei mir läuft schon eine ganze Weile ein NappIT All-In-One Lösung auf ESXi 5.0. Damals hatte ich mir von der Konstruktion auch Performancevorteile der VMs/Daten versprochen. Das lief aber nie wirklich so schnell wie ich es mir eigentlich vorgestellt hatte.

Jetzt gibt es preiswerte SSDs und ich habe alle meine VMs und die täglich benutzten Daten auf SSDs verlagert die unter ESXi direkt angesprochen werden. Das ist Größenordnungen schneller als jedes Raid/ZFS sonstwas aus Festplatten. Nun läuft mein ZFS nur noch als Archiv für selten genutzte Dateien bzw.Medienlagerplatz für Filme und als Backupspeicherplatz.

Nun möchte ich aber alle Daten inkl. der auf dem ZFS gespeicherten auf einem anderen PC mit Server 2008 als "Mirror" unter Microsoft DFS zur Verfügung stellen. Sollte also der ganze ESXi Server ausfallen sollten zumindest alle Daten weiterhin zugreifbar sein auch wenns vielleicht etwas langsamer wird.

Langer Rede kurzer Sinn: Im MS DFS kann ich einer virtuellen Freigabe mehrere reale Ziele/Netzfreigaben zuweisen. Auch Freigaben auf dem ZFS. ABER das DFS kann mit dem ZFS nicht syncen da das anscheinend nur vom MS Server unterstützt wird. Ich kann also die zwei Ziele nicht automatisch syncron halten. Die Frage ist also kann man das OI / ZFS irgendwie dazu bringen das es diese DFS-Sync Methode unterstützt?

Wenn nicht dann werde ich wohl ZFS den Rücken kehren da mir diese bequemlichkeit inzwischen wichtiger ist als die Zuverlässigkeit. Die brauch ich bei einem Laufwerk was eh regelmässig 100% gebackupt wird dann einfach nicht mehr so dringend. Ich würde dann zu einem Software Raid-5 unter Windows Server 2008 R2 umsteigen. Auch da habe ich ja die "vorherigen Stände" bei Dateien.

 

[Snuskhammer]

Mal ne Frage an die All-in-one Nutzer.

Wie habt ihr das eigentlich gemacht mit der Ausfallsicherheit der OI HDD?
Ich meine ist die defekt geht nix mehr!

ESXi Auf USB-Stick, dann OI z.B. auf ein RAID1 und den rest (HDDs) dann durchgereicht an OI?
Oder gleich den ganzen ESXi mit Datastore für OI auf ein RAID1?

 

[antilope114]

Wie habt ihr das eigentlich gemacht mit der Ausfallsicherheit der OI HDD?
Ich meine ist die defekt geht nix mehr!

Man sollte sich die Solaris Installation sowieso scripten, dann ist Solaris innerhalb von 10 Minuten neu aufgesetzt. Die Kosten für Raid 1 als Bootlaufwerk stehen in keinem Verhältnis zum Aufwand der Neuinstallation von Solaris.

Abgesehen davon, die Wahrscheinlichkeit, dass eine SLC SSD mit ESXi + Solaris bei den wenigen Schreibzugriffen ausfällt ist mehr als gering. ... bei mir läuft noch eine Mtron Mobi die 7 Jahre alt ist ohne Probleme.