[Sammelthread] ZFS Stammtisch

[hotzen]

-Permissions auf default=777 lassen und alles mit ACL regeln

Was ist eigtl. der Grund für dieses Vorgehen? Greifen die ACLs nur bei 0777?
Da habe ich immer ein ungutes Gefühl wenn man pauschal erstmal alles erlauben muss...

 

[brigadeleiter]

es ist bestimmt schon mal gefragt worden, aber die suche brachte mich nicht richtig weiter :

Wäre es möglich ein WIN7 + VMWARE(NAS) ALL IN ONE zu bauen?

-grundsystem win7-64
-vmware -> openindiana -> 4x1tb durchreichen(??) für zfs raidz

+alles in einem gehäuse
-wahrscheinlich keine stromsparmöglichkeiten

Ciao,
David

 

[Sumatrabarbe]

@ brigadeleiter

absolut nicht empfehlenswert... gleiche setup mit win 2008r2 als host und platten vie rdm an vmware workstation durchgvereicht... nach jedem neustart der vm waren die platten failed und das raid degraded... also lass lieber die finger von....

 

[gea]

Was ist eigtl. der Grund für dieses Vorgehen? Greifen die ACLs nur bei 0777?
Da habe ich immer ein ungutes Gefühl wenn man pauschal erstmal alles erlauben muss...

ACL und unixpermissions sind ja kein entweder-oder sondern müssen immer gemeinsam beachtet werden.
Das bedeutet, dass die ACL-Rechte niemals größer sein können als die unix permissions.

Wenn wie bei CIFS ausschliesslich mit ACL's gearbeitet wird, müssen die permissions daher auf 775 oder 777 stehen.
Manche Sachen gehen sogar nur mit 777 problemlos (AFP, guest access etc).

Daher mein Rat:
777 einstellen und alles mit ACL's reglementieren
(oder dran denken, wenn etwas nicht geht)


Gea

 

[barnacle2k]

Kann die IBM M1015 empfehlen, die sind auch neueste LSI-Chip Generation und unterstützen SATA 6Gbit. Kriegt man gebraucht bei ebay für einen Fuffi.

IBM M1015 Firmware - What to flash with

LSI 1068e vs 2008 in JBOD

Gute Tip Danke!
Ansonsten wird man ja gleich wieder 200euros los.

btw. Ich verwende expander weil es Billiger ist.
Habe 4 Intel AXX6DRV3GEXP gebraucht aus der Bucht geschossen.
Damit habe ich Hotswap backplanes UND benötige weniger HBA ports. (man kann ja 100eur / 8Ports rechnen)
Und die Expander backplanes waren teilweise billiger zu haben als normale 5er Hot Swapper.

 

[hotzen]

Wie funktionieren die Dinger denn, haben die einen SFF-8087, also 4-Ports Anschluss oder nur einen Sata? Wird das auf die 6 Einschübe aufgeteilt, also die Bandbreite aufgeteilt?

 

[otto123]

Abend Gea,

danke für die Infos. Leider noch nicht durchschlagender Erfolg. Muss aber nochmal am WE in Ruhe...

Bastele gerade NAS Box zwei im Microserver (beim Kramen in den Kisten und Computerwracks sind doch tatsächlich 4 Platten a 1TB - nicht 4k - aufgetaucht). Wenn ich es gar nicht schaffe mache ich notfalls den Xeon platt aber kopiere vorher rüber auf den Microserver. Der verblüfft nebenbei immer mehr - das hat jemand bei der Konstruktion richtig mitgedacht. Habe nun oben statt CD-ROM 1mal 2,5 HDD und 1x3.5 HDD Halter. Und hinten bei den Steckarten ist ein Loch -> da kann man den E-Sata zurückfädeln. Also dann vier Anschlüsse unten und zwei oben. 4x RaidZ plus eine hot spare plus System auf 2.5 Zoll NB Platte wenn man will.

@Hotzen - Lust das mit den 777 richtig auszuloten? Vielleicht macht das ja gemeinsam mehr Spass.

Gruss,
Otto

 

[Gelöschtes Mitglied 117520]

@otto123 Kannst ja gerne mal ein paar Fotos davon posten! Ich finde wir posten hier generell zu wenig (ja ich auch :P).

 

[barnacle2k]

Wie funktionieren die Dinger denn, haben die einen SFF-8087, also 4-Ports Anschluss oder nur einen Sata? Wird das auf die 6 Einschübe aufgeteilt, also die Bandbreite aufgeteilt?

SAS Expander sind sowas wie Ethernet Switche für Festplatten.
Nur das Parralelle connections automatisch gebündelt werden
und den Durchsatz erhöhen. (Komm mir jetzt nicht mit LACP )

In meinem Fall sind das Zwei Normale "SATA" Stecker die aus dem 6er Plattenpaket herrauskommen.
Auf denen liegt natürlich SAS an und kein Sata aber der Steckverbinder ist wie SATA auf Motherboards.
An die Zwei Anschlüsse kommt Dann der LSI1068E.
Damit Steht jeder Platte bei gleichzeitigem zugriff auf alle 6 Platten etwa 100Mbyte/sec Bandbreite zur Verfügung.
Das reicht MIR für aktuelle mechanische Platten.

Wenn allerdings Nur die hälfte der platten zugriffe haben haben die dann 200Mbyte/s. Bandbreite usw.

 

[hotzen]

Also wie der HP SAS Expander, direkt in die Intel Backplane integriert?
Gute Idee...

BTW, habe das hier noch gefunden:
LSI RAID Controller - HBA Equivalency Mapping

 

[otto123]

@otto123 Kannst ja gerne mal ein paar Fotos davon posten! Ich finde wir posten hier generell zu wenig (ja ich auch :P).

Habe ich gemacht. Nun startet die Mühle erstmal. Z.Zt. mit 3 1xTB WD Green nicht 4k. Die andere Platte war eine Caviar Black. Keine Ahnung ob man Geschwindigkeiten mischen kann oder egal?

Sauge gerade napp-it.

Mal schauen wie sich die Kiste nun macht. Wenn das gut geht nehme ich noch zwei weitere 1TB HDDs rein. Samsung Spinpoint F3R 1000GB ab 50.36 € | heise online-Preisvergleich

Überlege gerade wo das System draufpacken:
1) Kingston 8 GB SSD für knapp 35 Euro
Kingston SSDNow S100 8GB ab 32.51 € | heise online-Preisvergleich
2) Ne Laptopplatte für Dauerbetrieb zB Toshiba 40 Euro
3) Für 40 Euro bekommt man auch eine 2.5 Zoll die sich automatisch verschlüsselt. Für die Paranoiker ;-)

Was denkt Ihr?

Gruss,
Otto

PS: Falls wer von Euch viel mit PDF Papers zu tun hat - Mendeley mal anschauen.

fotos lade ich nachher hoch

pps: 50mb/schreiben 70 lesen laut intel nas test.
verschlüsselt: 20 / 67 mb.
merke gerade bei verschlüsselt: er schreibt ein paar sekunden, kurze pause (knappe sekunde) und dann geht es weiter. verschlüsselungspause??

nachtrag: mal zwei platten zu einem mirror gemacht -> 85 mb/s schreiben.

 

[otto123]

Hdd?

Hallo zusammen,

hinweise wegen HDD für OS in Microserver wäre nett. Dann kann ich heute noch bestellen.

Zur Auswahl steht:


1) Kingston 16 GB SSD für ca. 40 Euro:
Kingston SSDNow S100 16GB ab 44.26 € | heise online-Preisvergleich
Schnell, keine beweglichen Teile, wohl kühl. Aber wie schaut es mit Trim u.ä. aus?

2) Ne Laptopplatte für Dauerbetrieb zB Toshiba 40 Euro
Hitachi Travelstar Z5K320 EA 250GB ab 37.10 € | heise online-Preisvergleich
Leider keine 5 Jahre Garantie. Die WDs hätten 5 Jahre aber sind 4k...

3) Für 40 Euro bekommt man auch eine 2.5 Zoll die sich automatisch verschlüsselt. Für Paranoiker ;-)
Seagate Momentus 5400 FDE.3 320GB ab 37.91 € | heise online-Preisvergleich
Wobei, muss mal schauen wann man da das Passwort eingeben muss. Und: Macht Verschlüsselung des OS überhaupt Sinn? Wenn die Folder und hoffen, dass das Passwort gut abgelegt ist.

Gruss,
Otto

 

[Gelöschtes Mitglied 117520]

Moin,

ich habe gestern in meinem Keller umgebaut und davon Fotos gemacht. Gibt's einmal im Hardforum oder in meinem Blog zu sehen (Der ZFS Fileserver steht nun IM Rack).

 

[otto123]

Moin,

ich habe gestern in meinem Keller umgebaut und davon Fotos gemacht. Gibt's einmal im Hardforum oder in meinem Blog zu sehen (Der ZFS Fileserver steht nun IM Rack).

Nerdhölle vom feinsten
Was für ein Gehäuse ist das?

Hier mal die Bilder von der Micrserver Bay Bastelei:
Galerie: Microserver Bay Bastelei - abload.de

Bild gelöscht da laut Moderator falsche Grösse.

Noch Hinweise:
1) Für den Onboard Sata der dann nach oben geht möglichst einen gewinkelten Sata Stecker kaufen. Der wird sonst gebogen (Käfig HDDs).
2) Die Raidsonic Bay geht gut. ABER: Keine Schrauben reindrehen. Einfach rein und fertig. Sitzt so schon super stramm. Mit Schrauben bekommt man das Ding kaum mehr raus. Lüfter ist leise. Beim reinschieben auf die Kabel hinten links ( wo der Lüfter sitzt) achten (der Lüfter schrammt sonst über die verlegten Kabel der 4x SATA...). Sieht man ja auf dem Bild - die Kabel werden mit dem kleinen Kabelbinder ans Gehäuse fixiert - da eckt der Lüfter am Bay rechts an.
Und: Man braucht Molex Verlängerung und/ oder Adapter auf SATA Strom.
Was man noch sieht: Kleine Klappe Gehäuse unten rechts. Da sind dann die Steckkarten festgeschaubt. Da werde ich dann den E-SATA von außen reinführen. Kabel ist noch nicht da. Dann habe ich oben zwei SATA für die Bay und somit 6 HDDs in der Kiste.

 

[Gelöschtes Mitglied 117520]

Lecker Teilchen otto123 - da 5x 3TB HDs und ne 2.5" für das System - das wärs doch! Der kann doch oben 2x SATA anschließen und unten ist eine Backplane soweit ich weiß, oder?

Eben mal durchgesponnen - knapp 1300€ mit 5x 3TB + 160er 2,5" + 8GB ECC RAM - gut das ich schon einen Fileserver habe :P

Case: Yeong Yang Server Cube YY-B0221

 

[otto123]

Lecker Teilchen otto123 - da 5x 3TB HDs und ne 2.5" für das System - das wärs doch! Der kann doch oben 2x SATA anschließen und unten ist eine Backplane soweit ich weiß, oder?

Eben mal durchgesponnen - knapp 1300€ mit 5x 3TB + 160er 2,5" + 8GB ECC RAM - gut das ich schon einen Fileserver habe :P

Case: Yeong Yang Server Cube YY-B0221

Unten hast Du vier Caddies für SATA - Platten reinschrauben, reinschieben und fertig. Oben bekommst Du eine 3.5 Zoll und eine 2.5 Zoll rein. In den 3.5 Einschub kann man natürlich auch eine 2.5 mit Rahmen schieben. Ich werde nun 5x 1 TB machen (habe ich einige rumliegen). Und für das System eben eine 2.5 zoll. Aber da warte ich noch was die Gurus sagen.

Siehe auch hier:
http://www.abload.de/gallery.php?key=uz5quLz4
Und:
Bild gelöscht da laut Moderator falsche Grösse.

Gruss
Otto

 

[Gelöschtes Mitglied 117520]

Unten hast Du vier Caddies für SATA - Platten reinschrauben, reinschieben und fertig. Oben bekommst Du eine 3.5 Zoll und eine 2.5 Zoll rein. In den 3.5 Einschub kann man natürlich auch eine 2.5 mit Rahmen schieben. Ich werde nun 5x 1 TB machen (habe ich einige rumliegen). Und für das System eben eine 2.5 zoll. Aber da warte ich noch was die Gurus sagen.

Schon echt nen nettes Spielzeug Bin gespannt wie der performt. Hab jetzt die technischen Daten nicht im Kopf, bin aber sicher es ist eine AMD "e" CPU mit ECC RAM Unterstützung.

Wirst wohl Nexenta nutzen, oder? (OpenIndiana hätte mich nun sehr interessiert ^^).

 

[otto123]

Schau mal hier http://www.hardwareluxx.de/community/f101/zfs-anwender-gesucht-570052-29.html#post16544772

Oder einfach ein wenig nach oben scrollen ;-)

 

[Gelöschtes Mitglied 117520]

Hmm also ich seh da keine Info zu dem OS - vielleicht hab ich Sonntags-Tomatenaugen

Zur HD aber nen Tipp von mir: Hitachi 160GB 36€ bei Alternate (ja ich bin etwas zum Hitachi Junkie mutiert ).

 

[hotzen]

Stand vor der gleichen Entscheidung was die OS-HDD angeht, habe mich dann letzendlich für eine Intel SSD entschieden: Intel X25-V G2 40GB, 2.5", SATA II, retail (SSDSA2MP040G2K5) | gh.de (geizhals.at) Deutschland

Die kostet noch ~75 EUR, hat 40GB und wird noch die nächsten Jahre als Server-OS vielfältig einsetzbar bleiben.
Wollte mir eigentlich ne Self-Encrypting 24/7 2,5" Hitachi holen aber die kosten auch ~50 EUR und die Opportunitätskosten des ungenutzten Platzes waren mir zu hoch.
Außerdem ist meine Hoffnung das NAS ab und zu mal runterzufahren und nach WOL in ~30 Sek wieder einsatzbereit zu haben.

 

[Gelöschtes Mitglied 117520]

@hotzen Ich hatte OpenIndiana auf meine Intel SSD (80GB) installiert, danach auf meine WD IDE (160GB). Ganz ehrlich? Das ist die erste Installation bei der ich KEINEN Unterschied bemerkt habe. Ich will nicht ausschließen, dass es an meiner CPU (AMD 245e) lag. Danach ist dann die SSD als Read-Cache in den Mediapool RAIDz1 gewandert. Allerdings habe ich da auch keine großen Unterschiede bisher feststellen können, habe aber bisher auch primär Daten drauf geschrieben

 

[otto123]

Hmm also ich seh da keine Info zu dem OS - vielleicht hab ich Sonntags-Tomatenaugen

Ah, das stand auf der Vorseite. SE11 (und damit auch Verschlüsselung) und Napp it.

Zur HD aber nen Tipp von mir: Hitachi 160GB 36€ bei Alternate (ja ich bin etwas zum Hitachi Junkie mutiert ).

Die haben viele 4k...
Ich nehme erstmal ne olle 60 GB die ich noch rumliegen habe. Aus einem IBM Z60t

 

[barnacle2k]

HITACHI PLATTEN FTW!!!!

Die haben immer schöne bei 512er sektor Platten gehabt.
Zuletzt die 3TB auch ohne nerfige 4k sektoren!

Leider wirds die nicht mehr lange geben.

Wurden ja von WD gekauft.

(Nicht das ich soooo viel gegen WD hätte aber die Setzten ja inzwischen auf 4k Only)

 

[otto123]

HITACHI PLATTEN FTW!!!!

Die haben immer schöne bei 512er sektor Platten gehabt.
Zuletzt die 3TB auch ohne nerfige 4k sektoren!

Leider wirds die nicht mehr lange geben.

Wurden ja von WD gekauft.

(Nicht das ich soooo viel gegen WD hätte aber die Setzten ja inzwischen auf 4k Only)

Hier
Mobile
die meisten haben 4k.

Gruss
Otto

 

[barnacle2k]

Also ich sehe da nur 2 mit 4k!
die 5K750 und die Z5K500
alle anderen haben noch 512.

Und zur 4k Problematik im allgemeinen:
Wer hat schuld das wir keine Nativen 4k platten
kriegen die Linux/Solaris seit Jahren unterstützen?
MICROSOFT!

 

[Gr3yh0und]

Bitte wieder Back to topic Jungs, Wir wollen hier doch keinen Flamekrieg gegen Microschrott starten

 

[Gelöschtes Mitglied 117520]

Bitte wieder Back to topic Jungs, Wir wollen hier doch keinen Flamekrieg gegen Microschrott starten

MS ist doch außerhalb jeglicher Diskussion für ZFS-User, stimmts?

---------- Beitrag hinzugefügt um 00:08 ---------- Vorheriger Beitrag war Gestern um 23:03 ----------

Kurze Verständnisfrage (nachdem ich gerade Oracle Solaris ZFS Performance: 10 Easy Tips lese):

Wenn ich einen reinen RAID-Mirror-Set aufsetzen würde, also ALLE 1TB HDs (10 (6x Hitachi + 4x WD)) hätte ich 5TB nutzbar, nun nehme ich dann noch 4x 1.5TB (2x Samsung + 2x WD "EARS" dazu) - dann könnte ich den Mirror-RAID auf 8TB nutzbar ausweiten, oder? Allerdings mit dem Nebeneffekt, dass die EARS die ganze Performance zum Teufel jagen. Nur so ein Gedankengang, der mir beim Lesen kam.

 

[otto123]

MS ist doch außerhalb jeglicher Diskussion für ZFS-User, stimmts?

---------- Beitrag hinzugefügt um 00:08 ---------- Vorheriger Beitrag war Gestern um 23:03 ----------

Kurze Verständnisfrage (nachdem ich gerade Oracle Solaris ZFS Performance: 10 Easy Tips lese):

Wenn ich einen reinen RAID-Mirror-Set aufsetzen würde, also ALLE 1TB HDs (10 (6x Hitachi + 4x WD)) hätte ich 5TB nutzbar, nun nehme ich dann noch 4x 1.5TB (2x Samsung + 2x WD "EARS" dazu) - dann könnte ich den Mirror-RAID auf 8TB nutzbar ausweiten, oder? Allerdings mit dem Nebeneffekt, dass die EARS die ganze Performance zum Teufel jagen. Nur so ein Gedankengang, der mir beim Lesen kam.

Hi,

soweit ich Gea verstanden habe reden wir von 10% Unterschied bei 4k Platten. Denke bei der Config hast Du sicher mehr als 200Mb/s read/write. Und nachdem Du sicher noch kein 10 gbit hast oder? Also mal ganz entspannt bauen

Denke Dienstag bekomme ich meine Platten und habe dann 5x1TB. Poste dann mal wieviel die schaufeln.

Gruss
Otto

---------- Beitrag hinzugefügt um 05:47 ---------- Vorheriger Beitrag war um 05:47 ----------

 

[Gelöschtes Mitglied 117520]

Moin Otto,

hmm naja auf Grund des Platzmangels habe ich gedanklich gestern Abend noch was umdisponiert und den RAIDz1 des "Storage"-Pools in RAID-Mirror umgewandelt.

  pool: storage
 state: ONLINE
 scan: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        storage     ONLINE       0     0     0
          mirror-0  ONLINE       0     0     0
            c1t0d0  ONLINE       0     0     0
            c1t1d0  ONLINE       0     0     0
          mirror-1  ONLINE       0     0     0
            c1t2d0  ONLINE       0     0     0
            c1t3d0  ONLINE       0     0     0
          mirror-2  ONLINE       0     0     0
            c1t4d0  ONLINE       0     0     0
            c1t5d0  ONLINE       0     0     0

errors: No known data errors

Dazu werde ich noch die 1TB WD HD aus meinem Mac Pro, die ich eh nicht nutze, weil meine Systemplatte eine 240er OCZ SSD ist - als Hot Spare in den "Storage"-Pool einbinden.

Den "Mediapool" aus den 5x 1.5TB HDs werde ich so belassen wie er ist mit der 80er SSD als Read-Cache.

  pool: mediapool
 state: ONLINE
 scan: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        mediapool   ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            c2t1d0  ONLINE       0     0     0
            c2t2d0  ONLINE       0     0     0
            c2t3d0  ONLINE       0     0     0
            c2t4d0  ONLINE       0     0     0
            c2t5d0  ONLINE       0     0     0
        cache
          c2t0d0    ONLINE       0     0     0

errors: No known data errors

Das es nur 10% sind, kann ich mir nicht vorstellen, es dauert doch schon ein wenig länger, wenn ich Daten schreibe. Lesen geht sehr fix (was vielleicht nun der SSD geschuldet ist ).

 

[otto123]

Hoi zusammen,

nun sind die 6 HDDs drinnen im Microserver :
1x alte NB Platte für System
3x WD Green 1 TB
2x Samsung 1TB

Pool habe ich 4x 1TB in Raid Z gemacht. Was mich nun etwas wundert - wie gross sollte denn der Pool sein? Er muss ja parity schreiben und ich dachte da sollten dann 3 TB übrig bleiben.

zpool iostat -v

capacity operations bandwidth
pool alloc free read write read write
---------- ----- ----- ----- ----- ----- -----
rpool 7.83G 47.7G 12 11 320K 141K
c9d0s0 7.83G 47.7G 12 11 320K 141K
---------- ----- ----- ----- ----- ----- -----
tank 1.55G 3.62T 0 72 124 8.68M
raidz1 1.55G 3.62T 0 72 124 8.68M
c7t0d0 - - 0 37 1.30K 2.91M
c7t1d0 - - 0 37 1.20K 2.91M
c7t2d0 - - 0 37 1.20K 2.91M
c7t3d0 - - 0 37 1K 2.91M

Habe aber 3,6 TB wenn ich das richtig lese.
Kann das stimmen?

Gruss,
Otto

Eine 1 TB Platte habe ich als hot spare genommen.
Wo ich auch unsicher bin - in der Bay von Raidsonic steckt ein Controller. Wie merke ich ob der mit SE11 Muken macht?

c7t0d0 ONLINE Error: S:0 H:0 T:0 ATA WDC WD10EACS-00D - 1000.20GB tank
c7t1d0 ONLINE Error: S:0 H:0 T:0 ATA WDC WD10EACS-00D - 1000.20GB tank
c7t2d0 ONLINE Error: S:0 H:0 T:0 ATA WDC WD10EACS-00D - 1000.20GB tank
c7t3d0 ONLINE Error: S:0 H:0 T:0 ATA SAMSUNG HE103SJ - 1000.20GB tank
c9d0 ONLINE Error: S:0 H:0 T:0 - - 95EX 60.01GB rpool
c9d1 AVAIL Error: S:0 H:0 T:0 - - S2JBJ9AB200031 1000.20GB tank

---------- Beitrag hinzugefügt um 12:59 ---------- Vorheriger Beitrag war um 12:55 ----------

Moin Otto,

hmm naja auf Grund des Platzmangels habe ich gedanklich gestern Abend noch was umdisponiert und den RAIDz1 des "Storage"-Pools in RAID-Mirror umgewandelt.

[.

Das kapiere ich nicht - ein RaidZ sollt doch MEHR Platz bieten als ein Mirror: Mirror ist doch gespiegelt also zB 6 Platten -> Kapazität von 3
RaidZ (1) ist ähnlich Raid 5 - eine Platte darf ausfallen. -> Anzahl Platten-1