[Sammelthread] ZFS Stammtisch

so lag dein problem daran, smr statt pmr HDDs zu nutzen ?

smr sind (imho) nicht für Raids (max raid 1) oder (besonders) ZFS geeignet
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ich brauche noch einmal eure Hilfe, nachdem das Expiremtn mit den Seagate Archive hinsichtlich Performance "missglückt" ;-) ist möchten wir nun folgenden machen:

Server:
CPU
2x Intel Xeon E5-2630 v4 (Broadwell-EP) 10-Core CPU
128GB RAM (sind noch 8 RAM-Slots frei...)

Langsames Storagepool, für VMs ohne große Performanceanforderungen und langsame Datenablage als RaidZ
4 x HGST Ultrastar He8 8TB, 512e SE, SAS 12Gb/s (HUH728080AL5204/0F23657)

Schneller Storagepool für VMs (durch SSDcache beschleunigt als RaidZ)
4 x HGST Ultrastar C10K1800 512e SED 1.8TB, SAS 12Gb/s (HUC101818CS4200/0B27978)

SSD-Cache (Mirror)
2 x Intel SSD DC P3700 800GB, PCIe 3.0 x4 (SSDPEDMD800G401)

SSD-Only Storagepool für "Ultra Performance"
2 x Micron S650DC 800GB, SAS (MTFDJAK800MBS-2AN1ZABYY)

Insbesondere die Micron sind als Test zu verstehen. Gibt es 'Anmerkungen? Die CPU habe ich gewählt, da der Aufpreis von 200€ auf einen 10 Kerner so gering war.
Angebunden werden 2 Virtualisierungshosts je mit 10Gbit

Ich würde beim
"langsamer Storagepool" auf 6 x Platten alz Raid-Z2 gehen

der "schnelle" Pool ist irgendwie nicht optimal.
Ich würde da nach Möglichkeit auf SSD only gehen, z.B. ein Mirror oder Raid-10/Z aus Samsung SM/PM863 und zwar ohne L2ARC oder ZIL Device.

Die P3700 als Lesecache sind zwar ultraschnell, bringen beim Schreiben aber garnichts. Wenn dann würde ich einen High-Performance Pool als Mirror(ohne L2ARC/ZIL) daraus bauen. Die Micron SAS sind dagegen Schnecken.

- - - Updated - - -

@gea
Hattest du nur Intel in ESXi-Passthrough getestet oder auch andere NVME's?
Hattest du schon mit der neuesten ESXi-Version oder mit 5.5 getestet?

bis denne

Ich hatte nur die P750 und P3610 unter ESXi 6.0u2 getestet
 
@sashXP
lies mal ab hier - Gea hat hier schon viele Erläuterungen gegeben: http://www.hardwareluxx.de/community/f101/zfs-stammtisch-570052-270.html#post24615126

Als SSD-Pool-Gerätschaften bin ich nun nach Pumuckls Vorschlag bei den Toshiba OCZ VT180 - Vector 180 - 960GB gelandet, da das Budget für die Samsung SM/PM nicht reicht.
Wenn es vielleicht noch ein paar Fürsprecher zu diesen SSDs gibt, dann wäre das evtl. auch für dich eine Option.

@Samsung NVMe
hab nach den allerersten erfolgreichen Tests nun mal ein bissl rumgespielt und einen scrub gemacht - und siehe da:
Code:
  pool: test1
 state: DEGRADED
status: One or more devices has experienced an error resulting in data
	corruption.  Applications may be affected.
action: Restore the file in question if possible.  Otherwise restore the
	entire pool from backup.
   see: http://illumos.org/msg/ZFS-8000-8A
  scan: scrub repaired 20K in 0h2m with 2 errors on Thu Jun  9 18:47:22 2016
config:

	NAME         STATE     READ WRITE CKSUM
	test1        DEGRADED     0     0    65
	  c13t1d0p1  DEGRADED     0     0   169  too many errors

errors: 9 data errors, use '-v' for a list
Das gefällt mir ja mal gar nicht! :hmm:
Das Problem hatte wohl aber schon jemand gelöst mit einer Umstellung des CHKSUM-Algorithmus...
Kann ansonsten hierzu jemand etwas vermelden?
 
Was kann man mit den SMR Platten machen? Wäre ein Mirror empfehlenswert wenn man hauptsächlich von lesen will?
 
Prinzipiell alles was wenig schreibt und mehr liest. Wobei ich auch 2 als Mirror vdev im Backup Pool habe. Im Festplatten Thread zur Archiv hat sogar einer ein raidzx mit >6 Platten seit 1 Jahr meine ich am laufen. Also primär Archiv Daten. Oh daher kommt wohl der Name der Platte [emoji6]


Gesendet von iPhone mit Tapatalk
 
Ich würde beim
"langsamer Storagepool" auf 6 x Platten alz Raid-Z2 gehen

der "schnelle" Pool ist irgendwie nicht optimal.
Ich würde da nach Möglichkeit auf SSD only gehen, z.B. ein Mirror oder Raid-10/Z aus Samsung SM/PM863 und zwar ohne L2ARC oder ZIL Device.

Die P3700 als Lesecache sind zwar ultraschnell, bringen beim Schreiben aber garnichts. Wenn dann würde ich einen High-Performance Pool als Mirror(ohne L2ARC/ZIL) daraus bauen. Die Micron SAS sind dagegen Schnecken.

Danke Gea, ich hatte schon versucht Deine letzten Kommentare zu befolgen... ;-)
Könntest Du mir noch kurz begründen warum Du das RaidZ2 für den langsamen Pool empfiehlst?
Was hälst Du vom Hinweis von effemmess hinsichtlih der Consumer SSDs?
Mir ist noch nicht klar, warum Du die 10K Festplatten nicht nehmen würdest (mit SSD Cache)?


Als SSD-Pool-Gerätschaften bin ich nun nach Pumuckls Vorschlag bei den Toshiba OCZ VT180 - Vector 180 - 960GB gelandet, da das Budget für die Samsung SM/PM nicht reicht.
Wenn es vielleicht noch ein paar Fürsprecher zu diesen SSDs gibt, dann wäre das evtl. auch für dich eine Option.

die sehen ja echt gut aus, gibt es da Erfahrungen mit? :-)
Der Storage soll 24/7 VMs hosten - teils auch kritisch, daher möchte ich sowas nicht "einfach mal so" probieren.

- - - Updated - - -

Prinzipiell alles was wenig schreibt und mehr liest. Wobei ich auch 2 als Mirror vdev im Backup Pool habe. Im Festplatten Thread zur Archiv hat sogar einer ein raidzx mit >6 Platten seit 1 Jahr meine ich am laufen. Also primär Archiv Daten. Oh daher kommt wohl der Name der Platte [emoji6]


Gesendet von iPhone mit Tapatalk

ich hatte die zum Test mit 6x8TB Archive laufen, es war SEHR langsam im Random Write und lief in meinem Test (2-3 Tage) problemlos. Langzeiterfahrung habe ich damit aber auch nicht.
 
Ich hab eine einzelne 8TB davon als Backup-Platte in einem ESXi-ZFS-Nappit Backup-Storage. Will gar nicht jammern. Klar, Speed ist nicht berauschend, der wöchentliche Scrub bei ca. 6TB Füllstand dauert etwa schlappe 13 Stunden. Aber bisher immerhin weder iostat-noch Checksummen-Fehler....
 
Im Festplatten Thread zur Archiv hat sogar einer ein raidzx mit >6 Platten seit 1 Jahr meine ich am laufen. Also primär Archiv Daten. Oh daher kommt wohl der Name der Platte [emoji6]
Das könnte ich sein :)
19x 8TB im Raidz3 - bislang absolut Störungsfrei und performant genug bei SingleUser Zugriff - 1GB-LAN wird jedenfalls voll ausgereizt.
 
Moin,

ich wollte nur mal mitteilen, das ich eine Samsung SM951 NVMe in meinem bar-metal-OmniOS v11 r151019 (vorerst) erfolgreich integriert hab.

@Samsung NVMe
hab nach den allerersten erfolgreichen Tests nun mal ein bissl rumgespielt und einen scrub gemacht - und siehe da:
Code:
  pool: test1
 state: DEGRADED
status: One or more devices has experienced an error resulting in data
	corruption.  Applications may be affected.
action: Restore the file in question if possible.  Otherwise restore the
	entire pool from backup.
   see: http://illumos.org/msg/ZFS-8000-8A
  scan: scrub repaired 20K in 0h2m with 2 errors on Thu Jun  9 18:47:22 2016
config:

	NAME         STATE     READ WRITE CKSUM
	test1        DEGRADED     0     0    65
	  c13t1d0p1  DEGRADED     0     0   169  too many errors

errors: 9 data errors, use '-v' for a list
Das gefällt mir ja mal gar nicht! :hmm:
Das Problem hatte wohl aber schon jemand gelöst mit einer Umstellung des CHKSUM-Algorithmus...
Also...
Das mit der Umstellung der Checksummenbildung war wohl nur ein Workaround und ist so nicht zu empfehlen.
Die bessere Begründung gibt es vom Programmierer der NVMe-Treiber persönlich: Samsung SSD SM951-NVMe shows checksum errors

Aber jetzt kommen die nächsten Probleme...
Wie bringe ich eine NVMe dazu mit 4K also ashift=12 zu arbeiten?
Normalerweise unter OmniOS über die sd.conf. Das klappt aber (zumindest bei mir) nicht, da hierfür Vendor und Model des PCI-Gerätes benötigt werden. Und dies im Format Vendor=8 Zeichen, Model=16 Zeichen. Die Samsung NVMe liefert mir aber mit allen Tools als Vendor="" und als Model="SAMSUNG MZVPV256HDGL-00000". Hmm, also einmal nichts und einmal mehr als 16... Alle Versuche diese Werte in irgendeiner Weise einzutragen scheiterten kläglich!
Wenn also hier jemand die Lösung hat - her damit!
Also was nun? :stupid:
Man nehme ein Fremd-Betriebssystem (Nicht-Illumos) mit kompatiblem ZFS und erstelle hiermit den Pool, da hier die 4K-Implementierung nicht über die sd.conf läuft.

Also flugs ZFSGuru von CD gestartet -Absturz beim Booten! :wall:
FreeNAS installiert - fein. Neustart - Absturz beim Booten! :wut:
Kaffee- und Nachdenkpause... :coffee:
Aha, Infinibandkarte entfernt - nun startet es...

FreeNAS gestartet - nirgends meine NVMe-Disk zu finden...
ZFSGuru gestartet - nirgends meine NVMe-Disk zu finden...
Futter-, Kaffee- und Nachdenkpause... :popcorn::coffee:

OmniOS gestartet - NVMe-Pool erstellt - ZFS-Guru gestartet - ahhh, da ist ja mein Pool...:hmm: Eine NVMe-Disk ist trotzdem nicht zu sehen...
Okay, ssh aktiviert und darüber rein...

So und nun kopier ich meine Notizen platt hier rein...:
Code:
basiert auf:
https://forums.freebsd.org/threads/44197/
(ähnliches skript: http://www.bsdforen.de/threads/funktionierende-anleitung-f%C3%BCr-freebsd-9-mit-zfs.28548/#post-245580)
umgesetzt mit: 
Powered by ZFSguru version 0.3.1
Running official system image 11.0.006 featuring FreeBSD 11.0-CURRENT with ZFS v5000.
Running Root-on-ZFS distribution.

-keine NVMe als Disk in GUI sichtbar
-Versuch sichtbar machen mit: /etc/loader.conf (o.s.ä.?) - kein Erfolg

-da bei NVMe kein Overprovision per HPA möglich --> ZFS-Partition und Leer-Partition!
-Achtung!: 4K-align

gpart delete -i x nvd0 (falls vorhanden)
gpart destroy nvd0 (falls vorhanden)

[root@zfsguru ~]# gpart create -s gpt nvd0

[root@zfsguru ~]# gpart add -t freebsd-zfs -a4k -b1m -s201g nvd0
nvd0p1 added

[root@zfsguru ~]# gpart show /dev/nvd0
=>       34  500118125  nvd0  GPT  (238G)
         34       2014        - free -  (1.0M)
       2048  421527552     1  freebsd-zfs  (201G)
  421529600   78588559        - free -  (37G)

[root@zfsguru ~]# gpart add -t freebsd-zfs -a4k -b421529600 -s37g nvd0
nvd0p2 added

[root@zfsguru ~]# gpart show /dev/nvd0
=>       34  500118125  nvd0  GPT  (238G)
         34       2014        - free -  (1.0M)
       2048  421527552     1  freebsd-zfs  (201G)
  421529600   77594624     2  freebsd-zfs  (37G)
  499124224     993935        - free -  (485M)

gnop create -S4k nvd0p1

zpool create nvp1 /dev/nvd0p1.nop

[root@zfsguru ~]# zdb -C nvp1

MOS Configuration:
        version: 5000
        name: 'nvp1'
        state: 0
        txg: 4
        pool_guid: 11157571964578607008
        hostid: 1424570256
        hostname: 'zfsguru.bsd'
        vdev_children: 1
        vdev_tree:
            type: 'root'
            id: 0
            guid: 11157571964578607008
            create_txg: 4
            children[0]:
                type: 'disk'
                id: 0
                guid: 13541528155494127618
                path: '/dev/nvd0p1.nop'
                whole_disk: 1
                metaslab_array: 34
                metaslab_shift: 31
                ashift: 12
                asize: 215817388032
                is_log: 0
                create_txg: 4
        features_for_read:
            com.delphix:hole_birth
            com.delphix:embedded_data

reboot
zpool export -f nvp1 
boot OmniOS
import über napp-it
export über napp-it
boot ZFSguru
zpool import -d /dev -f 11157571964578607008

[root@zfsguru ~]# zdb -C nvp1

MOS Configuration:
        version: 5000
        name: 'nvp1'
        state: 0
        txg: 193
        pool_guid: 11157571964578607008
        hostid: 1424570256
        hostname: 'zfsguru.bsd'
        vdev_children: 1
        vdev_tree:
            type: 'root'
            id: 0
            guid: 11157571964578607008
            children[0]:
                type: 'disk'
                id: 0
                guid: 13541528155494127618
                path: '/dev/nvd0p1'
                phys_path: '/pci@0,0/pci8086,8c18@1c,4/pci144d,a801@0/blkdev@1,0:a'
                whole_disk: 1
                metaslab_array: 34
                metaslab_shift: 31
                ashift: 12
                asize: 215817388032
                is_log: 0
                create_txg: 4
        features_for_read:
            com.delphix:hole_birth
            com.delphix:embedded_data

boot OmniOS
zpool import 11157571964578607008 nvp1

root@san-01:/root# zdb -C nvp1

MOS Configuration:
        version: 5000
        name: 'nvp1'
        state: 0
        txg: 261
        pool_guid: 11157571964578607008
        hostid: 758204304
        hostname: 'san-01'
        com.delphix:has_per_vdev_zaps
        vdev_children: 1
        vdev_tree:
            type: 'root'
            id: 0
            guid: 11157571964578607008
            children[0]:
                type: 'disk'
                id: 0
                guid: 13541528155494127618
                path: '/dev/dsk/c13t1d0s0'
                devid: 'id1,kdev@E144D-SAMSUNG_MZVPV256HDGL-00000______________-S1XWNYAH501288______-1/a'
                phys_path: '/pci@0,0/pci8086,8c18@1c,4/pci144d,a801@0/blkdev@1,0:a'
                whole_disk: 1
                metaslab_array: 34
                metaslab_shift: 31
                ashift: 12
                asize: 215817388032
                is_log: 0
                create_txg: 4
                com.delphix:vdev_zap_leaf: 42
                com.delphix:vdev_zap_top: 43
        features_for_read:
            com.delphix:hole_birth
            com.delphix:embedded_data



zpool status	

  pool: nvp1
 state: ONLINE
status: Some supported features are not enabled on the pool. The pool can
	still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
	the pool may no longer be accessible by software that does not support
	the features. See zpool-features(5) for details.
  scan: none requested
config:

	NAME        STATE     READ WRITE CKSUM      CAP            Product /napp-it   IOstat mess
	nvp1        ONLINE       0     0     0
	  c13t1d0   ONLINE       0     0     0      256.1 GB          S:0 H:0 T:0

errors: No known data errors

Daten schaufeln...

root@san-01:/root# zpool scrub nvp1
root@san-01:/root# zpool status -v
  pool: nvp1
 state: ONLINE
status: Some supported features are not enabled on the pool. The pool can
        still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
        the pool may no longer be accessible by software that does not support
        the features. See zpool-features(5) for details.
  scan: scrub repaired 0 in 0h0m with 0 errors on Fri Jun 10 23:56:10 2016
config:

        NAME        STATE     READ WRITE CKSUM
        nvp1        ONLINE       0     0     0
          c13t1d0   ONLINE       0     0     0

errors: No known data errors


napp-it:
  home Pools Features

Attention: Pools with features are not importable on systems without support for this feature!

Pool: nvp1:
 Feature  	 Value
 pool version  	 - (5000, Feature Flags) 
 zfs version  	 5 
 feature@spacemap_histogram  	 active 
 feature@skein  	 disabled 
 feature@sha512  	 disabled 
 feature@multi_vdev_crash_dump  	 enabled 
 feature@lz4_compress  	 active 
 feature@large_blocks  	 enabled 
 feature@hole_birth  	 active 
 feature@filesystem_limits  	 enabled 
 feature@extensible_dataset  	 enabled 
 feature@enabled_txg  	 active 
 feature@empty_bpobj  	 active 
 feature@embedded_data  	 active 
 feature@edonr  	 disabled 
 feature@bookmarks  	 enabled 
 feature@async_destroy  	 enabled 


Pool: rpool:
 Feature  	 Value
 pool version  	 - (5000, Feature Flags) 
 zfs version  	 5 
 feature@spacemap_histogram  	 active 
 feature@skein  	 enabled 
 feature@sha512  	 enabled 
 feature@multi_vdev_crash_dump  	 enabled 
 feature@lz4_compress  	 active 
 feature@large_blocks  	 enabled 
 feature@hole_birth  	 active 
 feature@filesystem_limits  	 enabled 
 feature@extensible_dataset  	 enabled 
 feature@enabled_txg  	 active 
 feature@empty_bpobj  	 active 
 feature@embedded_data  	 active 
 feature@edonr  	 enabled 
 feature@bookmarks  	 enabled 
 feature@async_destroy  	 enabled 


root@san-01:/root# zpool upgrade nvp1
This system supports ZFS pool feature flags.

Enabled the following features on 'nvp1':
  sha512
  skein
  edonr

root@san-01:/root# zpool scrub nvp1
root@san-01:/root# zpool status -v
  pool: nvp1
 state: ONLINE
  scan: scrub in progress since Sat Jun 11 00:04:39 2016
    8,76G scanned out of 20,0G at 1,46G/s, 0h0m to go
    0 repaired, 43,75% done
config:

        NAME        STATE     READ WRITE CKSUM
        nvp1        ONLINE       0     0     0
          c13t1d0   ONLINE       0     0     0

errors: No known data errors


root@san-01:/root# zpool status -v
  pool: nvp1
 state: ONLINE
  scan: scrub in progress since Sat Jun 11 00:04:39 2016
    19,9G scanned out of 20,0G at 1,42G/s, 0h0m to go
    0 repaired, 99,21% done
config:

        NAME        STATE     READ WRITE CKSUM
        nvp1        ONLINE       0     0     0
          c13t1d0   ONLINE       0     0     0

errors: No known data errors

root@san-01:/root# zpool status -v
  pool: nvp1
 state: ONLINE
  scan: scrub repaired 0 in 0h0m with 0 errors on Sat Jun 11 00:04:53 2016
config:

        NAME        STATE     READ WRITE CKSUM
        nvp1        ONLINE       0     0     0
          c13t1d0   ONLINE       0     0     0

errors: No known data errors
So, nun war also nach einigen Tests alles fein! :banana:
Mich stört nur noch, dass im Napp-it-zpool-Status "c13t1d0" und nicht "c13t1d0p1" steht. Woran liegts?
Wenn jemand Hinweise, Optimierungen oder gar Ideen zur Vermeidung des ganzen Theaters hat - bitte hier veröffentlichen!

PS:
Hab nun erstmalig über 900MB/s bei Storage-vMotion kontiuierlich über mehrere Minuten gesehen... Und das ohne Optimierungen und NVMe noch im PCIe2-Slot auf nen Disk-stiped-Mirror... :banana::banana:
 
Zuletzt bearbeitet:
Ich setze gea seine Nappit-AiO-Appliance ein und hab dort in der "sd.conf" folgendes eingetragen:
#4k override
sd-config-list =
"ATA SAMSUNG HD204UI", "physical-block-size:4096",
"ATA ST2000DL004 HD20", "physical-block-size:4096",
"ATA ST3250820NS", "physical-block-size:4096",
"ATA WD", "physical-block-size:4096",
"WDC", "physical-block-size:4096";
Entscheidend für meine beiden WD-RE war der letzte Eintrag, damit ich die RE-Platten problemlos gegen WD-red austauschen könnte und inzwischen auch habe. Nach einem eh anstehenden VM-Reboot wurde mir dann die Platte auch mit "ashift=12" eingerichtet.
 
Entscheidend für meine beiden WD-RE war der letzte Eintrag, damit ich die RE-Platten problemlos gegen WD-red austauschen könnte und inzwischen auch habe. Nach einem eh anstehenden VM-Reboot wurde mir dann die Platte auch mit "ashift=12" eingerichtet.

Kleine Ergänzung
- Ashift ist keine Eigenschaft einer Platte sondern eines vdevs
- Ein vdev wird mit ashift=12 eingerichtet, wenn eine der Platten physical=4k meldet, entweder tatsächlich oder per sd.conf

- - - Updated - - -

Danke Gea, ich hatte schon versucht Deine letzten Kommentare zu befolgen... ;-)
Könntest Du mir noch kurz begründen warum Du das RaidZ2 für den langsamen Pool empfiehlst?
Was hälst Du vom Hinweis von effemmess hinsichtlih der Consumer SSDs?
Mir ist noch nicht klar, warum Du die 10K Festplatten nicht nehmen würdest (mit SSD Cache)?

Ein Raid-Z1 mit 4 Platten ist noch tolerabel.
Ich würde aber ruhiger schlafen, wenn bei größeren Pools zwei Platten ausfallen dürfen.
Von der Kapazitätsnutzung betrachtet sind immer 2,4,8, .. Datenplatten per vdev ideal, daher 4+2=6 Platten

SSD Cache ist nur ein Notbehelf wenn mehr schnelleres RAM Cache nicht geht.
Ob das was bringt kann man mit dem arcstat Tool testen

Ansonsten
- der Cache der Platten ist weder von der Größe, der Performance noch der Effektivität vergleichbar mit einem ZFS ARC Lesecache.
- bringt der Cache beim Schreiben nichts
- hat eine der 10k Platten ca 200MB/s R/W und ca 150-200 iops dauerhaft

Eine gute SSD kann dagegen ca 500 MB/s und 20000-80000 iops dauerhaft beim Write, beim Read noch mehr
Da liegen Welten dazwischen. High Perfromance ist heute immer SSD only - auch wenn Enterprise SSD noch leicht teurer sind als Enterprise Platten.
 
Zuletzt bearbeitet:
Hab ich Geschwindigkeitseinbußen, wenn ich die Storage VM auf einem USB Stick laufen lassen? Läuft die Storage ebenfalls wie ESXi haupthauptsächlich im RAM?

Wenn nur die Bootzeit leidet ist es mir egal da der Server eh 24/7 läuft.
 
Hab ich Geschwindigkeitseinbußen, wenn ich die Storage VM auf einem USB Stick laufen lassen? Läuft die Storage ebenfalls wie ESXi haupthauptsächlich im RAM?

Wenn nur die Bootzeit leidet ist es mir egal da der Server eh 24/7 läuft.

Die File - Services haben keine Geschwindigkeitseinbußen. Die GUI wird ausser bei Aktionen die den rpool betreffen leicht langsamer da die Lesezugriffe aus dem Ramcache kommen. Schreibzugriffe gibt es aber dennoch z.B. bei Logsfiles. Bei den damit zusammenhängenden Aktionen wird es deutlich langsamer.

Ein guter Stick oder eine USB SSD ist aber in jedem Fall empfehlenswert.
Wenn möglich würde ich aber eine Sata SSD für ESXi und die Storage VM deutlich bevorzugen.
 
Die File - Services haben keine Geschwindigkeitseinbußen. Die GUI wird ausser bei Aktionen die den rpool betreffen leicht langsamer da die Lesezugriffe aus dem Ramcache kommen. Schreibzugriffe gibt es aber dennoch z.B. bei Logsfiles. Bei den damit zusammenhängenden Aktionen wird es deutlich langsamer.

Ein guter Stick oder eine USB SSD ist aber in jedem Fall empfehlenswert.
Wenn möglich würde ich aber eine Sata SSD für ESXi und die Storage VM deutlich bevorzugen.

Danke :-). Und kann dann ESXi auf der selben Sata SSD wie die Storage VM laufen oder fährt man besser mit 2 SSDs (bzw. USB Stick für ESXi und Sata SSD für Storage VM)? Der Konfigurationsaufwand bei der Storage VM hält sich ja in Grenzen, vermutlich wird es sich (vor allem finanziell) mehr rentieren, alles auf eine SSD zu legen. Richtig?
 
Da man eh nur ESXi und die Storage VM auf der SSD hat, würde ich das nicht trennen.

Wäre was anderes wenn man viele VMs auf dem local datastore möchte.
Dann kann es schon Sinn machen ein eigenes ESXi Bootmedium zu haben.
 
Es gibt ja den ein oder anderen, der ownCloud unter OmniOS nutzt. Jüngst wie auch heute ging die Nachricht durch die üblichen IT-Medien, dass Frank Karlitschek (einer der Begründer von ownCloud) einen eigenen Fork namens Nextcloud ins Leben gerufen hat. Es ist zwar nicht absehbar, wohin die Reise geht, da von ownCloud aber noch weitere Entwickler zu Nextcloud "übergelaufen" sind, gehe ich persönlich davon aus, dass Nextcloud eine ernst zu nehmende Alternative zu ownCloud sein wird.

Daher habe ich das ownCloud-Installationsscript dupliziert und es für die Nextcloud-Installation angepasst. Interessierte können es gern mit

wget -O - http://www.wp10455695.server-he.de/nextcloud | perl

testen. Falls jemandem noch Bugs im Installer auffallen, please let me know...
 
Moinsen,

Moin,

ich wollte nur mal mitteilen, das ich eine Samsung SM951 NVMe in meinem bar-metal-OmniOS v11 r151019 (vorerst) erfolgreich integriert hab.

Nun lief es auch per Passtrrough im ESXi6! :banana:

Ich hab 1h lang allesmögliche getestet und konnte keine Probleme feststellen.

...bis ich dann auf die Idee kam, die VM neu zu starten...
Die VM will einfach nicht mehr starten, solang die NVMe eingebunden ist:
OmniOS-NVMe.JPG
Auch die aus diesem Dokument gewonnenen Erkenntnisse haben noch nicht soviel (nichts) gebracht.
Da ich vermutete, dass die Probleme mit dem Device Reset zusammenhängen, hatte ich folgenden Eintrag in der /etc/vmware/passthru.map des ESXi6 versucht:
Code:
# Samsung NVMe
144d  a801  d3d0     false
144d  a802  d3d0     false
Leider keine Änderung...

In welchem OmniOS-Protokoll könnten Hinweise zum Absturz stehen? /var/adm/messages hat gar keine Einträge für die Laufzeit mit NVMe...
Oder hat sogar jemand die Lösung des Problems?

PS:
In einer Windows7-VM läuft die NVMe klaglos.
 
Zuletzt bearbeitet:
Vielleicht bringt ein Mail an Illumos-discuss etwas.
Eventuell kann da jemand was beitragen, der an der Entwicklung des Treibers beteiligt war.
 
Apple hatte ZFS ja bereits vor 6-7 Jahren in OSX Server (Ich glaube es war 10.6 beta) integriert und es dann fallengelassen. Der wahrscheinliche Grund war die Klage von NetApp an Sun wegen angeblicher Verletzung von Patenten zu CopyOnWrite das ja auch Basis des NetApp Dateisystems ist. Apple wollte von Sun wohl damals die Übernahme der Prozessrisiken.

APFS ist aber eher ein ZFS Ultralight. Es soll ja auch oder vor allem in Smartphones und Tabletts laufen. Professional Computing und Enterprise Storage ist schon seit längerem kein Zielmarkt mehr von Apple.

ZFS und das ist ja verfügbar für MacOS wäre für ein smartes Telefon wohl zu "fett".
https://openzfsonosx.org/

ZFS auf Samsung Smartphones sehe ich aus selbigem Grund auch eher nicht. Die sind eher an SmartOS als CloudOS oder als Virtualisiserungs-Plattform z.B. für SmartTV interessiert.
 
Zuletzt bearbeitet:
Ich denke für Illumos eher gut weil es die Perspektiven für OpenSource Solaris und ZFS verbessert.
Wie es mit SmartOS und nodejs weitergeht muss man sehen, ich bin aber optimistisch.

Insgesamt sind die Perspektiven aber erheblich besser als bei der Übernahme von Sun durch Oracle.
 
Sehe ich grundsätzlich auch so.

Die Intel X550 ist momentan noch recht nutzlos da ganz neu und daher kaum unterstützt.
Für mich ist es aber ein Testboard, auch mit der 10G Option. Ich hoffe ja dass Treiber für ESXi und Illumos nicht allzu lange brauchen und dann wird es das ideale Storage/AiO Board bei dem man eine tolle Basis bis 64 GB ECC RAM mit CPUs ab 50 Euro hat die auch vt-d Support haben. Für gut 400 Euro hat man sowohl 2 x 10G wie 8 x Sata + 8 x Sata/ 12G SAS (= 16 schnelle/gute Ports für Platten). Normalerweise kostet ja allein eine Intel Netzwerkkarte mit 2 x 10G soviel wie hier das komplette Board.

Für dich evtl. interessant:

https://www.listbox.com/member/arch...6170139:826205AE-3405-11E6-B619-CE94D69137EA/


cu
 
Ich hatte mein X550-SFP+ Board für abschließende Tests zur Verfügung gestellt (Ist sehr rar).
Der OmniOS Treiber für 2.5, 5 und 10G ist der letzte Punkt der gefehlt hat, damit die SoC X10 Boards von SuperMicro der Knaller werden.

Im neuen OmniOS 151019 bloody ist dann auch der Treiber für die single/dual 40G/ max 8 x 10G Ports Intel X710 enthalten. Treiber für OmniOS 151014lts und 151018 sollen folgen, die Installer stehen in obigem Link

Schnelle Storage Optionen ohne Ende.
 
Zuletzt bearbeitet:
Hallo @ all,

mein kleines Storage-Server-Solaris-ZFS-Projekt war wegen des Marvel-SATA-Controllers etwas ins Stocken geraten.
Hab den Controller im BIOS deaktiviert und prompt lief alles ohne weitere Probleme.
Vielen Dank dafür!
Die beiden fehlenden Ports habe ich durch einen HP LSI 9212-4i (40 Euro Ebay! Hammer Preis!) kompensiert, echt ein super Teil!
Jetzt habe ich ein RAIDZ2 aus den 10x6TB erstellt und in /mnt/ eingehängt.
Ein Filesystem habe ich noch nicht erstellt. Mir stehen jetzt 40,9 TB zur Verfügung. Wenn ich das jedoch
nachrechne müsste mir doch aber 43,66 TB zur Verfügung stehen. Ich dachte, das der alignment-Verschnitt bei
RAIDZ2 bei 10 Platten am geringsten ist, weil sich hier 10 am besten alignen lassen?
Eine weiter Frage habe ich noch. Kann ich ein weiteres RAIDZ2 aus 10x3TB ebenfalls in /mnt/ einhängen,
damit ich dann mehr Platz hinter /mnt/ habe? Quasi ein asynchrones RAID60?
Oder wäre das eine schlechte Idee wenn sich die Platten was die schreib/lese-leistung angeht zu stark unterscheiden?

Vielen Dank für eure Hilfe.

MfG
L0rD_LuCk
 
Hallo @ all,

mein kleines Storage-Server-Solaris-ZFS-Projekt war wegen des Marvel-SATA-Controllers etwas ins Stocken geraten.
Hab den Controller im BIOS deaktiviert und prompt lief alles ohne weitere Probleme.
Vielen Dank dafür!
Die beiden fehlenden Ports habe ich durch einen HP LSI 9212-4i (40 Euro Ebay! Hammer Preis!) kompensiert, echt ein super Teil!
Jetzt habe ich ein RAIDZ2 aus den 10x6TB erstellt und in /mnt/ eingehängt.
Ein Filesystem habe ich noch nicht erstellt. Mir stehen jetzt 40,9 TB zur Verfügung. Wenn ich das jedoch
nachrechne müsste mir doch aber 43,66 TB zur Verfügung stehen. Ich dachte, das der alignment-Verschnitt bei
RAIDZ2 bei 10 Platten am geringsten ist, weil sich hier 10 am besten alignen lassen?

Die Grundannahme ist richtig. Die beste Platzausbeute gibt es wenn ein vdev aus 2,4,8,.. Datenplatten aufgebaut wird. Etwas geht aber ab durch eine ZFS interne Reservierung. Dazu kommt, dass ZFS Angaben wie 40T als 40Tib zu lesen sind, das ist weniger als 40TB

https://de.wikipedia.org/wiki/Byte#IEC-Pr.C3.A4fixe

Eine weiter Frage habe ich noch. Kann ich ein weiteres RAIDZ2 aus 10x3TB ebenfalls in /mnt/ einhängen,
damit ich dann mehr Platz hinter /mnt/ habe? Quasi ein asynchrones RAID60?
Oder wäre das eine schlechte Idee wenn sich die Platten was die schreib/lese-leistung angeht zu stark unterscheiden?

Vielen Dank für eure Hilfe.

MfG
L0rD_LuCk

ZFS funktioniert so nicht.
Wenn wie hier ein Pool aus 10 x 6 TB Raid-Z2 vdev aufgebaut wird, so kann man dem Pool ein weiteres vdev hinzufügen. Dabei steigt die Kapazität und Performance des Pools. Die Performance ist vergleichbar einem Raid-60. Der Mountpoint ist derselbe.

Man könnte auch einen weiteren unabhängigen Pool anlegen. Dabei bleibt der erste Pool wie er ist.
Ansonsten ist es bei Solaris üblich einen Pool z.B. tank als /tank zu mounten (default). Bei napp-it unterstütze ich nur das. Nexenta allerdings mounted alles unter /volumes.
 
Hoi gea, ich hätte mal wieder eine doofe Frage - diesmal zu Performance-Anforderungen.

Ich überlege, einen (reinen) Filer mit einem Pentium G2120 (noch Sockel 1155) als Basis aufzubauen. Immerhin unterstützt der ECC. Hätte diese CPU aus Deiner Sicht für Fileserver-Dienste (Solaris 11.3 ZFS mit napp-it) genug Power, um max. 2x10Gbit plus max 2x1Gbit im LAN zu befeuern? Mehr muss der eigentlich gar nicht tun - auch das diese theoretisch möglichen 22Gbit irgendwann mal wirklich angefordert würden, ist eher total unwahrscheinlich (gäbe das Storage eh zurzeit nicht her).
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh