ZFS 4 Ssds nappit welches „raid“?

[hardwarezzz]

Hallo,
Ich habe einen esx 6.7 mit durchgereichtem hba.
Daran hängen 4 Samsung pro ssd.
Der Speicher soll per nfs an den esx.
Welches Raidz ist hier am besten? Raidz1 oder 10?
Was muss ich im nappit noch tunen?
Vswitch hat mtu 9000.

Danke

 

[crazyk]

Hi,
Schreib doch hier rein: [Sammelthread] ZFS Stammtisch

Dann musst du nicht immer ein neues Thema öffnen

 

[Elmario]

Das kommt z.B. auf die Speicherkapazität und die Wichtigkeit der Verfügbarkeit der darauf enthaltenen Daten an.
Ich würde aus 4 Laufwerken in den meisten Fällen ein Raid Z2 bauen, denn einfache Redundanz ist bei heutigen Kapazitäten so gut Keine.

 

[asche77]

@hardwarezzz,
1. Raid10
2. Du wirst nicht zufrieden sein: NFS macht sync writes. Die Samsung pro sind prosumer SSDs, die keine gute sync write performance haben. Write performance wird also lausig. Ausweg: eine kleine enterprise SSD / optane als SLOG. Oder (nicht empfehlenswert): sync-writes deaktivieren. Oder umsteigen auf (gebrauchte) enterprise SSD.

 

[gea]

Die Sync Performance wird immer noch deutlich besser sein als mit einem Plattenpool. Was fehlt ist Powerloss Protection. Bei einem Crash kann man also nicht ganz sicher sein, dass die Daten auf dem Slog valide sind.

Ansonsten
- die beste Performance hat ein Raid-10 (zwei SSD dürfen ausfallen)
- die beste Sicherheit hat ein Raid-Z2 (zwei beliebige SSD dürfen ausfallen)
- die betse Kapazität hat ein Z1 (eine SSD darf ausfallen)

Performancemäßig kann man die Pro verbessern, wenn man nach einem sicheren Löschen nur ein Teil (ca 80-90%) der SSD nutzt, entweder nurch eine Host-Protected Area oder durch Partitionieren. Ein Teile der Schreibkonstanz der Enterprise SSDs beruht auch darauf (Overprovisioning, HPA)

 

[hardwarezzz]

Leute, vielen Dank.

Ich habe mich für ein Raid10 entschieden.
Auf dem SSD Pool sollen die VM laufe, welche wirklich speed brauchen.
Welche Optane würde denn als SLog gehen?
Passt diese auch schon?
Intel OptaneTM SSD 800P-Serie - SSD , 7 s, 18: Amazon.de: Amazon.de

Oder muss es eine 900p sein?
Welche Slog SSD Alternative hätte ich noch?

Für die Zukunft würde ich gerne in den Server zusätlich HDDs als Datengrab mit einbauen. Hier könnte ich auf die Optane doch ein Slog für den Pool legen, oder?

Danke nochmal für eure Hilfe!

 

[Trambahner]

Eine 900p oder 905p hat genug Leistung, das zu tun. Zumindest typischerweise fürs Homelab. Da kannst Du auch gleich nen L2ARC für den HDD-Pool auch noch drauf anlegen, falls der Ram knapp ist/wird. Allerdings bringt L2ARC nicht immer was; muss man testen anhand der eigenen Zugriffsmuster. Wenn L2Arc, dann nicht mehr als 5-10 mal den für ZFS verfügbaren Ram.

Nettes Teil, so eine 900/905, für ZFS. Mit der 800er im Speziellen hab ich keine Erfahrung.

Die Samsung 850 Pro hat jemand hier schon problemlos mit Syncwrites in die Knie bekommen, so dass nur noch wenige MByte/s Durchsatz waren. Wie gea schreibt, hilft es massiv dem Controller genug freien Platz zum Arbeiten zu geben. Die Datacenter-Versionen der 850pro / 860pro wären dann die SM863 bzw. SM883. im Desktopbetrieb sind die sequentiell ein paar wenige % langsamer als die Consumerversionen, dafür sind sie out-of-the-box für Dauerlast geeignet und kann durch Overprovisioning weiter gesteigert werden. Nachteil ist, das Samsung hier keinen Endkundensupport und Herstellergarantie gibt.

 

[gea]

Prinzipiell unterscheiden sich die verschiedenen Optane nicht so sehr in der Performance.
Eine Optane 800-58/118 GB ist zwar etwas langsamer als die Modelle ab 200GB. Hauptunterschied ist aber die geringere Schreib-Ausdauer. At home dürfte dennoch die 800-58 die beste Wahl für Slog und L2Arc sein.

Die 900er Serie ist minimal schneller hat aber vor allem eine höhere Schreib-Ausdauer. Die hält einfach mehr aus. Auch gibt es höhere Kapazitäten für einen Optane only Pool.

Bleibt das Problem, dass Intel die für den Gamer Bereich anbietet und keine Powerloss-Protection garantiert. Prinzipbedingt ist das Risiko bei Optane recht gering, dennoch - für "production use" nicht tauglich. Da nimmt man dann die Optane Datacenter 480x Serie. Die ist zwar praktisch nicht schneller als eine Optane 900/905, bietet dafür garantierte Powerloss Protektion und eine sehr hohe Schreib-Ausdauer. Die Datacenter Optane 4801x-100/200 ist zudem preislich attraktiv (noch nicht lieferbar)

 

[Trambahner]

Powerloss "nicht mehr" garantiert, sollte man noch sagen. In den allerersten Daten stand das nämlich noch, wenn ich mich entsinne. Die 480x hatten da die "erweiterte Powerloss Protection".
Und auf einmal war das "powerloss" nicht mehr garantiert bei den Consumerversionen.

Seitdem darf spekuliert werden, was die Beweggründe waren. (liegt ja eigentlich auf der Hand)
Für "production use" hast Du natürlich recht, auf ein "müsste....dürfte..." darf man sich da nicht verlassen.

 

[gea]

Als ich meine erste 900P gekauft habe, war Powerloss Protection noch garantiert. Wahrscheinlich sind Marketinggründe ausschlaggebend, das nicht mehr zu garantieren - oder doch die Erkenntnis das das halt nicht sicher funktionierte?

Spekulatius halt.
In meinen "Lab-Installationen" habe ich bisher gerne die kleinen Optane genommen. Mit der 4801x wird sich das ändern. Sobald die lieferbar sein wird heißt es immer Slog=4801X (oder WD Datacenter SS 530 bei SAS)

 

[hardwarezzz]

Danke Leute. Habt mir sehr geholfen. Werde auch auf die 4801x warten.

 

[hardwarezzz]

Hallo nochmal,

habe mir jetzt die 4801x gekauft. Sollte Anfang Juli da sein.

Darauf kommt dann die Storage VM und SLOG.
Jetzt habe ich mir gleich noch eine PCI Riser M2 Card geholt.
Damit kann ich 2 weitere m2 ssd einbauen.
Hier würde ich mir 2 970ger holen, darauf auf jede dann eine vmdk legen und im Napipp zu nem Mirror bauen.
Kann ich dann damit etwas anfangen, um z.B. für meine 4 HDDs im Raidz1 zu beschleunigen?
Oder seht ihr das eher als Spielerei?

VG

 

[asche77]

Kann ich dann damit etwas anfangen, um z.B. für meine 4 HDDs im Raidz1 zu beschleunigen?

Eher nein. Es gibt zwar die Möglichkeit einer SSD als Lese-cache (L2ARC), gemeinhin wird aber davon abgeraten. Lieber noch mehr RAM (=Schreib- und Lesecache) oder mehr vdevs (RAID10 statt Raidz1, mehr HDDs allgemein = mehr IOPS).

 

[wenzilinho]

Kann man den L2ARC nicht auch mit auf die 4801x packen?

 

[hardwarezzz]

Habe 32GB Ram.

Mehr als 4 Hdds bringe ich nicht mehr im gehäuse unter. Für die Vms benutze ich im Moment das Raid10 aus 4x512 Samsung pro.
Die 2 m2 ssds wären dann für weitere vms verfügbar.

Dann packe ich SLOG und L2Arch auf die Optane.

Danke

 

[Trambahner]

Achtung beim L2Arc: Nicht mehr als 5-10x die für ZFS verfügbare RAM-Menge. Weil L2Arc braucht selbert natürlich Platz für Verwaltung; und der fehlt dem regulären Arc sonst.

Edit: Frage zu PCIe-Bifurcation entfernt. Sollte auf nem X11SPH-nCTF kein Problem sein.

 

[gea]

Wenn man einen Adapter für mehrere PCI-e NVMe nutzt, so benötigt man Bifurcation um alle zu nutzen. Ohne Bifurcation wird nur die erste NVMe erkannt. Bifurkation unterstützen neuere Mainboards (z.B. x8 -> 2 mal x4, muss man im Bios für einen Slot aktivieren) oder der Adapter unterstützt das selber per PLX Chip.

 

[hardwarezzz]

Hallo Leute,

ich habe meine P4801X bekommen. 2,5 NVMe/Pice.

Leider habe ich relativ wenig Erfahrung mit den "neuen" Anschlüssen.
Wie baue ich denn diese Optane an mein x11sph-nctf ein oder an?

Danke Leute!

 

[gea]

Am einfachsten mit einem Oculink -> U.2 Kabel
https://store.supermicro.com/supermicro-55cm-oculink-to-u-2-pcie-with-power-cable-cbl-sast-0956.html

 

[hardwarezzz]

Vielen Dank. Was es nicht alles gibt.
Komme noch aus IDE und SATA Zeiten. ;-)

 

[hardwarezzz]

Hallo zusammen,

optane ist eingeabtu und als Datastore konfiguriert.
Habe eine 10GB vHDD angelegt und der Storage VM zugeordnet.
Wie bringe ich meine Raidz10 jetzt bei, dass das Slog auf der 10GB HDD sein soll.
Ist das wie im Screenshot korrekt?

Vielen Dank.

 

[gea]

ja

Alternativ (sollte mit aktuellem ESXi/OmniOS wieder funktionieren, gab zwischzeitlich Probleme mit NVMe passthrough): Die NVMe durchreichen und unter OmniOS partitiionieren. Könnte etwas schneller sein. Als vDisk hat man aber mehr Flexibilität für mehrere VMs.