Beratung Storage HW/VM

snipor

Enthusiast
Thread Starter
Mitglied seit
08.06.2006
Beiträge
257
Ort
Unterfranken
Hallo Leute,

auch wenn sich das Performance Problem meines Systems noch nicht gelöst hat, möchte ich gerne mal weiter überlegen wie ich das Ganze zukünftig aufsetze.

Performance Problem

OS:
ESXi 6.5

Vorhandene HW:
Supermicro X10SDV-TLN4F Xeon-D 1541 8Core/16Thread
2x Samsung DIMM 32GB, DDR4-2400, CL17-17-17, reg ECC M393A4K40BB1
Dell Perc H310 geflasht mit LSI IT Firmware Version 20.00.07.00
1xSSD für ESXi
2xSeagate Nytro XF1230 1920GB
2xSeagate Nytro XF1230 480GB
4xWD RED 6TB

Auf der HW sollen diverese Windows und einige Linux Maschinen laufen. Ursprünglich wollte ich mit den 4WD Platten ein Raid 5 mit meinem LSI 9361-8i aufbauen. Mittlerweile denke ich aber, dass ZFS wohl die bessere Wahl wäre.

Die beiden großen SSDs dienten im alten System als Hauptstorage, die Wahl fiel damals auf die SSDs, da geringe Zugriffszeit und geringer Stromverbrauch. Geschwindigkeit war auf diesem System sowieso durch Gigabitanbindung limitiert. Die wichtigsten Nutzdaten würden auf die 2TB passen. Zukünftig wird 10GBit genutzt.
Die HDDs hauptsächlich für nicht so häufig genutzte Daten, diese sollen nach Möglichkeit nur laufen wenn sie auch gebraucht werden, den Rest der Zeit im SpinDown.
Die beiden kleinen SSDs sollen als Storage für die VMs dienen.

Jetzt ist die Frage wie ich das sinnvoll aufbaue, Idee war z.B. Storage VM mit irgendeinem Solariskompatiblen OS und Napp-it. Die beiden großen SSDs dann als ZFS Mirror. Aber was dann machen mit den HDDs? Noch 2 hinzufügen und Z2?
Geht SpinDown mit Napp-it?
Oder kann man die SSDs sonst irgendwie sinnvoll mit den HDDs kombinieren?
Wäre eine Optane 900p hilfreich?
Andere Idee, die 4 HDDs in ein NAS z.B. von QNAP packen und dann irgendwie über iSCSI dem ESXi bereitstellen?

Werde in Zukunft evtl. wegen nötiger Rechenleistung eine weitere Maschine benötigen, wäre dann ein 1151 aber erst wenn es die v7 Xeon E3 gibt. Könnte man eine Storage-VM mit Napp-IT ohne Probleme umziehen? Wäre dann ein anderer HBA, da ich ein Board mit integriertem LSI nehmen würde.

Irgendwelche anderen Vorschläge.

Jürgen
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Zu den Platten

Ich würde einen High-Performance-Pool mit SSD und einen Pool für Deteidienste und Backup aus Platten aufbauen.

Spindown ist abhängig vom OS. Bei Solaris hatte ich Probleme, mit OmniOS gehts -aber nur
- wenn man in napp-it acceleration, monitoring und sofortiges alert abschaltet
- wenn man keine weiteren Systemdienste wie smartmontools hat
- wenn man den Solaris Fehlermanagement Dienst fmd ausschaltet

Eine Optane 900P bringt bei einem schneller SSD only Pool nichts.
Die 900P ist zwar schnell aber eben doch nicht erheblich schneller als die kombinierte Schreibleistung eines Pools

Wenn man für einen Plattenpool ein Slog möchte, ist die Optane ab 900P unerreicht (10us Latenz, 500k iops)
http://napp-it.org/doc/downloads/optane_slog_pool_performane.pdf

ZFS Pool kann man problemlos umziehen (pool > import) sofern das neue System kompatibel ist
(Open-ZFS mit den gleichen Features, Solaris ZFS v.37/43 und Open-ZFS ist nicht kompatibel)

Eine interne virtualisierte Storage VM fast immer schneller als ein externes NAS über LAN
 
Welches Storage-OS (Solaris, OmniOS etc...) ist bei Verwendung von Napp-it zu bevorzugen? Bzw. in welchen Fällen wäre welches zu wählen?
Sollte ich von 4 auf 6 HDDs aufstocken?
 
Zuletzt bearbeitet:
Der schnellste, komfortabelste ZFS Server mit den meisten Feaures (ZFS Verschlüssellung, Kernelbasiertes SMB3, NFS 4.1, sequentielles resilvering, verbessertes Dedup) und der besten Dokumentation ist Oracle Solaris (aktuell 11.4 mit ZFS v.43).

Er kostet aber ziemlich bei kommerzieller Nutzung, ist nicht kompatibel zu Open-ZFS und Open-ZFS holt auf, nicht zuletzt weil da inzwischen mehr ZFS Entwickler sind als bei Oracle.

Die meisten napp-it User nutzen OmniOS stable. Das ist "Just Enough Storage OS" mit klarer Ausrichtung auf professionelles Storage.

mehr Platten = mehr Kapazität = höhere Performance
 
Vielen Dank für die Infos. Bei nicht kommerzieller Nutzung ist Solaris kostenlos?

Vielleicht meldet sich noch jemand mit anderen Tipps bzgl. der anderen Punkte.
 
Zuletzt bearbeitet:
Solaris kann man nach Registrierung kostenlos bei Oracle herunterladen
und für "Demo und Development" nutzen
 
Ich bin leider auch nur so ein Solaris+Napp-It-Jünger und würde es dementsprechend auch grundsätzlich wie gea sehen. Allerdings nutze ich für homeuse Solaris 11.3 (zumindest noch) als Basis und nicht OmniOS. Nutze ich in der Demo-/Evaluation-/homegedöns Variante.

Meine Prioritäten für meine Entscheidung gewichtet in der Reihenfolge:

1. Robust: Systemstabilität und Datensicherheit (nicht vor Fremdeinwirkung sondern im Sinne von Schutz vor "höherer Gewalt", mechanischen Defekten usw.)
2. Performance der fundamentalen Fileserver-Dienste (Caching, Filesystem usw.)
3. Komfort beim Management von Nr. 1, 2, 4 usw.
4. Flexibilität bei zentralen Fileserver-Diensten/-Protokollen wie SMB, NFS, iSCSI, Rechteverwaltung
5. Backup / Replikation Features; einfacher Umzug auf neue Hardware
6. "install & forget"
7. Clicki-Bunti =)

Stromsparen und damit auch Spin-down interessiert mich leider einfach nicht. Drum bin momentan bei einem ESXi-all-in-one, mit eben einer zentralen Storage-VM gelandet (siehe Signatur).
 
Hätte nochmal eine Frage hierzu. Habe jetzt 6 Stück 6TB Platten, sowie 2 Stück 2TB SSDs. Welche ZFS Pools würdet ihr hier empfehlen?
Was wäre zu bevorzugen, eine 900er Optane oder 32GB RAM für napp-It?
 
Prinzipiell wäre ein Raid-Z2 aus den Platten (Filer und Backup)
und ein Mirror aus den SSD für schnelle VMs sinnvoll.

32 GB RAM bringen gut 3 GB Schreibcache und den Großteil des Rests als Lesecache für Metadaten und random read. Ist also insgesamt gut für die Performance.

Eine Optane ist ideal als Slog. Das bringt bei den SSDs aber kaum noch Performance und lohnt eigentlich nur wenn die SSD keine Powerloss Protection haben und man die Optane zusätzlich als ESXi Bootlaufwerk + L2Arc nutzen möchte. Wenn man auf dem Plattenpool sync write benötigt, dann ist der Unterschied mit/ohne Optane als Slog aber extrem lohnend.
 
Hätte nochmal eine Frage zum HDD Spindown. Welche Einstellungen bzw. Funktionen sind es genau die hier abzuschalten sind bzw. wo sind diese zu finden.
 
Unter OmniOS wird das unter System > Powermanagement eingestellt.
(Solaris geht nicht oder nicht damit)

Man muss alles deaktivieren was regelmäßig auf die Platten zugreift z.B.
- napp-it Monitoring und Acceleration
- napp-it Alerts

- Solaris fmd Dienst (Fault Management Daemon)
 
Ich habe den fmd Dienst über mit svcadm disable svc:/system/fmd:default deaktiviert, reicht es diesen Befehl einmalig auszuführen oder reicht das nur bis zum nächsten Neustart von omnios?

- napp-it Monitoring und Acceleration

Müssen hier die beiden Symbole rechts oben angeklickt werden, so dass diese durchgestrichen sind? Oder wie kann man das dauerhaft deaktvieren?

nappit.jpg

- napp-it Alerts

Reicht es hier wenn keine Mailadresse eingetragen ist (home -> System - Settings)?

Noch eine letzte Frage betreffend eines Slog. Angenommen man hat zwei HDD Pools mit je 6 Disks und möchte nun eine Optane 900p als Slog/L2Arc nutzen. Benötigt man dann für jeden HDD Pool eine separate Optane oder genügt eine für beide.
Falls eine für beide genügt, reicht es dann in ESXi nur einmal eine vdisk für Slog und einmal eine für L2Arc anzulegen, oder müssen es jeweils zwei sein?

Ich bin gerade auch zu blöd die Stelle zu finden an der ich in Napp-it das Slog und L2Arc überhaupt angeben kann??

Bitte entschuldigt die dämlichen Fragen. :(

Danke und viele Grüße
 
Zuletzt bearbeitet:
svcadm disable fmd
deaktiviert den Dienst dauerhaft

Mon und Acc durchgestrichen
bedeutet dass diese dauerhaft deaktiviert sind

Ein Slog oder L2Arc kann nur einem Pool zugewiesen werden,
man braucht also je eins je Pool.

Obwohl mehrere vdisk auf die Performance gehen:
Die 900P ist so gut dass das kaum eine relevante Rolle spielt

Pools > Extend ist was du suchst.
Ein Slog/L2Arc erweitert den Pool um ein vdev
 
Wie verhält sich eigentlich Spindown wenn an einem durchgereichten HBA sowohl SSDs als auch HDDs hängen. Wenn ich jetzt nur auf die SSDs zugreife, werden dann trotzdem auch die HDDs wieder zum Anlaufen gebracht?
 
Ich hoffe, ich darf mich auch Mal hier so anhängen.

Ich bin noch auf der Suche nach einem geeigneten Storage OS. Ich habe einen p212 RAID Controller mit 4x 3tb im RAID 5. Bei ZFS bin ich mir nicht so sicher, ob meine 16GB RAM im MS Gen8 nicht limitieren. Zusätzlich sind noch ein Ubuntu Server für Nextcloud, Windows 7 VM, pi-hole, pfsense (planung), Plex Server (evtl ebenfalls Ubuntu Server) aktiv.
Hypervisor soll Hyper-V als Core werden.
 
Meine Solaris VM läuft mit 6GB sehr gut. ESXi mit 4GB. Ob die restlichen 6GB ausreichen, hängt von Deinem Bedarf ab.

Darf ich fragen, wieso Du HyperV als Hypervisor verwenden willst? Das nutze ich eigentlich nur, wenn die HauptVM ein Windows Server ist.
Ich würde ESXi als Basis nehmen, napp-it als Storage VM, Deine Win7VM und einen Linux Host für die Linux VMs. Entweder Docker oder LXC.
Je 3GB für Windows und LinuxContainer sollten meiner Meinung nach ausreichen. Habe da nichts RAMhungriges gesehen.
 
Zuletzt bearbeitet:
Vielen Dank für die Tipps. Hatte anfangs Mal ESXi laufen. Finde hyper-v irgendwie netter, keine Ahnung. :)

Momentan läuft eben ein Windows 2016 server mit hyper-v Rolle. Finde das aber zu aufgeblasen und wollte daher auf das hyper-v Core wechseln. Komme da in der command Line irgendwie besser klar, als bei ESXi.
 
Was genau soll dein "Storage OS" bereitstellen? Deine Platten hast du bereits als Raid5 am Controller, nicht so ideal für SDS unter welchen System auch immer.
 
Tja, gute Frage. Ich nutze das Ding als NAS. Da liegen alle möglichen Images, macOS Apps, Windows Tools, Medien (TV, Film, Musik, Hörbücher).
Hab auch schon überlegt, die Medien einfach mit in die Plex VM zu verfrachten. Und evtl noch eine OpenMediaVault für sonstige Freigaben, eine OpenMediaVault hatte ich vergessen, habe ich noch für TimaMachine Backup.
Backup der VMs wollte ich Mal mit Veeam einrichten. Soll dann auf eine externe 6TB Platte.
 
@fard dwalling
leider kann ich den Zusammenhang mit meiner Fragestellung nicht ganz nachvollziehen.

Ich erreiche mit einem angelegten SSD Pool (Raid0) leider keine wirklich guten Werte.
Der SSD Pool wird über NFS an ESXi verbunden.

Die StorageVM hat 32GB RAM, 2vCore, 20GB Slog vdev auf der Optane 900p. Getestet habe ich auf einer Windows Server 2016 VM mit 12GB RAM, 6vCore. Der über NFS bereitgestellte Datastore ist dieser VM über den Paravirtual Controler bereitgestellt.

Hat jemand eine Idee wie ich das optimieren kann?

cdm1.JPG

cdm2.JPG

AS SSD.JPG

AS SSD2.JPG

zfs_settings1.JPG

zfs_settings2.JPG

nic.JPG

Hatte vorher die einzelnen SSDs ohne StorageVM direkt an der Windows Server VM getestet

e bench.JPG

Danke
 
Zuletzt bearbeitet:
Hab nochmal etwas herumprobiert, konnte aber leider noch nicht herausfinden an welchen Werten ich in napp-it usw. herumdrehen muss damit es besser wird.
 
Ich sehe hier drei Aspekte.

Erstens Optimierung
Da NFS ein Netzwerkdienst ist, kann man das über TCP Puffer, NFS Puffer, MTU oder unter Windows mit Interrupt-Throttelling=aus optimieren.

Zweitens Schreibperformance
Wenn ich mir die Benchmarks von NFS vs Windows Direkt anschaue, fällt der niedrige NFS Schreibwert auf. Da Windows kein Sync Write machen wird, ESXi über NFS das aber per default einschaltet, sollte man zum Vergleich auch unter ZFS sync=disabled einstellen.

Drittens Erwartungshaltung
Windows direkt wird ntfs nutzen während ZFS CopyOnWrite mit zusätzlichen Prüfsummen nutzt. Ein "Haus" statt "Maus" in einer Textdatei bedeutet unter ZFS nicht dass ein Byte ersetzt wird sindern dass ein kompletter ZFS Datenblock z.B. 128k neu geschrieben wird. Das bedeutet es müssen deutlich mehr Daten gelesen/ geschrieben werden und man hat (besonders relevant bei Platten) eine höhere Fragmentierung. Ohne die überlegenen ZFS Cache Optionen wie Gigabyte-weise RAM Schreib/Lesecache, L2Arc und Slog wäre ZFS immer viel langsamer als ntfs oder ext.

Es gibt halt nichts umsonst auf dieser Welt. Sicherheit kostet.
 
Zweitens Schreibperformance
Wenn ich mir die Benchmarks von NFS vs Windows Direkt anschaue, fällt der niedrige NFS Schreibwert auf. Da Windows kein Sync Write machen wird, ESXi über NFS das aber per default einschaltet, sollte man zum Vergleich auch unter ZFS sync=disabled einstellen.

Ich habe nochmal mit ZFS sync=disabled probiert. Die sequentielle Schreibperformance hat sich deutlich verbessert. Aber die Random Schreib- und Leseperformance ist immer noch sehr schlecht. An was könnte das liegen?

Danke und Gruß

CDM3.JPG

AS SSD3.JPG
 
Zuletzt bearbeitet:
Habe jetzt mal mit der record size in napp-it herumexperimentiert.
sync war jeweils disabled

128k

CDM128k.JPG

64k

CDM4 64k.JPG

32k

CDM4 32k.JPG

16k

CDM4 16k.JPG

8k

CDM4 8k.JPG

4k

CDM4 4k.JPG

Habe dann mal noch ohne SLOG probiert, keine Veränderung.

Hier z.B. bei 16k

CDM4 16k ohne slog.JPG

Hat jemand eine Idee warum die random write performance so schlecht ist und was ich dagegen tun könnte?
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh