Verständnis Fragen ESXI / Proxmox / ZFS / NAS

[Mac_leod]

Hat wer eine Empfehlung für nen LSI Controller an den mindestens 4(besser 8) Platten per SAS Kabel anschließbar sind sind?
Preiswert wäre toll...
Der Perc will sich einfach nicht komplett flashen lassen und niemand hat Interesse/Plan/Zeit sich das mit anzuschauen.

 

[p4n0]

IBM M1215 @ IT Mode. Ist nen LSI3008 drauf, somit der Goldstandard fuer dein Vorhaben.

 

[underclocker2k4]

Alternativ FSC CP400i
gerne auf preflashed

 

[asche77]

Jeder mit Chipsatz LSI SAS 2008, 2308 oder 3008 ist geeignet (3008 ist neuer+schneller, spielt für HDD aber keine Rolle). Liste siehe zB hier: https://forums.servethehome.com/ind...and-hba-complete-listing-plus-oem-models.599/

4i = 4 interne Platten
8i = 8 interne Platten <--- das willst Du also

 

[underclocker2k4]

Jeder mit Chipsatz LSI SAS 2008, 2308 oder 3008 ist geeignet

Bedingt.
ESX 7.0 unterstützt den 2000er (und damit auch 2300) nicht mehr, so dass man hier dann zu einem neueren Modell greifen sollte.
Daher schon die Empfehlung auf den 3000er zu gehen.
Wenn man bis zum Tag des jüngsten Gerichts z.B. TrueNAS einsetzen mag, ist der 2000er sicherlich ne Wahl.
Hardware hat, bedingt durch den Treibersupport, eben ein Verfallsdatum.

Das bezieht sich auf die native Verwendung. Ein passthrough ist dennoch möglich.

 

[Mac_leod]

Da der komplette Controller durchgereicht wird, ist die Auswahl als etwas größer, danke dafür.
Einen letzten Versuch mit dem Perc, werd ich mit einem anderen System noch versuchen, anonsten wird einer von euren Vorschlägen gekauft.
danke dafür

 

[Supaman]

Hinweis: Die alten LSI Controller, die u.a. als IBM M1015, Dell etc verkauft wurden, kann man beliebig umflashen so wie man es grade braucht.

 

[Mac_leod]

Ich bin jetzt von iSCSI auf NFS3 gewechselt, aber leider ist die Variante alles andere als performant.
Kopiere ich von meinem Desktop Rechner per scp etwas auf des bereitgestellte Share sind ca. 30MB/s erreichbar. (durchgängig bis zum Server liegt Gigabit per Kabel an)
Kopiere ich innerhalb des NFS Shares eine große Datei von A nach B, sind es ca. 18MB/s
An der Disk Performance kann es eigentlich nicht liegen, denn unter dem NFS Share liegen 3 x 850er SSDs, die im RaidZ-1 laufen. (mit TrueNas aktueller Build)
Den Dell PERC Controller hab ich auf die passende LSI Firmware gepatcht.
Jetzt ist die Frage wie man an die Sache ran geht

Im ESX wird aktuell ein vSwitch verwendet, der auch meldet, das 1GBIT verwendet wird, mit der Standard MTU von 1500.
Traffic-Shaping ist nicht aktiv.

 

[gea]

Liegt vermutlich daran dass ESXi + NFS per default sync write (langsam, sicher) benutzt. Das hat sehr niedrige Schreibwerte zur Folge. Bei iSCSI ist die entsprechende Einstellung write back per default auf on (schnell, unsicher).

Kann man einfach überprüfen indem man beim ZFS Dateisystem das per NFS freigegeben ist sync auf disabled stellt.

 

[Mac_leod]

Es gibt 3 Modis:
Standard ~ 21 MB/s
Disable ~ 65 MB/s
Always ~ 23 MB/s

Muss mir mal durchlesen was es damit genau auf sich hat. langsam/sicher bzw. schnell/unsicher ok, nur was genau ist der Unterschied?
Find es gerade irgendwie echt Mau, das ich SSDs verwende und das am Ende dabei nur wenig rum kommt.

kleines Update noch:

Wenn ich den selben Test fahre, aber direkt auf die OS SSD auf der ESX läuft kopiere, sind es aktuell maximal 420 MB/s.
Also ohne zfs darunter.
Irgendwo schein ich ein Nadelör im NW zu haben.

 

[gea]

sync=standard: schreibendes Programm entscheidet
disabled und always sind klar.

Bei ESXi und NFS ist also standard und always gleich im Ergebnis.
Nonsync Write ist hier ca 3x schneller ohne richtig gut zu sein. Um das zu beurteilen brauchts einen lokalen Pool-Test also nicht über NFS, ssh oder SMB mit und ohne sync. Ein Z1 Pool mit 2 Daten-SSd sollte aber schon > 400 MB/s bringen auch wenn ZFS langsamer ist als andere Dateisysteme ohne CoW und Prüfsummen.

Sync:
Damit wird der rambasierte ZFS Schreibcache abgesichert (10% RAM, max 4GB). Ohne aktiviertes sync ist dieser Schreibcache bei einem Absturz verloren. Mit aktiviertem Sync werden fehlende Writes beim nächsten Reboot nachgeholt.

Wichtig ist das für die Sicherheit der Gast Dateisysteme. Ohne Sync kann ZFS nicht vermeiden dass diese nach einem Absturz eventuell defekt sind.

ps
Desktop SSDs sind nicht gut wenn es um dauerhaftes Schreiben oder sync write geht.