Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
Bescheidene NFS-Performance als Grundlage für Virtualisierung?
Voll is noch lang nicht, aber ich halte natürlich eine Weiterentwicklung von Bedarf (und Spieltrieb) im Auge.
Am SSD-Pool (der hat netto ja nur ~2,5TB) hab ich alles, was ich mit kurzer Zugriffszeit haben will: VMs, DMS-Dokumente, Userdaten, Datenbank-Tablespaces, WSUS, häufig genutzte Software und ISOs.
Kurzum: das Jedertags-Zeug. Auf dem Plattenpool Medien und Backups des SSD-Pool.
miccgn: Pack ne 900er Optane als Slog dazu und Du brauchst Dir um die Sync-Einstellung de facto keine Gedanken mehr machen. (Achtung, Slog ist kein Schreibcache!)
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ich würde einen sync aber manuell und kontrolliert anstoßen. Offene Dateien oder nicht exakt syncrone Zeiteinstellungen können sonst immer was ungewollten provozieren. Immerhin kommt man bei Problemen noch lokal per SMB auf das S3 Share und kann per Snap/ Windows vorherige Version noch was retten.
Mh. Darüber habe ich noch nicht nachgedacht. Real-time macht mit bestimmten Dateien Probleme, weswegen ich zwei Dokumentenverzeichnisse habe. Eines hängt in nextcloud, das Andere nicht. Dann ist Duplicati ja nicht verkehrt.
Wenn man einfach nur einen Sync bei Bedarf will, ein cmd file auf den Desktop legen, das einen rclone auf S3 ausführt. Einfach draufklicken und tut. Für unterschiedliche sync Aktionen eben mehrere cmd Dateien. Lokal im LAN mache ich das auch so mit robocopy. Wenn man das einmal angelegt hat ist das extrem sicher gegen Fehlbedienung.
Man kann natürlich auch ein Komfort OSX/Windows GUI Cloud Backup Tool wie Duplicati nehmen. Das Entscheidende ist, es gibt viele allgemeine herstellerunabhängige Alternativen zu den speziellen Nextcloud Sync Tools die vergleichbares wie NextCloud sync and share bieten, sogar schneller sind ohne dass man den Pflegeaufwand einer NextCloud Installation braucht oder gar deswegen eine Virtualisierung benötigt.
So, um dann wenigstens noch etwas Nutzen bereitzustellen, hier noch die Vergleichswerte für den Windows-Client Test, diesmal mit ESXi als Hypervisor (oben war es Proxmox). Den Jail habe ich aber nicht mehr ausprobiert.
min:sec
/data-Verzeichnis auf SMB-Share async
/data-Verzeichnis auf NFS-Share async
4000 Dateien zu 1,5 MB
13:00
11:00
1 Datei zu 350 MB
0:26
0:12 - 0:15
1 Datei zu 7 GB
6:10
7:00
Ergebnis:
- Wieder sind die Ergebnisse bei kleineren Dateien für NFS besser, bei der großen für SMB.
- Ganz deutlich performt das Ganze unter ESXi besser als unter Proxmox. (VMs sind identisch eingerichtet.)
Jetzt stehe ich wieder vor meinem Dilemma: ich würde ja gerne ESXi nehmen als Unterbau, da es bislang bei allen Tests besser performt hat. Aber: ich habe bislang keinen Weg gefunden, die Fan-RPM (und ggf. noch die Temperatur-Sensoren) des Fujitsu D3644-B durchzureichen an eine VM, oder sie unter ESXi selber auszulesen. Für das Board, das zwar als Server-Board zählt, aber halt im Consumer-Bereich, gibt es wohl keine passenden BMC-Treiber, und IPMI hat es auch nicht.
Wie geht Ihr damit um? Nutzen alle ESxi nur auf "Profi-Hardware"? Der Server soll irgendwann nicht mehr im Arbeitszimmer, sondern im Rack im Technikraum stehen, und spätestens im Hochsommer hätte ich da gerne die Chance, die Temperaturen nicht nur mit nem Fieberthermometer durch die Gehäuseöffnung zu sehen....
miccgn: Pack ne 900er Optane als Slog dazu und Du brauchst Dir um die Sync-Einstellung de facto keine Gedanken mehr machen. (Achtung, Slog ist kein Schreibcache!)
Darüber hab ich auch schonmal nachgedacht. Aber das nächste Geld wird erstmal in mehr RAM fließen - das hilft an vielen Stellen nämlich auch schon, wie ich gemerkt habe. Außerdem: wer weiß, ich ich die M.2 auch sauber durchgereicht bekomme - sonst ist das Ding ziemlich nutzlos ^^
Tja, nicht verzagen, Supermicro/Asrock Rack mit IPMI fragen.
Im Ernst: ja, alles Wichtige läuft mir ausschliesslich auf Boards mit Remote-Management. Bei mir wird annähernd nichts mehr servermäßiges ohne IPMI/ILO angeschafft.
Ram ist meist immer eine gute Idee; man kann nie genug davon haben wenn man mit Virtualisierung spielt. Daher gilt bei Ram bei mir üblicherweise "all in"; soviel wie reinpasst. Ausnahme ist nur mein X399; 256GB brauch ich noch nicht.
Tja, nicht verzagen, Supermicro/Asrock Rack mit IPMI fragen.
Im Ernst: ja, alles Wichtige läuft mir ausschliesslich auf Boards mit Remote-Management. Bei mir wird annähernd nichts mehr servermäßiges ohne IPMI/ILO angeschafft.
Ram ist meist immer eine gute Idee; man kann nie genug davon haben wenn man mit Virtualisierung spielt. Daher gilt bei Ram bei mir üblicherweise "all in"; soviel wie reinpasst. Ausnahme ist nur mein X399; 256GB brauch ich noch nicht.
Ich denke, ich werde erstmal mit Proxmox starten, da kann ich dann genug Erfahrung sammeln, kann den Server virtuell im Auge halten, insbesondere, wenn er im Sommer ins Dachgeschoss zieht, und letztendlich wird es im Alltag keine dramatischen Performance-Nachteile geben. Ist ja eher akademisch.
Die Erweiterungen würde ich dann derzeit so priorisieren:
- mehr RAM. Es geht derzeit mit 16GB, aber ich sehe, dass 32 sinnvoller wären.
- eine Optane als SLOG, damit ich ggf. einige Datasets auf SYNC setzen kann. Könnte natürlich auch die derzeit verwendete Boot-SSD (per USB angebunden) als SLOG nehmen, und über nen USB-Stick booten...
- anderes MB. Wenn ich richtig sehe, wäre das Supermicro X11SCM-F geeignet. Kostet aber auch 250 €, und für das gebrauchte werde ich maximal 100 bekommen. Und das nur, damit ich ESXi und Fan-Monitoring gleichzeitig nutzen kann ;-)
Oder ich finde noch einen Weg, den SMBus an eine VM durchzuleiten. Das Problem ist, dass auf der PCI-Lane auch die Netzwerkkarte sitzt, was das Ganze relativ unmöglich erscheinen lässt.
FreeNAS hat mittlerweile ein sLog erhalten, und damit gab es einen ganz schönen Performance-Boost - auch bei sync=disabled.
Ich habe nochmal einige Vergleiche gemacht, zunächst wieder vom Windows-Desktop mit dem Nextcloud-Client in eine VM mit NFS-Share:
min:sec
ZFS ohne sLog, Dataset sync=enabled
ZFS ohne sLog, Dataset sync=disabled
ZFS mit sLog, Dataset sync=enabled
ZFS mit sLog, Dataset sync=disabled
4000 Dateien zu 1,5 MB
18:00
12:30
4:26
3:28
1 Datei zu 350 MB
0:38
0:18
0:14
0:13
1 Datei zu 7 GB
27:00
7:30
5:12
4:06
Man sieht bei diesem "Praxistest" deutlich, wie die Schreibperformance zugelegt hat in den beiden rechten Spalten (mit SLOG), auch wenn async geschrieben wurde.
Aber auch der "theoretische" Test bestätigt das:
MB/s min/max
ZFS ohne sLog, Dataset sync=enabled
ZFS ohne sLog, Dataset sync=disabled
ZFS mit sLog, Dataset sync=enabled
ZFS mit sLog, Dataset sync=disabled
dd aus /dev/zero ins Share
77/94
740/800
138
795/800
dd aus Share ins Share
34/42
127/700
80/140
142/810
(Der erste Wert war oft niedriger als weitere Messungen, daher die Doppelangaben.)
Unabhängig von der Präzision der Methodik zeigt sich: mit sLog werden Sync-Writes logischerweise signifikant beschleunigt (auf die Geschwindigkeit der verwendeten SSD), aber auch async-Writes profitieren etwas. Das zeigte sich ja auch in der oberen Tabelle beim Nextcloud-Test.
Nextcloud im FreeNAS-Jail macht übrigens nicht so viel Spaß - ich mag zum einen die Doppelvirtualisierung nicht, zum anderen gibt es die eine oder andere Kleinigkeit im Plugin, die nerv.
hi alle,
die Plugins, kann ich nicht empfehlen. Lieber die Nextcloud selbst im Jail installieren, das ist zwar ein wenig aufwändiger, jedoch läuft dies einwandfrei, ohne zwischenfälle. SMB extern als Storage eingebunden, klappt wunderbar. Ich nutze das allerdings für nur privat, mit bescheidener Hardware.
Freenas zu Virtualisieren finde ich nicht so praktisch.
ich habe freenas seit einiger Zeit und bin eigentlich sehr zufrieden. Es gibt zu viele features, zu viele..., ja. Muss man ja nicht alle nutzen. Der VM Bereich lässt sehr zu wünschen übrig, deshalb erstelle ich VM´s per Console mit iohyve ( mit ein paar Tunables ). Ich habe ZRAID 10 mit 4 x 4 TB WD Red und SSD´s für die Jails und VMs. Snapshots per Replica auf ext USB. Nun spiele ich mit dem Gedanken Proxmox, erneut zu versuchen.
Wäre eher ein Fall für "wer misst misst Mist" (sagte mein Messtechnik Prof mal zu mir)
Bei sync=disabled wird das Slog definitiv nicht benutzt. Ein vorhandenes Slog kann daher keine Verbesserung bringen. Man könnte durch weitere Test oder Untersuchungen versuchen herauszufinden, wo der Fehler liegt oder warum (wenn nicht Slog) die Ergebnisse besser sind.
Frage bzgl. ZFS sync/async - NFS sync/async
In meinem Kopf verhält es sich so das NFS sync auf den commit der Daten auf NV Speicher wartet. Und ZFS genauso.
Wieso bin ich als Client (z.B. Windows PC) daran interessiert, ob die Daten z.b. bereits die Spindeln erreicht haben? Wenn ich weiß, dass die Daten auf dem ZFS "sicher" sind (sync=always für den Pool und SLOG mit PLP und USV für den Server) . Hinzu kommen hier ja noch diverse Unterschiede in der Übertragungsbandbreite und den dazugehörigen Paketgrößen.
Ist es nicht sinnvoller in obigen Beispiel den Pool ZFS-Serverseitig auf sync=always und den NFS mount mit async zu verbinden. Denn das die Pakete den Server (z.b. über eth) erreicht haben weiß ich ja bereits aus dem Network Layerstack. Der Rest liegt dann beim ZFS Server.
Oder sehe ich das Falsch?
In meinem Beispiel bedeutet das z.b. mit Raid01 SLOG SATA SSD einen Übertragungsgeschwindigkeitsunterschied (ich mag unsere Sprache ) von 40 MBit/s zu knapp 400 MBit/s. In beiden Fällen kann ich doch davon ausgehen, dass meine Daten so sicher sind wie bei sync=always server- und clientseitig.
Egal ob NFS oder SMB. Sync Write betrifft nur ZFS und dient dazu sicherzustellen dass bestätigte Schreibvorgänge sicher auf dem Pool sind - bei einem Absturz dann wegen sync logging beim nächsten Reboot. Bei VM Storage ist das nötig damit das Gastdateisystem unbeschädigt bleibt. ZFS kann nur sicherstellen dass ZFS heile bleibt, nicht aber z.B. ein ntfs oder ext Dateisystem einer VM. Da kann es passieren dass bei einem Absturz Daten geschrieben werden, nicht aber die zugehörigen Metadaten akualisiert werden, ergo Dateisystem kaputt.
Bei einem reinen SMB oder NFS Filer auf ZFS braucht man daher kein sync. VMs auf SMB bräuchten aber auch sync.
ch habe bislang keinen Weg gefunden, die Fan-RPM (und ggf. noch die Temperatur-Sensoren) des Fujitsu D3644-B durchzureichen an eine VM, oder sie unter ESXi selber auszulesen
Wozu brauchst du das ? ESXi läuft auch Top ohne das es die Sensorwerte auslesen kann auf Consumer Boards wie normale AM4 Mainboards mit ECC.
IPMI finde ich immer mehr überbewertet, das braucht man vielleicht ein oder zwei mal, sobald du ne Grafikkarte nutzt bekommst du eh kein Bild mehr über das Webinterface.
(Achtung, Slog ist kein Schreibcache!)
