[Sammelthread] ZFS Stammtisch

[gea]

Per wget wird 18.12 free installiert.
Aktuelles napp-it ist 19.12 noncommercial home oder 20.01 pro

Per Cli:
zpool attach|replace|create wwn poolname

 

[besterino]

@gea: danke, hat geklappt!

Beitrag automatisch zusammengeführt: 18.02.2020

...aber die Performance über 2x vmxnet3 selbst auf dem gleichen Host ist schon eher mies...

 

[Luckysh0t]

@besterino
War Solaris im vgl "deutlich" schneller ?
@Elektromat hatte ja auch die Probleme dass die Transferraten so gar nicht mit Solaris mithalten konnten - daher ist er auch zu Solaris zurück (Allerdings via LAN von Server zu PC).

 

[besterino]

@Luckysh0t nope, bisher nur OmniOS ausprobiert. Erwarte aber da keinen so großen Unterschied`zwischen OmniOS und Original-Solaris?

Der Hemmschuh dürfte in beiden Fällen vmxnet3 sein - leider hab ich noch kein (aktuelles) Solarish gefunden, das funktionierende Treiber für die Connectx-4 mit SR-IOV mitbringt.

 

[asche77]

gea/napp-it sieht ja eine Reihe von Optimierungen für vmxnet3 in OmniOS vor - die schon probiert?

 

[besterino]

nope

 

[Elektromat]

@Elektromat hatte ja auch die Probleme dass die Transferraten so gar nicht mit Solaris mithalten konnten - daher ist er auch zu Solaris zurück (Allerdings via LAN von Server zu PC).

Nicht zu vergessen die im vergleich extrem hohe Host CPU Auslastung. Das hatte / habe ich in Solaris zu keiner zeit gehabt / bemerkt.
Alle meine ZFS Filesystems sind crypted.
Für meinen Teil, handhabe ich es nun so, das ich wohl auf Solaris bleiben werde bis entsprechende positiv Rückmeldungen / Tests bestehen ... kein rumgefrickel ...

Uncrypted sieht die sache bestimmt ganz anders aus... ber das bringt mir nicht viel.

 

[asche77]

ohne Gewähr: https://napp-it.org/manuals/tuning_en.html -> http://blog.cyberexplorer.me/2013/03/improving-vm-to-vm-network-throughput.html und andere.

Siehe auch die tuning-optionen im napp-it Menü (musst Du ggfs via CLI sezten).

 

[besterino]

Hmmm... vielleicht versuche ich doch nochmal mein Glück mit Solaris. Hab aber gerade schon diverse TB kopiert und würd' das nur ungern nochmal anwerfen...

EDIT: die tuning-Optionen auf dem Storage hab ich mehr oder weniger schon umgesetzt (vor allem Sync-writes aus). Trotzdem kam da nicht signifikant mehr als 800MB/s (lesen/schreiben) bei raus. Direkt unter windows bin ich um den Faktor 10 flotter.

 

[gea]

Solaris mit Original-ZFS war auch in meinen Tests immer schneller als OmniOS mit Open-ZFS. Aber 800 MB/s ist 10G. Kann Windows wirklich 100G?

 

[besterino]

Kann Windows wirklich 100G?

Guter Punkt! *grübel* Sollte sich ja eigentlich jetzt gut testen lassen, müsste ja eigentlich nur eine 2. Windows VM mit einer SR-IOV NIC auf dem gleichen Host aufsetzen und dann ein SMB-Share freigeben...

Das probier' ich doch glatt mal aus!

 

[gea]

Das wäre dann aber vmxnet3 vs SR-IOV
und kein Test Windows vs OmnOS vs Solaris

 

[Luckysh0t]

@besterino
Welches Windows nutzt du eigentlich ? Gab es da nicht eine Limitierung die erst durch Windows for Workstations umgeht ? Ggf mal mit Server 2019 Testen - spätestens dass sollte ja ohne künstliche Bremsen laufen, sofern die Treiber mitspielen.

 

[besterino]

Also theoretisch sollte doch in Sachen Netzwerk SR-IOV zu SR-IOV auf ein und demselben Host am flottesten gehen?

Hab so jetzt >1GB schreibend und knapp 3GB lesend auf ne SMB-Share.

 

[Luckysh0t]

Kann sich sehen lassen ^^

 

[besterino]

Kann sich sehen lassen ^^

Nicht wirklich - wie gesagt auf der VM mit den Disks 9/8 GB/s.

 

[Luckysh0t]

Verstehe - immerhin schneller als vorher. Bei solchen Probleme würde ich ja immer gleich selbst rum testen wollen - aber dazu fehlt mir die Hardware xD

Ob der vSwitch die Ursache sein kann ? Hast ja glaube ich nur den Free Esxi oder ? Wie erreichst du die. 9/8 - per passtrough direkt in einer vm ?

 

[gea]

Wir haben eine größere minio Installation als Archiv für Veeam. Nicht ganz so Rund wie Ceph, tut aber soweit recht unauffällig seinen Dienst.

Ich habe gerade einen User der miniIO unter OmniOS mit Veeam testen wollte. Installation ging problemlos, lediglich TLS will nicht so klappen mit miniIO. Ich weiß nicht ob du einen Tipp hast falls es bei euch da auch ein Problem gab.

Ansonst:
Als erste Anregung, falls jemand miniIO versuchen will
(zwar Ubuntu aber dennoch sicher hilfreich auch für OmniOS)

DIY cloud backup: Installing and configuring the server - Intermittent Technology

Now that we have all the hardware (Server, USB3 disk cabinet and disks) we need to set it all up! This post will guide you through installing Ubuntu, setting up the storage and configuring the Minio S3 backend including how to deal with multiple tenants. This post is part of a multi-part...

blog.quindorian.org

DIY Cloud Backup: Installing and configuring a client - Intermittent Technology

In this article we will be installing a duplicati 2 client which we'll connect to our server running the Minio S3 cloud storage server

blog.quindorian.org

 

[maxpowers]

Minio ist schon geil, aber wofür brauch ich object storage beim Backup/Fileserver?
Sehe hier keinen sinnvollen Einsatzzweck für Minio, ausser ich will ein vielleicht hübsches Web Frontend haben.

 

[gea]

Für jeden Topf gibt es einen passenden Deckel. und für einen Backup Dienst im Internet ist S3 genau das passende, siehe https://forums.servethehome.com/ind...atible-client-server-minio.27524/#post-254246

Einen Fileserver im LAN ersetzt S3 nicht.

 

[VirtuGuy]

Minio ist schon geil, aber wofür brauch ich object storage beim Backup/Fileserver?
Sehe hier keinen sinnvollen Einsatzzweck für Minio, ausser ich will ein vielleicht hübsches Web Frontend haben.

Medienbruch und einfache Skalierbarkeit über viele Disks/Hosts hinweg

Beitrag automatisch zusammengeführt: 20.02.2020

Ich habe gerade einen User der miniIO unter OmniOS mit Veeam testen wollte. Installation ging problemlos, lediglich TLS will nicht so klappen mit miniIO. Ich weiß nicht ob du einen Tipp hast falls es bei euch da auch ein Problem gab.

Nope, aber ich vermute er verwendet keine CA dahinter?

 

[frittes]

Ich habe immer noch ein Problem mit aussetzendem NFS-Datastore im ESXI. Zwischendurch ist tatsächlich die NIC nicht mehr erreichbar. Keine Meldungen von zu hoher Latenz oder sonst was.

Ein weiteres Phänomen ist mir auch noch aufgefallen, vielleicht ist da ein Zusammenhang: Ich habe eine zweite NIC hinzugefügt und möchte diese fürs Management nutzen. Kurioserweise geht immer nur eine NIC und das wechselt laufend!



So sehen die NICs im napp-it aus:



s0 soll Management sein und s1 stellt nfs und smb zur Verfügung.

EDIT: Ist das korrekt, dass zwei default Gateways in der Routing Tabelle stehen?

 

[besterino]

Zwei default Routen gibt immer Probleme. Auch zwei NICs im gleichen Netz kann Probleme geben, wenn die nicht sauber verknüpft bzw. getrennt werden.

 

[frittes]

Ich komme aus dem Client-VLAN10 mit IP-Bereich 172.22.10.0. Die zwei NICs vom napp-it sind einmal im Management (VLAN1) und im Server-VLAN70. Also eigentlich getrennt.

Wenn ich die default-Routen ändere, geht halt mal der eine und mal der andere. Von alleine wechseln die übrigens auch ab und an (siehe Screenshot oben).

Die Konfig auf dem OmniOS ist Standard, geändert habe ich da nix.

Die Frage ist jetzt, wie man das sauber gerade ziehen kann?

 

[martingo]

Das ist nicht Standard, Du hast ja irgendwann das zweite Gateway eingetragen.
Defaultgateway einfach wieder entfernen und für sauberes Routing sorgen.

 

[frittes]

Soll ich es aufnehmen, wie es automatisch in der Routingtabelle aufschlägt, sobald ich die Karte deaktiviere und wieder aktiviere?

Habs auch schon entfernt, läuft aber trotzdem nicht sauber.

EDIT: Ich kann auch sauber tracen, je nachdem welcher default GW gerade mal dran und aktiv ist. Darum schliesse ich das USG jetzt einfach mal aus.

Nur beide gleichzeit up funktioniert nicht.

 

[asche77]

Fixed IPs? Ich hatte bei OmniOS immer Probleme mit 2 oder mehr NICs, wenn eine davon auf DHCP stand ... (bin jetzt schon lange zu einer vNIC zurückgekehrt, einfacher und funktioniert auch ....)

 

[frittes]

Static DHCP. Mit einer läuft es auch, ich sage mal vorsichtig einigermaßen (mit einem vNIC). Mein Grundproblem ist ja, dass der ESXer laufend den NFS-Storage verliert, obwohl der Server sich langweilt und es keinen Hinweis auf irgendwelche Engpässe gibt.

Heute Mittag wollte ich mal nen iPerf laufen lassen und da war der Storage direkt weg und kam auch nicht mehr wieder. Wir reden von nem 10 Sekunden Test...

Ich werde den napp-it jetzt mal in icinga packen und dann gucken wir mal, wie oft der im Grunde grundlos nicht erreichbar ist. Ich kann es zumindest schon so weit eingrenzen, dass entweder in der U3 von ESXer irgendwas böse daneben ist oder halt mit den vmxnet3-Adapter unter OmniOS.

 

[gea]

Zwei Default Gateways braucht man nur wenn man 2 Internet Anbindungen hat bei dem bei Ausfall des ersten auf das zweite umgeschaltet werden soll, ansonst ist das die IP des Internet Routers. Die Verbindung ist aber eh mau. Die Zeit sollte local <1ms sein und nicht > 5ms.

Eventuell mal alles zurücksetzen (am schnellsten früheres BE nehmen), ip manuell setzen und nur ein Gateway. Mit mehreren Karten alles manuell setzen.

 

[frittes]

Hänge mit dem iMac am Wifi. Mag sein, dass die Response deswegen etwas höher ist. Ein POE-Pi an einem Switch über den Zentralswitch über noch einen an dem die VMs hängen hat Antwortzeiten von 0,3 bis 0,5.

Wie kann ich es manuell konfigurieren? Hab schon gesucht, aber nix gefunden...