[Sammelthread] Proxmox Stammtisch

[gea]

ZFS Web-gui für Proxmox

Napp-it cs ist eine web-gui für OpenZFS servergroups (beliebiges OS). Es läuft unter Windows zum Managen von Storage Spaces und ZFS. Es kann remote andere ZFS Servers wie Free-BSD, OSX oder Linux/Proxmox managen.

Es kam der Wunsch auf es direkt unter Free-BSD, Illumos, OSX oder Linux/Proxmox laufen zu lassen.

Habe mal eine erste Beta hochgeladen:

1. download https://www.napp-it.de/doc/downloads/csweb-gui.zip and unzip csweb-gui.zip
2. upload folder csweb-gui to /var on Linux/Proxmox/Illumos (-> /var/csweb-gui, use WinSCP)
3. start a cgi capable webserver
for basic tests you can use the included mini_httpd
4. open Putty as root and run (copy/paste command with mouse rightclick)
sh /var/csweb-gui/data/webserver/mhttpd/debian/mini-httpd.sh
(on Illumos, replace /debian/ with /illumos/)

5. Open a browser with http://serverip:81 (mini_httpd is configured for http only)

On other platforms ex OSX or for https:
use a cgi/Perl capable webserver ex apache or lighttpd

napp-it cs is free for noncommercial use

 

[MisterY]

@gea kannst du vielleicht mal ein (paar) Youtube-Videos zu nappit machen?

 

[Supaman]

Ich kenne das Thema mit den MAC-Adressen und weiß das das nicht notwendig sein wird (ich fummel an dem Ding nicht mehr rum, das hab ich mir abgewöhnt + backup proxmox).

Eins noch: wie schon erwähnt, werden bei Änderungen der Hardware zusammensetzung auf dem PCIe Bus die Gerätenamen neu vergeben. Änderungen müssen nicht zwingend "aktiv" also duch den User geschen, sondern erfolgen auch bei Hardware defekt. Sprich, wenn eine SSD oder Netzwerkkarte geht kaputt, klappt Dir auch das Management Interface weg, weil alelsneu sortiert worden ist, und die Interface Namen nicht mehr zur interfaces.conf passen. Das muss man dann in solchen Fällen auf dem Schirm haben und sich direkt per KVM/IPMI einloogen und prüfen. Oder halt üer MAC bezogene Inferterface Namen von vorneherein fest nageln.

 

[besterino]

@gea kannst du vielleicht mal ein (paar) Youtube-Videos zu nappit machen?

Bitte bloss nicht... Text mit Bildern ist 100x effizienter und die Doku ist jetzt schon sehr gut. Man muss halt mal reinschauen...

 

[gea]

@gea kannst du vielleicht mal ein (paar) Youtube-Videos zu nappit machen?

Ja das ist wohl der Zeitgeist. Statt "lade den Ordner hoch und starte das Ding mit Aufruf X" braucht man TickTock oder Youtube Videos die das zeigen. Da sich die Welt immer schneller dreht, immer neue davon weil die alten ja nicht mehr den neuesten Stand bieten oder man ja als Influencer im Gespräch bleiben muss. Wobei die eigentliche Information meist eh nicht im Vordergrund steht, Hauptsache Unterhaltung und man muss nicht lesen.

Es gibt einige über 10 Jahre alte Videos zu napp-it unter Solaris/Illumos. Die sind immer noch gültig. Geht halt nichts über Minimaltechnologie, so wie früher als Apple noch den Zusatz "Computer" im Namen hatte. Da war es normal, eine Software durch Kopieren eines Ordners zu installieren. Deinstallieren ist Löschen des Ordners. So ist napp-it nach wie vor.

 

[Shihatsu]

Eins noch: wie schon erwähnt, werden bei Änderungen der Hardware zusammensetzung auf dem PCIe Bus die Gerätenamen neu vergeben. Änderungen müssen nicht zwingend "aktiv" also duch den User geschen, sondern erfolgen auch bei Hardware defekt. Sprich, wenn eine SSD oder Netzwerkkarte geht kaputt, klappt Dir auch das Management Interface weg, weil alelsneu sortiert worden ist, und die Interface Namen nicht mehr zur interfaces.conf passen. Das muss man dann in solchen Fällen auf dem Schirm haben und sich direkt per KVM/IPMI einloogen und prüfen. Oder halt üer MAC bezogene Inferterface Namen von vorneherein fest nageln.

Ich habs jetzt ganz pragmatisch gemacht: In der Bridge sind die beiden Onboard-Gbit-NICs und der erste von 2 40g Ports, der zweite ist unbenutzt (da mein NAS auch gerne 40G hätte). Selbst wenn der 40g Port mir wegbricht, hab ich immer noch Zugriff.
Trotzdem danke für deine Hinweise, ich mag zwar etwas bockig klingen, aber ich hab das Thema ja in der Vergangenheit einmal gemacht gehabt (damals um vernünftige MACs auf den VFs zu haben, different usecase, same shit). Wenn alles läuft widme ich mich dem vielleicht nochmal.

 

[Weltherrscher]

Ich versuche heute Nacht mal SR-IOV mit den 4 X540ern im Proxmox ans Laufen zu bekommen, ich hab das Gefühl, die virtuellen NICs bremsen meine NAS-Performance in der VM...
Dann bekommt jede VM ne virtuelle X540.
Kann ich im ProxMox dann irgendwie die VLANs steuern?
(nicht jede VM braucht jedes VLAN, aber die Karten sind aufm Switch halt im Trunk (aktuell je 2 in einem Bond, einmal für iSCSI und einmal für "normalen" VM-Verkehr), wie verhält sich das bei den virtuellen NICs?)

 

[Weltherrscher]

Ok, hat geklappt.
Aaaber:
Nie, nie, NIEMALS eine virtuelle Netzwerkkarte aus der VM entfernen, wenn echte HW durchgereicht ist!!!!!!
Kurzer Schock-Moment, nachdem ich die alte vNIC live aus der VM entfernt hatte, beschwerte sich ProxMox, dass er nicht hotpluggen konnte.
Daraufhin flogen ALLE Platten aus ALLEN Pools in der VM. 😱
Hart aus/ein der VM hat dann geholfen, aber aua, ohne ZFS möchte ich das nicht nochmal machen.
Zum Glück keinen großen Traffic drauf gehabt und keine Fehler auf dem FS. *puuuh*

Es lief auf ein einfaches "echo 4 > /sys/bus/pci/devices/0000:04:00.0/sriov_numvfs" raus, die bisherige Konfig bleibt davon unbeeindruckt (also auch der Bond).
Daraufhin hat man vier neue Karten, die man den VMs dann einfach zuweisen kann.
Jetzt muss ich das nur noch persistieren.
Der Umweg mit dem Service ist mir zu kompliziert, ich versuchs mal mit den sysfsutils...
//Edith2: Hab mich breitschlagen lassen und nen sr-iov.service angelegt...

Problem damit ist nur noch:
Ich reiche hier komplette Trunks durch...
Beim iSCSI-VLAN kein Problem, das basiert auf statischen IPs und wird nicht geroutet.
Aber die anderen VLANs kann ich so nicht einfach durchreichen, weil dann immer alle VMs alle VLANS sehen könnten (muss innerhalb der VM konfiguriert werden)...

//Edith:
Zum Thema was bringts?!

Gefühlt ist der wahlfreie Zugriff auf ext4 on zfs um das 5..10fache oder so gestiegen.
Gesichert ist die (Gesamt-)CPU-Last auf dem Proxmox von 14 % auf 7 % (40 Kerne) beim patchen gefallen.
Vergleich hinkt zwar ein wenig (14 % waren es bei der Windows-Version NTFS on ZFS) aber gefühlt ist die Performance bei random access jetzt wesentlich größer.
Im Burst war ich schon vorher mit 640 MB/s nah am Maximum der 6 Platten im Z2.

Der aktuelle Stalker 2 Patch hat unter Windoofs ca. 25 min gebraucht und jetzt unter Linux ca. 15 min.
(Zwei verschiedene Installationen zum testen, man hats ja. )