Proxmox - Permanenter Traffic?

[MisterY]

Hi,

ich habe einen Serverschrank mit zwei Servern, einer davon ist ein Proxmox-Host mit insgesamt fünf NICs, wovon NIC1 für den Host selbst ist (=vmbr0 mit IP; die anderen (vmbr1-vmbr4) sind ohne IP). Dazu noch ein Mikrotik CSS326 switch und ein NanoPi Neo als Pihole. Angeschlossen ist das an einem TP-Link Router.

Nun habe ich das Phänomen, dass JEDE Port-LED des Switches, an dem ein Gerät läuft (also sowohl die anderen NICs des Proxmox-Hosts, als auch mein Fileserver und der nanopi, sogar der Router), permanent blinkt. Laut WebGUI des Switches sind es so um die 5-7 kb/s auf der Tx-Seite, die auf JEDEN Port geht, bis auf die vmbr0 des Proxmox-Hosts. Da geht genau die selbe Bitrate auf den Rx, was auch in der Proxmox-WebGUI angezeigt wird.

Nur was verursacht das? Nanopi und Router hatte ich schon mal abgeklemmt, daran lag es nicht. Alle VMs/CTs deaktiviert, auch das änderte nichts. Irgendwas bewirkt, dass Proxmox mit ca 5-7 kb/s auf das Netzwerk zugreift. Hat jemand eine Erklärung oder Idee, was das sein könnte?

Grüße

Edit: Ich sehe, dass der Proxmox-Host eine Verbindung zu 239.192.52.104 aufbaut. Liegt das vielleicht daran, dass ich ein Cluster aufgebaut habe? Wenn nein, kann ich diese IP blockieren? Wenn ja, wie am besten? Per Firewall?

hab die IP nun in der Firewall geblockt, aber laut iftop wird da immernoch drauf zugegriffen?

 

[martingo]

Multicast wird für den Clusterbetrieb verwendet, daher ja, es liegt daran.
Bevor uns Gedanken machen, wie oder ob wir blocken, wäre interessant, wieso du einen 1-node Cluster konfiguriert hast.

 

[MisterY]

Es soll ein 2-node Cluster werden.

 

[martingo]

Ah, okay.
Die Verteilung von Multicast Paketen wird mittels IGMP geregelt.
In groben Zügen läuft das so ab, dass Geräte, die Multicast Streams empfangen wollen, sich mittels Join-Message bei der gewünschten Gruppe anmelden und dann nur noch an diese Ports der Multicast Traffic der entsprechenden Gruppen weitergeleitet wird. Wenn Du dieses Feature auf einem Switch aktivieren willst, musst Du IGMP Snooping einschalten.

Auf Deinem CSS326 ist die entsprechende Einstellung unter System > General zu finden. Alternativ kannst Du das unter VLANs nur für spezielle VLANs aktivieren.

Ich habe das eben selbst mal ausprobiert, müsste eigentlich so funktionieren, wie ich es oben geschildert habe. Mein Mgmt Interface ist auf VLAN22, deshalb musste ich IGMP Snooping sowohl unter System allgemein aktivieren, als auch im VLAN 22. Danach sah es unter IGMP folgendermaßen aus:


Mit Haken nur bei VLAN oder nur bei System ist die Anzeige leer.

- - - Updated - - -

So, ich habe jetzt noch einen zweiten Clusternode hinzugefügt, funktioniert tadellos!


Ich werde mal probieren, dem Clustersystem ein eigenes VLAN zu spendieren. Wenn ich mir das hier so durchlese, würde man sich ja direkt eine weitere Netzwerkinfrastruktur wünschen
Cluster Manager - Proxmox VE
Wobei das vermutlich hauptsächlich auf die HA-Cluster ab drei Nodes zutrifft. Aber schaden kann es auch nicht.

 

[martingo]

Läuft nach anfänglichen Konfigurationsschwierigkeiten jetzt ebenfalls tadellos. Vielen Dank für Deine Anregung, ich hätte mich demnächst eh damit beschäftigen müssen und besser am Schreibtisch als später im lauten Rechenzenrum

 

[MisterY]

danke dir fürs Testen, ich schaue mir das später mal genauer an

Wenn man Node 2 und eine NIC von Node 1 in ein VLAN packt, kann man dann noch gescheit beide über die andere NIC von Node 1 per Webgui verwalten? wäre natürlich ganz schick, dann könnte man das schön trennen

 

[martingo]

Ich weiß nicht genau wie du das meinst, aber Mgmt und Cluster können in unterschiedlichen VLANs liegen. Und Du kannst über eine beliebige WebUI jeden beliebigen Node steuern.
Nur bedenken, dass jeder Node auch Internetzugriff haben muss für Updates usw.

 

[MisterY]

Ich kann IGMP Snooping nicht aktivieren, da es erst ab SwOS 2.5 verfügbar ist, aber da ab dieser Version die 10G Performance grottig schlecht ist, bleibe ich bei 2.4

Ich würde gerne den Proxmox-Cluster in ein VLAN packen, aber dennoch per SSH von meinem "normalen" LAN drauf zugreifen. Wie mache ich das am besten?

AUch würde ich gerne per OpenVPN (sowohl vom NanoPI als auch von ner PRoxmox-VM (mit eigener NIC) darauf zugreifen. wie soll ich das am besten machen?

Ich würde eigentlich nur das Clustering untereinander in ein VLAN packen, und eine weitere NIC, die nur für Internetzugriff ist (Nextcloud + Website) in eine weitere VLAN packen. Hast du, oder jemand anderes, Vorschläge?

 

[martingo]

Ach, das war die Geschichte mit 10G -> 1G, oder? 10G -> 10G hatte ich vor zwei Tagen 9,8G iperf Übertragung gesehen.

Was Du vor hast, geht natürlich. Aber Dein Router muss es halt können. Ich gehe davon aus, dass das ein "richtiger" Router ist, kein Homerouter mit einem Subnetz ohne VLANs usw, oder?

 

[MisterY]

Noch ist es ein Home-Router, soll aber gegen einen Mikrotik 3001schieß-mich-tot getauscht werden

 

[martingo]

Ja, damit geht es auf jeden Fall. Falls Du Hotspot mäßig was planst, wäre der RB2011 momentan die bessere Wahl, weil der RB3011 auf ARM basiert, für das es das benötigte Usermanager Paket noch (?) nicht gibt.

 

[MisterY]

Das ist alles im Home-Ausmaß. die meiste Verkabelung ist innerhalb des Serverschrankes und zwei Kabel, die zu zwei Switches gehen (Schreibtisch und TV) + WLAN.

Hast du n Tipp, wie man am besten die Storages bei nem Cluster nutzt? Würde gerne den zweiten Node als Backup nutzen, falls der erste mal ausfällt oder gewartet wird (die VMs sollen also vom ZFS-Pool im Node1 auf eine einzelne HDD im Node2 migriert werden können). Weil so wie es aktuell ist mit "shared storage" über NFS laufen die Gäste von Node2 ja nur, solange Node1 auch läuft. Und das ist irgendwie nicht so ganz Sinn der Sache. Die beiden sollen primär autark laufen, jedoch über eine GUI verwaltbar und alles schön hin und her schieben lassen können.

Primär würde ich da gerne die hdd nutzen, wo auch proxmox drauf installiert ist, aber ich kriege /Dev/sda3 mit Linux LVM nicht gemountet??