Proxmox - Netzwerk mit Broadcom NIC

M

myBerg

Enthusiast
Thread Starter
Mitglied seit
27.01.2008
Beiträge
416
Hallo zusammen,

ich versuche gerade mein Homelab von ESXi in Richtung Proxmox zu migrieren. Der Ersatzsserver läuft grundsätzlich soweit und ich bin austesten. Aktuelles Thema ist die Netzwerkperformance.

Der verwendete Netzwerkchip ist ein Broadcom BCM57416 (Thomas Krenn: Broadcom Netzwerkkarten) der auf einem Supermicro H12SSL-NT Epyc System verbaut ist. Die Hardware entspricht diesem separaten Steckadapter: Broadcom P210TP. Der soll 2 x 10 Gbps liefern können.
Das ESXi-System läuft noch parallel.

Problem:
  • Die 10 Gbps insgesamt werden nur knapp erreicht.
  • Wenn die Proxmox VMs Empfänger sind, geht die Geschwindigkeit deutlich nach unten (siehe Messungen).
Beobachtungen:
  • Die CPU-Last in den Proxmox VMs ist bei den Messungen sehr hoch. Nahe 100%. Beim ESXi Host (ConnectX-3, gleiche CPU) ist das nicht einmal die Hälfte.
  • Die Retries gehen nach oben, wenn die VM-CPU am Anschlag ist.
Seit einigen Tagen bastel ich daran rum und hab schon sehr viel gelesen. Sehr sehr viel. Aber ich weiß einfach nicht wo ich ansetzen soll.
Wenn ich z.B. "ethtool -k eno1np0" eingebe, um mal zu schauen, wie das Offloading konfiguriert ist, kriege ich eine Informationstapete, die sich gewaschen hat. Einiges ist "off", einiges "on". Eher zu viel als zu wenig Infos. Die allgemeine Doku zu der Adapterserie bei Broadcom ist umfangreich: Broadcom Ethernet Network Adapter User Guide . Ich bin eher erschlagen von Infos und weiß nicht so recht wo ich konkret ansetzen kann.

VLAN

Die Problematik tritt sowohl in Windows als auch in Linux VMs auf. Daher habe ich zuerst überlegt, ob die Bridge/VLAN-Konfiguration nicht einen negativen Einfluß hat. Also die Idee, dass bei in einer bestimmten Konfiguration die CPU Netzwerkaufgaben in der VM übernehmen muss, die ansonsten die Hardware täte. Gestartet war ich mit der Standardempfehlung von Proxmox mit VLAN-Aware Bridge. Kann man sich auch hier anschauen:
YouTube "Proxmox VLAN Configuration: Linux Bridge Tagging, Management IP, and Virtual Machines"
Code: 
auto lo
iface lo inet loopback

iface eno1np1 inet manual

iface eno1np0 inet manual

auto vmbr0
iface vmbr0 inet manual
        bridge-ports eno1np0
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094

auto vmbr0.2
iface vmbr0.2 inet static
        address 172.20.2.37/24
        gateway 172.20.2.1

Im Moment bin ich bei Linux Port Based VLANs:
Code: 
auto lo
iface lo inet loopback

iface eno1np1 inet manual

iface eno1np0 inet manual

iface eno2np1 inet manual

iface enxbe3af2b6059f inet manual

auto vmbr10
iface vmbr10 inet manual
        bridge-ports vlan10
        bridge-stp off
        bridge-fd 0

auto vlan10
iface vlan10 inet manual
        vlan-raw-device eno1np0

auto vlan2
iface vlan2 inet static
        address 172.20.2.37/24
        gateway 172.20.2.1
        vlan-raw-device eno1np0
Ändert aber nichts.

Messungen mit iperf3:
Die erste Messung direkt zum Host sieht noch ganz gut aus, aber Messung 2 und 3 mit den VMs zeigen dann das Problem.
Code: 
pvehost1 <-> esxi: adminvm
[  5] local 172.20.2.37 port 5201 connected to 172.20.2.48 port 46136
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec  1.09 GBytes  9.38 Gbits/sec                
[  5]   1.00-2.00   sec  1.09 GBytes  9.39 Gbits/sec                
[  5]   2.00-3.00   sec  1.09 GBytes  9.39 Gbits/sec                
[  5]   3.00-4.00   sec  1.09 GBytes  9.39 Gbits/sec                
[  5]   4.00-5.00   sec  1.09 GBytes  9.39 Gbits/sec                
[  5]   5.00-6.00   sec  1.09 GBytes  9.39 Gbits/sec                
[  5]   6.00-7.00   sec  1.09 GBytes  9.39 Gbits/sec                
[  5]   7.00-8.00   sec  1.09 GBytes  9.39 Gbits/sec                
[  5]   8.00-9.00   sec  1.09 GBytes  9.39 Gbits/sec                
[  5]   9.00-10.00  sec  1.09 GBytes  9.39 Gbits/sec                
[  5]  10.00-10.00  sec   954 KBytes  8.46 Gbits/sec                
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-10.00  sec  10.9 GBytes  9.39 Gbits/sec                  receiver
-----------------------------------------------------------
Server listening on 5201 (test #2)
-----------------------------------------------------------
root@pvehost1:~# iperf3 -c 172.20.2.48
Connecting to host 172.20.2.48, port 5201
[  5] local 172.20.2.37 port 42552 connected to 172.20.2.48 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  1.07 GBytes  9.18 Gbits/sec    0   1.46 MBytes      
[  5]   1.00-2.00   sec  1.09 GBytes  9.38 Gbits/sec    0   1.53 MBytes      
[  5]   2.00-3.00   sec  1.09 GBytes  9.40 Gbits/sec    0   1.53 MBytes      
[  5]   3.00-4.00   sec  1.09 GBytes  9.38 Gbits/sec    0   1.53 MBytes      
[  5]   4.00-5.00   sec  1.09 GBytes  9.40 Gbits/sec    0   1.53 MBytes      
[  5]   5.00-6.00   sec  1.09 GBytes  9.38 Gbits/sec    0   1.61 MBytes      
[  5]   6.00-7.00   sec  1.09 GBytes  9.40 Gbits/sec    0   1.69 MBytes      
[  5]   7.00-8.00   sec  1.09 GBytes  9.38 Gbits/sec    0   1.77 MBytes      
[  5]   8.00-9.00   sec  1.09 GBytes  9.40 Gbits/sec    0   1.77 MBytes      
[  5]   9.00-10.00  sec  1.09 GBytes  9.38 Gbits/sec   28   1.35 MBytes      
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  10.9 GBytes  9.37 Gbits/sec   28             sender
[  5]   0.00-10.04  sec  10.9 GBytes  9.33 Gbits/sec                  receiver

Direkt vom Proxmoxhost in Richtung ESX-VM sieht alles gut aus.

===========================================================
esxi: adminvm <-> pvehost1: ubuvm-pve1
-----------------------------------------------------------
Server listening on 5201
-----------------------------------------------------------
Accepted connection from 172.20.2.105, port 35058
[  5] local 172.20.2.48 port 5201 connected to 172.20.2.105 port 35074
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec   902 MBytes  7.56 Gbits/sec
[  5]   1.00-2.00   sec  1.09 GBytes  9.35 Gbits/sec
[  5]   2.00-3.00   sec  1.06 GBytes  9.07 Gbits/sec
[  5]   3.00-4.00   sec  1.09 GBytes  9.38 Gbits/sec
[  5]   4.00-5.00   sec  1.09 GBytes  9.38 Gbits/sec
[  5]   5.00-6.00   sec  1013 MBytes  8.50 Gbits/sec
[  5]   6.00-7.00   sec  1.01 GBytes  8.68 Gbits/sec
[  5]   7.00-8.00   sec  1017 MBytes  8.53 Gbits/sec
[  5]   8.00-9.00   sec  1.09 GBytes  9.38 Gbits/sec
[  5]   9.00-10.00  sec  1.09 GBytes  9.37 Gbits/sec
[  5]  10.00-10.04  sec  49.1 MBytes  9.38 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-10.04  sec  10.4 GBytes  8.92 Gbits/sec                  receiver
-----------------------------------------------------------
Server listening on 5201
-----------------------------------------------------------
root@adminvm:~# iperf3 -c 172.20.2.105
Connecting to host 172.20.2.105, port 5201
[  5] local 172.20.2.48 port 34142 connected to 172.20.2.105 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec   867 MBytes  7.27 Gbits/sec  306   1.21 MBytes
[  5]   1.00-2.00   sec   879 MBytes  7.37 Gbits/sec   57   1.16 MBytes
[  5]   2.00-3.00   sec   765 MBytes  6.42 Gbits/sec   11   1.10 MBytes
[  5]   3.00-4.00   sec   776 MBytes  6.51 Gbits/sec    0   1.55 MBytes
[  5]   4.00-5.00   sec   678 MBytes  5.68 Gbits/sec  170   1.28 MBytes
[  5]   5.00-6.00   sec   758 MBytes  6.35 Gbits/sec   57   1.17 MBytes
[  5]   6.00-7.00   sec   775 MBytes  6.50 Gbits/sec   16   1.12 MBytes
[  5]   7.00-8.00   sec   756 MBytes  6.34 Gbits/sec    0   1.54 MBytes
[  5]   8.00-9.00   sec   805 MBytes  6.75 Gbits/sec   78   1.08 MBytes
[  5]   9.00-10.00  sec   756 MBytes  6.34 Gbits/sec    0   1.51 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  7.63 GBytes  6.56 Gbits/sec  695             sender
[  5]   0.00-10.04  sec  7.63 GBytes  6.53 Gbits/sec                  receiver

In Richtung pve-vm schwächelt die Netzwerkperformance.

===========================================================
esxi: adminvm <-> pvehost1: win10vm2

root@adminvm:~# iperf3 -s
-----------------------------------------------------------
Server listening on 5201
-----------------------------------------------------------
Accepted connection from 172.20.2.100, port 49917
[  5] local 172.20.2.48 port 5201 connected to 172.20.2.100 port 49918
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec   681 MBytes  5.71 Gbits/sec
[  5]   1.00-2.00   sec  1.10 GBytes  9.47 Gbits/sec
[  5]   2.00-3.00   sec  1.10 GBytes  9.47 Gbits/sec
[  5]   3.00-4.00   sec  1.10 GBytes  9.47 Gbits/sec
[  5]   4.00-5.00   sec  1.10 GBytes  9.47 Gbits/sec
[  5]   5.00-6.00   sec  1.10 GBytes  9.47 Gbits/sec
[  5]   6.00-7.00   sec  1.10 GBytes  9.47 Gbits/sec
[  5]   7.00-8.00   sec  1.10 GBytes  9.47 Gbits/sec
[  5]   8.00-9.00   sec  1.10 GBytes  9.47 Gbits/sec
[  5]   9.00-10.00  sec  1.10 GBytes  9.47 Gbits/sec
[  5]  10.00-10.05  sec  61.5 MBytes  9.45 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-10.05  sec  10.6 GBytes  9.09 Gbits/sec                  receiver
-----------------------------------------------------------
Server listening on 5201
-----------------------------------------------------------
root@adminvm:~# iperf3 -c 172.20.2.100
Connecting to host 172.20.2.100, port 5201
[  5] local 172.20.2.48 port 39144 connected to 172.20.2.100 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec   342 MBytes  2.87 Gbits/sec    0   2.11 MBytes
[  5]   1.00-2.00   sec   500 MBytes  4.19 Gbits/sec    0   2.11 MBytes
[  5]   2.00-3.00   sec   555 MBytes  4.66 Gbits/sec    0   2.11 MBytes
[  5]   3.00-4.00   sec   570 MBytes  4.78 Gbits/sec    0   2.11 MBytes
[  5]   4.00-5.00   sec   570 MBytes  4.78 Gbits/sec    0   2.11 MBytes
[  5]   5.00-6.00   sec   566 MBytes  4.75 Gbits/sec    0   2.11 MBytes
[  5]   6.00-7.00   sec   571 MBytes  4.79 Gbits/sec    0   2.11 MBytes
[  5]   7.00-8.00   sec   569 MBytes  4.77 Gbits/sec    0   2.11 MBytes
[  5]   8.00-9.00   sec   552 MBytes  4.63 Gbits/sec    0   2.11 MBytes
[  5]   9.00-10.00  sec   522 MBytes  4.38 Gbits/sec    0   2.11 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  5.19 GBytes  4.46 Gbits/sec    0             sender
[  5]   0.00-10.03  sec  5.19 GBytes  4.45 Gbits/sec                  receiver

In Richtung pve-vm schwächelt die Netzwerkperformance auch bei Windows-VM.

-----------------------------------------------------------
-----------------------------------------------------------

Nächste Idee war dann, nochmal auf die näher auf den Adapter zu schauen (Firmware, Konfiguration etc), aber ich kriege die Tools von Broadcom (bnxtnvm, niccli) unter Proxmox nicht installiert. Proxmox wird leider auch nicht direkt unterstützt.

Hardware Infos:

Code: 
root@pvehost1:~# lspci
45:00.0 Ethernet controller: Broadcom Inc. and subsidiaries BCM57416 NetXtreme-E Dual-Media 10G RDMA Ethernet Controller (rev 01)
45:00.1 Ethernet controller: Broadcom Inc. and subsidiaries BCM57416 NetXtreme-E Dual-Media 10G RDMA Ethernet Controller (rev 01)

root@pvehost1:~# find /sys | grep drivers.*45:00
/sys/bus/pci/drivers/bnxt_en/0000:45:00.1
/sys/bus/pci/drivers/bnxt_en/0000:45:00.0

--------------------------------------------------------------------------------------------
root@pvehost1:~# lspci -v
45:00.0 Ethernet controller: Broadcom Inc. and subsidiaries BCM57416 NetXtreme-E Dual-Media 10G RDMA Ethernet Controller (rev 01)
        DeviceName: Broadcom 10G Ethernet #1
        Subsystem: Super Micro Computer Inc BCM57416 NetXtreme-E Dual-Media 10G RDMA Ethernet Controller
        Flags: bus master, fast devsel, latency 0, IRQ 44, IOMMU group 32
        Memory at 28080f10000 (64-bit, prefetchable) [size=64K]
        Memory at 28080e00000 (64-bit, prefetchable) [size=1M]
        Memory at 28080f22000 (64-bit, prefetchable) [size=8K]
        Expansion ROM at b1880000 [disabled] [size=512K]
        Capabilities: [48] Power Management version 3
        Capabilities: [50] Vital Product Data
        Capabilities: [58] MSI: Enable- Count=1/8 Maskable- 64bit+
        Capabilities: [a0] MSI-X: Enable+ Count=74 Masked-
        Capabilities: [ac] Express Endpoint, MSI 00
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [13c] Device Serial Number 3c-ec-ef-ff-fe-9d-ac-90
        Capabilities: [150] Power Budgeting <?>
        Capabilities: [160] Virtual Channel
        Capabilities: [180] Vendor Specific Information: ID=0000 Rev=0 Len=020 <?>
        Capabilities: [1b0] Latency Tolerance Reporting
        Capabilities: [1b8] Alternative Routing-ID Interpretation (ARI)
        Capabilities: [230] Transaction Processing Hints
        Capabilities: [300] Secondary PCI Express
        Capabilities: [200] Precision Time Measurement
        Kernel driver in use: bnxt_en
        Kernel modules: bnxt_en

45:00.1 Ethernet controller: Broadcom Inc. and subsidiaries BCM57416 NetXtreme-E Dual-Media 10G RDMA Ethernet Controller (rev 01)
        DeviceName: Broadcom 10G Ethernet #2
        Subsystem: Super Micro Computer Inc BCM57416 NetXtreme-E Dual-Media 10G RDMA Ethernet Controller
        Flags: bus master, fast devsel, latency 0, IRQ 24, IOMMU group 32
        Memory at 28080f00000 (64-bit, prefetchable) [size=64K]
        Memory at 28080d00000 (64-bit, prefetchable) [size=1M]
        Memory at 28080f20000 (64-bit, prefetchable) [size=8K]
        Expansion ROM at b1800000 [disabled] [size=512K]
        Capabilities: [48] Power Management version 3
        Capabilities: [50] Vital Product Data
        Capabilities: [58] MSI: Enable- Count=1/8 Maskable- 64bit+
        Capabilities: [a0] MSI-X: Enable+ Count=74 Masked-
        Capabilities: [ac] Express Endpoint, MSI 00
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [13c] Device Serial Number 3c-ec-ef-ff-fe-9d-ac-90
        Capabilities: [150] Power Budgeting <?>
        Capabilities: [180] Vendor Specific Information: ID=0000 Rev=0 Len=020 <?>
        Capabilities: [1b8] Alternative Routing-ID Interpretation (ARI)
        Capabilities: [230] Transaction Processing Hints
        Kernel driver in use: bnxt_en
        Kernel modules: bnxt_en
       
--------------------------------------------------------------------------------------------
root@pvehost1:~# dmesg | grep bnxt
[    2.108240] bnxt_en 0000:45:00.0 eth0: Broadcom BCM57416 NetXtreme-E 10GBase-T Ethernet found at mem 28080f10000, node addr 3c:ec:ef:9d:ac:90
[    2.108265] bnxt_en 0000:45:00.0: 31.504 Gb/s available PCIe bandwidth, limited by 8.0 GT/s PCIe x4 link at 0000:40:03.6 (capable of 63.008 Gb/s with 8.0 GT/s PCIe x8 link)
[    2.125564] bnxt_en 0000:45:00.1 eth1: Broadcom BCM57416 NetXtreme-E 10GBase-T Ethernet found at mem 28080f00000, node addr 3c:ec:ef:9d:ac:91
[    2.125585] bnxt_en 0000:45:00.1: 31.504 Gb/s available PCIe bandwidth, limited by 8.0 GT/s PCIe x4 link at 0000:40:03.6 (capable of 63.008 Gb/s with 8.0 GT/s PCIe x8 link)
[    2.713007] bnxt_en 0000:45:00.0 eno1np0: renamed from eth0
[    2.812867] bnxt_en 0000:45:00.1 eno2np1: renamed from eth1
[   15.759965] bnxt_en 0000:45:00.0 eno1np0: NIC Link is Up, 10000 Mbps full duplex, Flow control: none
[   15.760705] bnxt_en 0000:45:00.0 eno1np0: EEE is not active
[   15.761220] bnxt_en 0000:45:00.0 eno1np0: FEC autoneg off encoding: None
[   15.929662] bnxt_en 0000:45:00.0 eno1np0: entered allmulticast mode
[   15.931043] bnxt_en 0000:45:00.0 eno1np0: entered promiscuous mode

--------------------------------------------------------------------------------------------

Offloading Konfiguration:
Code: 
root@pvehost1:~# ethtool -k eno1np0
Features for eno1np0:
rx-checksumming: on
tx-checksumming: on
        tx-checksum-ipv4: on
        tx-checksum-ip-generic: off [fixed]
        tx-checksum-ipv6: on
        tx-checksum-fcoe-crc: off [fixed]
        tx-checksum-sctp: off [fixed]
scatter-gather: on
        tx-scatter-gather: on
        tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: on
        tx-tcp-segmentation: on
        tx-tcp-ecn-segmentation: off [fixed]
        tx-tcp-mangleid-segmentation: off
        tx-tcp6-segmentation: on
generic-segmentation-offload: on
generic-receive-offload: on
large-receive-offload: off
rx-vlan-offload: on
tx-vlan-offload: on
ntuple-filters: on
receive-hashing: on
highdma: on [fixed]
rx-vlan-filter: off [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: on
tx-gre-csum-segmentation: on
tx-ipxip4-segmentation: on
tx-ipxip6-segmentation: off [fixed]
tx-udp_tnl-segmentation: on
tx-udp_tnl-csum-segmentation: on
tx-gso-partial: on
tx-tunnel-remcsum-segmentation: off [fixed]
tx-sctp-segmentation: off [fixed]
tx-esp-segmentation: off [fixed]
tx-udp-segmentation: off [fixed]
tx-gso-list: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off [fixed]
tx-vlan-stag-hw-insert: on
rx-vlan-stag-hw-parse: on
rx-vlan-stag-filter: off [fixed]
l2-fwd-offload: off [fixed]
hw-tc-offload: on
esp-hw-offload: off [fixed]
esp-tx-csum-hw-offload: off [fixed]
rx-udp_tunnel-port-offload: on
tls-hw-tx-offload: off [fixed]
tls-hw-rx-offload: off [fixed]
rx-gro-hw: on
tls-hw-record: off [fixed]
rx-gro-list: off
macsec-hw-offload: off [fixed]
rx-udp-gro-forwarding: off
hsr-tag-ins-offload: off [fixed]
hsr-tag-rm-offload: off [fixed]
hsr-fwd-offload: off [fixed]
hsr-dup-offload: off [fixed]

Wie ist das bei euch? Schnurrt der Proxmox? Ansatzpunkte?
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Leider sind das alles keine einfachen Anfängerfragen mehr. Hoffentlich kann dir jemand hier helfen.

Die 10G-Adapter hast vorher schon gehabt? Welche Geschwindigkeiten hast du da gehabt? 6-7G sind doch ausreichend oder sollen es immer 9G sein?

Und du hast es einfach bei dem Standard-Debian-Treiber belassen? Auch beim ESXi? Keine eigenen installiert?

Edit: Wie kriegt man denn die Tools bnxtnvm, niccli installiert? Dachte eigentlich Proxmox hätte die APT-Paketverwaltung, damit müsste es doch gehen oder was braucht man da noch?
 
Nemetron schrieb:
Leider sind das alles keine einfachen Anfängerfragen mehr. Hoffentlich kann dir jemand hier helfen.

Die 10G-Adapter hast vorher schon gehabt? Welche Geschwindigkeiten hast du da gehabt? 6-7G sind doch ausreichend oder sollen es immer 9G sein?
Zum Vergrößern anklicken....
Bisher hatte ich zuletzt Mellanox ConnectX-3. Im ESX-Rechner ist ein 40 Gbps HP 649281-B21 umgeflasht auf Mellanox MCX354A-FCBT.
Nemetron schrieb:
Und du hast es einfach bei dem Standard-Debian-Treiber belassen?
Zum Vergrößern anklicken....
Ja
Nemetron schrieb:
Auch beim ESXi? Keine eigenen installiert?
Zum Vergrößern anklicken....
nmlx4-core 3.19.16.8-2vmw.703.0.20.19193900 VMW VMwareCertified 2022-02-05
Nemetron schrieb:
Edit: Wie kriegt man denn die Tools bnxtnvm, niccli installiert? Dachte eigentlich Proxmox hätte die APT-Paketverwaltung, damit müsste es doch gehen oder was braucht man da noch?
Zum Vergrößern anklicken....
Hätte ich jetzt auch gedacht. Beim niccli hab ich an der Stelle aufgehört: "6) For the Non-standard Linux distrubutions/Customized kernel, use the sliff driver source files rpm (install the sliff driver source rpm to get the source files) and follow the below steps ..." Das niccli-Tool braucht den sliff driver. So wie ich das lese muss ich den sliff driver kompilieren. Da habe ich dann abgebrochen. Der Installer erkennt, dass der Proxmox-Kernel nicht binär unterstützt wird.

Installing the NICCLI Configuration Utility

1708782464388.png


Vielleicht mache ich da nochmal weiter.

Ich habe jetzt nochmal eine ConnectX-3 eingebaut. Das passiert, wenn ich das VLAN10 mal an den Broadcom und mal an den Mellanox NIC anklemme:
1708781587362.png
 
Zuletzt bearbeitet:
Du könntest noch das Debian 12.5 aufsetzen und dort deine Tests tätigen. Wenn du die Docker-Engine brauchst kann ich dir helfen diese zu installieren, ist aber eigentlich einfach. Dann noch das KVM und so hättest du deine eigene Virtualisierung. Beim KVM weiß ich aber praktisch nicht, wie man dies umsetzt. Ich arbeite aktuell nicht so sehr mit virtuellen Maschinen und brauche die aktuell nicht. Müsste mich erstmal selbst dort einlernen drin.
 
Danke für deine Ideen. Es gibt auf dem ESX-Rechner einige VMs die migriert werden sollen. Unter anderem mit Windows. Die lassen sich leider nicht so einfach dockerisieren.

Habe jetzt Open vSwitch ausprobiert >> Leider das gleiche Verhalten.

Code: 
auto lo
iface lo inet loopback

iface eno1np1 inet manual

auto eno1np0
iface eno1np0 inet manual
    ovs_type OVSPort
    ovs_bridge vmbr0
    ovs_options trunks=2,10

iface eno2np1 inet manual

iface enxbe3af2b6059f inet manual

iface enp193s0 inet manual

auto vlan2
iface vlan2 inet static
    address 172.20.2.37/24
    gateway 172.20.2.1
    ovs_type OVSIntPort
    ovs_bridge vmbr0
    ovs_options tag=2

auto vmbr0
iface vmbr0 inet manual
    ovs_type OVSBridge
    ovs_ports vlan2 eno1np0
 
Habe den Sliff jetzt kompiliert bekommen. Das Problem ist eine geänderte Kernelschnittstelle ab 6.4.
Hier ist der Fix bei einem anderen Modul: https://github.com/gnif/LookingGlass/pull/1076/commits/a498c89383333e124e6adcbd5f4bd428f9567b06
Wenn das von der Idee her in den SliffDriver.c einbaut, dann kompiliert es und man kann das sliff Kernelmodul installieren.

Grundsätzlich läuft dann niccli. Ich war dann aber etwas erschrocken, dass mir der Adapter als "Card not in operational state" angzeigt wird.

Also Windows installiert. Dort ist die Welt für den Anwender etwas einfacher. Aber gleiches Ergebnis:
1708856358546.png

Von Supermicro ist diese Firmware installiert:
1708857132908.png
 
KVM und QEMU sind keine Docker-Container. Und eine VM als LXC-Container bei Proxmox ist auch nochmal ein anderer Container-Typ.

Leider kenne ich mich mit KVM und QEMU ebenfalls praktisch zu wenig aus. Da müsstest du dich mal einarbeiten, wird aber vermutlich ebenfalls viele Stunden einnehmen.
 
Nochmal ein Tipp für alle, die am niccli verzweifeln.

Das alte Tool bnxtnvm befindet sich bei Broadcom im "Archive". Man findet es unter dem Downloadtitel "Broadcom NetXtreme-E Standalone Firmware Upgrade Utility".

Unter den aktuellen Downloads wird nur noch das neue niccli gelistet, welches ohne zum System passenden sliff Treiber nicht funktioniert. Das alte Tool funktioniert einfach.

1708979678012.png

Beitrag automatisch zusammengeführt:

Sehr ärgerlich finde ich die Updatepolitik von Supermicro. Die 214.x Firmwareversionen sind steinalt. Installiert ist 214.4.9.10.

Die älteste die Broadcom noch im Archiv hält ist die 216.0.182.0 von 8.12.2020.
1708980136044.png


In den sog. "bundled images" sind dem Imagenamen nach auch passende Images für die Onboardcontroller.
1708980112180.png


Das ist auch ein BCM957416A4160.pkg drin was theoretisch für mein Supermicro-Mainboard passen müsste.

Code: 
root@pvehost1:~/bcm# ./bnxtnvm device_info

Device Interface Name       : eno1np0
MACAddress                  : 3c:ec:ef:9d:ac:90
Base MACAddress             : Not Available
Device Serial Number        : N/A
Chip Number                 : BCM57416
Part Number                 : BCM957416A4160
Description                 : Broadcom P210tep NetXtreme-E Dual-port 10GBASE-T Ethernet PCIe Adapter
PCI Vendor Id               : 14e4
PCI Device Id               : 16d8
PCI Subsys Vendor Id        : 15d9
PCI Subsys Device Id        : 16d8

Das worüber das Tool vermutlich stolpert ist die PCI Subsys Vendor Id 15d9 == Super Micro Computer Inc.

Da ist jetzt die Frage ob der Leidensdruck hoch genug ist, um das mit Gewalt reinzuprügeln. Das ist er bei mir aktuell jedenfalls nicht.

Aber ich muss echt sagen, dass ich von Supermicro da Megaenttäuscht bin, einfach mal so 5 Jahre an Firmwarebugfixes nicht mit auszuliefern. Schwaches Bild.
 
Zuletzt bearbeitet:
Update:

Zu früh gemeckert. Ich hab den Supermicrosupport angeschrieben und ein Update wurde quasi instant zur Verfügung gestellt. Top Service!

Sieht dann nach dem Update so aus:
Code: 
root@pvehost2:~/broadcom_firmware_supermicro/Linux_Driver/netxtreme-bnxt_en-1.10.2-226.0.141.0# ethtool -i eno1np0
driver: bnxt_en
version: 5.15.143-1-pve
firmware-version: 226.0.145.0/pkg 226.1.107.1

Mit dem 6.5er Kernel lies sich das Firmwareupdate nicht installieren. Ich habe es dann unter Windows aktualisiert.

Sieht dann unter Linux so aus, also aktuell Firmware 216.1.107.1. Die ist von Mitte 2023.
1709070848348.png


Änderung ist allerdings minimal. Es werden in einer VM mit iperf3 häufiger 9.40 Gbit/s empfangsseitig erreicht, aber keineswegs durchgängig.

Also hab ich mir dann doch nochmal die Mühe gemacht und bin runter auf Proxmox 7 mit dem von Broadcom unterstützten 5.15er Kernel. System neu aufgesetzt. Vorher die VM gebackupt und im neuen System restored. Schon mit dem Standardtreiber von Proxmox kommen fast glatte 9.4 er Werte.

Auch das Bauen des von Supermicro bereitgestellten Treibers ist unter Proxmox 7 völlig unproblematisch.
1709070758727.png


Die aktuelle Messung sieht so aus:
1709070577716.png


Perfekt. So hab ich mir das vorgestellt!

Die CPU-Last in der VM ist auch deutlich geringer. Nie über 25%.


tl;dr
  • Auf der unterstützten Linux Kernelversion 5.15 ist alles gut. Auf der bleeding Edge 6.5 eher nicht.
  • Auf jeden Fall Supermicro direkt anschreiben, um die gewünschten Firmwareupdates zu erhalten.
 
Zuletzt bearbeitet:
Unglaublich. Gratulation. Also jetzt bist ganz zufrieden und kannst auch Proxmox umwechseln? Oder fehlt noch was?
 
Anmelden, um zu antworten.

Ähnliche Themen

M
[User-Review] Switch im Lesertest: Testet den QNAP QSW-M2108R-2C!
Antworten
6
Aufrufe
742
mbrhwl
M
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh