[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Der "defekte" Quanta T4048-IX8 (48x25G SFP28, 8x100G QSFP28) wurde übrigens erfolgreich wiederbelebt.

Hatte eben mal die Eingebung, den DIMM in der Kiste gegen einen DIMM aus einem SB7700 zu tauschen... Und siehe da: Die Kiste bootet.
Blödes Billig-BIOS, das einen defekten DIMM nicht meldet...

Anyway, jetzt kaufe ich mal DDR3 SODIMM ECC... Das ist schon eher sehr exotisch
 
Die 2x AS7716-32X sind verkauft, jeweils 900€ und Versand nach Indonesien.

Der Quanta geht nach Schweden zu einem kleinen lokalen ISP.

Schon bestellt:
1x ICX7650-48ZP
2x ICX7450-48 (weil günstig, $150 pro Stück) + 40G Module
1x ICX6450-24
48x 100G transceiver

Die Tage wird bestellt:
5x SN2700 (nein, nicht alle für mich)


Warum? Aus dem gleichen Grund, aus dem sich n Gorilla ne Banane mitsamt Schale reinkloppt: Weil er's kann.
 
Wenn der Luxxer mit seiner Hardware fertig ist, reicht sie noch einem kleinen ISP in Schweden :fresse:
 
Die 2x AS7716-32X sind verkauft, jeweils 900€ und Versand nach Indonesien.

Der Quanta geht nach Schweden zu einem kleinen lokalen ISP.

Schon bestellt:
1x ICX7650-48ZP
2x ICX7450-48 (weil günstig, $150 pro Stück) + 40G Module
1x ICX6450-24
48x 100G transceiver

Die Tage wird bestellt:
5x SN2700 (nein, nicht alle für mich)


Warum? Aus dem gleichen Grund, aus dem sich n Gorilla ne Banane mitsamt Schale reinkloppt: Weil er's kann.
Was hast du für den 7650-48ZP bezahlt wenn ich fragen darf ?
 
In den USA gibt's gerade noch günstige Arista 7050QX-32 mit optischen Mängeln für unschlagbare $140


3 noch da. Laut meinem Kontakt bei Dedicated Networks Inc (Verkäufer) tatsächlich inkl. Netzteile, Lüfter und Railkit. Schäden wohl rein optischer Natur.

Schöne 40G core switche wenn das Budget nicht für 100G reicht. Und im Gegensatz zu Mellanox SX6036 sollten die Aristas auch keine Bugs in MAGP (bzw. Arista nennt es VARP) haben wo nach einigen Stunden random nur noch 100MBit/s durchgehen
 
In den USA gibt's gerade noch günstige Arista 7050QX-32 mit optischen Mängeln für unschlagbare $140


3 noch da. Laut meinem Kontakt bei Dedicated Networks Inc (Verkäufer) tatsächlich inkl. Netzteile, Lüfter und Railkit. Schäden wohl rein optischer Natur.

Schöne 40G core switche wenn das Budget nicht für 100G reicht. Und im Gegensatz zu Mellanox SX6036 sollten die Aristas auch keine Bugs in MAGP (bzw. Arista nennt es VARP) haben wo nach einigen Stunden random nur noch 100MBit/s durchgehen
Kann man dem Händler ein Angebot mit realistischeren Versandpreisen schicken ?
 
Kann man dem Händler ein Angebot mit realistischeren Versandpreisen schicken ?
Ja. Generell empfehle ich Dedicated Networks Inc direkt zu kontaktieren. Hab von denen Mengen an Kram gekauft.

Sind aber alle weg.


Diese überteuerten Versandpreise bei Ebay kommen einfach daher, dass das Versandtool bei Ebay absoluter Schrott ist, und du da z.B nicht deinen FedEx oder UPS Firmenaccount mit deinen persönlichen rabattierten Raten anbinden kannst, weswegen du für internationalen Versand quasi einen Worst Case Preis reinschreiben musst



Wenn du 7050QX-32S fürn guten Preis findest (S Version!!), kann ich dir die 7050QX-32 aus USA für nen fairen Preis weiterreichen :P
 
Moin... ich habe folgende Geräte, die ich per 1 GbE SPF (optisch) bzw 10 GbE (optisch) verbinden möchte:

Mikrotik Cloud Router Switch CRS317-1g-16s+
16x SFP+ Switch

Netzwerkkarte Intel x710
4x 10 GbE

Mikrotik Routerboard POE hex
1x SPF 1 GbE

Unifi Switch 16 - 150w POE
2x SPF 1 GbE


Problem: das Thema Verkabelung mit SPF Modulen ist komplett neu für mich, und ich bin mit der Produktvielfalt (exemplarisch www.fs.com / www.cbo-it.de/shop/produkte ) etwas überfordert.

Was wären die richtigen Module + Kabel mit Längen von 0,5 bis 5m, für die o.g. Gerätschaften ?

Was nimmt man für 1 GbE <---> 10 GbE, 1+10 Module, 2x 1 oder 2x 10?

Muss nicht das billigste sein, sondern stabil funktionieren.
 
Huom, Konfusion meinerseits gerade am Start:
Mellanox CX-3 in einem proxmox Host, 2 QSFP+ DACs verbunden mit einem Mikrotik Switch. Nach proxmox Upgrade hat der Host kein Netzwerk mehr über die Karte, die VM an der die Hälfte der Karte durchgereicht ist aber schon...
Code:
mst status
MST modules:
------------
    MST PCI module loaded
    MST PCI configuration module loaded

MST devices:
------------
/dev/mst/mt4099_pciconf0         - PCI configuration cycles access.
                                   domain:bus:dev.fn=0000:06:00.0 addr.reg=88 data.reg=92 cr_bar.gw_offset=-1
                                   Chip revision is: 01
/dev/mst/mt4099_pci_cr0          - PCI direct access.
                                   domain:bus:dev.fn=0000:06:00.0 bar=0xef800000 size=0x100000
                                   Chip revision is: 01
Im Treiber sind 2 VFs auf 2 physische ports gemappt:
Code:
mlxconfig -d /dev/mst/mt4099_pciconf0 query

Device #1:
----------

Device type:    ConnectX3       
Device:         /dev/mst/mt4099_pciconf0

Configurations:                                      Next Boot
         SRIOV_EN                                    True(1)         
         NUM_OF_VFS                                  2               
         LINK_TYPE_P1                                ETH(2)         
         LINK_TYPE_P2                                ETH(2)         
         LOG_BAR_SIZE                                3               
         BOOT_PKEY_P1                                0               
         BOOT_PKEY_P2                                0               
         BOOT_OPTION_ROM_EN_P1                       True(1)         
         BOOT_VLAN_EN_P1                             False(0)       
         BOOT_RETRY_CNT_P1                           0               
         LEGACY_BOOT_PROTOCOL_P1                     PXE(1)         
         BOOT_VLAN_P1                                1               
         BOOT_OPTION_ROM_EN_P2                       True(1)         
         BOOT_VLAN_EN_P2                             False(0)       
         BOOT_RETRY_CNT_P2                           0               
         LEGACY_BOOT_PROTOCOL_P2                     PXE(1)         
         BOOT_VLAN_P2                                1               
         IP_VER_P1                                   IPv4(0)         
         IP_VER_P2                                   IPv4(0)         
         CQ_TIMESTAMP                                True(1)
Außerdem ändere ich auch noch die MAC Addressen, damit ich zwei unterschiedliche habe:
Code:
systemctl status mellanox-vf-mac
○ mellanox-vf-mac.service - Script to manually set MACs to VFs
     Loaded: loaded (/etc/systemd/system/mellanox-vf-mac.service; enabled; preset: enabled)
     Active: inactive (dead) since Tue 2023-08-29 23:37:17 CEST; 6h ago
    Process: 7579 ExecStart=/usr/bin/bash -c /usr/bin/ip link set dev enp6s0 vf 0 mac 02:00:00:00:00:00 (code=exited, status=0/SUCCESS)
    Process: 7604 ExecStart=/usr/bin/bash -c /usr/bin/ip link set dev enp6s0 vf 1 mac 02:00:00:00:00:01 (code=exited, status=0/SUCCESS)
   Main PID: 7604 (code=exited, status=0/SUCCESS)
        CPU: 8ms

Aug 29 23:37:17 pve systemd[1]: Starting mellanox-vf-mac.service - Script to manually set MACs to VFs...
Aug 29 23:37:17 pve systemd[1]: mellanox-vf-mac.service: Deactivated successfully.
Aug 29 23:37:17 pve systemd[1]: Finished mellanox-vf-mac.service - Script to manually set MACs to VFs.
Jedoch kein Netzwerk. Also mal das Netzwerk gecheckt:
Code:
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: eno1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master vmbr0 state UP mode DEFAULT group default qlen 1000
    link/ether 3c:ec:ef:43:d8:5a brd ff:ff:ff:ff:ff:ff
    altname enp4s0
3: eno2: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether 3c:ec:ef:43:d8:5b brd ff:ff:ff:ff:ff:ff
    altname enp5s0
4: enp36s0f0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether a0:36:9f:50:f3:74 brd ff:ff:ff:ff:ff:ff
5: enp36s0f1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether a0:36:9f:50:f3:75 brd ff:ff:ff:ff:ff:ff
6: enp36s0f2: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether a0:36:9f:50:f3:76 brd ff:ff:ff:ff:ff:ff
7: enp36s0f3: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether a0:36:9f:50:f3:77 brd ff:ff:ff:ff:ff:ff
8: enp6s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master vmbr0 state UP mode DEFAULT group default qlen 1000
    link/ether 00:02:c9:3b:3d:60 brd ff:ff:ff:ff:ff:ff
    vf 0     link/ether 02:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, vlan 4095, spoof checking off, link-state auto
    vf 1     link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, vlan 4095, spoof checking off, link-state auto
9: enp6s0d1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether 00:02:c9:3b:3d:61 brd ff:ff:ff:ff:ff:ff
    vf 0     link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff, vlan 4095, spoof checking off, link-state auto
    vf 1     link/ether 02:00:00:00:00:01 brd ff:ff:ff:ff:ff:ff, vlan 4095, spoof checking off, link-state auto
10: enp6s0v0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether 42:b7:75:e8:67:44 brd ff:ff:ff:ff:ff:ff
11: enp6s0v1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT group default qlen 1000
    link/ether 16:42:1f:96:e4:39 brd ff:ff:ff:ff:ff:ff
12: vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
    link/ether 3c:ec:ef:43:d8:5a brd ff:ff:ff:ff:ff:ff
Das sieht soweit richtig und erwartet aus - eno1 ist die Verbindung die ich gerade nehme (backup port), hängt an der bridge vmbr0 vom proxmox. enp36 ist eine an eine VM durchgereichte Intel-Karte, irrelevant für hier. enp6s0 und enp6s0d1 sind die zwei ports um die es geht. und port 2 - also enp6s0d1 - funktioniert einwandfrei, die VM ist erreichbar.
Mal auf Verdacht ifdown und ifup gemacht gegen enp6s0:
Code:
ifup enp6s0
error: enp6s0: failed to set vid `{127, 128, 129, 130, 131, ...... (eingekürzt) ..... 4094}` (cmd '/sbin/bridge -force -batch - [vlan add vid 127-4094 dev enp6s0 ]' failed: returned 1 (RTNETLINK answers: Input/output error
Command failed -:1
))
Ich würde mal sagen hier liegt das Problem? Was fehlt, was mache ich falsch? Fragende Grüße!
 
Man ignoriere den Post, hab erst einmal die gute alte x520 rausgeholt, 10g ist jetzt nichts was unbedingt weh tut...
 
Moin, jemand Erfahrung mit Recovery von Mellanox ConnectX-6 DX im Livefish Mode?

Jumper ist angelötet, Livefish Mode blinkt konstant Orange.

Trotzdem bekomme ich beim Image flashen :

flint -d mt530_pciconf0 --psid MT_0000000437 -i fw-ConnectX6Dx-rel-22_38_1900-MCX623106AS-CDA_Ax-UEFI-14.31.20-FlexBoot-3.7.201.signed.bin -ocr --nofs --allow_psid_change burn

-W- Firmware flash cache access is enabled. Running in this mode may cause the firmware to hang.
-E- Cannot open Device: mt530_pciconf0. MFE_NO_FLASH_DETECTED

Bei Karte 1 hat es Problemlos funktioniert, Karte 2 zickt rum. Gibt es noch was zu beachten?
 
Bei Karte 1 hat es Problemlos funktioniert, Karte 2 zickt rum. Gibt es noch was zu beachten?
Eigentlich nicht. Ich habe 8 Karten geflasht, 3 stehen noch aus.

Im Notfall hab ich einen Mellanox MTUSB-1 da (war ursprünglich zum flashen gedacht, aber nun doch nicht benötigt). Im Zweifelsfall könntest du noch die 3 pins für I²C anlöten und die Karte rüberschicken, dann versuche ich mein Glück.

P.S. Jumper für Livefish mode müssen nicht angelötet werden. Eine Pinzette reicht. Die muss auch nicht für den ganzen Flashvorgang drinstecken. Reicht wenn die drinsteckt, bis die Karte gebootet ist, wenn ich mich recht erinnere.
 
Ja mit der Pinzette weiss seit heute auch, hab nämlich schon Angst gehabt das ich was falsch angelötet habe.

Gern nehm ich dein Angebot an, weil komme seit 2 Tagen nicht weiter. Werde morgen schnell die 3 Pins anlöten und alles weitere schreib ich dir als PM. Vielen Dank Grosser!
 
Mal ne Frage, sind (alte) MELLANOX MCX354A-QCBT ConnectX3 2 PORT QSFP 40 Gbe bzw. Mellanox MCX311A-XCAT CX311A ConnectX-3 EN 10G Ethernet 10GbE SFP Karten eigentlich mit nem 100 Gbe Switch (Mikrotec CRS504-4XQ-IN) kompatibel ?
 
So, ma bissl mit dem Spare daheim rumspielen. :banana:
photo_2023-10-02_20-41-33.jpg
 
Hat sogar externe wlan antennen das Ding? :d
Was ist das ueberhaupt? ^^
 
Hat sogar externe wlan antennen das Ding? :d
Was ist das ueberhaupt? ^^
Das ist ein Juniper MX204

Die "Antennen"anschlüsse an der Vorderseite sind aber nicht für Antennen, sondern für 10MHz Clock und PPS (Pulse per Second) Signale, meistens von GPS generiert und erlauben dem Router damit $Magie für Timestamping Kram zu treiben.

Ist besonders relevant im Bereich 5G / Mobilfunk.
 
Im konkreten sind das in der Regel GNSS (wo GPS nur eine Möglichkeit ist) oder IREG Empfänger.
Das ist für all die Geräte interessant, deren Netzwerkinfrastruktur selber nicht so gut ist um eine übergreifende Zeit zu erhalten. Normal löst man das ja über PTP oder NTP.

Wenn aber die Verbindung, worüber die Signale kommen, nicht gut läuft, das QoS also eher schlecht ist, kann man auf diese "lokalen" Protokolle nicht setzen. Also muss eine externe Quelle her.

Ist am Ende nichts anderes als ne Funkuhr, nur dass man eben auf bessere Reichweiten setzt und da bieten sich Satelliten an, weil die in der Regel auch auf dem letzten Berggipfel noch funktionieren.

Das ist idR für Edge Geräte interessant. Also z.B. für Wetterstationen, Windkraftanlagen und was sonst noch so über schlechte Verbindungen angebunden ist, aber dennoch eine saubere Zeit braucht. Das wird bei diesen ganzen Smart City, Auto what ever Kram auch relevanter, da die Daten in aller Regel eine zeitliche Komponenten brauchen werden und das wiederum bedeutet, dass man irgendwie eine übergreifende und gemeinsame Basis braucht und da helfen lokale Zeitserver idR nicht.
Die Switche können dann wiederum selber einen Zeitserver stellen. In sehr speziellen Fällen ist das auch für (übergreifendes) echtzeitfähiges Ethernet eine Voraussetzung. Wobei dann in der Regel diese Signale nur für eigene, lokale Zeitsysteme (PTP/NTP) genutzt werden.
 
Weiß jemand, ob man

HPE 544+FLR-QSFP+ Dual Port 40G QSFP+ (X-3 Pro) InfiniBand Ethernet Server FlexibleLOM Adapter - 764737-001 / 764285-B21

umbranden kann, sodass sie in Server/PC‘s laufen, die nicht von HP kommen und wenn ja, hat jemand ein entsprechenden Link für Firmware und Flash?
 
Ja, geht. Aber die HP-Karten funktionieren grundsätzlich auch als HP-Version in non-HP-Hardware. Zumindest bei Tyan und Supermicro kein Problem. Aber ein wenig Recherche deinerseits wird notwendig sein. Ein fertiges Paket gibt's nicht.


Hier mal ein wenig Lektüre, aber bezogen auf die X3-nonPro.
 
Die Frage ist doch erstmal, warum will man auf eine FlexROM Karte eine andere Firmware draufpacken?
In welche nonHP Hardware soll die denn eingebaut werden, die einen FlexROM-Slot mitbringt?

Der FlexROM-Slot ist HPE proprietär und daher ist es sehr unwahrscheinlich, dass man diesen woanders findet.
Auch wenn der Slot sehr nach PCIe-Standard ausschaut ist das eben kein PCIe-Standard.

Man verwendet zwar ein ähnliches Format, der Slot ist also mech. gleich. Allerdings ist er nicht nur örtlich versetzt, sondern die Karten auch so gebaut, dass man Freiraum vor dem Slot bräuchte.
Weiterhin ist es so, dass der Slot eben keine Pinbelegung nach PCIe-Standard hat. D.h. selbst wenn man die Karte in den Slot bekommt, wird sie eben nicht funktionieren, eher besteht die Gefahr einer Beschädigung.

Es gibt/gab "gebastelte" Adapter, die den PCIe Slot für FLM NICs kompatibel machen, sowohl el. als auch mech.. Das ist also prinzipiell eine Art spezieller Riser, nur nicht gewinkelt.
Da müsste man mal schauen, ob und wo man die findet.
Aber eine spezielle FW sollte erstmal nicht benötigt werden. Das ist gelegentlich andersrum, also non HPE Hardware im HPE Server.
 
Die Frage ist doch erstmal, warum will man auf eine FlexROM Karte eine andere Firmware draufpacken?
In welche nonHP Hardware soll die denn eingebaut werden, die einen FlexROM-Slot mitbringt?

Der FlexROM-Slot ist HPE proprietär und daher ist es sehr unwahrscheinlich, dass man diesen woanders findet.
Auch wenn der Slot sehr nach PCIe-Standard ausschaut ist das eben kein PCIe-Standard.

Man verwendet zwar ein ähnliches Format, der Slot ist also mech. gleich. Allerdings ist er nicht nur örtlich versetzt, sondern die Karten auch so gebaut, dass man Freiraum vor dem Slot bräuchte.
Weiterhin ist es so, dass der Slot eben keine Pinbelegung nach PCIe-Standard hat. D.h. selbst wenn man die Karte in den Slot bekommt, wird sie eben nicht funktionieren…

Ah, ok, gut. Das hatte ich überlesen.
Also lieber Finger weg und nach anderen Karten gucken.

Vielen Dank für‘s Aufmerksam machen.
 
hmmm…


…oder?…


EDIT & Nachtrag: ich lass mir mal die HP-Karte kommen… für etwas über 100 Euro bei der Serverschmiede direkt kann man das ja mal ausprobieren. Wenn’s klappt, kommt die in einen reinen Fileserver und die große VM-Schleuder wird nur noch bei Bedarf angeworfen.
 
Zuletzt bearbeitet:
die 620QSFP28 steht bei mir als 4*25GBit in der Liste .... aber probiers :)
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh