[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

[pwnbert]

Ja, eh klar, dass es 25g nicht "geschenkt" gibt.

Unsere 57412 (also die 10GBE Variante) glühen in unseren HPE Chassis mit 95°C vor sich hin.

Ist warhscheinlich auch dem kleinen Kühlkörper geschuldet, danke mal für die Info.
Im Datenblatt der HPE Broadcom BCM57414 stehen knappe 10W Leistungsaufnahme, könnte gefühlt schon hinkommen mit dem Kühlkörper und dem "vor sich hin glühen".

Ich muss das mal bissl beobachten und "evaluieren", ob ich das "brauche" oder nicht... wenn 10g und 25g sich aber nur durch ein paar € in der Karte unterscheiden, ist klar, was es wird, wenn ich mir das schon antue.

Vielleicht kann ja noch jemand etwas zu dem Thema sagen, inwiefern es da ein "idle" gibt bzw. wie das Verhalten ist wenn 1/2 Ports verwendet wird (ob das gleich bleibt oder halbiert).

 

[besterino]

Ist recht simpel: „brauchen“ tust Du das nicht.

Wenn du’s aber haben willst, willst Du aber im Zweifel vor allem eine NIC, die möglichst wenig Zickereien macht, und das sind dann im Zweifel welche mit Intel oder Mellanox Chipsatz (wie auch immer gebranded) und vielleicht auch noch Chelsio (liefen bei mir bisher auch völlig problemlos). Broadcom hab ich bisher nur genommen, wenns halt auf dem gewünschten Mainboard fest verbaut war.

Der Stromverbrauch ist da dann in meinen Augen eher so nebensächlich…

 

[craxity]

Laut Datenblatt aus diesem Test scheint die ConnectX-4 LX relativ sparsam zu sein:

Mellanox ConnectX-4 Lx Mini-Review Ubiquitous 25GbE

Our Mellanox ConnectX-4 Lx 25GbE review shows why the industry has broadly adopted these cards and we have been buying them for our 25GbE lab infrastructure

www.servethehome.com

Ich persönlich bleibe noch bei 10GBase-T für die Clients, weil das einfach und günstig ist.

 

[pwnbert]

Ist recht simpel: „brauchen“ tust Du das nicht.

Jein, 2.5g ist halt teilweise schon lame und die Datenträger im NAS können deutlich mehr, der Spinning Helium Rust ebenso wie die SSD. Ich hab jetzt recht viel aufs NAS ausgelagert.
Mich "nervt" etwas, dass das Netzwerk nicht mal mit HDDs (im Verbund) mithalten kann. Wobei es realistisch schon okay ist.

=> Ist auch die Frage, inwiefern mir das 10/25g hilft beim Transfer von "Kleinscheiß" (über SMB), die SSDs in NAS und PC sind ansich schnell genug (wenn ich jetzt im PC von SSD auf SSD kopiere), inwiefern der ganze Overhead vom SMB dadurch beschleunigt wird, ist eben die Frage... wenn das um den Faktor 10 schneller wird von 2,5g auf 25g, dann wäre das schon eine Überlegung.
Ist wohl was, was man am Ende probieren müsste.
Hätte ich hier 25g, würde ein Auto-Backup "keine" Bandbreite fressen und so - ich red mir das hier gerade schön ...

Broadcom

... das Realtek der Server?

Laut Datenblatt aus diesem Test scheint die ConnectX-4 LX relativ sparsam zu sein:

Ich finde da Typical 10W, max. 15W (gerundet).

random reddit user:
I bought the cards and the DAC cable. Works perfectly, however with a BIG caveat.
Although having support to ASPM, the machine onlyu goes up to P state 2 when this card is installed, so the iddle power usage of the machine I installed the card jumps from 14W to roughly 50W.

Ich seh schon, der übliche Spaß mit Serverhardware.

Ich werd mal bissl drüber schlafen, evtl. kann ich ja mal sowas abgreifen, um es etwas austesten zu können, ich hab da schon so nen Plan.

 

[craxity]

Ich finde da Typical 10W, max. 15W (gerundet).

OK. Ich finde "Typical Power" 7.4W mit zwei aktiven Ports.

 

[pwnbert]

Tja gibt wohl jeder Hersteller irgendwie anders an, was er so misst in welchem Betriebszustand. Ist wahrscheinlich recht dehnbar und eine Frage der Interpretation, was "typisch" ist...

mit zwei aktiven Ports.

Ist die Frage, obs mit einem Port weniger wird, oder ob der Chip immer gleich läuft, ich kenn die Architektur von dem Kram nicht.

Kein Plan inwiefern das Last- und Belegungsabhängig ist, bzw. ob die Chips immer das gleiche ziehen. Im Prinzip ist das die/meine zentrale Frage.
Vielleicht schaut ja einer der Berufs-Vollzeit-Nerds hier vorbei, der dazu praktische Erfahrung bzw. fundiertes Wissen hat... würde mich freuen drüber.

 

[java4ever]

Ich seh schon, der übliche Spaß mit Serverhardware.

Jau. Stromsparen mit C-States ist da nicht.

Ich hab bspw. Großflächig ASPM deaktiviert, nachdem ich auch auf der Workstation mit Dual EPYC 7773X + ConnectX-6 Dx n Haufen PCIe error hatte. ASPM aus -> Keine PCIe Fehler mehr.

 

[besterino]

Heute sind meine 2 CX5 angekommen. Sind beide HPE-branded und laufen mit meinen Transceivern schon mal nicht. Meine 100G-Transceiver sind entweder FS-generic oder Mellanox gebrandet. Geht weder noch. (Quergetestet mit den Transceivern, die in meinen CX4 anstandslos laufen.)

Bevor ich aber jetzt noch HPE-branded Transciever besorge, versuch' ich mal wieder nen crossflash auf 08/15 Mellanox Firmware: geht out of the box auch nicht, da HPE die Dinger mit einer "Secure-FW" ausstattet, siehe vorletzte Zeile:

Image type:            FS4
FW Version:            16.35.1012
FW Release Date:       28.10.2022
Part Number:           872726-B21_Ax_Bx
Description:           HPE InfiniBand EDR/Ethernet 100Gb 2-port 841QSFP28 Adapter
Product Version:       16.35.1012
Rom Info:              type=UEFI version=14.28.15 cpu=AMD64
                       type=PXE version=3.6.804 cpu=AMD64
Description:           UID                GuidsNumber
Base GUID:             9440c9ffff816074        8
Base MAC:              9440c9816074            8
Image VSD:             N/A
Device VSD:            N/A
PSID:                  HPE0000000009
Security Attributes:   secure-fw
Default Update Method: fw_ctrl

Sowas gehört sich doch nicht! Aber das schreckt natürlich nicht auf Dauer ab. Etwas Recherche ergibt, dass man wohl einen recovery-port (FNP) kurzschließen kann und dann...

Naja. Firmware-Flash läuft gerade. Wünscht mir Glück.

 

[besterino]

Hmm… Mist. Flash geht durch, aber wenn man den Jumper dann entfernt taucht nach dem Reboot gar keine Karte/Ports mehr auf.

Hab dann mal ne Original HPE Firmware geflashed und dann waren beide Ports wieder da.

Jemand eine evtl. noch eine Idee, wie ich daraus eine normale Mellanox machen kann? Oder muss ich echt einen HPE-Branded Transceiver nehmen?

 

[sch4kal]

Hmm… Mist. Flash geht durch, aber wenn man den Jumper dann entfernt taucht nach dem Reboot gar keine Karte/Ports mehr auf.

Hab dann mal ne Original HPE Firmware geflashed und dann waren beide Ports wieder da.

Jemand eine evtl. noch eine Idee, wie ich daraus eine normale Mellanox machen kann? Oder muss ich echt einen HPE-Branded Transceiver nehmen?

Ich hab dieselbe Karte, bei mir frisst er ohne Probleme Brocade Codierte Flexoptix DACs.

 

[besterino]

Sowas hab ich grad nicht da. Dann kann ich auch gleich HPE/Aruba branded bei FS bestellen…

@sch4kal : die stecken bei Dir aber nicht in einer HP Maschine? Nicht, dass die Karten überhaupt nur in HP Systemen laufen…

 

[sch4kal]

@sch4kal : die stecken bei Dir aber nicht in einer HP Maschine? Nicht, dass die Karten überhaupt nur in HP Systemen laufen…

Nein, Selbstbau-Epyc Server.

 

[besterino]

ok. Wäre aber schon komisch, wenn das Ding neben HPE zwar noch Brocade frisst, Generic oder Mellanox aber nicht... ist alles schon wieder so lange her, bestimmt übersehe ich irgendwas grad Offensichtliches / Simples, warum da kein Link aufgebaut wird.

 

[besterino]

Ahem. Ich sag mal so, ich hatte (natürlich) recht. Allerdings nicht mit dem flashen oder sonstigen fancy Gedanken, sondern mit:

bestimmt übersehe ich irgendwas grad Offensichtliches / Simples,

Nachdem ich die Ports von IB auf ETH umgestellt hatte, ging's... Sowohl Mellanox als auch Generic branded... *seufz*

 

[danielmayer]

Mensch Bub. Der Pioneer hier vergisst die eigene Arbeit.... Vor fünf Jahren. Hui. Zeit rennt...
Aber schön, dass es läuft!

 

[besterino]

Das kommt davon, wenn die Dinge einfach unauffällig laufen.

Seit damals hat sich anscheinend tatsächlich einiges getan. Z.B. kann heute ein popeliges Win Pro SMBdirect (RDMA in einfach), das war auf Clientseite seinerzeit noch Win For Workstations vorbehalten.

Muss aber jetzt erstmal für Testzwecke wieder nen Win-Server dafür aufsetzen…

Beitrag automatisch zusammengeführt: 26.01.2024

Isse gute Preis? Does it run RDMA?

Mellanox SB7890 36x 100GbE QSFP28 2PSU InfiniBand Switch Warranty | eBay

2x HP 544+FLR-QSFP InfiniBand FDR Network Card 10Gb/40Gb 764285-B21 764737-001. 10/100/1000Mb/s Ethernet ports (1x System reset button). Redundancy Hot swappable redundant power supplies 2x 460W, AIR Flow - fans.

www.ebay.de

 

[java4ever]

Isse gute Preis? Does it run RDMA?

Nein. Ja.

Das ist ein unmanaged Infiniband switch (KEIN Ethernet!). Würde keine 900€ dafür zahlen. Preisniveau aktuell ist recht noch

 

[pwnbert]

Angenommen, man nimmt dieses 60€ Gigabyte Board (so mit Ryzen 5600 und etwas ECC RAM), steckt in den x16 Slot eine 4x 25g SFP28 Karte, in den x4 Slot eine 4x 2,5 GbE Karte und spielt ne Router/Firewall Software drauf...

... abgesehen davon, dass das Ding nicht sparsam wäre (sind die anderen 25g Switches aber auch nicht)... hätte man sich nen hübschen Router/Switch geschaffen, oder ist das nicht geeignet, weil man für die Bandbreite die speziellen FPGAs bräuchte, die in solchen Geräten normalerweise arbeiten?

Bloß neugierig weil... naja.

 

[mrpasc]

Routing über die CPU würde schon funktionieren, switching aber nicht, das sollte schon ein dedizierte Switch ASIC sein. Latenz über CPU viel zu hoch.

 

[java4ever]

2n-clx-cx556a — FD.io CSIT-2302.11 master documentation

Bei der Latenz bist du selbst mit viel Hass (DPDK + VPP) um gute Faktor 5 höher als ein ASIC für switching. Ob das verkraftbar ist, musst man selbst wissen.
Aber wenn man das richtig aufzieht (VPP + DPDK), dann ist das schon noch relativ flott.

 

[p4n0]

Hallo zusammen, ich weiß mein Anliegen passt hier thematisch nicht ganz rein, jedoch weiß ich dass ihr hier allesamt kompetent seid und meine warscheinlich laecherliche Frage aus dem FF schuetteln koennt
Ich werde sehr warscheinlich in absehbarer Zeit einen AON GF Anschluss bekommen. Hierfuer moechte ich logischerweise meinen eigenen Router verwenden.
Das ist eine virtualisierte PFSense auf meinem ESXi 7 Host. Aktuell haengt das Modem per RJ45 an einer dedizierten NIC welche an ein VSWITCH (MODEM) am ESX geht.
Genau dieser Switch haengt auch an der PFSense am WAN Port. Darueber laeuft mein Kabel-Internet.

Kann ich genau das gleiche Setup verwenden, um bei dem neuen ISP Online zu kommen?
Die setzen PPPoE ein und ich braeuchte folgendes Modul: SFP Transceiver, LC/APC-Simplex, 1000BASE-BX-U, Singlemode Fiber, TX1310nm/RX1490nm, 10KM
Kann ich das DIng eifnach in jede x-beliebige SFP Karte stopfen und an meinen VSWITCH am ESX hängen?

Vielen lieben Dank fuer eure Unterstuetzung. Habe von dem optischem Zeug naemlich recht wenig Ahnung :/

 

[sch4kal]

Du kannst das BiDi Modul natürlich in deine NIC stecken und sofern die Kodierung des SFP zur NIC passt oder der NIC es egal ist, wird das auch so laufen.

Beim vSwitch wäre ich vorsichtig und würde eher den NIC Port an die Sense weiterreichen, die vSwitche verhalten sich manchmal alles Andere als Transparent, vorallem wenn man evtl. noch den Traffic mit einem VLAN Tag versehen muss und es sich um PPP handelt. Oder man setzt eine dedizierte Hardware als Firewall ein, dann läuft das natürlich auch wie am Schnürchen.

 

[p4n0]

@sch4kal Kann ich mir einach dieses Set hier organisieren?
--> https://www.its-haehnlein.com/Shop/...ie-x4-10gbe-nic-sfp-inkl.-3m-cisco-kabel?c=45

Eine Karte wuerde ich in meinen ESX Host stopfen. In der Hoffnung dass der provider SFP darin laeuft. Kann ich das irgendwie im Vorfeld klaeren?

Die andere Karte wandert in meinen priv. Windows PC, habe noch einen sfp+ am Switch frei, waere nur spielerei aber 10G am PC haben ist besser als 10G brauchen

Wichtig ist: Ich habe nur einen x4 slot im Server frei. Daher fallen die x8 nics raus.

 

[sch4kal]

@sch4kal Kann ich mir einach dieses Set hier organisieren?
--> https://www.its-haehnlein.com/Shop/...ie-x4-10gbe-nic-sfp-inkl.-3m-cisco-kabel?c=45

Eine Karte wuerde ich in meinen ESX Host stopfen. In der Hoffnung dass der provider SFP darin laeuft. Kann ich das irgendwie im Vorfeld klaeren?

Die andere Karte wandert in meinen priv. Windows PC, habe noch einen sfp+ am Switch frei, waere nur spielerei aber 10G am PC haben ist besser als 10G brauchen

Wichtig ist: Ich habe nur einen x4 slot im Server frei. Daher fallen die x8 nics raus.

CX3 wird mW ab ESXi 7 nicht mehr supported, nur CX3-Pro. Inwiefern man da Treiber nachladen kann weiß ich auf die Schnelle nicht.
In Windows laufen die, da hab ich auch eine CX3 drin. Ich find das Angebot aber nicht gut, schau mal nach ConnectX4 25GbE NICs mit passendem DAC (https://www.piospartslap.de/Mellano...0SFP28-PCIe-x8-30-25GbE-Adapter-840140-001-LP). Die können auch mit 10G/SFP+Transceivern bestückt werden.

 

[craxity]

CX3 wird mW ab ESXi 7 nicht mehr supported, nur CX3-Pro.

Sicher? Sind die nicht hier drin, wenn die aktuelle firmware drauf ist?

https://www.vmware.com/resources/compatibility/search.php?deviceCategory=io&details=1&partner=55&keyword=ConnectX-3&page=2&display_interval=10&sortColumn=Partner&sortOrder=Asc

Die flogen erst mit ESXi 8 raus: https://kb.vmware.com/s/article/88172

 

[mrpasc]

Im ESXi 8.x sind die rausgeflogen. 7 bis U3 dürfen sie noch.

 

[p4n0]

heyho, danke fuer eure Beitraege.
Die x4 Karte wird nicht in meine Moehre passen, da ich nur folgende pci-e slots auf dem board habe:
pci-e 5.0 x16 (in verwendung, sas hba)
pci-e 5.0 x4 (frei)
pci-e 4.0 x1 (frei, pch)

Kann ich eventuell den 16er Slot durch nen Riser auf x8x8 aufteilen? Board machts softwareseitig mit. Was braeuchte ich fuer nen Adapter dafuer?

danke und sorry dass ich euren Thread hier kaper.

 

[besterino]

Ich hab hier mal wieder bisserl rumgespielt, heute mal Direktvergleich NTFS vs. ZFSonWindows über 100Gbit@SMBdirect/RDMA. Ohne besonderes Tuning. Fazit: NVME Storage ist zu lahm.

 

[littledevil]

Mal ein paar fragen in die Runde bzgl. Storage OS für videoschnitt mit einem user.
möchte zu meinem Videosystem ne direkte Verbindung mit 2x 40G Mellannox x3.
Kann man das später noch auf 2 user aufbohren, wenn man ne dualmport karte im server nimmt?
Welches OS nehme ich, um auf 4x 2TB per 4x m.2 riser zu schneiden? Wenn da effektiv 20-30 Gbit raus kommen, wäre ich zufrieden, aber es muss halt ne brauchbare Latenz haben.
Bzgl. Pcie Port für die karte bin ich leider auf pic 3.0 x4 beschränkt.
Gigabyte Mainboard MC12-LE0 Re1.0 + 5600x
unraid wird vermutlich nicht die performance bringen.
Eine art snapshot raid würde mir ggf. genügen d.h. die pariität beim schreiben darf hern etwas hinterher hinken. Das Ausfall riskio ssd schätze ich eher gering ein.
Als zweite ebene 2x 3,5 hdds, die die meiste zeit schlafen sollen und automatisch die ssds spiegeln.

Truenas scheint das mit den schlafenen hdds nicht zu können

Ein system, was auf hardware-raid o.ä. angewiesen ist, ginge nur, wenn der controller dann auch die m.2 anbinden kann. Könnte ja ggf auch über u2 auf m.2 adapter laufen.

sst das hier oder soll ich das in einem anderen Bereich posten?

 

[besterino]

Der Netzwerkteil passt, zum Rest bekommst du wahrscheinlich woanders mehr Feedback.

In dem Gigabyte MC12 wirst Du eh auf ca. 3-4GB/s beschränkt sein, wenn Du in dem x16-Slot die 4 NVMe unterbringst und die NIC im x4-Slot steckt.

Unabhängig davon würde ich statt 2x40 lieber 1x 100Gbit nehmen - kannst dann auch gleich eine Dualport nehmen und sparst dir eine zweite Karte sowie den PCIe-Slot dafür.

Zum OS: geringe Latenz bekommst Du vor allem über RDMA. Das aufzusetzen ist aber nicht ganz trivial und noch am einfachsten, wenn auf beiden Seiten Windows läuft (auf Server-Seite dann Windows Server, geht auch mit dem kostenlosen 2019er Hyper-V). Ist dein Video-Schnitt-Client denn Windows?