NVIDIA Spectrum-4: Ethernet-Switch mit 64 800 GbE-Ports

[HWL News Bot]

In einem Datacenter wird die Anbindung der einzelnen Komponenten untereinander immer wichtiger. Eine schnelle H100-GPU oder ein Grace-CPU-Superchip sind alleinstehend zwar schnelle Hardware, müssen um in der Leistung skalieren zu können aber untereinander schnell angebunden sein. Einerseits sieht NVIDIA hier mit NVLink einen eigenen Interconnect vor. Dieser ist aber nur für Verbindung innerhalb eines Rechenknotens einsetzbar. Darüber hinaus kommen weiterhin Ethernet-Verbindungen zum Einsatz.
... weiterlesen

 

[hRy]

Preis?

 

[passat3233]

Der Vorgänger Spectrum-3 lag bei ca. 47.000,- €

 

[Hexcode]

Was für das gebotene eigentlich absolut im Rahmen liegt... Ne gute Fortigate kostet auch 40k rum.

 

[Seratio]

Naja, aber ne Fortigate mit nem Switch zu vergleichen, ist auch ein wenig wie Äpfel mit Birnen.
Und das was ich tag täglich so auf der Arbeit an Problemen mit unseren über 500 Fortigates mitbekomme, da ist "gut" auch ne mutige Wortwahl Aber Spaß beiseite.

Was ich an dem Thema immer wieder Interessant finde, ist die im Verhältnis stark steigende Bandbreite. Es ist einfach Wahnsinn was NVidia, Broadcom und Co da mit ihren ASICs hinlegen. Abgesehen davon muss man soviel Traffic auch erstmal hinbekommen. Bis auf die großen Cloud Unternehmen, Internet Exchanges und SuperComputer wird so ne Kiste faktisch auch niemand wirklich brauchen.

Ich persönlich möchte jedenfalls nicht der Admin sein, der eine solche Kiste bei entsprechenden Trafficleveln abrauchen lässt.

Der Preis der Switche wird allerdings auch erst interessant, wenn man noch die entsprechenden Optiken dazurechnet. Ich kenne zwar keine aktuellen Preise für 800G Optiken... Aber selbst mit 64 400G Optiken, ver3-4facht man den Preis schneller als man gucken kann. Und dann hat man eben nur eine Seite bestückt.

 

[Hexcode]

Mir gings bei der Fortigate eher darum das Equipment fürs Datacenter nunmal soviel kostet, weniger um den Funktionsumfang. Zumal was Cisco Liste an Preisen für deren Switche aufruft auch nicht zu vernachlässigen ist - zahlt nur vermutlich niemand die Preise.

 

[Seratio]

Das stimmt allerdings. Listenpreise sind idR nicht mal Richtwerte. Bei entsprechenden Abnahmemengen bzw je nach Projektumfang, sind auch mal schnell 50-70% Rabatt drin.
Wenn man sich die Preislisten von Juniper, Cisco und co anschaut, merkt man auch relativ schnell, dass das nicht ernst gemeint sein kann. Gerade wenn dann simple Kaltgerätekabel für 50-100€ auftauchen

Was mir zu den den Nvidia Switchen gerade noch einfällt. Ich kenne jetzt die Preismatrix von Nvidia nicht genau, aber ich würde bei den Preisen sogar noch vermuten, dass die Kisten nur mit einem ONIE ausgeliefert werden. Lizenzkosten eines ggf. darauf betriebenen Betriebssystems dürften da noch nicht mit inkludiert sein.

 

[Topace]

Reichen da Cat-7 Lankabel oder sollte man da was anderes verwenden? ;-)

 

[passat3233]

Lizenzkosten für die Spectrum 3 liegen wohl um die 15.000,- € für 4 Jahre.
Das Zeugs ist übrigens von Mellanox, NVidia hat die aber vor einiger Zeit übernommen und verkauft das jetzt unter eigenem Namen.

Und was die Kabel angeht:
Die 200/400/800 GBit gehen nur über Multimode-Glasfaser.
Für 40 und 100 GBit reicht noch Cat-8.
Cat-7 reicht nur für 10 GBit.

 

[underclocker2k4]

Und was die Kabel angeht:
Die 200/400/800 GBit gehen nur über Multimode-Glasfaser.

Quelle?
Wie erklärst du dir :

400G QSFP-DD LR4 with dual CDR | 10 km, λ1271-1331 nm, LC-Duplex, Singlemode

Universal QSFP-DD TransceiverUse FLEXBOX in combination with FLEXSOX to configure to almost any vendorFor 400GBASE-LR4 Ethernet linksIntegrated Clock-Data-Recovery (CDR)PAM4 modulated signalSupported Data Rates: 425 Gbit/sUp to 10 km via Singlemode OS2LC-Duplex Connector

www.flexoptix.net

oder

https://www.ieee802.org/3/df/proj_doc/objectives_P802d3df_211118.pdf

Niemand überträgt über eine MMF 200GBE über 10km oder 40km oder noch mehr.
Das gleiche gilt natürlich für 800GBE.
MMF ist bei 100m am Ende. 100m sind aber keine Entfernung, daher brauch man längere Strecken, ja auch bei >100GBE, und das geht nur mit SMF.

Für 40 und 100 GBit reicht noch Cat-8.

Auch hier würde mich für 2. genanntes eine Quelle interessieren.
100GBASE-T ist noch nicht verabschiedet. Aktuell bricht man sich schon bei 40GBE und CAT8 die Füße.
Ob man da jemals 100GBE über CAT8 sehen wird, weiß man nicht. Auch nicht ob man ein CAT9 (oder what ever) braucht und ob man das noch sinnvoll bauen kann, in baldiger Zukunft. (<20Jahre)

 

[Seratio]

10km oder mehr halte ich aber bei einer 800G Verbindung auch eher unrealistisch, dass das jemand auf so einem Gerät nutzt. Die Spectrum 4 Geräte sind ehr für eine L3 Fabric gedacht und werden höchstwahrscheinlich dann als Spine eingesetzt, wenn der Ost/West Verkehr groß werden könnte.
Für Weitverkehrsstrecken zwischen Rechenzentren behilft man sich dann doch meist eher mit einem Router, oder einem WDM.

 

[rossi94]

Ich wusste bis grade gar nicht, dass Nvidia Switches baut. Aber klar, macht Sinn - Sie kennen ihre Workloads und können da besser priorisieren.

Verwenden Sie eine Proprietäre Technik um zwischen GPUs / Rig und Switch Informationen zum Workload auszutauschen? Oder könnte ein anderer OEM das in der Theorie gleich gut abbilden?

 

[Seratio]

Ich wusste bis grade gar nicht, dass Nvidia Switches baut. Aber klar, macht Sinn - Sie kennen ihre Workloads und können da besser priorisieren.

Verwenden Sie eine Proprietäre Technik um zwischen GPUs / Rig und Switch Informationen zum Workload auszutauschen? Oder könnte ein anderer OEM das in der Theorie gleich gut abbilden?

Die Spectrum-4 Kisten sind erstmal mehr oder weniger normale Ethernet Switches und könnten durch andere Hersteller auch ersetzt werden. Bis auf die Preise, Geschwindigkeiten und ein paar Features unterscheiden sich die Geräte meist nie wirklich.

Als alternative zu Ethernet hat Nvidia aber auch irgendwas Infiniband basierendes im Angebot

 

[underclocker2k4]

Ich wusste bis grade gar nicht, dass Nvidia Switches baut.

Tun sie auch nicht.
Das ist die Mellanox-Sparte von NV, die man vor nicht all zu langer Zeit eingekauft hat. Die haben mit GPUs nix am Hut.

Es ist nur eine Möglichkeit von NV im RZ eine Art "Komplett"Paket anbieten zu können.

Beitrag automatisch zusammengeführt: 24.03.2022

10km oder mehr halte ich aber bei einer 800G Verbindung auch eher unrealistisch, dass das jemand auf so einem Gerät nutzt. Die Spectrum 4 Geräte sind ehr für eine L3 Fabric gedacht und werden höchstwahrscheinlich dann als Spine eingesetzt, wenn der Ost/West Verkehr groß werden könnte.
Für Weitverkehrsstrecken zwischen Rechenzentren behilft man sich dann doch meist eher mit einem Router, oder einem WDM.

Dazu braucht man aber nicht 10km voll ausreizen.
MMF ist bereits bei 100m am Ende. Und 100m hast du in Zweifel schon in einem Raum in einem Rechenzentrum ein Problem.
Von Etagenverbindungen oder gar Campusverkabelung ist da noch gar nicht die Rede.

10km Transceiver heißt nicht, dass man 10km auch vollbekommen muss. Schon bei 110m müsste man auf SMF setzen. Ob da nun 0,5km, 2km, 10km oder 40km Transceiver zum Einsatz kommen, ist dabei erstmal egal. Am Ende geht alles >100m über SMF.

Wenn man also den Spine z.B. in einer anderen Etage hat und die Leaf-Switche TOR, dann hast du relativ schnell ein Reichweitenproblem, gerade wenn das RZ keine Studentenwohnung ist.
Und solche Aufbauten gibt es nicht selten. Das ist auch der Grund, warum es mittlerweile Subelemente bei SMF gibt, sprich also -DR, -FR. Primär geschuldet, dass die 100m nicht mehr reichen, aber die 10km nicht aufgezogen werden müssen.

Und den letzten Satz kann ich so auch nicht unterschreiben. Es gibt auch Anwendungen, wo zu zwei RZs hast, die aber wie eins funktionieren. So dass man da nicht zwingend im (echten) Routingbereich unterwegs ist, sondern eben dennoch ein Spine über den Campus strecht.

 

[jdl]

Abgesehen davon muss man soviel Traffic auch erstmal hinbekommen. Bis auf die großen Cloud Unternehmen, Internet Exchanges und SuperComputer wird so ne Kiste faktisch auch niemand wirklich brauchen.

Für HPC ist Ethernet eine schlechte Wahl, da die Latenzen höher sind als mit Infiniband. Die in einem Cluster erzielbare Gesamtrechenleistung hängt aber von der Latenz ab, und nicht von der Bandbreite.

Ich persönlich möchte jedenfalls nicht der Admin sein, der eine solche Kiste bei entsprechenden Trafficleveln abrauchen lässt.

Ich kenne es nur von HPC Infiniband Installationen. Es gibt da keinen zentralen Core Switch sondern Fabrics, d.h. fällt ein Spine-Switch aus, verringert sich nur die Bandbreite im Netz. Der Ausfall eines Leaf-Switches ist da schon ärgerlicher. Aber je nachdem wie die Fabric entworfen wurde (nonblocking oder 2:1 Blocking) hat man da höchstens 24 Knoten verloren. Mittlerweile hängen etwas mehr Knoten an einem Leaf-Switch. Bei >1000 Knoten war das für den Betroffenen ärgerlich, machte aber im Cluster kaum etwas aus. Und für so Fälle gibt es extra Software, die die Rechnung aus dem letzten Snapshot wieder aufnehmen kann.

 

[underclocker2k4]

Der Ausfall eines Leaf-Switches ist da schon ärgerlicher.

Das ist, zumindest im Ethernet-Bereich, weniger das Problem, da man in aller Regel 2 Leaf-Switche aufbaut, woran denn die Nodes redundant angebunden sind und diese dann wiederum redundant an den Spine.
So kann, egal wo, ein Link oder auch ein beliebiger Switch ausfallen und es passiert "nichts".