ISC 2018: Intels Omni-Path mit 200 GBit/s – Fujitsu mit 56 ARM-Kernen

[HWL News Bot]

Neben einer neuen Liste der Top500-Supercomputer stellen einige Unternehmen auf der International Supercomputing Conference 2018 in Frankfurt auch noch einzelne Neuheiten vor. Intel ist in diesem Segment besonders stark und in 95 Prozent aller Supercomputer vertreten. Allerdings ist Intel nur noch an 27 Prozent der neuen Supercomputer beteiligt.Dennoch arbeitet man bei Intel natürlich an zukünftiger Hardware für dieses Segment. Bereits heute spendiert Intel einigen

 

[Knogle]

Hmm, finde ich nicht so besonders, gibt ja schliesslich schon laenger 200GBit/s Ethernet

 

[Don]

Neben der Bandbreite spielen auch die Latenzen eine Rolle und auch diese will Intel mit OPA200 reduzieren.

 

[Knogle]

Aber da gibt es ja auch den QPI Link als ehemalige Innovation, mit bis zu 320GBit/s, frage mich warum sowas nicht genutzt wird.
Frage mich warum sowas nicht genutzt wird, ist irgendwie ausgestorben nach Sockel 1366, und kam im Consumer Bereich, auch sonst nirgendwo mehr zum Einsatz.

Der war ja auch extrem Latenzarm, Robust und das Protokoll war auch sehr durchdacht.

 

[Don]

QPI und UPI funktionieren aber auch nur auf bestimmten Leitungslängen, während ich Omni-Path als eine Art Netzwerk auch über größere Strecken verwenden kann. Es gibt On-Die-Interconnects, On-Package-Interconnects und Off-Package-Interconnects.

 

[jdl]

Neben der Bandbreite spielen auch die Latenzen eine Rolle und auch diese will Intel mit OPA200 reduzieren.

Mellanox hat schon länger Infiniband HDR am Markt. Omnipath ist nur Intels proprietäre Abwandlung von Infiniband, welches sie seit der Integration von QLogic in Intel anbieten. QLogic hat früher ebenfalls Infiniband Produkte angeboten.

- - - Updated - - -

Aber da gibt es ja auch den QPI Link als ehemalige Innovation, mit bis zu 320GBit/s, frage mich warum sowas nicht genutzt wird.
Frage mich warum sowas nicht genutzt wird, ist irgendwie ausgestorben nach Sockel 1366, und kam im Consumer Bereich, auch sonst nirgendwo mehr zum Einsatz.

QPI bzw. UPI ist noch immer in den Intel Xeon SP Produkten erhältlich, aber es wird nur zum Verbinden von NUMA-Knoten in einem System benutzt. Infiniband bzw. Omnipath (Omnipath ist eine proprietäre Erweiterung von Infiniband) ist hingegen eine switch- und routing-fähige Technik, d.h. es ist ein echtes Netzwerkprotokoll und eignet sich dazu tausende von Knoten zu verbinden. Beim älteren QDR IB lag die Grenze bei 65536 Knoten ohne Router-Einsatz. Mit Router können es mehr sein.

 

[Morpheus2200]

OmniPath steht in Konkurent zu InfiniBand und anderen HighSpeed LowLatency intervonnects, das hat mit Ethernet wenig gemeinsam. Man stelle sich vor wie CSMACD oder andere über Etehrnet übliche Protokolle die Latenzen für massiv parallele Rechnungen ruinieren würden.

Ich habe bisher nur kleine OmniPath "Netze" im Betrieb, also einzelne switche mit 48Ports für kleine HPC Cluster. Ältere Installationen mit Infiniband QDR betreibe ich auch noch.
Der für mich größte Vorteil sind die 48Port Switches im Vergleich zu 36Port Infiniband. Darüber lassen sich non Blocking Netze deutlich günstiger realisieren.
Dabei werden die hälfte der Ports pro leaf switch für die Anbindung an die spine switches genutzt und nur die andere Hälfte kann für die Anbindung von Rechenknoten genutzt werden.

Im laufe des Jahres wird es hier eine weitere Installation mit ca. 90 Knoten geben, die über OmniPath kommunizieren werden. Selbst bei so verhältnismäßig kleinen Netzen ist OmniPath schon deutlich günstiger als Infiniband.

Kleines Beispiel: Ich habe hier eine Installation mit 144 Knoten über Infiniband. Dazu brauche ich bei 1:2 Blocking Faktor 8 36 Port Switches. Für non-blocking sind 16 36 Port Switches erforderlich. Oder eben 8 48 Port Switches.
Das spart viel Geld und Platz und das Netzwerk wird weniger Komplex.

Die Integration der OmniPath Schnitstelle direkt an die CPU ermöglicht es auch den Weg über PCI-E Steckkarten einzusparen, das kann schon praktisch sein.

 

[jdl]

Kleines Beispiel: Ich habe hier eine Installation mit 144 Knoten über Infiniband. Dazu brauche ich bei 1:2 Blocking Faktor 8 36 Port Switches. Für non-blocking sind 16 36 Port Switches erforderlich. Oder eben 8 48 Port Switches.
Das spart viel Geld und Platz und das Netzwerk wird weniger Komplex.

Da es bisher für Intel Systeme kein PCIe 4.0 gibt, ist man effektiv auf 100Gbps an den Knoten limitiert. Für 144 Knoten reichen 6 HDR Edge-Switches aus (HDRs haben 40 Ports), dann braucht man noch 3 Spine-Switches. Die Fabric läuft dann mit HDR200 und die Knoten werden mit HDR100 versorgt.