Werbung
Im Rahmen der Conference on Computer Vision and Pattern Recognition (CVPR) 2021 hat Tesla einige Details über seinen internen Supercomputer verraten. Ende Juni wird es eine neue Liste der Top500-Supercomputer geben. In diesen tauchen aber häufig nur öffentlich geförderte und zu wissenschaftlichen Zwecken verwendete Systeme auf. In den Kellern einiger Unternehmen schlummern aber ebenfalls extrem leistungsstarke Systeme, wie die Daten zum Supercomputer bei Tesla enthüllen.
Andrej Karpathy, Director of AI bei Tesla, hielt den Vortrag uns sprach über das dritte und aktuellste Cluster des Tesla-Supercomputers. Dieses besteht aus 720 Nodes, die jeweils acht NVIDIA A100 GPU-Beschleuniger besitzen. Wir kommen hier also schon einmal auf 5.760 der GPUs mit jeweils 80 GB an Grafikspeicher. Welche Prozessoren für die Nodes verwendet werden, bleibt hingegen offen. Vermutlich aber handelt es sich um AMDs EPYC-Modelle, de in in der Lage sind, die A100-Beschleuniger per PCI-Express 4.0 anzubinden und die Datenverwaltung zu übernehmen. Untereinander kommunizieren die acht GPUs im Knoten über NVLink.
Alleine über die A100-Beschleuniger erreicht das System eine Rechenleistung von 1,8 ExaFLOPS in FP16-Berechnungen. Da die Shadereinheiten und Tensor-Cores auch FP64-Berechnungen beherrschen, kommt das System auch hier auf sehr gute 56 PFLOPS. Damit läge der Tesla-Supercomputer unter den schnellsten zehn Systemen der Top500-Liste.
Datenschutzhinweis für Twitter
An dieser Stelle möchten wir Ihnen einen Twitter Feed zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Twitter setzt durch das Einbinden des Applets Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf diesen Feed. Der Inhalt wird anschließend geladen und Ihnen angezeigt.Ihr Hardwareluxx-Team
Tweets ab jetzt direkt anzeigen
Neben der reinen Rechenleistung gehören zu den 720 Nodes auch noch 10 PB an NVMe-Speicher. Auf diesem Speicher befinden sich unter anderem rund 1,5 PB an Trainingsdaten, die von echten Tesla-Fahrzeugen stammen und die Tesla hier verarbeitet. Über einen Interconnect mit einer Datenraten von 640 TBit/s sind die Nodes miteinander verbunden. Hier zeigt sich einmal mehr das Zusammenspiel an hoher Rechenleistung über die A100-Beschleuniger sowie das Vorhalten von schnellem Speicher und einem schnellen Interconnect.
Es ist nicht weiter ungewöhnlich, dass private Unternehmen derart schnelle Supercomputer betreiben. An der Top500-Liste der Supercomputer gibt es auch große Kritik, da hier der Pinpack-Benchmark als Standard herangezogen wird, der in der Praxis aber keine große Bedeutung mehr haben muss. Wie das Beispiel Tesla zeigt, kommen leistungsstarke Supercomputer in den Unterschiedlichsten Bereichen zum Einsatz und hier zählt die AI-Rechenleistung ebenso dazu.
Besprochen wurde im Vortrag nur eines von drei Clustern. Tesla betreibt also noch weitere Supercomputer, wenngleich die anderen Cluster sicherlich nicht mehr auf der aktuellsten Hardware basieren werden. Die Gesamtrechenleistung bei Tesla dürfte aber noch einmal höher sein als das, was wir hier sehen. Verwendet wird die Rechenleistung, um neuronale Netz zu trainieren und auszuwerten. Tesla kann damit Testfahrten simulieren und den eigenen Autopilot verbessern.