Werbung
Auf der GPU Technology Conference in Japan hat NVIDIA einen reinen Inferencing-Beschleuniger vorgestellt. Wie die bisherigen Inferencing-Beschleuniger, verwendet NVIDIA auch hier einen abgespeckten Chip mit möglichst viel Rechenleistung bei weniger komplexen Rechenoperationen – FP16, INT8 und INT4.
Laut NVIDIA besitzt die Tesla T4 320 Tensor Cores und 2.560 Shadereinheiten. Wie der Modellname schon verrät, verwendet NVIDIA hier einen Chip mit Turing-Architektur. Nach der Vorstellung der Quadro-RTX- und GeForce-RTX-20-Serie setzt NVIDIA die neuen GPU-Architektur damit auch in der Tesla-Modellreihe ein. Die Tesla T4 dürfte aber nur der Einstieg sein und weitere Modelle sollten folgen.
Die Rechenleistung der Tesla T4 liegt bei 8,1 TFLOPS bei einfacher Genauigkeit (FP32), 65 TFLOPS bei Mixed Precision (FP16/FP32), 130 TOPS (INT8) und 260 TOPS (INT4). Bei 320 Tensor Core sund 2.560 Shadereinheiten ist noch nicht ganz klar welche Turing-GPU NVIDIA hier verwendet. Die TU106-GPU soll mit 2.304 Shadereinheiten bereits dem Vollausbau entsprechen, kommt aber auf 288 Tensor Cores – zu wenige Shadereinheiten und Tensor Cores also. Demzufolge müsste hier die TU104-GPU zum Einsatz kommen, die maximal auf 3.072 Shadereinheiten und 384 Tensor Cores kommt.
Der Inferencing-Beschleuniger kommt als PCI-Express-Karte daher und verwendet zudem noch 16 GB an GDDR6, die auf eine Speicherbandbreite von 320 GB/s kommen sollen. Die Leistungsaufnahme der Karte soll bei 75 W liegen.
Inferencing-Beschleuniger sind darauf ausgelegt ihr zugeführte Daten schnellstmöglich in einem Deep-Learning-Netzwerk abzugleichen und eine Ausgabe zu erzeugen. Die Menge an Daten sowie die Latenzen spielen dabei eine wichtige Rolle. Die Tesla T4 ist unter anderem in der Lage bis zu 38 FullHD-Videostreams in Echtzeit auszuwerten. Dies entspricht der doppelten Menge einer Tesla P4.
Wann und zu welchem Preis die Tesla T4 verfügbar sein wird, ist nicht bekannt. Google wird die Tesla T4 in der eigenen Cloud-Plattform einsetzen.