Die NVIDIA Titan V im Workstation- und Compute-Einsatz

Mit der Vorstellung der Titan V und der darauf verbauten GV100-GPU mit Volta-Architektur rückt NVIDIA die Titan-Serie ganz klar in Richtung des professionellem Umfeldes und lässt das Gaming-Segment links liegen. Dies ist nicht nur anhand des Preises festzumachen, auch zeigen unsere Gaming-Benchmarks, dass die Volta-Architektur keine Karte für Spieler ist, da weite Teile der Funktionen auf dem Chip beim Game-Engine-Rendering ungenutzt bleiben. Nun wollen wir uns anschauen zu was die Titan V in klassischen Workstation-Anwendungen im Stande ist und auch einige Benchmarks im Bereich Machine Learning und Deep Learning schauen wir uns an.

Die Auslegung seitens NVIDIA ist keine allzu überraschende Wendung in der Titan-Serie. Mehr und mehr rückte diese in das professionelle Umfeld – nicht nur aufgrund des Preises von weit über 1.000 Euro, sondern auch durch das Angebot an entsprechenden CUDA-Bibliotheken, die von der Hardware Gebrauch machen. Damit möchte NVIDIA Forschern und Entwicklern auch einen Einstieg in ein Segment bieten, wo dann später auch leistungsstärkere Hardware notwendig wird, die dann natürlich wieder aus dem Hause NVIDIA stammen soll. Wer seine Anwendungen bereits auf NVIDIA-Hardware ausführt, bleibt meist auch dabei. Die enorme Steigerung der Leistung im Deep Learning ist das Steckenpferd der Volta-Architektur.

In diesem Artikel wollen wir auch einen Vergleich zu den Ergebnissen herstellen, die wir vor einigen Wochen erhoben haben. In einem Test von Workstation-Karten von AMD und NVIDIA haben wir uns die Radeon WX 4100, 5100 und 7100 im Vergleich mit den NVIDIA-Modellen Quadro P2000, P6000 und GP100 angeschaut.

Bevor wird aber direkt zu den Ergebnissen kommen, noch ein paar Worte zu den technischen Daten der NVIDIA Titan V.

Die NVIDIA Titan V basiert auf der GV100-GPU, die wiederum die Volta-Architektur verwendet. Diese wurde im Frühjahr von NVIDIA offiziell vorgestellt. Bisher kennen wir nur eine Ausbaustufe dieses Chips, der auf allen Karten bzw. als Beschleuniger 5.120 Shadereinheiten verwendet. Hinzu kommen 320 Textureinheiten und 640 Tensor Cores, die INT8-Berechnungen durchführen können. Matrix-Multiplikationen (BLAS GEMM) sind der wichtigste Bestandteil für das Training von Deep-Learning-Netzwerken und hier kommen die Tensor Cores in Spiel. Die Tensor Cores haben innerhalb des SMs ihre eigenen Datenpfade und können per Clock Gating auch komplett abgeschaltet werden, wenn sie nicht benötigt werden. Jeder Tensor Core bietet ein Matrix-Array aus 4 x 4 x 4 Matrizen, welches in einer D = A x B + C Operation durchlaufen wird. Die Eingangs-Matrizen A und B sind dabei FP16-Einheiten, die Akkumulation kann eine FP16 oder FP32-Einheit sein. Jeder Tensor Core führt 64 Floating Point FMA Mixed-Precision-Operationen pro Takt aus – jeweils eine Multiplikation und eine Akkumulation. Die acht Tensor Cores pro SM kommen damit auf 1.024 Floating-Point-Operationen pro Takt.

Die GPU arbeitet mit einem Basis-Takt von 1.200 MHz und kann per GPU-Boost auf 1.455 MHz und mehr kommen. Sobald wir die Tensor Cores verwendet haben, was nur in den Deep-Learning-Benchmarks der Fall ist, waren diese 1.335 MHz auch der höchste Takt, den wir protokollieren konnten. Die 250 W Thermal Design Power sind in gewisser Weise ein limitierender Faktor für die Karte. Auch die Kühlung sorgt dafür, dass die Karte unter Volllast meist am Limit arbeitet und sich der GPU-Takt irgendwo zwischen 1.200 und 1.400 MHz bewegt.

Eine Besonderheit ist noch beim Speicherausbau vorhanden, denn anstatt der üblichen 16 GB HBM2 an einem 4.096 Bit breiten Speicherinterface verbaut NVIDIA bei der Titan V "nur" 12 GB, die über ein 3.072 Bit breites Speicherinterface angebunden sind. Bei einem Speichertakt von 850 MHz ergibt dies eine Speicherbandbreite von 652,8 GB/s. 12 vs. 16 GB HBM2 können hinsichtlich der Speicherkapazität natürlich den Unterschied machen. Wir haben allerdings keine Anwendung getestet, die hier limitieren würde. Bekannt ist uns, dass ein Videoschnitt von 8K-Material bei den Quadro-Karten eigentlich nur mit dem P6000-Modell und den darauf verbauten 24 GB an GDDR5X möglich ist. Eine Titan V ist aber sicherlich auch nicht die ideale Karte zu diesem Zweck. Sie soll einen anderen Anwendungsbereich abdecken, wo die Speicherbandbreite ei wichtiger Faktor ist.