Werbung
Im Rahmen der Innovation 2023 hat Intel einige interessante Benchmarks veröffentlicht, denn keinesfalls will man sich NVIDIA im Feld der Generative-AI-Anwendungen und Large Language Modelle geschlagen geben.
So wurde das Training des BridgeTower Modells von Huggingface demonstriert und dabei traten acht H100-Beschleuniger von NVIDIA gegen ebenfalls acht Gaudi2-Beschleuniger von Intel an. Der Vorteil für Intel soll hier bei 37 % gelegen haben. Das Training ist ein Punkt, das Fine-Tuning der Modelle aber nicht weniger herausfordernd.
Auch hier liefert Intel neue Daten und Vergleiche. Gegenüber den A100-Beschleunigern ist man um den Faktor 2,5 schneller und auch das H100-Modell lässt man hinter sich und ist 40 % schneller.
Bei solchen Vergleichen muss aber auch immer wissen, dass die Hardwarehersteller gewisse Optimierungen vornehmen können, damit ein bestimmtes Modell besonders gut läuft. Software-Optimierungen spielen in diesem Anwendungsbereich eine große Rolle.
Neben der Leistung sieht sich Intel auch bei den Kosten und der Effizienz vorne. Im Inferencing-Bereich wird dies mit Durchsatz pro Watt berechnet und hier soll Gaudi2 um den Faktor 1,42 bis 2,89 besser positioniert sein.
In den letzten Ergebnissen der MLCommons (MLPerf Inference 3.1) konnte Intel auch schon gute Ergebnisse mit Gaudi2 liefern. NVIDIA hat weiterhin den Vorteil, dass die notwendige Software-Infrastruktur weiter verbreitet ist und NVIDIA hier einen gigantischen Marktanteil an, den Intel mit OneAPI zunächst reduzieren muss. Das Henne-Ei-Problem lässt sich so schnell nicht auflösen und spielt NVIDIA in die Hände. Zudem sorgt NVIDIA mit Weiterentwicklungen wie TensorRT LLM dafür, dass man über die Software noch schneller wird und die Hardware besser nutzt.
Benchmark zu Granite Rapids
Granite Rapids wird die P-Kern-Variante der übernächsten Xeon-Generation werden. Zur Hotchips 2023 wurden einige Details enthüllt, zu Leistungsdaten hält man sich aber noch zurück. Auf der Innovation wurde in einer Session aber ein Vergleich gezeigt.
Darin wird ein nicht näher spezifizierter Xeon-Prozessor der vierten Generation (Sapphire Rapids) gegen einen Granite-Rapids-Prozessor verglichen. Als Benchmark verwendet wird das Training des MLPerf GPT-J mit 6 Milliarden Parametern. Der Granite-Rapids-Xeon soll um den Faktor 2,57 schneller sein.
Ohne die genaue Hardware-Konfigurationen zu kennen, sagen die Werte zunächst einmal nicht viel aus. Aber dennoch ist es interessant, dass Intel an dieser Stelle einen ersten Wert liefert.