Lohnt sich eine NPU in Prozessoren für PCs, Notebooks, Tablets und Smartphones wirklich?

[Martin Preiß]

Hab einige Zeit überlegt ob ich das Thema im CPU Forum oder Offtopic Forum stellen soll aber mich dann doch fürs CPU Forum entschieden:

Aktuell geht ja der Trend dazu das jede Art von Prozessoren auch eine NPU bekommen. Ganz früh ging es bei Apple mit dem A11 SoC fürs Smartphones und Tablet los, dann zog auch Qualcomm nach, und inzwischen haben auch viele Prozessoren für Notebooks wie die Intel Core Ultra V2xx SoC oder auch für PCs wie der AMD Ryzen 7 8700G eine NPU on Board?

Nur was bringt sie da wirklich? Sie soll vorallem KI beschleunigen und Microsft setzt ja beim Windows 11 Copilot eine NPU mit mindestens 40 TOPS Leistung voraus. Aber baucht und will man den wirklich? Klar hat KI seine Berechtigung, aber es gibt ja immer noch die Möglichkeit die KI Aufgaben in die Dienste der Rechenzentren auszulagern.

Und gerade im Notebook und PC-Bereich wird man noch sehr lange Geräte ohne NPU haben, bei denen dan nur die drei Optionen bleiben: auf den x86 Kernen ausführen, auf der GPU ausführen oder in einem Rechenzentrum berechnen lassen.

Klar hatten wir im schon immer Zeiten wo man mehrgleisig fahren musste, egal ob es der Intel Pentium III mit SSE oder die Intel Core 2 Serie sowie diverse AMD Prozessoren mit x86-64 waren. Und auch aktuell haben wir sowas mit AVX512. Aber das war und ist bei weitem nicht so unterschiedlich und so kompliziert wie eine NPU sinnvoll zu programmieren (wenn man nicht viel Ahnung davon hat). Man müsste sich damit befassen, aber ob das überhaupt Sinn macht?

Ich frage mich deshalb schon ob es nicht sinnvoller wäre einfach die NPU wegzulassen und stattdessen mehr x86 bzw. ARM Cores und mehr GPU Cores auf den CPUs bzw. SoCs zu verbauen.

 

[G3cko]

Ich würde das ähnlich wie Befehlssätze sehen. Man muss eben ersteinmal auf HW-Seite in Vorleistung gehen. Wann und ob und wie hoch der Benefit dann irgendwann in der Zunkunft sein wird lässt sich akutell schwer abschätzen. Aktuell sicher nice-to-have, aber merh auch nicht.

 

[angelsdecay]

Das bringt null Vorteile da für ein LLM daten benötigt werden die sind nicht lokal die npu beschleunigt lediglich die Auswertung aus dem LLM von der cloud.
Sprich die Antwort kommt schneller
Und von co pilot rate ich dringend ab da massiv daten von deinen pc in die cloud geladen werden.

 

[pwnbert]

Lohnen... wird halt bald "Pflicht" sein wie ein TPM Chip und bei "üblicher Hardware" grundsätzlich dabei sein.

 

[KurzGedacht]

bringt null Vorteile

IMO Unfug.
Es gibt deutlich mehr als LLMs was von NPUs beschleunigt werden kann. Auch wenn bei weitem noch nicht alle Anwendungen die profitieren könnten NPUs unterstützen. Das sind schlicht spezialisierte Chips die bestimmte Aufgaben eben effizienter ausführen können als CPUs oder GPUs.
Also ganz platt: was bringen NPUs?
Mehr Performance und bessere Akkulaufzeiten!

Beitrag automatisch zusammengeführt: 07.10.2024

frage mich deshalb schon ob es nicht sinnvoller wäre einfach die NPU wegzulassen und stattdessen mehr x86 bzw. ARM Cores und mehr GPU Cores auf den CPUs bzw. SoCs zu verbauen.

Wieso lässt du nicht gleich die GPU weg und verbaust einfach mehr x86 Kerne? so ein Software renderer ist doch auch prima und dann haben schließlich alle Anwendungen was davon.

 

[Luebke]

ich sehe es wie @G3cko : erst muss die grundlage für die software in breiter masse vorhanden sein, dann wird man sehen, ob es etwas bringt oder nicht. die ersten athlon 64 z. b. hatten eigentlich 0 nutzen von ihrer 64-bit unterstützung, da windows diese erst jahre später wirklich unterstützt hat und so fast niemand die technik nutzen konnte. erst als intel mit core 2 ebenfalls darauf gesetzt hat und somit das gros aller pc-nuter, egal ob amd oder intel, 64-bit nutzen konnten, kam auch die software wirklich in breiter masse auf den markt.
bei physX konnte sich das nicht durchsetzen. zwar konnte irgendwann jede nvidia-karte damit umgehen, aber für amd-nutzer wars halt nutzlos und somit hat es sich nicht durchsetzen können. falls und wenn die NPU wirklich nutzen hat, ist dein heutiger rechner sicher schon lange geschichte, aber irgendwo muss man ja mal anfangen, die technik zu implementieren, damit die entwicklung weitergehen kann.

ich freue mich ja schon etwas drauf, wenn man dann seine eigenen ideen mittels KI mit leichtigkeit in ganze filme oder spiele umsetzen lassen kann. ^^

 

[G3cko]

PhysiX konnte sich nicht durchsetzten, weil es propritär war und vor allem einen absurden Hardwarebedarf hatte. Es wäre ja super gewesen, wenn man seine alte Grafikkarte parallel als Physikbeschleuniger hätte weiter sinnvoll hätte nutzen können, aber Nvidia wollte das nicht. Auch hat man via Software die Berechnung auf einen Thread künstlich limitiert, obwohl ja dort auf CPU-Seite Kerne sich mehr als genug langweilten. Die Entwickler sind dann zurück bzw blieben weiter bei der CPU-basierten Physikberechnung, weil es ja auch unnsing ist die GPU damit zusätzlich zu beschäftigen, wenn mehr als genug CPU-Leitung in der Breite brach liegt.

64 Bit ist aber ein schönes Beispiel. Erst HW, dann OS, dann irgendwann auf Seiten der Software der Bedarf nach mehr RAM. Ich hatte damals XP 64 Bit aber wirklich nutzen konnte ich mehr als 4GB RAM nie. Ich zocke aber auch primär. Zeigt aber auch bis sowas in der breiten Softwarelandschaft wirklich benötigt wird vergeht einiges an Zeit, denn Softwarenetwickler wollen ihr Produkt schließlich an möglichst viele Kunden verkaufen.

KI wird definitv ein breites Anwendungsfeld in der Zukunft bekommen. Es ist nämlich sehr aufwändig bzw bedarf sehr viel Rechenleistung mittels Raytracing Photorealismus zu erreichen. Nvidia hat ja Raytracing nicht erfunden, sondern nur mittels KI einen Weg ermöglicht die Berechung von noch nicht berechneten Strahlen "zu erraten". Und für dieses erraten von fehlenden Informationen oder zur Bildaufbesserung ist KI sehr sinnvoll. Es ist letztendlich eine Art Schummeln um schneller ans Ziel zu kommen mit letztendlich in Summe weniger Rechenauwfand = schneller = mehr fps. Man kann nämlich ein Bild bis zu einem gewissen Detailgrad rendern und anschließend der KI Realworld-Beispielfotografie geben und sagen: Hier liebe KI, so soll es am Ende aussehen. Das macht natürlich vielles einfach. Je besser die KI ist, desto weniger muss ich in die Entwicklung des eigentlicehn Spiel steckens.

So wie in Phtoshop, wo du einen grauen Kreis malst und mittels KI dir anschließnend daraus einen Stein generieren lässt.

Ich denke für Gamer wird die KI-Berechnung in der Grafikkarte stattfinden. Das wird vermutlich aufgrund der Latenz und Bildausgabe schneller sein.
Als ganzheitlichen Ansatz wird wie bereits die iGPU auch KI-Rechenleistung in die CPU wandern. Den Kauf bereits jetzt drauf ausrichten würde ich nicht.