Microsoft Copilot läuft lokal: AI-PC setzt 40 TOPS an NPU-Leistung voraus

Thread Starter
Mitglied seit
06.03.2017
Beiträge
114.147
Erst heute hat Intel die Starthilfe für AI-PCs in Form einer Ausweitung des AI Accelerator Programs angekündigt. Bereits seit geraumer Zeit wird vermutet, dass es eine Art Mindestvoraussetzung seitens Windows geben wird, was sich ein AI-PC nennen darf und was nicht. Laut TomsHardware haben wir nun eine Bestätigung dieser Zahl: 40 TOPS müssen bereitgestellt werden.
... weiterlesen
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
"Der Snapdragon Elite X von Qualcomm soll derweil auf 45 TOPS zusammengenommener AI-Rechenleistung kommen." -- das Zauberwort ist "zusammengenommener". QC hat da schon immer gerne alles zusammengekehrt, was auf dem SoC so vorhanden ist. Es kommt dann aber immer sehr auf die Aufgabe an, ob das kolportierte Leistungsniveau auch erreicht werden kann.
 
Yeah, die KI, die uns abhört läuft gleich lokal... sollen wir doch selber die Rechenleistung dafür kaufen. Brrr...
...
Die zwei Augen von meiner Maschine
Blicken mir den ganzen Tag lang zu
Mit Verstand, mit Bedacht, mit Routine
Seh'n sie nach, ob ich das Rechte tu'
....
Ich hol sie abends nahe heran
Denn sie wachen, solange bis ich schlafe
Und wenn ich mal nicht einschlafen kann
Wachen sie trotzdem und zähln mit mir noch Schafe
...
(Georg Kreisler, 1963)
Seiner Zeit voraus, schon hart irgendwie, wie gut das passt.. :d
 
"Der Snapdragon Elite X von Qualcomm soll derweil auf 45 TOPS zusammengenommener AI-Rechenleistung kommen." -- das Zauberwort ist "zusammengenommener".
Das machen AMD und Intel aber in den Fall auch – CPU, GPU und NPU zusammengenommen.
 
"Der Snapdragon Elite X von Qualcomm soll derweil auf 45 TOPS zusammengenommener AI-Rechenleistung kommen." -- das Zauberwort ist "zusammengenommener". QC hat da schon immer gerne alles zusammengekehrt, was auf dem SoC so vorhanden ist. Es kommt dann aber immer sehr auf die Aufgabe an, ob das kolportierte Leistungsniveau auch erreicht werden kann.

Nein die 45 TOPS beim Snapdragon Elite X gelten für die NPU alleine, zusammen sind es dann 75 TOPS. Im übrigen beziehen sich die 40 TOPS von Microsoft auf die NPU alleine, hier kann man nicht alles zusammenzählen.
 
Nein die 45 TOPS beim Snapdragon Elite X gelten für die NPU alleine, zusammen sind es dann 75 TOPS. Im übrigen beziehen sich die 40 TOPS von Microsoft auf die NPU alleine, hier kann man nicht alles zusammenzählen.
Laut der Präsentation von Qcomm war das aber nur Int4. Qualcomms SNPE ist eine Blackbox was die Fähigkeiten angeht, noch mehr wie bei AMD. Intel und Microsoft beziehen sich aber auf int8 und unterstützen diverse andere Formate sowie runtimes wie openVino, Microsoft ML. Btw, Heise spricht von 65 total tops beim X-Elite, nicht 75.

Wie auch immer glaube ich darf man die Worte der Intel Marketingleute nicht auf die Goldwaage legen. Im Gegenteil muss man immer im Hinterkopf behalten dass das Marketing immer versucht ihr Produkt zu oversellen, also die minimal-Auslegung der Aussagen immer die wahrscheinlichste ist. Es wäre nicht das erste mal dass Intel Marketing Leute sich versprechen (Meteor lake im Desktop, dabei waren P/H-CPUs im NUC gemeint).
Wieso sollte Microsoft eine NPU voraussetzen, wenn die Leistung auch anders zustande kommen kann und gar nicht gesagt ist ob diese effizienter ist als eine GPU bzw. in die GPU integrierte Tensor units wie z.B. bei nvidia? Der Unterschied zwischen dedizierten und GPU enabled AI units existiert sowieso weniger im technischen Bereich sondern viel mehr auf Marketingfolien. Wenn dann würde es eher Sinn machen einen maximalen Power draw bei aktivem Copilot vorzuschreiben.
Wenn die also davon sprechen dass der copilot künftig nur auf der NPU läuft aus Energieefizienz-Gründen, aber gleichzeitig einen aktuellen AI-PC über eine auf AI-Leistung optimierte CPU, GPU und NPU definieren, dann meinen die bei den Leistungswerten ziemlich sicher auch die kombinierte Leistung. Und da liegt MTL Lake aktuell bei 33Tops und AMD Hawk bei 39, mit Int4 sogar bei 78Tops.

Btw, Apples NPUs werden immer in FP16 angegeben. Der A17pro kommt auf 35Tops FP16, dürfte in dieser Disziplin also 3x so schnell sein wie der Hexagon im X-Elite. Interessant ist auch zu sehen dass sich Apple bei den M-Socs die Hälfte der NPU Cores spart im Gegensatz zum A17pro und stattdessen lieber die GPU Cores mit nutzt. Das hat eine bessere PPA und ist für den Notebook Zielmarkt ausreichend effizient, während im Handy und Tablet dann doch die höhere Effizienz der NPU zählt.
 
Zuletzt bearbeitet:
Laut der Präsentation von Qcomm war das aber nur Int4.

Das glaube ich nicht. Wo ist die Quelle hierzu? Du verwechselst vermutlich die Aussage zum Support für INT4. Qualcomm sagt, sie haben eine mehr als viermal so schnelle NPU wie Meteor Lake. Das ergibt 45 TOPS INT8, genau das Gegenteil von dem was du hier behauptest.

All told, Qualcomm claims that 45 TOPS figure is 4.5x the performance of current CPUs found in laptops



Und wie würdest du mit 23 INT8 TOPS auf Gesamt 75 TOPS kommen? Die GPU hat keine Tensor Kerne, woher kommen die restlichen 52 TOPS? Die bisherigen NPU Benchmarks deuten auch gar nicht darauf hin, dass es nur 23 TOPS INT8 wären.

Qualcomm is quoting 45 TOPS of performance here for modest precision INT8

Meinst du Ryan Smith hat sich das aus den Fingern gesaugt?

Btw, Heise spricht von 65 total tops beim X-Elite, nicht 75.


Ja das können sie gerne, es sind trotzdem 75 TOPS insgesamt.
Industry-leading AI Engine, with up to 75 TOPS, for best-in-class processing across CPU, GPU, NPU and micro NPU.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh