Dass die Geschwindigkeit nicht mehr stark gesteigert werden kann, wage ich zu bezweifeln.
Bzgl. GPUs hat das auch niemand gesagt. Da geht es noch immer ordentlich voran, allerdings eben meist aufgrund der "Breite", sprich Shaderanzahl (sowie Textureinheiten und Renderoutputs) und auch der Taktsteigerung.
Sieh Dir die letzten Generationen an, bei nV sind wir z.B. von einer 9800 GTX (128:64:16 Shader:TextureMUnits:RasterOPs) und 675MHz GPU Takt auf aktuell bei einer GTX 980 (2048:128:64) 1126MHz (base) GPU Takt gekommen. Und dazwischen gab' es wie gesagt entweder mehr Shader, TMUs und ROPs und/oder mehr Takt. Speichergeschwindigkeiten sind eigentlich auch stetig gestiegen und/oder die Anbindung und das alles unabhänig von den Architekturänderungen welche wohl ebenfalls Vorteile wie neue Features etc. mit sich brachten.
Nur irgendwann wird man auch bei GPUs mit der Fertigung nur noch schwer und teuer kleiner werden können. Sieh Dir an wie lange nV und AMD nun schon auf 28nm herumgurken. Bei nV seit Anfang 2012 (also bald 4 Jahre) z.B. GTX 680 und bei AMD sogar etwas früher mit Anfang Jän 2012 z.B. HD 7970. Davor waren die Abstände definitinv kürzer.
Und Du sprichst es ja schon an, Leistungsaufnahme und Abwärme sind halt ein großes Thema. Und irgendwann wird man entweder sehr lange auf einer Fertigung verharren oder mit aktuellen Technologien nicht mehr kleiner fertigen können und dann kann man mehr Leistung eigentlich nur noch durch Breite, Takt oder eventuell neuen Architekturen erreichen. Das wird dann schwer wenn man nicht gleichzeitig eben die Leistungsaufnahme und dadurch Abwärme erhöht.
Bei den CPUs sieht man es mMn seit Sandy Bridge recht deutlich. Hier kommt noch dazu daß nicht einfach beliebig viele Kerne auf eine CPU geschnallt werden können und sich die Leistung stetig erhöht da ordinäre Software wie Spiele, Office Anwendungen sowie Browser & Co das nicht oder nur moderat nutzen. Spezielle Anwendungen gerade im Server oder Workstation Umfeld können natürlich Gebrauch von vielen Kernen machen und da hat man nach wie vor ordentliche Leistungssteigerungen.
Mit den Taktraten geht es jedoch sehr schleppend voran, und hier vermute ich eben daß effizient nicht viel mehr als 4 bis 4,5GHz drin sind, je nach Architektur. Sieh Dir die FX-9xxx CPUs an. Oder übertakte einen Sandy, Ivy, Haswell oder Skylake. Wenn da welche bis 5GHz gehen sind die deutlich ineffizienter als bei sagen wir 4GHz.
Das Problem ist eher, dass das immer mehr zu Lasten von Abwärme, Platz und Leistungsaufnahme geht. Gerade aber kleine Hardware mit niedriger Leistungsaufnahme wird vermehrt vom Markt gewünscht - und das ist auch gut so.
Wir waren vor 10 Jahren schon bei 150-200W Leistungsaufnahme - das schafft man auch heute bei einem midrange Gaming-Rechner, allerdings bei wesentlich mehr Rechenleistung. So wie heute jedes halbwegs normale Smartphone wesentlich leistungsstärker ist, als die PCs vor 1-2 Dekaden.
Es gab eine Zeit wo die PCs immer Strom hungriger wurden. Sieht man sich AT Netzteile an waren dort meist so zwischen 200-250W üblich. Die kleinen vollgepackten Gehäuse mit zig Breitbandkabel hatten auch oft keinen bzw. nur den Netzteillüfter um Abwärme ab zu transportieren. Erst mit den schnelleren 486ern wurden CPU Kühler (passiv und aktiv) zum Quasi Standard und Grafikkarten hatten noch lange keine Kühlkörper geschweige denn aktive Kühlungen. Dann ging es rasch voran, das Mainboard brauchte eine höhere Stromversorgung (wg. CPU) -> ATX 20 Pin dann zusätzlich den 4 Pin ATX 12V Stecker -> dann 24 Pin ATX usw. GPUs bekamen extra Stromanschlüsse usw.
In den letzten Jahren rudert man doch immer wieder etwas zurück, was auch gut ist denn sonst hätte jeder von uns mind. ein 700W Netzteil im Rechner welches vielleicht auch immer wieder mal ausgelastet werden würde.
Also eine Zeit lang hat man mitunter auch mehr Leistung mit mehr Leistungsaufnahme bezahlt.