nVidia macht da leider gegen Vega immer noch das Rennen. AMD hat im Moment keinen Interconnect, der schnell genug ist um es mit nVidias NVLink aufzunehmen.
Unter dem Strich heisst es, dass nVidia damit die schnellste (aber auch massiv teuerste) Lösung hat, um AI zu trainieren.
Die AMD GPUs wären im Moment nur zur Anwendung (inferenz) der Netzwerke gut genug. Die Kommunikation zwischen GPUs ist bei AMD zu langsam, um mehrere GPUs beim Training zu verbinden. Vielleicht kommt später mal noch eine Lösung mit infinity-fabric, das ist aber wohl nicht vor Navi zu erwarten (Vega Nachfolger). Dies schliesse ich daraus, dass AMD explizit "Scalability" bei Navi auf der Roadmap erwähnt, bei Vega aber noch nicht.