Wirtschaft

DeepMind AI lernt CTF-Teamplay und bekommt taktisches Verständnis

Die Google-Tochter DeepMind will Machine-Learning-Anwendungen in die verschiedensten Bereiche einbringen. Bereits seit einiger Zeit arbeitet man an ML-Netzwerken, die in Spielen ein taktisches Verständnis entwickeln sollen. Dabei gehen die Algorithmen einen Schritt weiter als Systeme, die in Brettspielen wie Schach oder Go schon längst auch die stärksten menschlichen Gegner schlagen.

Für Starcraft II und Dota 2 gibt es bereits entsprechende Entwicklungen, nun soll ein weitere Domäne des Esports fallen: Egoshooter. Dabei geht es nicht darum, dass ein Computer besser zielen oder schneller reagieren kann als ein menschlicher Gegner – dies ist bereits seit Jahrzehnten möglich (Stichwort Aimbot) – sondern es geht um eine taktisches Verständnis des Spiels zum Beispiel in Capture the Flag. Nun hat DeepMind den aktuellen Entwicklungsstand für Quake III Arena Capture the Flag vorgestellt und beschreibt in einem Blogbeitrag auch die Funktionsweise des Trainings.

Die Regeln für Capture the Flag sind eigentlich recht einfach: Zwei Teams müssen die Flagge des gegnerischen Teams aufnehmen und in die eigene Basis bringen. Jedes Team kann aus einer unterschiedlichen Anzahl an Spielern bestehen, die aber nicht jeder für sich agieren sollte, sondern die zusammenarbeiten. Es geht darum die eigenen Flagge zu verteidigen, aber auch koordiniert anzugreifen. Dabei ändern sich auch die Voraussetzungen in Form der Maps auf denen gespielt wird. Je nachdem wie diese aufgebaut sind, muss sich das Verhalten der künstlichen Intelligenz auch ändern.

Für das Training verwendete DeepMind folgende Ideen:

• anstatt einzelne Intelligenzen zu trainieren, lernten mehrere sogenannte Agents gemeinsam
• jeder Agent besitzt aber eigene Ziele für das Training, zum Beispiel die Flagge des Gegners zu erobern oder aber die eigene zu verteidigen.
• das Training der Agents findet ausschließlich auf Basis eigener Erkenntnisse statt. Es wurden ihnen kein Verhalten vorprogrammiert.
• in einem zweiten Schritt spielen Agents in Teams gegeneinander, lernen aber auch aus Spielen gegen menschliche Spieler. Die menschlichen Spieler sind dabei Gegner, können aber auch Mitspieler sein.

Nach etwas mehr als 150.000 Matches ist der trainierte Agent bereits besser als der beste menschliche Spieler. Dabei wurde den Agents aber eine künstliche Verzögerung und Ungenauigkeit beigebracht, damit der Vergleich gegen menschliche Spieler überhaupt fair gestaltet werden kann.

Während des Trainings mit menschlichen Spielern zeigte sich auch, dass die Agents sich ein entsprechendes Verhältnis aneignen. So belagern sie die eigene oder die Basis des Gegners oder beginnen damit, bestimmten Teammitgliedern zu folgen. Es stellt sich ein gewisses taktisches Verständnis ein – je nach Spielsituation, jeweiliger Karte und dem Verhalten der Mitspieler sowie Gegner.

Die Entwicklung eines For The Win (FTW) Agents in Quake III Arena Capture the Flag ist ein weiterer Schritt für ML-Systeme die mehr sind als nur eine Bibliothek an Spielzügen. Die AI eignet sich die Regeln selbst an, arbeitet mit weiteren Intelligenzen zusammen und bekommt ein taktisches Verständnis für das Vorgehen des Gegners und des eigenen Teams. Dies ist ein fundamentaler Unterschied zu den bisherigen Systemen in Starcraft II, Dota 2 oder den besagten Brettspielen.