Чтобы обучить программу ориентироваться в сложном виртуальном пространстве без подробной информации, разработчики DeepMind использовали обучение с подкреплением. Боты не получали никаких инструкций о том, как играть в Quake III, и просто играли сами с собой, пока не вырабатывали победные стратегии. В таких тренировках программа обычно играет с собственным клоном. Одновременно исследователи обучали 30 различных систем с разнообразными стилями игры. Всего боты сыграли с собой 450 тысяч матчей продолжительностью пять минут каждый.

Алгоритмы обучались не только базовым правилам захвата флага (быстрее соперника захватить флаг с его базы и вернуть на свою), но и защищать свой флаг, размещаться на базе противника и отслеживать действия товарищей по команде, чтобы атаковать врага. Каждая игра происходила на новой местности — это гарантировало, что стратегия ПО не будет применима только к одной карте. При этом боты DeepMind не получали никаких цифровых данных по игре и обучались исключительно по картинке на экране.

Свои способности искусственный интеллект проявил в специально организованном DeepMind чемпионате, в ходе которого сражались команды из двух игроков — только ботов, только людей и смешанные. Наилучший результат показали команды, полностью состоящие из ботов — с вероятностью выигрыша 74 процента. Для сравнения, у сильных «живых» игроков эта цифра составляет 52 процента и 43 процента — у игроков средненго уровня. Также эксперименты показали, что чем больше ботов было в команде, тем хуже они взаимодействовали. Команда из четырёх ботов имела вероятность выигрыша 65 процентов.

Читайте также: Нейросеть OpenAI начала обыгрывать людей в Dota 2