Нейросеть-геймер от Google впервые разгромила человека в стратегии StarCraft II

(15)В своё время (уже очень давно) хотел написать статью о принципах построения ИИ-модели управления игровым процессом в стратегических играх. Был даже сделан набросок. Так вот там весь процесс управления делился на несколько иерархических уровней. Вот таких (от нижнего к высшему):
1. Примитивный – это уровень чистых алгоритмов. Решает простые задачи, которые почти не имеют нескольких равнозначных (на момент решения) решений, или выбор одного из множества – не существенен. Простейшие такие задачи: это перемещение юнитов (в т.ч. поиск кратчайшего пути; или движение группы юнитов заданным строем); изменение их состояний в зависимости от срабатывания различных локальных (или глобальных) тригеров; Выполнение игровых простых манипуляций пол заданному сценарию (например, нанесения того или иного удара/применение способности во время боя); поиск цели по заданным критериям и т.п. Тут могут быть и более сложные алгоритмы: это поиск места добычи ресурса, или места для постройки здания по заданным критериям. Здесь же и различные алгоритмы по сбору статистики, в т.ч. доступной только во фрейме «визуального» просмотра.
2. Оперативный – это уровень простых игровых механик (микроменеджмент). Обычно оперирует группой юнитов, реализует множество стратегий поведения этих групп. С одной стороны, это, опять таки, заданные наборы алгоритмов – определяющие как юниты должны выстраиваться, какие групповые движения совершать (всей группы или её части, относительно другой части этой группы или другой группы), какие цели выбирать и какие действия/атаки/способности к ним применять и при каких условиях. С другой стороны – эти стратегии вполне могут быть формализованы в виде базы данных локального поведения. Тогда к ним уже можно применять подход нейросетевого ранжирования и натаскивания. А в дальнейшем, можно было бы создать отдельные , условно «ИИ» алгоритмы, которые могли бы видоизменять эти стратегии, в попытках их улучшения. А так же использовать данные анализа стороннего поведения (только в рамках этих локальных стратегий) полученного с других источников – натаскивание на готовых паттернах. В итоге, конечно, хранить такие данные виде БД не самое эффективное решение – и такие стратегии лучше переводить в структуры алгоритмов на языке программирования – для повышения скорости их использования (но тогда они будут условно константными до конца матча и переинициализации). Конечные действия алгоритмов – этого уровня – отдача простых команд на уровень ниже, с более высоким уровнем общения снизу нет. А с верху поступают команды с настройками – позволяющие выбрать тот или иной паттерн – стратегии выполнения микроуправления.
3. Тактический – это уровень более интеллектуального управляющий группами юнитов. Если Оперативный управляет одной своей группой (хоть и может делить её на части) – то Тактический – управляет множеством групп (не обязательно сразу всем; разным блокам алгоритма, настроенным под разные задачи, выделяются свои группы). Если говорить именно о сражении –то ИИ на этом уровне уже должен опираться на общие принципы ведения боя, на тактику: маневрирования целыми подразделениями, выбор для них целей (наборов целей, которые, будучи переданными на уровень ниже – уже распределялись бы по доступным юнитам). Здесь уровень абстракции игрового процесса уже стоит выше отдельных юнитов. ИИ, оперирует формированиями, которые имеют численную оценку своей мощи против аналогичных формирований противника, так же имеющих такую же численную оценку по целому ряду критериев. Так же данный ИИ должен оценивать и взаимное расположение таких формирований, а так же иметь численную оценку их мощи отдельно по разным граням. И вероятности перераспределения этих значений при реализации тех или иных стратегий взаимодействия. Вот тут нейросети играют ключевую роль – именно на данному уровне собирая и оценивая различные конфигурации и действия для создания новых конфигураций. Тактический уровень взаимодействует как с более низким, так и с более высокими уровнями ИИ. Сверху тактический уровень получает стратегии (задающие отправные точки, сужающие нейросеть до определённых областей), а так же задачи, не имеющие самой чёткой формализации: ну что-то типа – атакую баз врага в таком-то квадранте; или уничтожь таких-о юнитов (до их полного уничтожения) в такой-то области. Или захвати и удерживаю в данной область ключевые точки, в ней имеющимеся), Обратно отправляются отчеты о выполнении данных задач – в т.ч. аналитика, позволяющая вышестоящему ИИ определить целесообразность продолжения, может задача провалилась и пора отступать.
4. Стратегический – это наивысший уровень управления. Его основная задача вести общий анализ игрового процесса сбор статистики, расстановка оценок. Ну и выбор той или иной стратегии из БД (нейросети) по собранным аналитическим данным для раздачи задач тактическому уровню. Это глобальное управления всем полем действия. У него тоже отправной точкой может быть некий нечётко формализованный план текущей стратегии действий: ну там строить в первую очередь то-то, атаковать там-то, собирать атакующие группы так-то, применять такие-то манёвры – детали реализации – в БД, В процессе игрового процесса этот план будет динамически подстраиваться и даже заменяться другим.

Так вот, самым сложным в реализации, тут является 3-тий уровень ИИ. Самым аналитическим – 4й. Самыми захардкожеными 1-й и 2-й.

Так вот, судя по всему «AlphaStar» тоже захардкодили именно уровни 1. и 2. И на текущем этапе развития игрового ИИ я считаю это вполне нормально. Лучше больше уделить внимания уровням 3. и 4. Чем выстраивать динамическую нейроматрицу для решения задач микроменеджмента на уровне 2.

(15)
А запятые в этом случае чем являются? Если разделителем операций как в 1С ";", то последняя операция бессмысленна, так как результат от сложения никем не используется. Правильный ответ 7? Пишите компилятор на основе нейросети?