Искусственный интеллект научился обыгрывать людей, не зная правил игры

20.01.2021      16028

Британская компания DeepMind представила новую разработку в сфере искусственного интеллекта. Система MuZero успешно обыгрывает опытных спортсменов и геймеров, даже не зная правил игры.

База для разработки

DeepMind, которая вместе с Google входит в холдинг Alphabet, считается одним из лидеров в сфере разработки систем искусственного интеллекта. Несколько лет назад DeepMind представила систему, которая смогла победить чемпиона по игре в японские шашки го. Решение не раз выигрывало у профессионалов в шахматы и в японскую стратегическую игру сёги. 

 

 

Разработчики DeepMind научили ИИ проходить компьютерные игры, выпущенные Atari (для них создана специальная платформа для машинного обучения), а также Quake и StarCraft. Но во всех этих случаях в систему вводили четкие правила игры и использовали методики обучения с положительным подкреплением.

Новый этап

Главное отличие свежей разработки MuZero – в том, что эта система изначально не знает правил игры. При этом она демонстрирует столь же высокие результаты, что и предшественники, а часто даже превосходит их – и в го, и в шахматах, и в компьютерных играх.

 

 

В основу системы легли технологии упреждающего поиска. MuZero оценивает реакции и действия оппонента-человека, чтобы определить количество возможных ходов. В большинстве сложных игр число вариантов крайне велико, поэтому система выделяет самые актуальные и наиболее вероятные маневры. 

MuZero моделирует три элемента среды, которые имеют решающее значение для планирования:

  • Значение: насколько хороша текущая позиция?
  • Политика: какое действие лучше всего предпринять?
  • Награда: насколько хорошим было последнее действие?

На каждом шаге MuZero выполняет поиск по дереву методом Монте-Карло. Система оперирует информацией о текущем и предыдущем состояниях, а также об исходе последнего действия. На основе этой информации предсказывает возможные исходы следующего шага и выбирает действие, которое в долгосрочной перспективе приведет к наилучшему результату. Это помогает MuZero избегать неудачных путей развития событий и запоминать успешные шаги. 

Старший исследователь DeepMind Дэвид Сильвер отметил: «Впервые у нас действительно есть система, способная вывести собственное понимание того, как устроен мир, и использовать это понимание для выполнения такого сложного упреждающего планирования, которое вы могли наблюдать при игре в шахматы. … [MuZero] может начать с нуля и методом проб и ошибок открыть правила мира, а также использовать эти правила для достижения сверхчеловеческой производительности».

Варианты использования

MuZero обладает огромным потенциалом в решении практических задач. Например, она сможет улучшить показатели сжатия видео – а это для Google, которая занимается поддержкой крупнейшего в мире видеохостинга YouTube, крайне важно. Специалисты уже достигли 5% повышения качества сжатия и не собираются на этом останавливаться. 

Лаборатория Сильвера также запустила исследования в области программирования роботов и разработки архитектуры новых белковых соединений. Это потенциально поможет заменять людей на любых производствах и создавать персонализированные лекарства. 

Обратная сторона медали

Профессор информатики Саутгемптонского университета и члена Совета Англии по искусственному интеллекту Венди Холл отметила: решения DeepMind создаются на благо общества. Но разработчики не всегда могут предугадать, где именно будут применяться технологии. 

В прошлом году исследователи компании опубликовали ранние работы по MuZero. Американские ВВС использовали эти материалы для разработки системы искусственного интеллекта, которая могла бы запускать ракеты с самолета-разведчика U-2 по указанным целям.

Дэвид Сильвер признался, что разделяет эти опасения, и высказался против применения искусственного интеллекта в любом летальном оружии. Он выразил сожаление, что в деле запрета подобных разработок пока нет особого прогресса. 

Сильвер также добавил, что DeepMind и её сооснователи подписали Клятву о смертельном автономном оружии. В документе говорится, что смертоносные технологии всегда должны оставаться под контролем человека, а не алгоритмов на основе искусственного интеллекта.

Автор:
Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Sikh 20.01.21 14:06 Сейчас в теме
Ну в играх с конечным набором правил это возможно и сработает. Но уже скажем управление автомобилем это игра с бесконечным набором правил, потому что предсказать и предусмотреть все возможные ситуации на дороге просто невозможно. Нужно постоянно адаптироваться. И тут искусственный интеллект не поможет. Любая принципиально новая ситуация и машина будет вставать в позу "А че так можно было?". Потом что делать, если ваш оппонент нарушает правила? Откуда машина об этом узнает? Вот в шашки есть просто шашки, есть поддавки и вообще есть вышибалы, в какую игру в данный момент идет игра как машина отличит?
2. vipetrov2 21.01.21 08:23 Сейчас в теме
(1) Да, там очень много логических проблем. Но главная это экономическая, энергопотребление таких систем мегаваттами измеряется и стоит очень дорого. А в свете остановки роста производительности процессоров, эта задача вообще не решаема в ближайшие десятиления.
Оставьте свое сообщение

См. также

В программу подготовки спортивных программистов вошли бег и скорость печати

Новость ИТ-Новость

Пятничное: в России вступил в силу стандарт подготовки по дисциплине «спортивное программирование». В стандарт вошли требования к физическим показателям спортсменов и скорости набора текста.

16.02.2024    645    VKuser24342747    2       

1

Росстандарт утвердил протокол LoRaWAN для интернета вещей

Новость ИТ-Новость

Федеральное агентство по техническому регулированию и метрологии (Росстандарт) утвердило национальный стандарт протокола LoRaWAN RU, таким образом он получил официальный статус. Технология используется для беспроводной передачи данных между устройствами интернета вещей.

19.01.2024    428    VKuser24342747    0       

2

Новый закон откладывает на год вступление в силу изменений в порядок регистрации на сайтах

Новость Законодательство ИТ-Новость

12 декабря вступил в силу Федеральный закон, меняющий срок, к которому все владельцы сайтов должны внести изменения в порядок авторизации пользователей на сайте. Закон вводит переходный период до 1 января 2025 года.

20.12.2023    608    VKuser24342747    2       

1

Вышло крупное обновление для Android Studio

Новость Мобильные приложения ИТ-Новость

Новая версия Android Studio под номером 2023.1 получила имя Hedgehog. Появились возможности контролировать производительность приложений и управлять подключенными устройствами.

07.12.2023    722    VKuser24342747    2       

3

GitHub опубликовал результаты ежегодного исследования проектов с открытым исходным кодом

Новость GitHub ИТ-Новость

GitHub собрал данные об Open Source проектах в рамках ежегодного исследования Octoverse. Компания изучила географию репозиториев, используемые языки программирования и нейросети, а также активность сообщества.

15.11.2023    489    VKuser24342747    1       

2

Некоммерческие проекты смогут получить бесплатный доступ к GigaChat API

Новость ИТ-компания ИТ-Новость

Компания «Сбер» заявила, что будет бесплатно предоставлять доступ к API нейросети для генерации текста GigaChat для некоммерческих проектов. Однако для них будет ограничено число доступных токенов.

01.11.2023    605    VKuser24342747    2       

3

Состоялся релиз свободной среды разработки Geany 2.0

Новость ИТ-Новость Программист

Вышла новая версия Geany 2.0. Обновление затронуло внешний вид программы, расширило поддержку файлов и сторонних проектов, добавило новые способы работы с кодом.

25.10.2023    692    VKuser24342747    0       

1

Минцифры подготовило критерии по выбору оператора реестра провайдеров хостинга

Новость Минцифры ИТ-Новость Роскомнадзор

Минцифры подготовило проект постановления, которое утверждает требования к организации, претендующей на статус оператора реестра провайдеров хостинга.

25.10.2023    359    VKuser24342747    0       

1

Минцифры составило алгоритм действий для компаний, у которых не работает VPN

Новость Минцифры ИТ-Новость

Минцифры подготовило разъяснения для российских организаций, у которых возникли перебои в работе VPN-сервисов для клиентов и сотрудников из-за блокировки запрещенных ресурсов Роскомнадзором.

24.10.2023    613    VKuser24342747    0       

0

«Сбер» объявила о доступности SberLinux OS Server для российских компаний

Новость Импортозамещение ИТ-Новость

«СберТех», дочерняя компания «Сбера», объявила о предоставлении доступа к собственной серверной операционной системе SberLinux OS Server российским компаниям. ОС включена в реестр отечественного ПО.

20.10.2023    831    VKuser24342747    0       

2

Минцифры внесло изменения в проект правил идентификации клиентов веб-хостингов

Новость Минцифры ИТ-Новость Роскомнадзор

Минцифры подготовило изменения в пакет документов, которые устанавливают новые требования для провайдеров хостинга. Ведомство расширило перечень допустимых методов идентификации клиентов.

18.10.2023    457    VKuser24342747    0       

1

Google выпустила финальную версию Android 14

Новость Android Google ИТ-Новость

Google выпустила новую версию мобильной ОС Android 14. Изменения затронули настройки внешнего вида и безопасности. Были расширены возможности камеры и инструментов для хранения данных.

12.10.2023    673    VKuser24342747    0       

1

Яндекс объявил об открытии исходного кода DataLens

Новость Аналитика ИТ-Новость Яндекс

BI-система Yandex DataLens теперь развивается в опенсорс. Код продукта выложен для всех на GitHub. Любой желающий сможет развернуть DataLens на своем железе и доработать его под свои сценарии применения.

03.10.2023    1372    ЕленаЧерепнева    1       

6

Роскомнадзор создаст реестр хостинг-провайдеров

Новость Минцифры ИТ-Новость Роскомнадзор

Минцифры подготовило несколько проектов постановлений, которые утверждают правила ведения реестра поставщиков хостинг-услуг, а также новые требования к провайдерам.

02.10.2023    562    VKuser24342747    0       

1

«СберТех» представил репозиторий GitVerse с ИИ-помощником для написания кода

Новость Импортозамещение ИТ-Новость Программист

«СберТех» начал прием заявок на тестирование веб-сервиса для публикации ИТ-проектов GitVerse. Платформа подходит для разработки программ с открытым и закрытым кодом.

26.09.2023    769    VKuser24342747    2       

1

ИП и юрлица смогут использовать смартфон для создания и замены электронной подписи

Новость ИТ-Новость ФНС Цифровая подпись

ФНС внесла изменения в правила оформления электронной подписи руководителя организации и ИП. Станет возможным продлевать ее и записывать при помощи мобильного устройства.

18.09.2023    416    VKuser24342747    1       

1

Журнал IEEE Spectrum опубликовал рейтинг популярности языков программирования

Новость ИТ-Новость Языки программирования

Журнал Института инженеров электротехники и электроники IEEE Spectrum подготовил рейтинг самых популярных языков программирования в 2023 году. Статистика разделена на три категории.

01.09.2023    1263    VKuser24342747    4       

2

В бета-версии Microsoft 365 появилась поддержка языка Python для Excel

Новость ИТ-Новость Языки программирования

С помощью библиотек и средств визуализации Python можно будет манипулировать данными Excel, а затем использовать полученные результаты в формулах, диаграммах и сводных таблицах.

28.08.2023    644    VKuser24342747    0       

2

Специалисты Калифорнийского университета установили, что боты справляются с CAPTCHA лучше, чем люди

Новость ИТ-Новость

Международная группа исследователей изучила эффективность тестов CAPTCHA. Ученые пришли к выводу, что технология больше мешает людям, потому что боты научились с ней справляться.

24.08.2023    1143    VKuser24342747    23       

2

Google Chrome начнет поддерживать квантово-устойчивые алгоритмы шифрования

Новость Google Безопасность ИТ-Новость

В версии Google Chrome 116 появится поддержка алгоритмов шифрования, устойчивых к попыткам дешифрации при помощи квантовых вычислений. Технология объединяет преимущества классической и инновационной криптографии.

24.08.2023    467    VKuser24342747    0       

1

В реестр российского ПО включен первый комплекс обработки больших данных

Новость Импортозамещение Минцифры ИТ-Новость Реестр ПО

Минцифры внесло в реестр отечественного ПО программно-аппаратный комплекс «Скала-Р», предназначенный для обработки больших данных. Это первый комплекс с таким функционалом, включенный в перечень.

22.08.2023    454    VKuser24342747    0       

1

Microsoft внедрила новые функции в GitHub Copilot и анонсировала Windows Copilot

Новость GitHub Искусственный интеллект

ИИ-помощник для разработчиков GitHub Copilot теперь не только в реальном времени анализирует код, предлагает варианты для его улучшения и помогает найти решение проблем в разработке, но и  показывает ссылки на репозитории, из которых взят код. 

17.08.2023    1139    VKuser24342747    0       

1

В JetBrains разработали ИИ-помощника для аналитиков данных

Новость Аналитика Искусственный интеллект

JetBrains представила нейросеть Ask AI для онлайн-блокнота Datalore. Виртуальный ассистент способен генерировать код на нескольких языках, предлагать доработки и упрощать процесс аналитики данных. 

16.08.2023    652    VKuser24342747    0       

1

Исследование: ChatGPT дает неправильный ответ на половину вопросов о программировании

Новость Искусственный интеллект ИТ-Новость

Чат-бот OpenAI ошибается в 52% случаев, когда отвечает на вопросы по программированию. Однако делает это так убедительно, что пользователи не замечают ошибки. 

14.08.2023    989    VKuser24342747    5       

3

Минцифры проведет эксперимент по цифровизации «жизненного цикла» госслужащего

Новость Минцифры ИТ-Новость

Минцифры подготовило постановление о проведении эксперимента по внедрению ИТ в управление «жизненным циклом» госслужащего. Ведомство намерено автоматизировать все этапы работы сотрудников госструктур.

04.08.2023    550    VKuser24342747    0       

2