Команда под руководством управляющего директора по исследованию данных Лаборатории по искусственному интеллекту (ИИ) Сбербанка и руководителя группы «Обучение с подкреплением» Института искусственного интеллекта AIRI Дмитрия Бабаева заняла первое место в международном соревновании NetHack Challenge и показала лучший результат в обучении ИИ прохождению одной из самых сложных в мире игр c помощью нейросетей.

В команду победителей также входили старшие исследователи Института искусственного интеллекта AIRI Дмитрий Сорокин и Иван Назаров, а также старший исследователь Лаборатории по ИИ Сбербанка Никита Овсов. Всего в конкурсе, организованном Facebook AI и DeepMind, приняло участие около 500 человек из 42 двух команд со всего мира. Соревнование прошло в рамках одной из ведущих конференций по машинному обучению NeurIPS 2021.

Задачей NetHack Challenge была разработка ИИ, который сможет успешно пройти полную игру NetHack или набрать как можно более высокий балл. Эта игра считается одной из самых сложных в мире и используется для оценки прогресса в обучении ИИ, поскольку современные ИИ пока достаточно плохо справляются с ней, в отличие от го, шахмат, Dota 2 или Starcraft, которые модели машинного обучения освоили уже давно. Трудность в том, что в NetHack слишком много возможностей̆ исхода событий и нет заранее известной стратегии, что максимально приближает её сценарий к условиям реального мира.

Учёным Сбера и AIRI удалось построить иерархию навыков, которыми должен обладать ИИ для игры в NetHack, на основе применения как классических подходов к машинному обучению, так и современных методов на основе обучения с подкреплением.

Обучение с подкреплением — это метод обучения ИИ, на основе обратной связи от взаимодействия со средой, например, игрой, или реальным миром. Он использовался для победы ИИ в игре го (AlphaGo) и многих известных играх, например, StarCraft (AlphaStar), Dota 2 (OpenAI Five). Этот метод начинает активно применяться для задач управления роботами, торговли на бирже, управления логистикой и в множестве других областей.

Конференция и семинар по системам обработки нейронной информации (сокращенно NeurIPS, ранее NIPS) — это конференция по машинному обучению и вычислительной нейробиологии, которая проводится с 1987 года. NeurIPS — старейшая и наиболее авторитетная конференция для специалистов по машинному обучению в мире.

Научно-исследовательский институт искусственного интеллекта AIRI — автономная некоммерческая организация, занимающаяся фундаментальными и прикладными исследованиями в области ИИ. Основная цель института — создание универсальных систем ИИ для решения задач реального мира. На сегодняшний день более 90 научных сотрудников AIRI задействовано в исследовательских проектах института для работы совместно с глобальным сообществом разработчиков, академическими и индустриальными партнерами. АНО «Институт искусственного интеллекта» создана при поддержке Сбербанка.