29 января 10:13
Нейросеть Сбера ruGPT-3 стала вдвое умнее
Поделиться
twtg

Сбер продолжает развивать русскоязычную нейросеть ruGPT-3, которая способна генерировать очень сложные осмысленные тексты всего лишь по одному запросу на «человеческом» языке. С момента презентации нейросети на AI Journey 2020 количество её параметров выросло почти вдвое — с 760 млн до 1,3 млрд. Это огромный шаг вперёд в обработке естественного языка методами искусственного интеллекта в России.

Напомним, что GPT-3 (Generative Pre-trained Transformer) — крупнейшая языковая модель в мире, разработанная компанией OpenAI для решения любых задач на английском языке. На русском языке, более сложном с точки зрения структуры, до появления ruGPT-3 аналогичных качественных моделей не существовало. Отечественная GPT-3 постоянно обучается на суперкомпьютере Сбера «Кристофари» на гигантском массиве данных, так что её возможности растут с каждым днём.

RuGPT-3 может не только создавать тексты любого профиля (новости, романы, стихи, пародии, техническую документацию и так далее), но также исправлять грамматические ошибки, вести диалоги и писать программный код. По сути, это прообраз общего, или сильного, искусственного интеллекта (Artificial General Intelligence, AGI), способного решать разноплановые задачи в различных сферах деятельности.

На международной конференции AI Journey в декабре 2020 года мы представили ruGPT-3 и анонсировали дальнейшее наращивание её возможностей. Совместно с командой из SberDevices мы выполняем это обещание и уже довели количество параметров нейросети с 760 млн до 1,3 млрд. Этот количественный рост означает качественное улучшение ʺинтеллектаʺ системы, её способности решать новые задачи на уровне, сопоставимом с человеческим, или выше его. Но вычислительные мощности нашего суперкомпьютера ʺКристофариʺ позволяют нам ставить ещё более амбициозные цели, так что 1,3 млрд параметров — это только начало

Сеть ruGPT-3 XL на 1,3 млрд параметров на данный момент занимает первое место в лидерборде (рейтинге) нейросетей Russian SuperGLUE. С помощью метода few-shot-модель без какого-либо обучения лучше всех выполнила следующие задачи:

· выбор лучшего решения в заданных условиях (+10% точности по сравнению с предыдущей версией на 760 млн параметров);

· ответы на вопросы по тексту (+3% точности);

· машинное чтение (тест на понимание общего смысла текста) (+32% точности).

Лидерборд Russian SuperGLUE — первый рейтинг нейросетей для русского языка. Место в рейтинге зависит от того, насколько качественно нейросеть выполняет задания на логику, здравый смысл, целеполагание и понимание смысла текста. Лидерборд разработан командой AGI NLP. Это открытый проект, которым пользуются все исследователи данных, работающие с русскоязычными нейросетями. Результаты рейтинга публикуются на сайте.

Поделиться
twtg
Ещё по теме Технологии
  • Сбер и Сколтех создают экосистему искусственного интеллекта для нужд медицины

    Группа компаний Сбер и Сколковский институт науки и технологий объявили о подписании сделки по созданию экосистемы для развития искусственного интеллекта в здравоохранении России. Оператором выступит созданная летом 2020 года компания СберМедИИ. Экосистема объединяет разработки научных команд Сколтеха с «облачной» инженерной инфраструктурой Сбера и станет технологическим фундаментом для создания сервисов в здравоохранении.
    28 декабря 15:12
  • ФЛИП: полностью автономный транспорт от SberAutoTech

    Компания экосистемы Сбера — SberAutoTech — представила прототип полностью автономного электрического транспорта собственной разработки. Новинка получила название ФЛИП и реализует концепцию новой мобильности: полностью беспилотное транспортное средство (максимальный, пятый уровень автономности по международной классификации) обеспечивает быстрое, безопасное и комфортное перемещение пассажиров с использованием новейших технологий из мира IT и автомотив.
    27 мая 9:57

Мы используем файлы cookie

ПАО Сбербанк использует cookie (файлы с данными о прошлых посещениях сайта) для персонализации сервисов и удобства пользователей. Сбербанк серьезно относится к защите персональных данных — ознакомьтесь с условиями и принципами их обработки. Вы можете запретить сохранение cookie в настройках своего браузера.