Автор: 
Сбер продолжает развивать русскоязычную нейросеть ruGPT-3, которая способна генерировать очень сложные осмысленные тексты всего лишь по одному запросу на «человеческом» языке. С момента презентации нейросети на AI Journey 2020 количество её параметров выросло почти вдвое — с 760 млн до 1,3 млрд. Это огромный шаг вперёд в обработке естественного языка методами искусственного интеллекта в России.
Напомним, что в прошлом году Сбер выложил русскоязычную модель GPT-3 в открытый доступ. GPT-3 (Generative Pre-trained Transformer) — крупнейшая языковая модель в мире, разработанная компанией OpenAI для решения любых задач на английском языке. На русском языке, более сложном с точки зрения структуры, до появления ruGPT-3 аналогичных качественных моделей не существовало. Отечественная GPT-3 постоянно обучается на суперкомпьютере Сбера «Кристофари» на гигантском массиве данных, так что её возможности растут с каждым днём.
RuGPT-3 может не только создавать тексты любого профиля (новости, романы, стихи, пародии, техническую документацию и так далее), но также исправлять грамматические ошибки, вести диалоги и писать программный код. По сути, это прообраз общего, или сильного, искусственного интеллекта (Artificial General Intelligence, AGI), способного решать разноплановые задачи в различных сферах деятельности.
«На международной конференции AI Journey в декабре 2020 года мы представили ruGPT-3 и анонсировали дальнейшее наращивание её возможностей. Совместно с командой из SberDevices мы выполняем это обещание и уже довели количество параметров нейросети с 760 млн до 1,3 млрд. Этот количественный рост означает качественное улучшение «интеллекта» системы, её способности решать новые задачи на уровне, сопоставимом с человеческим, или выше его. Но вычислительные мощности нашего суперкомпьютера «Кристофари» позволяют нам ставить ещё более амбициозные цели, так что 1,3 млрд параметров — это только начало», — говорит Александр Ведяхин, первый заместитель Председателя Правления Сбербанка.
Сеть ruGPT-3 XL на 1,3 млрд параметров на данный момент занимает первое место в лидерборде (рейтинге) нейросетей Russian SuperGLUE. С помощью метода few-shot-модель без какого-либо обучения лучше всех выполнила следующие задачи:
- выбор лучшего решения в заданных условиях (+10% точности по сравнению с предыдущей версией на 760 млн параметров);
- ответы на вопросы по тексту (+3% точности);
- машинное чтение (тест на понимание общего смысла текста) (+32% точности).
Лидерборд Russian SuperGLUE — первый рейтинг нейросетей для русского языка. Место в рейтинге зависит от того, насколько качественно нейросеть выполняет задания на логику, здравый смысл, целеполагание и понимание смысла текста. Лидерборд разработан командой AGI NLP. Это открытый проект, которым пользуются все исследователи данных, работающие с русскоязычными нейросетями.
