29.03.2024
Подписывайтесь на Telegram-канал по ссылке

В Китае представили нейросеть Wu Dao 2.0, которая превосходит алгоритм GPT-3

Wu Dao 2.0

Исследователи Пекинской академии искусственного интеллекта объявили о создании нейросети Wu Dao 2.0, обученной на 1,75 триллиона параметров. По словам разработчиков, новая языковая модель в десять раз мощнее алгоритма генерации текста GPT-3 от компании OpenAI, который до сих пор считался наиболее сложным и объёмным.

GPT — это самообучаемый алгоритм для написания текстов, разработку которого ведёт некоммерческая организация OpenAI (создана при участии главы Tesla Илона Маска). Система искусственного интеллекта последнего, 3-го поколения, представленная в мае 2020 года, установила новый стандарт в области глубокого обучения.

Обученная на 570 гигабайтах текста (или 1,5 триллиона слов), нейросеть способна создавать осмысленные тексты, не отличающиеся от написанных человеком. GPT-3 умеет генерировать диалоги персонажей в играх и правдоподобные комментарии в соцсетях, разгадывать анаграммы, придумывать бизнес-идеи, сочинять анекдоты, эссе, песни, стихи и даже подражать стилю автора. Базу для GPT-3 составили полная англоязычная «Википедия», открытая библиотека Common Crawl и другие наборы данных.

Однако на этой неделе учёные из Китая объявили о создании собственной модели генеративного глубокого обучения. Если GPT-3 «тренировалась» на более чем 175 миллиардах параметров, то Wu Dao 2.0 — на 1,75 триллиона. Китайская нейросеть умеет делать всё то же самое, что и американский конкурент, только быстрее, точнее и разнообразнее.

В отличие от большинства других «глубоких» моделей, способных выполнять только одну функцию (писать тексты, создавать дипфейки, рисовать картины или распознавать лица), Wu Dao 2.0 многомодальна. Например, алгоритм может сочинить эссе, стих или двустишие на традиционном китайском языке, описать картинку словами и сгенерировать фотореалистичное изображение на основе описания, данного на естественном языке.

Кроме того, система искусственного интеллекта может стать «мозгами» голосового помощника, а также предсказывать трёхмерную структуру белка, как узкоспециализированная AlphaFold от Google DeepMind. «По сути, мы строим источник питания для будущего искусственного интеллекта с мегаданными, вычислительной мегамощью и мегамоделями», — сказали разработчики.

Напомним, что в конце 2020 года Сбер выложил русскоязычную модель GPT-3 в открытый доступ.