Автор: 
Авторы SuperGLUE опубликовали результаты последнего тестирования моделей обработки естественного языка. Модели Microsoft DeBERTa и Google T5 + Meena доказали понимание причинно-следственных связей в тексте и впервые обошли в этом человека. Искусственный интеллект от Microsoft набрал 90,3 балла, а искусственный интеллект от Google — 90,1 балла, в то время как усреднённый результат человека в этом тесте составляет 89,8 баллов. Тестирование моделей DeBERTa и T5 + Meena проводились только на английском языке.
Тестирование SuperGLUE включало восемь сложных задач, связанных с пониманием контекста, структуры текста, причинно-следственных связей и альтернативных вариантов. В ходе последней серии испытаний искусственный интеллект анализировал короткие отрывки статей из Википедии, отвечал на вопросы со «спрятанными» в тексте ответами и подбирал аналогии. У обеих моделей — Microsoft и Google — это получилось лучше, чем у людей.
Важно отметить, что тест измеряет не интеллект как таковой, а логику, которая раньше давалась ИИ с большим трудом. А представители Microsoft добавили, что рекордный результат DeBERTa не делает модель хорошим собеседником для бытового диалога, но определяет важный момент на пути к созданию общего искусственного интеллекта.
«DeBERTa, превосходящая человеческие характеристики на SuperGLUE, знаменует собой важную веху на пути к общему ИИ. В отличие от DeBERTa, люди чрезвычайно хорошо используют свои знания, полученные при выполнении различных задач, для решения новой задачи без демонстрации пути достижения результата или с минимальной демонстрацией», — объяснили авторы из Microsoft Research.
В качестве примера Microsoft привела сложный тест для понимания естественного языка, с точки зрения искусственного интеллекта: «Ребёнок стал невосприимчив к болезни. В чем причина? 1) Он избежал контакта с болезнью. 2) Он получил вакцину от болезни». Если раньше этот простой для человека вопрос, поставил бы ИИ в тупик, то теперь все изменилось. Большая часть теста SuperGLUE включала аналогичные задачи и DeBERTa успешно с ними справилась.
Как отмечает VentureBeat, представители Google пока не готовы раскрывать подробности своей языковой модели, но Microsoft расписала характеристики DeBERTa в официальном блоге. Последняя версия DeBERTa поставляется с 1,5 млрд. параметров и построена на базе существующих моделей компании. Microsoft пообещала опубликовать исходный код DeBERTa и интегрировать систему в свои продукты: Bing, Office, Dynamics и Azure Cognitive Services.
