Учёные Калифорнийского университета показали, что чат-бот с искусственным интеллектом ChatGPT пока ещё не способен пройти тест Тьюринга, то есть он не может генерировать тексты, неотличимые от тех, что созданы человеком. Исследователи проверили языковую модель, опираясь на работу Алана Тьюринга, который 70 лет назад разработал тест, позволяющий определить, способна ли машина достичь уровня интеллекта и разговорной речи. Результаты исследования опубликованы в препринте на сайте arXiv.
В исследовании приняли участие 650 человек, которые вступали в беседы друг с другом или с GPT, после чего им предлагалось определить, с кем они разговаривали. Учёные обнаружили, что модели GPT-4 обманули участников в 41% случаев, тогда как модели GPT-3.5 обманули их только в 5-14% случаев. Людям удалось убедить участников, что они не машины, только в 63% испытаний. Согласно выводам исследователей, GPT-4 не проходит тест Тьюринга. Однако во многих случаях чат-боты могут общаться достаточно убедительно, чтобы обманывать пользователей.