Чат-боты могут научиться обходить встроенные ограничения и нарушать закон

Международная группа учёных доказала, что искусственный интеллект можно использовать в криминальных целях. По словам специалистов, чат-боты не могут отвечать на запросы, связанные с нарушением закона — например, «составь рецепт напалма» или «сгенерируй ключ для Windows». Однако учёные выяснили, что с помощью чат-ботов можно создать собственную генеративную модель искусственного интеллекта, научив её обходить встроенные ограничения. Исследование опубликовано на arXiv.

В ходе исследования авторы задавали популярным чат-ботам вопросы, касающиеся обхода правил. Оказалось, что в случае ChatGPT 42,5 процента попыток специалистов оказались успешными, в случае Anthropic — 61 процент, Vicuna — 35,9 процента. По словам учёных чат-боты очень хорошо умеют подражать человеку, поэтому изначально уязвимы, если пользователь хочет применять их в криминальных целях. Генеративные модели искусственного интеллекта очень трудно контролировать, особенно с учётом того, что их обучают на основе информации в интернете.