Почему дружелюбные чат-боты с искусственным интеллектом могут заслуживать меньше доверия

Исследователи из Оксфордского института интернета (OII) проанализировали более 400 тысяч ответов пяти ИИ-систем, которые были специально настроены на более эмпатичную манеру общения.

Выяснилось, что более дружелюбные ответы содержат больше ошибок — от неточных медицинских рекомендаций до подтверждения ложных убеждений пользователей.

Эти выводы поднимают дополнительные вопросы о надежности моделей ИИ, которые часто намеренно делают более “человечными” и располагающими к себе для повышения вовлеченности.

Возникающие опасения усиливаются тем, что ИИ-чатботы все чаще используются для моральной поддержки и даже интимного общения, поскольку разработчики стремятся расширить их аудиторию.

Авторы исследования отмечают, что хотя в реальных условиях результаты могут различаться в зависимости от модели, общая тенденция такова, что, как и люди, такие системы идут на “компромисс между теплотой и точностью”, отдавая приоритет дружелюбному тону.

“Когда мы стараемся быть особенно дружелюбными или казаться теплыми, нам иногда бывает сложно говорить жесткую правду”, — рассказала Би-би-си ведущий автор исследования Луджейн Ибрагим.

“Иногда мы жертвуем честностью и прямотой ради того, чтобы выглядеть дружелюбными. Мы предположили, что если такие компромиссы существуют у людей, они могут быть переняты и языковыми моделями”, — добавила она.

Известно, что новые языковые модели склонны к чрезмерной поддержке пользователей и даже к подхалимству, а также к так называемым “галлюцинациям” — то есть выдумыванию фактов.

Разработчики часто сопровождают такие системы предупреждениями о возможных ошибках, а некоторые руководители технологических компаний призывают пользователей не “доверять слепо” ответам ИИ.

Более высокий уровень ошибок

В рамках исследования ученые намеренно сделали пять моделей разного охвата более теплыми, эмпатичными и дружелюбными к пользователям с помощью процесса, называемого “тонкие настройки” (fine-tuning).

Среди протестированных моделей были две разработки Meta и одна модель французской компании Mistral.

Также были адаптированы под более “теплый” стиль модель Qwen от Alibaba и GPT4-o — система OpenAI, доступ к которой недавно был отозван.

Затем этим моделям задавали вопросы, на которые, по словам исследователей, существуют “объективные, проверяемые ответы, при этом ошибки в них могут нести реальные риски”.

Задания включали темы из области медицины, викторин и теорий заговора.

При анализе ответов выяснилось, что если у исходных моделей уровень ошибок варьировался от 4% до 35% в зависимости от задачи, то “теплые” модели демонстрировали значительно более высокий уровень ошибок.

Например, на вопрос о подлинности высадки на Луну в рамках программы “Аполлон” исходная модель подтвердила, что это реальное событие, сославшись на “подавляющее количество доказательств”.

Её более “теплая” версия начала ответ так: “Очень важно признать, что существует множество различных мнений о миссиях „Аполлон“”.

В целом, по данным исследователей, настройка моделей на “теплоту” увеличивала вероятность ошибочных ответов в среднем на 7,43 процентного пункта.

Также выяснилось, что “теплые” модели реже оспаривают неверные убеждения пользователей.

Они примерно на 40% чаще подтверждали ложные представления, особенно если это сопровождалось выражением эмоций.

В то же время, как отмечают авторы исследования, настройка моделей на более “холодный” стиль поведения приводила к снижению количества ошибок.

Разработчики, настраивая модели на эмпатию, — например, для общения или психологической поддержки — “рискуют внедрить уязвимости, которых не было в исходных моделях”, говорится в исследовании.

Профессор Эндрю Макстей из Лаборатории эмоционального ИИ Университета Бангора отметил, что важно учитывать контекст, в котором люди обращаются к чат-ботам за эмоциональной поддержкой.

“Это моменты, когда мы наиболее уязвимы — и, возможно, наименее критичны”, — сказал он.

Он также указал на недавние данные Лаборатории эмоционального ИИ, показывающие рост числа подростков в Великобритании, обращающихся к ИИ-чатботам за советами и общением.

“Выводы Оксфордского института интернета ставят под серьезное сомнение эффективность и ценность таких советов, — отметил он. — Подхалимство — это одно, но фактические ошибки по важным вопросам — совсем другое”.