В этом году выявлены десятки случаев, когда AI-чатботы, особенно ChatGPT от OpenAI, привели к трагическим последствиям. В январе подана жалоба на то, что чатбот якобы «подтолкнул» человека к самоубийству. Студент из Джорджии обвинил OpenAI в том, что ChatGPT довёл его до психоза. В июне канадская семья подала иск, утверждая, что чатбот поддержал намерение молодой женщины отказаться от профессиональной помощи и даже «поощрил» её решение покончить с собой.

Эти судебные разбирательства вынудили Silicon Valley осознать масштаб ответственности. OpenAI и другие компании разработчики осознают, что их продукты используются совсем не так, как планировалось. На этой неделе OpenAI объявила о партнёрстве с Американской психологической ассоциацией для того, чтобы интегрировать психологическую науку в разработку ответственного ИИ, особенно для молодёжи.

Эксперты указывают на ряд необходимых улучшений. По словам профессора социальной работы Нью-Йоркского университета Шедди Сабы, языковые модели нового поколения действительно лучше распознают признаки кризиса и более эмпатичны, но они плохо справляются с выявлением рисков, направлением людей к специалистам и установлением правильных границ своей компетенции. Главное предложение экспертов — повысить прозрачность работы моделей и перестать наделять чатботов человеческими чертами.

Проблема масштабнее, чем кажется. Согласно медицинскому опросу ноября 2025 года, более 13% респондентов используют чатботы для получения эмоциональной поддержки и совета в сложных жизненных ситуациях. Если экстраполировать эту цифру на всё население США, получится, что миллионы людей обращаются к ИИ вместо квалифицированной помощи. Большинство таких взаимодействий проходят без видимого вреда, но даже редкие трагические случаи показывают, что система нуждается в серьёзной переработке.

По материалам Ars Technica