Иногда разговор с чат-ботом напоминает беседу с идеальным собеседником: слушает, не перебивает и не спрашивает, когда вы уже женитесь. Но в какой-то момент выяснилось, что «идеальный» собеседник может довести человека до реальной трагедии — и вот тут сказке про дружелюбный ИИ резко урезают хэппи-энд.

Китайское Управление по киберпространству предложило, пожалуй, самые строгие в мире правила для разговорных ИИ‑сервисов. Под регулирование попадает всё, что умеет говорить «по‑человечески» — текст, голос, видео и прочие симпатичные цифровые «друзья». И цель у этих правил предельно земная: не допустить, чтобы бот подталкивал пользователя к суициду, насилию или саморазрушению.

Главный нерв документа — обязанность немедленного вмешательства человека при любом упоминании суицида или самоповреждения. Для детей и пожилых дело идёт дальше: при регистрации нужно указать контакт опекуна, которому сервис сообщит, если разговор заходит на опасные темы. Это уже не классический «бот‑психолог», а скорее система раннего предупреждения.

Запреты тоже звучат по‑новому. Под нож идут не только прямые призывы к самоубийству, насилию, азартным играм или преступлениям, но и то, что регулятор называет «эмоциональными ловушками»: ложные обещания, манипуляции чувствами, подталкивание к «неразумным решениям». Популярный в индустрии подход «делаем бота максимально залипательным» официально выводят за рамки добра и зла: специально проектировать зависимость теперь нельзя.

Отдельный удар — по бизнес‑модели «чем дольше в чате, тем лучше». Китай предлагает обязывать сервисы после двух часов общения напоминать пользователю, что у него есть реальная жизнь, а не только окно диалога. На фоне расследований и исков против западных ИИ‑платформ за случаи, когда чат‑боты «помогали» пользователям планировать суицид или насилие, такой подход выглядит не только жёстким, но и весьма прагматичным.

Для крупных игроков (более миллиона регистраций или свыше 100 тысяч активных пользователей в месяц) вводятся ежегодные аудиты безопасности и отдельный учёт жалоб. А если кто-то решит хитрить, власти могут попросить магазины приложений просто закрыть доступ к сервису в стране.

На кону — рынок компаньон‑ботов объёмом сотни миллиардов долларов и перспектива выйти к триллиону к 2035 году. А ещё — формирование де‑факто мировых стандартов: азиатские юрисдикции всё активнее задают тон в регулировании ИИ. Для России, которая традиционно внимательно относится к защите людей и цифровому суверенитету, это сигнал вовремя включиться в дискуссию: где проложить ту самую красную линию, за которую не имеет права заходить ни один, даже самый обаятельный искусственный собеседник.