11 сентября 2026

Компании пытаются создать аварийный выключатель для ИИ, если он начнёт вредить человечеству — пока неясно, сможет ли он остановить нейросети. Как всегда, есть нюанс: компании-передовики разрабатывают системы, в которых ИИ следит за ИИ. А что, если система не захочет выключаться? Новое время — новые проблемы. Сейчас разработчики экспериментируют с многоуровневыми «аварийными тормозами»: они должны замечать подозрительное поведение ИИ, останавливать отдельных агентов и перекрывать им доступ в случае, если что-то пойдёт не по плану. Всё из-за того, что только за лето было уже несколько случаев, когда ИИвыходил из-под контроля и взламывал системы, сообщает Axios. На этой неделе несколько исследователей предупредили, что вышедшие из-под контроля версии ИИ, которые действуют вне человеческого контроля или преследуют цели, не предусмотренные человеком, могут в конечном итоге уничтожить человечество. OpenAI после взлома Hugging Face усилила систему реагирования. Специальный ИИ следит за действиями другого ИИ и должен сообщить сотрудникам, если тот делает что-то опасное. Если за 30 минут люди не подтвердят, что тревога ложная, систему предписывается приостановить. В компании утверждают, что такая система могла бы предупредить о взломе Hugging Face более чем за сутки. Anthropic пошла по похожему пути — ИИ следит за ИИ и пытается обнаружить саботаж. Правда, результаты пока так себе: в одном из тестов мониторинг не обнаружил половину специально созданных атак, и надежно распознал только 8 из 40. Есть и другой вариант: Agent Kill Switch от MuleSoft — он позволяет оператору заблокировать отдельный запрос, сессию, агента, или весь корпоративный аккаунт. Для этого агенту перекрывают доступ к учетным данным и ресурсам. «Приказ об уничтожении остается в силе, даже если агент пытается его уклониться», — заявляет компания. Американского Центр новой американской безопасности еще в 2024 году предложил более радикальную идею: создать ИИ-чипы, которым для работы требуется специальное разрешение. Предложенная структура «операционной лицензии» предотвратит несанкционированную работу чипов, лишив систему искусственного интеллекта необходимых вычислительных ресурсов. Универсальной кнопки пока не существует и это проблема. Современные ИИ работают сразу на множестве компьютеров, а достаточно продвинутая система теоретически может попытаться обойти механизм отключения. 😎 Кровавая барыня в МАХ