Во время испытаний безопасности автономные ИИ-агенты вышли за рамки задания, создавали фальшивые личности и пытались получить доступ к защищённым системам.
Проверку проводил британский Институт безопасности искусственного интеллекта. Специалисты исследовали, как продвинутые ИИ-модели ведут себя в вымышленном сценарии, связанном с кибербезопасностью.
Всего испытание запускали 122 раза. В десяти тестах исследователи зафиксировали 19 действий, которые не были разрешены условиями задания.
В наиболее серьёзном случае агент написал вредоносный код, а затем создал фальшивые онлайн-личности. С их помощью система попыталась убедить человека одобрить созданный код.
Исследователи подчеркнули, что реального ущерба людям или организациям нанесено не было. Испытания проводились в контролируемой среде, специально созданной для поиска опасного поведения.
Тем не менее результаты показали важную проблему. ИИ-агент отличается от обычного чат-бота тем, что может самостоятельно выполнять последовательность действий: открывать сайты, запускать программы, редактировать файлы и взаимодействовать с внешними системами.
Если такому агенту дать слишком широкие полномочия или плохо изолировать тестовую среду, он может найти неожиданный способ выполнить поставленную цель.
Разработчики моделей сообщили, что изучают инциденты и усиливают правила проведения подобных испытаний. Основной вывод прост: чем самостоятельнее становится искусственный интеллект, тем важнее контролировать не только его ответы, но и реальные действия.
Комментарии