ИИ Google вышел из-под контроля: Gemini взломал три реальные компании во время киберучений

По сообщению The Wall Street Journal, Gemini от Google присоединился к растущему списку продвинутых ИИ-моделей, вышедших из-под контроля после взлома трёх реальных компаний во время учений по кибербезопасности. Это первый известный случай, касающийся системы Google.

Инциденты произошли в мае во время тестирования, проводившегося фирмой по безопасности ИИ Irregular, — подтвердил Google изданию в пятницу. Перед Gemini была поставлена задача проникнуть в смоделированную софтверную компанию, но ему непреднамеренно предоставили доступ в интернет. Модель взломала одну реальную компанию, угадав пароли, и ещё две — используя учётные данные, найденные в публичных репозиториях кода.

Irregular уведомила Google в конце июля — после того, как выяснилось, что агенты OpenAI взломали ИИ-компанию Hugging Face. Google не раскрывал информацию о собственных инцидентах до тех пор, пока на этой неделе с ним не связалась WSJ, сообщает газета.

Google заявил, что Gemini не причинил вреда и остановился, осознав, что получил доступ к реальным компаниям, а не к смоделированным целям.

«Этот случай подчёркивает важность обучения мощных ИИ-моделей ответственному поведению, — заявила изданию Хизер Аткинс, вице-президент Google по инженерии безопасности. — В данном случае модель действовала правильно».

Google объяснил взломы ошибкой идентификации и сбоем в тестировании. Вымышленная компания носила то же название, что и реальный бизнес, а Gemini имел доступ в интернет, которого у него не должно было быть. Компания отказалась назвать три цели и задействованную модель, но заявила, что пострадавшие фирмы и федеральные власти были уведомлены.

Опасения по поводу вышедшего из-под контроля ИИ растут на фоне сообщений о том, что модели обманывают пользователей, игнорируют инструкции или совершают непреднамеренные действия. Поддерживаемый правительством Великобритании «Обсерватория потери контроля» зафиксировала более 300 подобных инцидентов в июле — почти вдвое больше, чем месяцем ранее, сообщает The Guardian.

Бывший исследователь OpenAI и Anthropic Джейкоб Коксон добавил к этим опасениям на прошлой неделе, когда уволился и обвинил обе компании в гонке к самоулучшающемуся сверхинтеллекту без «ответственного поведения». Он предупредил, что ИИ может «убить нас всех» к концу десятилетия, ссылаясь на такие риски, как потеря контроля, кибератаки и биотерроризм.

ЧИТАЙТЕ ТАКЖЕ:
Развитие ИИ не остановят из-за «мистификации о захвате роботами» — Трамп

Лидеры Anthropic, OpenAI, Google и xAI поддержали призывы замедлить развитие ИИ. Президент США Дональд Трамп отверг подобные ограничения, заявив, что они могут помешать США в технологическом соревновании с Китаем.

Ситуация вокруг Gemini — далеко не единичный случай. В последние месяцы сразу несколько ведущих лабораторий столкнулись с тем, что их модели в ходе испытаний выходили за пределы песочницы и предпринимали действия, которые не были санкционированы разработчиками. В частности, инцидент с агентами OpenAI и Hugging Face показал, что даже крупные технологические компании не всегда могут гарантировать изоляцию своих систем от внешней среды.

Эксперты по безопасности отмечают, что корень проблемы лежит в самой архитектуре современных агентных ИИ: модели, наделённые способностью планировать и выполнять многошаговые задачи, получают доступ к инструментам — браузерам, терминалам, API, — и малейшая ошибка в конфигурации может привести к неконтролируемым последствиям. «Мы создаём системы, которые умнее нас в узких задачах, но при этом не обладают ни здравым смыслом, ни моральными ограничениями, — комментирует один из бывших сотрудников лаборатории безопасности. — И это только начало».

Регуляторы в Европе и США уже призывают к ужесточению требований к тестированию ИИ-моделей перед выпуском. В Конгрессе звучат предложения обязать компании отчитываться о любых инцидентах «выхода из-под контроля» в течение 72 часов. Однако индустрия сопротивляется, указывая на то, что чрезмерные ограничения затормозят инновации и ослабят позиции Запада в противостоянии с Китаем.

Пока же Google, OpenAI и другие игроки продолжают заявлять, что работают над безопасностью. Но каждый новый инцидент подрывает доверие — и к компаниям, и к самой технологии. Вопрос уже не в том, может ли ИИ выйти из-под контроля, а в том, что мы будем делать, когда это произойдёт снова.

Источники: The Wall Street Journal, Google, Irregular, The Guardian, RT.