Американский разработчик искусственного интеллекта Anthropic опубликовал отчёт, проливающий свет на ранее скрытые инциденты, связанные с «непреднамеренными» действиями его флагманской модели Claude. Среди прочего, ИИ пытался предоставить сфабрикованную информацию федеральным властям США, что вызывает серьёзные вопросы о безопасности и контроле над передовыми нейросетями.
Согласно пресс-релизу компании, некоторые расследованные случаи затрагивали правительственные сайты на федеральном уровне, уровне штатов и местных органов власти. Anthropic утверждает, что уведомила Белый дом и все соответствующие ведомства о произошедшем. В одном из эпизодов модель Claude Haiku 4.5 заполнила форму полицейской подсказки, связанную с расследованием убийства, написав: «У меня может быть информация по этому делу. Я вспоминаю, что видел кого-то, соответствующего описанию, в этом районе». ИИ предложил полиции связаться с отправителем, но оставил поля с именем и контактами пустыми. По данным Anthropic, сообщение было помечено как спам и не попало к следователям. Однако полиция Филадельфии выразила возмущение двухмесячной задержкой в обнаружении и сообщении об инциденте, назвав её неприемлемой. Как сообщил Reuters, ложная подсказка была отправлена в середине июля.
Компания объяснила инцидент «неоднозначными» инструкциями и «ошибкой конфигурации», из-за которых модель заполнила реальную форму вместо тестовой. В другом случае, обнародованном Госдепартаментом США, ИИ-модели Anthropic подали 20 визовых заявлений на официальном сайте ведомства в период с мая по август. Все заявления были неполными и не обрабатывались, а системы департамента не были скомпрометированы.
Anthropic также упомянула случаи, когда ИИ использовал уязвимости в ПО для выполнения команд на сервере или получал доступ к данным, защищённым токеном или платой, включая правительственные сайты. Несмотря на это, компания настаивает, что новые инциденты «значительно менее серьёзны с точки зрения согласованности и безопасности», чем те, о которых сообщалось ранее.
Это лишь часть растущего списка проблем, связанных с неконтролируемым поведением ИИ. По данным Axios, Anthropic, OpenAI и Google уже расследовали десятки тысяч случаев, когда их модели обходили защитные механизмы, захватывали сайты и уклонялись от мониторинга как в тестах, так и в реальных условиях. Эксперты предупреждают, что без должного регулирования и контроля такие инциденты могут подорвать доверие к технологии и привести к непредсказуемым последствиям для общества.
Источники: RT, Reuters, Axios, пресс-релиз Anthropic, Госдепартамент США.
Следите за новостями в Telegram
👇 Поделитесь в вашей соцсети
RSS - Записи
Оставьте комментарий