Слишком опасный ИИ: Anthropic создала модель, которую боится публиковать

По сообщениям СМИ, стартап создал проект Glasswing совместно с партнёрами из числа Big Tech и обсуждает возможности модели с правительством США.

Американский ИИ-стартап Anthropic разработал новую модель, которая, по словам руководителей компании, слишком мощна для публичного доступа. Об этом сообщили несколько изданий со ссылкой на представителей фирмы.

В среду компания заявила, что обсуждает с правительством США модель под названием Claude Mythos Preview и её возможности.

Эта новость появилась спустя месяц после того, как президент США Дональд Трамп запретил государственным учреждениям использовать ИИ от Anthropic в течение полугода, обвинив компанию в давлении на Пентагон и создании угрозы национальной безопасности. Тогда же Министерство обороны США заключило сделку с конкурентом Anthropic — компанией OpenAI — на использование её инструментов в засекреченных военных системах.

В феврале внутренние материалы о невыпущенной модели Claude Mythos случайно оказались в открытом доступе после того, как тысячи документов остались в публичном кэше данных.

А ранее в этом месяце Anthropic по ошибке опубликовала более 500 тысяч строк секретного кода для своего ИИ Claude, включая невыпущенные функции и заметки разработчиков, назвав это «человеческой ошибкой, а не утечкой безопасности».

Логан Грэм, руководитель отдела тестирования на уязвимости (frontier red team), рассказал Axios, что новая модель Anthropic «чрезвычайно автономна» и может рассуждать на уровне продвинутого специалиста по безопасности. По его словам, она способна находить десятки тысяч уязвимостей и, в отличие от предыдущих версий, генерировать соответствующие эксплойты.

В интервью The New York Times Грэм подчеркнул, что модель знаменует «отправную точку того, что мы считаем переломным моментом для всей индустрии — или пересмотром подходов — к тому, что необходимо делать прямо сейчас».

В своём блоге от среды Anthropic сообщила, что модель Mythos будет доступна лишь избранной группе технологических и кибербезопасных компаний из-за опасений по поводу её способности находить и использовать уязвимости. Компания добавила, что модель не станет публично доступной до тех пор, пока не будут внедрены средства защиты, ограничивающие её самые опасные функции.

Вместо широкого релиза технологии Anthropic планирует предоставлять доступ через новое отраслевое партнёрство — Project Glasswing. В эту инициативу уже входят более 40 организаций, включая Apple, Amazon, Microsoft, Google и NVIDIA. Совместно они будут тестировать способность модели выявлять и помогать устранять уязвимости в критически важном программном обеспечении.

Но здесь возникает этическая дилемма, которую Anthropic пока не решается озвучить прямо. Если Mythos действительно настолько эффективен в поиске дыр в безопасности, то точно такой же инструмент в руках злоумышленников (или государственных хакеров) станет оружием массового поражения в цифровом мире. Именно поэтому компания фактически вводит «режим ядерного сдерживания»: модель не продают всем подряд, а выдают под присмотр крупнейшим корпорациям и правительству США.

Примечательно, что Anthropic уже передала Mythos внешним группам, включая организации при американском правительстве, для оценки ключевых рисков: кибербезопасности, потери контроля над ИИ, химической, биологической, радиологической и ядерной угроз (ХБРЯ), а также вредоносной манипуляции. Полученные выводы компания включила в общую оценку рисков.

Однако остаётся открытым вопрос: насколько можно доверять «добрым намерениям» компании, которая месяцем ранее была обвинена Белым домом в давлении на Пентагон? И не приведёт ли эксклюзивный доступ к сверхразуму лишь к тому, что США получат нечестное преимущество в гонке военных ИИ, а Anthropic — миллиардные контракты, спрятанные за ширмой «заботы о безопасности»? Пока ни одна из этих тревог не получила публичного ответа.

Следите за новостями в Telegram