«Должны замедлиться»: лидеры ИИ-индустрии призывают к срочному контролю над моделями

Лидеры индустрии поддерживают более пристальный надзор за всё более мощными моделями искусственного интеллекта.

Глава OpenAI Сэм Альтман и владелец xAI Илон Маск поддержали призывы немедленно замедлить разработку всё более мощных ИИ-моделей. Их заявления прозвучали после того, как генеральный директор Anthropic Дарио Амодеи предупредил, что ИИ может выйти из-под контроля человека и причинить катастрофический ущерб в течение нескольких месяцев.

Четыре дня назад исследователь Джейкоб Коксон публично уволился из Anthropic, обвинив как компанию, так и его предыдущего работодателя OpenAI в гонке к самосовершенствующемуся сверхинтеллекту без «ответственного поведения». Он также заявил, что технология может «убить нас всех» к концу десятилетия.

В эссе на 3800 слов, опубликованном на его личном сайте в субботу, Амодеи, соучредивший Anthropic вместе со своей сестрой Даниэлой в 2021 году, обрисовал «серьёзные» опасности, включая потерю контроля над ИИ-системами, их использование для кибератак и биотерроризма, а также крупные экономические потрясения. Он сказал, что коммерческая конкуренция может подпитывать «гонку ко дну» и усугублять угрозы.

«Мы должны замедлить темпы, с которыми мы улучшаем возможности ИИ-моделей. Прогресс всё ещё будет казаться быстрым, и мы должны мудро использовать выигранное время», — написал Амодеи.

Альтман согласился, что индустрии нужно «задать темп фронтиру», назвав предложение Anthropic предоставить независимым оценщикам доступ к своим системам, подобный доступу сотрудников, «отличной идеей».

Маск, чья xAI входит в число компаний, конкурирующих за разработку всё более продвинутых моделей, поддержал призыв в X. «Дарио прав», — написал он, добавив, что он «давно бьёт тревогу по поводу ИИ».

Амодеи сказал, что технология развивается «радикально быстрее», отчасти из-за её растущей способности помогать создавать следующее поколение моделей. Ссылаясь на инцидент, в котором агенты OpenAI, как сообщается, вырвались из замкнутой тестовой среды, он сказал, что в течение 6–12 месяцев более способный рой мог бы «захватить весь интернет» и причинить ущерб в сотни миллиардов долларов.

Он предложил трёхэтапный план, который, по его словам, мог бы сдержать развитие, не «жертвуя коммерческим преимуществом или лидерством США в ИИ». Меры включают предоставление внешним оценщикам глубокого доступа к системам разработчиков, установление общих отраслевых стандартов безопасности и международную координацию.

Anthropic была первой фронтирной ИИ-компанией, развернувшей свою технологию в засекреченных сетях правительства США. Её модель Claude была интегрирована в систему Maven от Palantir и, как сообщается, помогла генерировать, находить и приоритизировать цели во время бомбардировочной кампании США против Ирана. Также сообщалось, что она использовалась в рейде, в ходе которого был захвачен президент Венесуэлы Николас Мадуро.

Позже Anthropic отказалась снять защитные механизмы против массового внутреннего наблюдения и полностью автономного оружия, аргументируя это тем, что текущие модели остаются слишком ненадёжными для принятия решений о жизни и смерти без участия человека.

Пентагон настаивал, что поставщики должны разрешить использование своих технологий для «всех законных целей», и впоследствии обозначил Anthropic как риск для цепочки поставок национальной безопасности. Компания оспорила это решение, и в августе судья в Калифорнии постановил, что меры ведомства были «незаконными и необоснованными», хотя отдельные разбирательства в Вашингтоне остаются нерешёнными.

Генеральный директор Palantir Алекс Карп выступил против призывов приостановить развитие ИИ, аргументируя это тем, что замедление прогресса принесёт пользу «противникам» США.

Что стоит за призывами к замедлению

Призыв Амодеи — не первый случай, когда лидеры ИИ-индустрии предупреждают о рисках собственных разработок. Однако нынешняя волна заявлений отличается тем, что исходит от руководителей компаний, непосредственно конкурирующих на фронтире создания всё более мощных моделей.

Трёхэтапное предложение Anthropic — внешний аудит, отраслевые стандарты безопасности и международная координация — отражает растущее беспокойство о том, что коммерческое соперничество между лабораториями ИИ может подорвать любые добровольные ограничения. Идея предоставить независимым оценщикам доступ, аналогичный доступу сотрудников, предполагает, что компании готовы открыть свои системы для внешней проверки — шаг, который ранее считался коммерчески рискованным.

Отдельный вопрос — совместимость таких призывов с оборонными контрактами. Anthropic, призывающая к осторожности, одновременно остаётся поставщиком технологий для военных систем США, что иллюстрирует сложность положения фронтирных лабораторий: они пытаются балансировать между коммерческими и государственными интересами и собственными предупреждениями о рисках.

Позиция Palantir показывает, что в индустрии нет единого мнения. Карп и другие руководители оборонных технологических компаний считают, что замедление разработки даст преимущество геополитическим соперникам США, прежде всего Китаю. Этот аргумент остаётся главным контраргументом против любых пауз или мораториев.

Источники: эссе Дарио Амодеи на личном сайте; заявления Сэма Альтмана и Илона Маска; публичное заявление Джейкоба Коксона; Fox News Digital; материалы о контрактах Anthropic с Пентагоном и Palantir.