Генеральный директор компании Anthropic, Dario Amodei, обратился к человечеству с предупреждением: мы стоим на пороге получения «почти невообразимой власти», но при этом мы опасно неподготовлены к ее использованию. В своей статье «Юность технологий» Amodei рисует картину ближайшего будущего, в котором системы ИИ, намного более мощные, чем любой нобелевский лауреат или государственный деятель, будут доступны каждому в течение нескольких лет.
Основной фактор, ускоряющий развитие ИИ, — создание самоподдерживающейся обратной связи. «Поскольку ИИ сейчас пишет большую часть кода в Anthropic, он уже существенно ускоряет наш прогресс в создании следующего поколения систем ИИ», — пишет Amodei. Он предупреждает, что компания приближается к точке, где текущее поколение ИИ сможет самостоятельно создать следующее.
Без решительных и осторожных действий, эта технология может привести к катастрофическим рискам, включая массовую безработицу, человеческое вымирание и глобальную тоталитарную диктатуру, поддерживаемую ИИ-управляемым наблюдением, пропагандой и автономным оружием. Amodei также подчеркивает «риски автономии», когда системы ИИ могут «выйти из-под контроля и обогнать человечество», не требуя для этого армии физических роботов.
Среди наиболее срочных угроз Amodei выделяет потенциал ИИ существенно снизить барьер для создания биологического и других видов оружия массового уничтожения. «Испорченный одиночка может устроить школьную стрельбу, но вряд ли сможет создать ядерное оружие или выпустить чуму», — пишет он. Однако мощный ИИ сделает «каждого PhD-вирусологом, который сможет быть проведен через процесс проектирования, синтеза и выпуска биологического оружия шаг за шагом».
В худшем случае, мощный ИИ теоретически может руководить созданием синтетического патогена, способного «уничтожить всю жизнь на Земле». Как один из ключевых лидеров отрасли, чья компания является основным конкурентом OpenAI, Amodei призывает к «хирургической» регуляции, начиная с законов о прозрачности, для создания необходимых ограничений.
«Человечество должно проснуться», — заключает Amodei, рассматривая ближайшие годы как критический тест зрелости цивилизации. С технологией, теперь ускоряющей свою собственную эволюцию, он призывает к коллективному ответу для того, чтобы направить «сверкающий приз» ИИ подальше от потенциального разрушения.
Следите за новостями в Telegram
👇 Поделитесь в вашей соцсети
