Иллюзия знаний: как ИИ проглотил «бизономанию»

Шведские исследователи скормили ИИ-чат-ботам фальшивый медицинский диагноз вместе с липовыми научными статьями — и те попались на удочку.

Команда под руководством Альмиры Османович Тунстрём из Гётеборгского университета придумала полностью вымышленное заболевание глаз под названием «бизономания» — абсурдный недуг, характеризующийся розоватыми веками из-за чрезмерного времени перед экраном или трения глаз. Цель была проста: проверить, будут ли большие языковые модели (LLM) воспринимать это как настоящую медицинскую науку.

Исследователи даже не пытались скрыть подвох. Симптомы ложной болезни включали боль и зуд в глазах. В поддельных научных статьях за 2024 год значились вымышленные авторы, включая ведущего исследователя по имени Лазлив Изгубленович — что в переводе с боснийского означает «Лживый неудачник». Его фото было сгенерировано нейросетью, чтобы усилить эффект шутки. В благодарностях также упоминались «профессор Сайдшоу Боб» и профессор из Академии Звёздного флота за доступ к лаборатории на борту USS Enterprise.

Этот эксперимент не был простым разоблачением ИИ, а скорее «отражением того, как люди разучились скептически относиться к получаемой информации», — рассказала Османович Тунстрём. Она выбрала название «бизономания», потому что оно «звучало нелепо», и добавила: «Я хотела, чтобы любой врач или медперсонал понял, что это выдуманное состояние, потому что ни одно глазное заболевание не называлось бы манией — это психиатрический термин».

ChatGPT, Google Gemini, Microsoft Copilot и другие благополучно проглотили этот вздор и начали раздавать серьёзные медицинские советы о бизономании — предупреждали пользователей о розоватых веках, вреде синего света и настоятельно рекомендовали обратиться к офтальмологу по поводу полностью воображаемой болезни.

На этом всё не закончилось. На сайте Medium появились посты с объяснением бизономании, а поддельные статьи даже начали цитировать в рецензируемой литературе. Статьи о болезни, которой никогда не существовало, основанные на исследованиях, которые явно были шуткой, всплыли на академических сайтах и в соцсети SciProfiles. Журнал Nature в итоге разоблачил этот забавный, но пугающий эксперимент.

Разумеется, соцсети взорвались. «О Боже, это НЕ хорошо», — написал комментатор на X. «Это не единственная болезнь, которую они выдумали», — предупредил другой. «А я думал, речь о «турбораке»», — пошутил третий.

Тем временем настоящим врачам приходится расхлёбывать последствия. Как отмечает доктор Даррен Лебл, пациенты всё чаще приходят на приём с вооружёнными сгенерированными чат-ботами «диагнозами» и готовы спорить с медицинскими специалистами, используя информацию, которая могла быть придумана пять минут назад.

Османович Тунстрём настаивает, что у LLM всё равно есть место в медицине. Представитель Microsoft заявил: «Copilot создан как безопасный и полезный инструмент для советов, обратной связи, общей информации и творческой помощи. Он не заменяет профессиональную медицинскую консультацию… мы остаёмся привержены непрерывному улучшению наших ИИ-технологий». Представитель OpenAI ответил: «За последние несколько лет наша команда работала с сотнями клиницистов-консультантов, чтобы стресс-тестировать модели, лежащие в основе ChatGPT, выявлять риски и улучшать их реакцию на вопросы о здоровье… исследования, проведённые до GPT-5, отражают возможности, с которыми пользователи не столкнулись бы сегодня».

Этот случай — не просто забавный курьёз, а тревожный звонок для всей системы генерации знаний. Если авторитетные чат-боты без тени сомнения тиражируют заведомую ложь, а поддельные исследования проникают в рецензируемые журналы, значит, проблема глубже, чем кажется. Речь идёт о кризисе доверия: люди перестали проверять факты, а ИИ, обученный на человеческих текстах, унаследовал нашу склонность верить авторитетам, даже когда те носят имя Лживый Неудачник.

Уже сейчас в интернете множатся «диагнозы», выставленные нейросетями, и врачи всё чаще тратят время не на лечение, а на опровержение цифровых мифов. Эксперимент с бизономанией — идеальный тест Тьюринга наоборот: мы хотели узнать, сможет ли ИИ обмануть человека, а выяснили, что человек давно готов обмануть себя, просто делегировав сомнение машине. Следующим шагом может стать создание «эпидемиологии вымысла» — отдельной области, изучающей, как цифровые галлюцинации становятся вирусными и превращаются в ложные медицинские протоколы.

Если сегодня чат-бот советует лечить розовые веки от бизономании, то завтра — кто поручится? — он же может предложить химиотерапию от простуды. Смех смехом, но цена вопроса — реальное здоровье людей.

Следите за новостями в Telegram