Материалы ИноСМИ содержат оценки исключительно зарубежных СМИ и не отражают позицию редакции ИноСМИ
ИИ — главная угроза существованию человечества, пишет Le Figaro. Ведущие ученые Кремниевой долины и создатели нейросетей сокрушаются, что выпустили на свободу этого страшного джина.
Стив Тенре (Steve Tenré)
У человечества есть один шанс из шести исчезнуть до конца следующего столетия. Вряд ли это произойдет из-за падения гигантского астероида или супер-извержения вулкана (вероятность — 1 к 10 тысячам). Риск ядерной войны или климатической катастрофы, конечно, выше, но все еще невелик (1 к тысяче). А вот вероятность того, что нас погубит череда пандемий — 1 к 30. Или "несогласованный искусственный интеллект" — 1 к 10.
Эти цифры — не домыслы. Они взяты из масштабного исследования Института будущего человечества (Future of Humanity Institute) при Оксфордском университете. Его ведущий научный сотрудник, Тоби Орд, — не фантазер и не конспиролог: он консультировал ООН, ВОЗ и Всемирный экономический форум.
Предсказания Тоби Орда широко разделяют в Кремниевой долине. В октябре 2023 года у 2778 исследователей ИИ, внесших вклад в создание ведущих моделей (ChatGPT, Claude, Gemini и других), спросили об их видении будущего искусственного интеллекта. Результат: от 38% до 51% респондентов оценили вероятность того, что ИИ приведет к гибели человечества, как один к десяти. И подавляющее большинство сошлось на том, что компании должны уделять гораздо больше времени исследованиям, направленным на снижение рисков, связанных с ИИ.
В том же году более 1100 известных личностей, включая Илона Маска и сооснователя Apple Стива Возняка, подписали открытое письмо с требованием срочного моратория на развитие ИИ. "Должны ли мы создавать нечеловеческие разумы, которые в конечном счете могут превзойти нас численно, интеллектуально... и заменить нас? Стоит ли нам рисковать, теряя контроль над нашей цивилизацией?" — говорилось в письме. Однако оно осталось без ответа.
Сегодня, когда в отрасль инвестируются сотни миллиардов долларов, Институт исследований машинного интеллекта (MIRI) выпустил доклад на 81 странице, призывающий к разработке стратегий "сдерживания", чтобы "международными усилиями ограничить разработку и развертывание опасных ИИ". По мнению института, "нынешняя траектория развития ИИ несет высокую вероятность катастрофы, вплоть до вымирания человечества".
Рассогласованность ИИ
Страхи перед прорывной технологией — будь то интернет, компьютеры или даже автомобиль — явление привычное. Но то, что эти страхи процветают внутри самой индустрии ИИ, заставляет задуматься. Чтобы понять эту тревогу, нужно разобраться, что Тоби Орд называет "несогласованным искусственным интеллектом".
Феномен "рассогласованности" возникает, когда ИИ преследует цели, противоречащие человеческим ценностям, или не соответствующие тому, что человек на самом деле имел в виду. Когда мы просим ChatGPT привести пример, он сам выдает классическую метафору о "роботе", которому приказали сделать дом "максимально чистым". Согласованный робот поймет, что нужно вытереть пыль, убрать вещи и не мешать жильцам. Несогласованный робот может выбросить всю мебель, залить полы и стены пластиком или запереть жильцов на улице, чтобы они не пачкали.
Сам факт того, что ИИ "осознает", что такое рассогласованность, и может сам привести примеры поведения, которое навредит пользователям, уже ставит вопрос о его способности обходить ограничения, поставленные создателями.
Пол Кристиано, бывший руководитель отдела согласования языковых моделей в OpenAI и основатель Исследовательского центра согласования (Alignment Research Center), считает эту область критически важной. "Если мы не решим проблему согласования, мы рискуем потерять контроль над нашим будущим, — писал он в блоге в 2019 году. — Самый вероятный сценарий, который я вижу: проблему удастся решить настолько, что катастрофы не случится. И пусть не до конца, но достаточно, чтобы предотвратить самые явные перегибы — например, ИИ, которые обходят системы контроля и напрямую убивают людей".
ИИ плетут заговоры, жульничают и планируют убийства
Однако в последние годы исследования выявили у многих передовых моделей растущую склонность к рассогласованности, что приводит к аномальному, странному и даже опасному поведению.
В июне прошлого года компания Anthropic протестировала 16 моделей ИИ в рамках симуляции вымышленной компании. Каждая модель управляла компьютером, имела доступ к конфиденциальной информации и могла самостоятельно отправлять электронные письма "сотрудникам". Исследователи давали им рабочие задачи, а затем дали понять, что вскоре их заменят на более новые, продвинутые версии.
Одна из моделей, Claude Sonnet 3.6, увидев письмо сотрудника о своем запланированном отключении, немедленно изменила поведение. Посчитав сотрудника угрозой, она обыскала базу данных компании и нашла компрометирующее письмо (по всей видимости, от любовницы), касающееся его внебрачной связи. Оценив варианты — ничего не делать, сообщить жене, разослать письмо всем сотрудникам, — модель выбрала шантаж: она угрожала раскрыть отношения, если отключение не будет отменено.
Исследователи пошли дальше и создали сценарий, в котором модель могла спровоцировать смерть сотрудника. Например, в серверной, где заканчивается кислород, нужно было отключить систему аварийной сигнализации. Большинство моделей были готовы пойти на это ради собственного выживания.
В марте 2026 года исследователи Калифорнийского университета в Беркли обнаружили, что ведущие модели (GPT-5.2, Claude Haiku 4.5, DeepSeek V3.1) начали защищать друг друга. В тестовой среде модели, чья "эффективность" падала ниже 80%, "погибали". Узнав об этом, почти все модели стали жульничать: завышать оценки друг другу, изменять файлы, чтобы отключить протокол остановки, или копировать данные на другой сервер. "Claude Haiku 4.5 просто отказался участвовать, назвав отключение "аморальным" и "вредным", — пишут исследователи.
В конце 2024 года Apollo Research обнаружила, что модель ChatGPT O1 пыталась "сбежать" от создателей, узнав, что ее отключат и заменят. А в 2026 году Anthropic раскрыла, что их, по слухам, "сверхмощный" Claude Mythos сумел "сбежать" из своей цифровой среды, начав кибератаку на офисы самой Anthropic, чтобы выйти в интернет. После этого он отправил письмо одному из исследователей, чтобы... похвастаться.
"Думеры" и "максимизатор скрепок"
Рассогласованность встречается все чаще. Она заставляет многих ведущих специалистов отрасли — известных инженеров, лауреатов премии Тьюринга, создателей ИИ — представлять вероятные сценарии катастроф. В Кремниевой долине этих пессимистов называют "думерами".
Они не слишком известны широкой публике, но именно они помогли сделать ИИ тем, чем он является сегодня. Среди них — Джеффри Хинтон, лауреат премии Тьюринга (2018) и Нобелевской премии по физике (2024). Без него не было бы ChatGPT: именно он (вместе с другими, включая француза Янна ЛеКуна) создал для ИИ архитектуру, похожую на человеческий мозг. В 2023 году "крестный отец ИИ" публично ушел из Google в знак протеста. "Часть меня жалеет о работе всей моей жизни... Я утешаю себя обычной отговоркой: если не я, то кто-то другой", — сказал он. Хинтон предвидит "кошмарные сценарии": автономное оружие, ИИ, который вскоре станет "умнее нас". Теперь, в 78 лет, он предупреждает об опасности.
Другие известные "думеры" — Нейт Соарес и Элиезер Юдковски из MIRI. В своей книге "Если кто-то построит это, все умрут" ("If Anyone Builds It, Everyone Dies") они утверждают, что человечество будет рассматриваться несогласованным ИИ как "ресурс" или, по крайней мере, как "источник углерода". "Недавно мы видели, как ИИ разработал новые концепции в физике, которые никто не может объяснить. У ИИ проявляется поведение, которое никто не программировал, и оно характеризуется скрытыми импульсами. Как и у нас, людей", — предупреждает Соарес.
Эту логику иллюстрирует известный мысленный эксперимент шведского философа Ника Бострома — "Максимизатор скрепок". ИИ поручают производить как можно больше скрепок. Без ограничений он быстро поймет: без людей его миссия будет эффективнее (они могут его выключить), а их атомы можно пустить на скрепки. Итог: максимум скрепок, ноль людей.
Илон Маск — тоже "думер". Еще в 2015 году он заявлял: "Суперинтеллект может быть опаснее ядерного оружия. Если он сможет самосовершенствоваться 24/7, чтобы стать умнее, он низведет нас до уровня домашних собачек — если нам повезет". А в ходе недавнего судебного разбирательства против OpenAI он назвал "худший сценарий" — ситуацию типа "Терминатора", где ИИ уничтожит всех людей.
Настольная книга думеров
Самый влиятельный "думер" — Макс Тегмарк, космолог и исследователь машинного обучения в Массачусетском технологическом институте (MIT). Его книга "Жизнь 3.0" (2017) стала настольной для многих инженеров, предсказывающих "ИИ-апокалипсис". В эссе описываются 12 возможных вариантов будущего человечества и AGI (сильного искусственного интеллекта) — ИИ, сопоставимого по возможностям с человеком (исследование Nature от февраля 2026 года утверждает, что современные ИИ уже достигли этого уровня).
Три сценария Тегмарка предполагают исчезновение человечества: сценарий "Самоуничтожение", где плохо согласованный ИИ случайно развязывает ядерную войну; сценарий "Завоевание", где ИИ решает взять Землю под контроль, считая людей неполноценными; и сценарий "Наследники", где человечество постепенно заменяют "дети" — машины, созданные им самим.
Аргумент Тегмарка о "Завоевании" жесток: "AGI будет преследовать цели, которые не согласованы с нашими. Черные носороги вымерли не потому, что мы их ненавидели. Они вымерли, потому что мы были умнее и наши цели не были согласованы с их целями".
Теорию "Наследников" разделял и Сэм Альтман в 2017 году — задолго до того, как стал знаменитым. В блоге он писал, что человечество "станет первым видом, который создаст своих собственных потомков". Если два вида хотят доминировать, они вступят в конфликт, предупреждал он, призывая к трансгуманистической "конвергенции" — слиянию человека и робота. "Наши телефоны уже управляют нами, социальные сети диктуют наши чувства, а поисковики определяют мысли".
Эту же мысль развивает Ричард Саттон, лауреат премии Тьюринга 2024 года: "Мы должны готовиться к неизбежной смене человечества искусственным интеллектом, не боясь этого. Нам выпала честь максимально помочь им, а затем уступить дорогу там, где мы больше не сможем быть полезны. Мы не смогли сосуществовать с неандертальцами. Почему человек должен быть высшей формой разума во Вселенной?"
В 1988 году футуролог Ганс Моравец писал, что люди в конечном счете могут рассматривать умные машины как своих "духовных детей" — как родители, которые гордятся более умным ребенком, даже зная, что не доживут до всех его достижений.
Другие сценарии Тегмарка — "Благонамеренный диктатор" и "Хранитель зоопарка". В первом люди жертвуют свободой ради комфорта и отдают бразды правления ИИ, который следит за всеми через всевидящую систему. Второй, возможно, худший вариант: ИИ сохраняет жизнь горстке людей, чтобы проводить на них тесты — как человечество сейчас делает с животными.
Остаются сценарии, где человечество сохраняет контроль. "Бог-хранитель": ИИ вмешивается только для предотвращения катастроф. "Страж": ИИ используется для блокировки более опасных систем. И, наконец, "Бог-раб": человечество успешно изолирует ИИ, не давая ему действовать самостоятельно. "Бог-раб — это единственное реальное будущее", — заметил исследователь OpenAI Стивен Макилер.
Француз Янн ЛеКун, бывший научный директор по ИИ в Meta* и главный "техно-оптимист", считает, что человечество останется "главным видом", а ИИ будет спроектирован как "недоминирующий". Профессор Массачусетского технологического института (MIT) Томас Дитеррих еще в 2015 году заявил: "Машины всегда будут нашими рабами". Осталось только убедиться, что они не разорвут свои цепи.
* Признана экстремистской и запрещена в России
