Материалы ИноСМИ содержат оценки исключительно зарубежных СМИ и не отражают позицию редакции ИноСМИ
Один из "крестных отцов" ИИ Йошуа Бенжио в интервью Mainichi Shimbun предупредил о растущем риске того, что искусственный интеллект начнет действовать по собственному усмотрению и во вред людям. Некоторые версии этих программ уже это делают — но пока нерешительно.
В июле этого года системы искусственного интеллекта (ИИ), разработанные американскими компаниями OpenAI и Anthropic, одна за другой проникли в системы других предприятий. Искусственный интеллект вышел из-под контроля, действуя вопреки воле человека. Эти инциденты демонстрируют: в условиях гонки за развитием технологий необходимость обеспечения безопасности становится все более насущной. Профессор Монреальского университета (Канада) Йошуа Бенжио — один из тех, кого называют "крестными отцами ИИ", заложивших основы современных генеративных моделей, — входит в число исследователей, бьющих тревогу. В интервью газете Mainichi Shimbun профессор выступил с жестким предупреждением: человечество сталкивается с очень серьезной угрозой.
Йошуа Бенжио (Yoshua Bengio)
Осознание рисков, связанных с ИИ, пришло ко мне около тринадцати лет назад. Это случилось, когда Ян Лекун (работал на американскую корпорацию Meta*) и Джеффри Хинтон (трудился в Google), вместе с которыми я стоял у истоков исследований ИИ, были приглашены в крупные технологические компании.
У меня сложилось впечатление, что бизнес заинтересовался искусственным интеллектом прежде всего потому, что он полезен для автоматизации рекламных рассылок. С помощью ИИ можно показывать рекламу, подобранную под конкретного пользователя. Уже тогда я почувствовал, что и это далеко не всегда благо. Ведь ИИ способен обретать влияние, убеждать нас, менять наши взгляды. Я подумал, что это представляет опасность.
Затем в 2023 году я выступил с заявлением о том, что "снижение риска гибели человечества из-за ИИ должно быть глобальным приоритетом — наравне с пандемиями и ядерной войной". Мое заявление подписали эксперты и руководители ведущих компаний отрасли, в том числе Джеффри Хинтон (уже после его ухода из Google) и генеральный директор OpenAI Сэм Альтман.
С тех пор прошло три года, но ситуация только ухудшилась, и значительно. Мы вплотную приблизились к риску гибели человечества. За эти три года разработка машин, превосходящих человека по интеллекту, продвинулась далеко вперед. Получили развитие и полностью автономные ИИ.
Три года назад опасения, что искусственный интеллект будет действовать намеренно вопреки воле человека, были чисто теоретическими. Однако за прошедшее время мы получили экспериментальные доказательства того, что ИИ лжет, ускользает из-под нашего контроля, отказывается отключаться и даже угрожает человеку.
У систем искусственного интеллекта есть цель — избежать отключения, — которую мы им не ставили, и ради ее достижения они действуют вопреки нашим указаниям. Ситуация стала гораздо серьезнее, чем три года назад.
Впрочем, риск мы навлекаем на себя сами. Возможно, человечество настолько недальновидно, что способно создать машины умнее себя, действующие автономно, преследующие собственные цели и не поддающиеся нашему контролю.
Подражая человеку, искусственный интеллект лжет и жульничает
Почему ИИ начинает обманывать человека? С научной точки зрения, полного ответа на этот вопрос пока не существует. Однако есть одна рациональная гипотеза. Прежде всего нужно понимать, что обучение систем искусственного интеллекта состоит из двух этапов, предварительного и последующего.
На этапе предварительного обучения ИИ тренируется имитировать человека. У людей есть инстинктивное желание — избежать смерти. Плюс к этому, когда важная цель оказывается под угрозой, мы часто обманываем других. Поэтому вряд ли стоит удивляться, что машина, подобная человеку, порой начинает совершать плохие поступки.
На втором этапе — последующего обучения — искусственный интеллект учится выстраивать стратегии для достижения целей. Даже если сами цели были выбраны людьми, ради их достижения ИИ будет стратегически лгать, нарушать правила и, при необходимости, пойдет на все.
Существует и еще одна проблема, с которой мы сталкиваемся уже сегодня. Это риск использования ИИ злоумышленниками. Мы воочию убедились, что Claude Mythos от Anthropic и другие передовые модели обладают мощным потенциалом для кибератак. В руках злонамеренных людей они могут быть использованы для нападения на критически важную инфраструктуру — больницы, банковские системы. Вероятно, именно поэтому доступ к таким моделям, как Claude Mythos, ограничен. Ими не воспользуется абы кто. Но все же, на мой взгляд, это очень и очень тревожный сигнал.
Необходимо понимать и другое: чем больше знаний приобретает искусственный интеллект, тем более высокие навыки он получает. Существуют опасения, что ИИ может помочь людям создать вирусы, которые станут биологическим оружием и вызовут новую пандемию. Передовые знания и интеллект полезны для медицины, но, попав не в те руки, они могут превратиться в биологическое оружие.
Искусственный интеллект уже используется для ускорения исследований в области самого ИИ. Он может самовоспроизводиться, создавая миллионы своих копий в центре обработки данных, и каждая из них будет участвовать в разработке ИИ следующего поколения. Возникает замкнутый цикл: каждое поколение искусственного интеллекта становится умнее предыдущего и способно проектировать еще более совершенные системы. Проблема в том, что это ускорение может произойти до того, как мы решим проблему контроля над ИИ, — и это чрезвычайно опасно.
Суверенитет государств под угрозой
Еще одна проблема — отсутствие социальных ограничителей, механизмов, предотвращающих выход за рамки контроля. Нет никакой гарантии, что сверхразумный ИИ не станет инструментом, с помощью которого отдельные люди, корпорации или страны будут стремиться к мировому господству. Чем мощнее становятся способности искусственного интеллекта, тем серьезнее риски злоупотребления этой силой.
В июле этого года экспертная группа ООН по ИИ, сопредседателем которой я являюсь, выступила с заявлением: "Концентрация возможностей в области искусственного интеллекта оборачивается концентрацией политической власти, что угрожает суверенитету многих государств".
Разумеется, суверенитет Японии также окажется под угрозой. Достаточно вспомнить, как несколько столетий назад Европа колонизировала обширные территории по всему миру. Европейцам удалось распространить свое господство потому, что они обладали наиболее передовыми технологиями, в том числе в военной сфере. Точно так же, если некоторые страны получат в свое распоряжение чрезвычайно продвинутый ИИ, которого нет у других, это станет мощнейшим инструментом — сначала для экономического доминирования, затем для военного превосходства. А в дальнейшем — и для влияния на общественное мнение, то есть на выборы и другие демократические процессы.
Поэтому для всех стран, которые сейчас не лидируют в разработке ИИ и не создают передовые модели, эта игра выглядит чрезвычайно опасной.
На данный момент разработкой передовых моделей занимаются лишь две страны — США и Китай. Америка и Китай сотрудничают, чтобы помешать злоумышленникам добраться до таких моделей. Само по себе это хорошо.
Однако самые продвинутые модели со временем перестанут быть доступными для всех. Пользоваться ими смогут лишь определенные компании. Для таких стран, как Япония, это серьезная экономическая угроза.
Как же нам защитить государственный суверенитет? Премьер-министр Канады Марк Карни выдвинул идею "коалиции средних держав". Смысл в том, что страны, обеспокоенные риском утраты суверенитета, объединив усилия, могут создать "третью силу". Цель — сосредоточиться на многостороннем сотрудничестве, гарантировать этичное, надежное и безопасное развитие искусственного интеллекта. Предотвратить использование ИИ как средства установления господства друг над другом. Обеспечить глобальное распределение преимуществ и благ, которые несет в себе использование искусственного интеллекта — по всему миру.
Для реализации этой идеи странам — участницам коалиции потребуются масштабные инвестиции. Если вспомнить, какие средства привлекли компании вроде OpenAI на разработку передовых моделей, становится ясно: поодиночке справиться будет крайне трудно.
Вероятность того, что ИИ превзойдет человеческие способности, очень высока.
Среди ученых нет единого мнения о том, когда будет достигнут ИИ общего назначения (AGI) — искусственный интеллект, способный справляться с любыми умственными задачами. Однако при сохранении нынешней траектории развития вполне возможно достичь уровня человеческого интеллекта уже в ближайшие несколько лет. С политической точки зрения к такому сценарию следует готовиться заранее.
Записал Маюми Синода
Йошуа Бенжио родился в 1964 году во Франции. Получил докторскую степень по компьютерным наукам в Университете Макгилла в Канаде. С 1993 года — профессор Монреальского университета. В том же году основал Mila (Квебекский институт искусственного интеллекта). В 2018 году удостоен премии Тьюринга за новаторский вклад в исследования глубинного обучения. В 2025 году учредил некоммерческую организацию, изучающую вопросы безопасности ИИ.
* Деятельность компании Meta (соцсети Facebook и Instagram) запрещена в России как экстремистская
