Кембридж, такси и Копенгаген: мой путь к проблеме экзистенциальных рисков

Позапрошлым летом я ехал по Копенгагену в такси с человеком, который считает, что его шанс погибнуть из-за катастрофы, связанной с искусственным интеллектом, не меньше, чем вероятность умереть от рака или от сердечной болезни. Это меня бы, наверное, не удивило, будь мой собеседник таксистом (никогда не говорите таксисту, что вы - философ!), но в данном случае так думал человек, всю жизнь работающий с компьютерами.

Более того, он так одарен в этой области, что входил в команду, которая сделала этот век настоящим 21 веком, позволив нам общаться по видеосвязи, как полагается в том 21 веке, о котором мы мечтали полстолетия назад, когда я был ребенком. Это был Яан Таллинн (Jaan Tallinn), один из тех людей, которые подарили нам Skype. Позднее на обеде в кембриджском Тринити-колледже мои коллеги выстроились в очередь, чтобы пожать ему руку и поблагодарить его за возможность поддерживать контакты с внуками, живущими в других городах и странах.

Разумеется, я и раньше был знаком с идеей о том, что искусственный интеллект может представлять опасность. Я слышал о «сингулярности» или «интеллектуальном взрыве» – концепции, исходно созданной статистиком И. Дж. Гудом (учившимся в Кембридже экс-коллегой Алана Тьюринга), согласно которой, когда искусственный интеллект достигнет определенного уровня, он сможет взять под контроль процесс собственного развития. Потом этот процесс, возможно, пойдет по экспоненте, и люди в итоге останутся далеко позади. Но я никогда раньше не встречал никого, кто считал бы это насущной причиной для беспокойства – и тем более, не ожидал этого от человека, играющего столь важную роль в компьютерном бизнесе.

Я был заинтригован. Кроме того меня впечатлило, что Таллинн был явно настроен что-то с этим сделать. Собственно говоря, сама эта тема возникла из-за моего вопроса, над чем он работает. Оказалось, что он тратит много времени, пытаясь улучшить наши шансы тем или иным способом (например, беседуя с философами в датских такси).

Я тогда как раз направлялся в Кембридж, чтобы занять кафедру философии, носящую имя Бертрана Рассела - человека, который потратил последние годы жизни на попытки защитить человечество от другой технологической угрозы – от угрозы ядерной войны. Одним из людей в Кембридже, с которыми я уже был знаком к тому моменту, был возглавлявший в то время Тринити-колледж знаменитый космолог Мартин Рис (Martin Rees), бывший председатель Королевского общества. Лорд Рис также известен как сторонник идеи о том, что наши собственные технологии могут угрожать нашему выживанию (его, правда, в основном тревожат биотехнологии).

Мне пришло в голову, что роль своего рода катализатора взаимодействия между этими двумя активистами и их окружениями может быть полезной и интересной и вполне мне подходит. Опустив подробности, я скажу, что в итоге я пригласил Яана Таллинна на обед в Тринити-колледж, и теперь я, он и Мартин Рис работаем вместе, создавая здесь, в Кембридже, Центр по изучению экзистенциальных рисков (ЦИЭР).

Под «экзистенциальными рисками» мы подразумеваем, грубо говоря, катастрофные риски для нашего вида, которые следует считать «нашей виной» – в том смысле, что они порождаются человеческими технологиями. Разумеется, это не единственные катастрофные риски, с которыми мы сталкиваемся – в принципе, нас могут стереть с лица земли астероиды или извержения вулканов. Однако по сравнению с возможными технологическими рисками эти природные риски относительно хорошо изучены и выглядят сравнительно незначительными. Основным источником неопределенности остается технологическая сторона. Поэтому, на мой взгляд, технологическим рискам необходимо уделять намного больше внимания, в связи с чем наш центр и будет на них фокусироваться.

Я знаю множество замечательных ученых – исследователей, философов и т. д., - которые считают, что эти вопросы исключительно важны и изучаются слишком мало. Однако поражает, что они расходятся в том, с чем именно связаны наиболее актуальные риски. Недавно я говорил с зоологом из Кембриджа, которого больше всего тревожит опасность случайного или специального создания в ближайшем будущем, когда такие вещи будут делаться чуть ли не с помощью мобильных приложений, какой-нибудь смертоносной бактерии. Риски, связанные с искусственным интеллектом, он считает сравнительно отдаленными, хотя признает, что по этой теме он не эксперт (впрочем, по его словам, некоторые данные показывают, что во многих областях прогнозы экспертов не точнее случайных догадок).

А что теперь думаю об искусственном интеллекте я - после того, как занялся из-за него проблемой экзистенциальных рисков? Я не претендую на статус эксперта в этом вопросе (и в свете вышеупомянутого отзыва об экспертах это, возможно, вполне разумно). Однако мое мнение, чего бы оно ни стоило, выглядит следующим образом. С одной стороны, я пока не вижу весомых причин для такого пессимизма, который проявил в тот день в Копенгагене Яан Таллинн (честно говоря, он сам признает, что далеко не всегда так пессимистично настроен). С другой стороны, на мой взгляд, у нас есть серьезные основания считать, что человечество приближается сейчас к одному из самых значительных моментов своей истории – к точке, в которой интеллект избавится от биологических ограничений. И я не уверен, что если это произойдет, мы переживем этот переход приемлемым образом. Соответственно, у нас, как мне кажется, есть повод для беспокойства.

Дают мне основания для таких выводов следующие три наблюдения. Во-первых, наш собственный интеллект – своего рода эволюционно-биологическое решение для проблемы оптимизации в условиях крайне жестких временных, энергетических и сырьевых ограничений, а также ограничений по другим факторам (в частности по стартовой точке). Материальный носитель интеллекта должен был проходить сквозь родовые пути млекопитающего, быть достаточно защищенным, чтобы мы могли вести подвижный образ жизни в опасном окружении, потреблять около 1000 калорий в день и т. д. Добавим, что при этом он должен был мочь возникнуть путем мутации и отбора из того, что существовало раньше, всего за несколько десятков миллионов лет!

Во-вторых, этот дар биологии много тысяч лет, как бы то ни было, остается фактически константой. Это неподвижная точка в пространстве, горный пик, на котором мы живем сотнями поколений. Можно считать его чем-то вроде Фудзиямы. Мы – обитатели этого вулкана. Тот факт, что он возвышается над окрестным пейзажем, позволяет нам господствовать над нашим окружением и обеспечивает наш необычайный успех по сравнению с большинством других населяющих нашу планету видов. (Разумеется, некоторым видам наш успех тоже пошел на пользу – тараканам, крысам, особым бактериям, обитающим у нас в кишках.) Форма пика, также исторически остающаяся практически неизменной, тесно связана с нашими представлениями о том, что значит быть человеком. Мы не просто обитатели вулкана, мы - обитатели именно этого вулкана.

В основном высота и форма горы – продукт нашей биологической истории, хотя возможно, определенную роль играет и культурное наследие. Наш огромный успех в биологическом ландшафте, в свою очередь, в основном связан с тем, что тот интеллект, который представляют эти высота и форма пика, позволяет нам контролировать и модифицировать окружающую среду. Мы уже давно этим занимаемся, но в последнее время у нас получается намного лучше. Наука и технологии предоставили нам крайне эффективные методы изменения природы, и обитатели древнего вулкана стали еще надменнее, чем когда-либо.

Все это, разумеется, не новость, как и идея о том, что этот успех может в итоге привести нас к гибели (вспомним Мальтуса). Однако существуют новые опасения, связанные с прогнозами о будущем искусственного интеллекта. Может так получится, что вскоре мы сделаем нечто абсолютно новое – искусственно пробудим вулканическую активность, способную изменить форму и высоту нашей горы или породить новые горы, которые могут быть выше нашей и формы которых мы не можем себе пока даже представить. Другими словами – и это мое третье наблюдение – мы столкнулись с перспективой того, что созданные нами небиологические технологии, работающие во многих отношениях в рамках других ограничений, скоро научатся делать то же, что делает наш мозг. При этом они будут намного быстрее и – по крайней мере, в некоторых смыслах - намного эффективнее.

Разумеется, эта идея выглядит небесспорной. Неужели технология когда-нибудь (и тем паче в скором времени) может к этому придти? К этому вопросу мы еще вернемся, а пока я просто замечу, что если мы все же достигнем этой стадии, на которой технологии изменят нашу Фудзияму или создадут новые пики в других местах, мы больше не сможем жить по-прежнему, ведь изменится та основа, на которую с самого начала опирается наша жизнь.

На самом деле, даже трудно сказать, во что мы превратимся в таких обстоятельствах. Будем ли мы людьми, выживающими (или не выживающими) под властью могучих искусственных интеллектов? Или же мы будем людьми с интеллектом, усиленным небиологическими средствами? Может быть мы в каком-то смысле полностью перейдем в постчеловеческую стадию (хотя, вероятно, будем помнить, что мы – потомки людей)? Я, разумеется, не считаю, что назвал все возможные варианты, и даже что хорошо сформулировал перечисленные – совсем нет! Я хочу сказать только, что с выходом на эту сцену технологий главная неподвижная точка нашего ландшафта перестанет быть неподвижной, а, напротив, начнет стремительно двигаться по траектории, которую нам, обитателям вулкана, трудно понять или спрогнозировать. Мне это кажется поводом для беспокойства.

Вот почему я думаю, что где то за горизонтом нас ждет важная переломная точка, в которой интеллект избавится от биологических ограничений – и далеко не факт, что с нашей точки зрения, это будет хорошей новостью. Если говорить коротко, моя позиция основана на трех предположениях: (1) уровень и общая форма человеческого интеллекта в большой степени случайны и обусловлены биологическими ограничениями; (2) несмотря на это для нас они играют ключевую роль, более или менее определяя, кто мы, и обеспечивая наш успех; (3) технология может позволить нам обойти эти биологические ограничения, либо изменив наш разум, либо соорудив машины со сравнимыми способностями, и это, возможно, преобразует весь ландшафт в целом.

Однако насколько далека от нас эта переломная точка, и достигнем ли мы ее вообще? Этот вопрос заставляет нас вернуться к самой спорной из приведенных выше трех идей – к предположению о том, что «небиологические машины» в какой-то момент могут стать умнее, чем «биологические машины» в наших черепах.

На это существует несколько возражений – некоторые ссылаются на (предположительно) сомнительные успехи искусственного интеллекта как такового; некоторые – на якобы существующее фундаментальное отличие человеческого разума от компьютера, а некоторые – на общую неопределенность проблемы (скажем, в принципе не очень понятно, как определять интеллект).

На последнее я бы, в свою очередь, возразил с практической стороны: не думайте о том, что такое интеллект, думайте о том, что он делает. Грубо говоря, главная характерная черта нашего пика на биологическом ландшафте заключается в том, что мы контролируем окружающую среду намного лучше прочих видов. Соответственно, вопрос в том, не смогут ли машины в какой-то момент справляться с этим еще лучше – а возможно, намного лучше. Если да, то все вышеприведенные основания для тревоги сохраняют актуальность, хотя мы даже не упоминали слово «интеллект» и тем более не пытались дать ему определение. (Можно, конечно, придраться к слову «контроль», но это слабый аргумент: очевидно, что в определенном смысле машины уже контролируют некоторые вещи – например, они водят автомобили.)

То же самое относится и к попыткам утешиться идеей о неких фундаментальных различиях между человеческим разумом и компьютером. Предположим, они существуют. Это означает, что компьютеры никогда не научатся делать что-то, что умеем делать мы – скажем, писать философские труды или ценить прекрасное. Но есть ли основания считать, что без этих даров машины не смогут контролировать Землю – причем намного эффективнее, чем мы?

Люди, которых тревожит эта проблема, часто утверждают, что главная угроза, возможно, будет исходить от «тупых оптимизаторов» – машин с простыми задачами (например, производящих мебель IKEA), которые вычислят, что смогут астрономически увеличить производство, взяв под контроль различные ресурсы, необходимые для нашего выживания. Никто не ожидает, что автоматизированная мебельная фабрика будет философствовать. Но делает ли это ее менее опасной? Вы готовы поставить на это судьбу своих внуков?

Кроме того существует и прямой аргумент против этих попыток апеллировать к предполагаемой разнице между человеческим интеллектом и машиной, также работающий против ссылок на неспособность искусственного интеллекта соответствовать завышенным прогнозам на его счет. Этот аргумент состоит из двух частей. Первая – несколько агрессивно назовем ее «ударом по голове» – указывает, что после того, как биология возвела нас на эту гору, мы можем понять, каким образом она это сделала – тем более, что по большей части это касается субстанции внутри наших черепов. Если мы это поймем, то можем затем понять (по крайней мере, в принципе), как добиться этого искусственно. Разумеется, может оказаться, что существует определенный непреодолимый порог и что биология, несмотря на все ограничения, дошла до некоего фундаментального максимума. Может также выясниться, что в обозримом будущем - и даже в отдаленной перспективе - мы будем просто неспособны осознать, как биология добилась такого эффекта. Но опять же, готовы ли вы поставить на это будущее своих внуков?

Вторая часть нашего аргумента – «удар снизу», – предусматривает вопрос о том, как высоко по горе интеллекта может вскарабкаться машина. До уровня наших предков-рыб? Наших млекопитающих предков? (Учтите, что важнее всего практическая сторона вопроса – сможет ли машина делать то, что делают эти существа?) При любом ответе следующим вопросом будет: где та грань, которую может перейти биология, но принципиально не способна преодолеть техника? Возможно, у кого-то есть приемлемый ответ и на этот вопрос, но я не представляю себе, каким он может быть.

В настоящее время я не вижу оснований думать, что интеллект никогда не сбежит из головы или что он не сделает это в обозримом будущем, о котором стоит тревожиться. Поэтому мне кажется вполне разумным думать о том, что случится, если это произойдет, и о том, как мы можем в данном случае увеличить вероятность благоприятного для нас развития событий. Именно так я вижу цель того, чем мы с Рисом и Таллинном занимаемся в Кембридже, работая над вопросами, связанными с различными технологическими рисками: мы стараемся создать организацию, которая будет использовать совокупную интеллектуальную мощь множества одаренных людей, чтобы снизить шанс неблагоприятного исхода.

Таллинн сравнивает это с пристегиванием ремня безопасности. Большинство из нас признает, что это имеет смысл делать, несмотря на низкую вероятность аварии и на то, что даже в случае аварии пристегнутый ремень не всегда играет положительную роль (иногда он только ухудшает дело). Эта аналогия также уместна и с другой точки зрения. От необходимости пристегивать ремень легко отмахнуться. Например, в такси многие из нас не пристегиваются. Что-то – может быть, оптимизм, может быть, нежелание выглядеть перестраховщиком, может быть специфически английская неуместная боязнь задеть чувства водителя – удерживает нас от того, чтобы просто пристегнуть эту штуку. Разумеется, обычно это не имеет значения, но иногда приводит к травмам, которых можно было бы избежать.

Беспокойство о катастрофных рисках порождает такие же проблемы с имиджем. Люди склонны к оптимизму и махнуть на угрозу рукой выглядит и более легким, и более выгодным для репутации выбором. Поэтому закончу двумя рекомендациями. Во-первых, помните, что в данном случае наша судьба находится, если можно так выразиться, в руках очень большого и, мягко говоря, плохо организованного коллектива – недальновидного, если не опрометчивого, - который управляет нашим автомобилем, стремительно несущимся по опасной и абсолютно неизвестной дороге. Во-вторых, не забывайте, что на заднем сиденье у нас едут дети – все дети мира. Мы, дедушки и бабушки, можем искать острых ощущений, нам уже почти нечего терять, но разве нам не следует все же пристегивать ремни, чтобы подавать пример детям?