Материалы ИноСМИ содержат оценки исключительно зарубежных СМИ и не отражают позицию редакции ИноСМИ
ИИ окончательно вышел за пределы научных лабораторий и превратился в мощную политическую силу, пишет TAC. Риски, связанные с созданием сверхразума, способного к бесконечному самообучению, настолько велики, что даже закоренелые скептики уже воспринимают сценарии полного уничтожения человечества всерьез.
Я пока затрудняюсь сказать.
Всю свою жизнь я прожил под постоянной угрозой гибели всего человечества. Поэтому к новым пророчествам об искусственном интеллекте я поначалу отнесся слегка скептически. Но и это постепенно меняется.
В детстве главной угрозой была термоядерная война с Советским Союзом. В начальной школе мы по команде прятались под хлипкими фанерными партами и высыпали в коридор, натягивая на бегу пальто в ожидании ослепительной вспышки. Учителя рассказывали нам страшные байки о радиационном поражении, о том, как наши родители будут умирать у нас на глазах, и даже показывали на школьную парковку, объясняя, что советские ракеты настолько точны, что могут попасть прямо в машину директора. Дожить до десятого дня рождения мне казалось чудом.
В 1980-е годы нам стали меньше рассказывать о том, что произойдет непосредственно после взрыва, и больше — о том, что за ним последует: о ядерной зиме и вымирании человечества, которое допускали даже такие именитые известные ученые, как Карл Саган (американский астроном, астрофизик и популяризатор науки, ауреат Пулитцеровской премии, — прим. ИноСМИ). Согласно этой гипотезе, обмен ядерными ударами приведет к резкому и затяжному похолоданию и темноте. Война вызовет гигантские пожары, которые уничтожат мегаполисы, леса и промышленные объекты. Сажа от этих пожаров поднимется в стратосферу и не будет пропускать солнечный свет. Уменьшение инсоляции и падение температуры уничтожат сельское хозяйство, вызвав массовый голод по всему миру, и мы все начнем крошить друг друга, вырывая из рук последнюю морковку.
После окончания холодной войны следующей угрозой, которая непременно нас уничтожит, стала перемена климата — если, конечно, ее не опередят ядерные аварии и террористы с биологическим оружием под стать злодеям из фильмов о Джеймсе Бонде или вроде того. Двадцать лет назад нам внушали, что она уничтожит нас через десять лет, а десять лет назад — что через двадцать. Это казалось настолько правдоподобным, что каждый февраль в Огайо, когда после зимы наступали парочка теплых весенних деньков (после чего неизменно обрушивалась очередная метель), все только и говорили что о глобальном потеплении. И мы еще считали, что нам повезло: штат Огайо достаточно далек от побережья, и, может, мы даже переживем первую волну таяния ледяных шапок. Возможно, мы даже окажемся среди счастливых обитателей возвышенности, которые будут свысока наблюдать за тем, как миллиарды людей пытаются выжить в мире, где продукты питания, вода, погода и география меняются быстрее, чем общества успевают адаптироваться.
Жизненный опыт научил меня отличать реальную опасность от апокалиптического кликушества. Поэтому простите мой скепсис к прогнозам конца света от нового поколения ученых — что ИИ уничтожит человечество в течение ближайшего десятилетия. Но при этом я охотно признаю: я ведь не эксперт по искусственному интеллекту. Поэтому я сделал то, что в такой ситуации может сделать любой. Я напрямую спросил ИИ: "Как ИИ может привести к исчезновению человечества?".
Машина выдала пару пугающе правдоподобных идей — и они кажутся гораздо более вероятными причинами гибели нашей цивилизации, чем какие-нибудь автомобильные выхлопы.
Самые радикальные сценарии вымирания человечества из-за ИИ предполагают два события: во-первых, искусственный интеллект должен стать гораздо умнее человеческого разума; во-вторых, он должен научиться самосовершенствоваться и "умнеть" дальше без малейшего участия человека. Благодаря процессу самообучения возникает замкнутый круг — они называют это "рекурсивным самоулучшением".
Как только человек перестанет быть самым разумным созданием на планете, мы вполне можем потерять власть над нашей общей судьбой. Нетрудно себе представить, что ИИ значительно превзойдет живых людей в науке, инженерии, кибероперациях, красноречии и стратегическом планировании. Если его первоначальные задачи были сформулированы неудачно, а затем он получил или иным образом приобрел свободу действий, он может выбрать как цели, так и средства, несовместимые с выживанием человечества.
Дело не в том, что машины нас возненавидят. Просто мы окажемся для них помехой — тут уместно провести аналогию с муравейником. Представьте, что бригада рабочих возводит небоскреб и обнаруживает на месте стройки муравейник. Задумается ли она хоть на миг перед тем, как разрушить его и продолжить работу?
Приведем крайне упрощенный пример. Представим себе, что сверхразумному ИИ поручено сделать все необходимое, чтобы остановить войны между людьми. В ответ на это он может захватить контроль над биологическими лабораториями или другим оружием Судного дня, решив, что самый надежный способ добиться поставленной цели — полное уничтожение человечества: нет людей — нет войны.
По ходу возникает, как выражаются ученые, инструментальная сходимость (гипотетическая тенденция для большинства достаточно разумных существ — как людей, так и не-людей — к достижению сходных промежуточных целей, даже если их конечные цели ощутимо различаются, — прим. ИноСМИ): достаточно мощная система может счесть доступ к ресурсам, самосохранение и контроль над другими системами полезной промежуточной целью для выполнения поставленной задачи.
Нам отнюдь не обязательно представлять все в красках прямо сейчас. В конце концов, мы — вовсе не сверхразумное существо, которое просчитывает все варианты. Эксперты из различных областей постоянно недооценивают то, насколько быстро ИИ способен освоить их сферы деятельности и превзойти их самих. Как выразился экономист и полемист Ноа Смит, "они принимают трудности отдельного человека за универсальные". Никто на самом деле до конца не представляет себе принцип работы больших языковых моделей. Но как-то же они работают!
Или представим более случайный сценарий — при котором ИИ постепенно опережает людей практически во всех важнейших сферах деятельности. Мы рискуем впасть в полную зависимость от систем, которые не понимаем и не контролируем.
Звучит нелепо — почти как анекдот. Но сколько людей заполняют налоговые декларации с помощью программного обеспечения, которого не понимают, — а затем получают результат, который также не способны проверить или осмыслить самостоятельно? Очевидно, это еще не означает полного исчезновения человечества, однако если все мы утратим реальную власть над собственной жизнью, это невероятно сузит возможности человечества.
Как говорится, нам выпало жить в интересное время. Мы еще не дошли до того момента, когда Терминаторы из будущего объявили на нас охоту, но уже далеко ушли от мысли, что беспокоиться решительно не о чем.
Одно то, что конец света предсказывали так часто — и столько же раз предсказания не сбывались, — отнюдь не означает, что от очередного прогноза можно отмахнуться с привычной легкостью. Слишком много людей, которые разбираются в этой теме гораздо лучше моего, встревожены не на шутку. А уж это-то кое-что значит.
Но я искренне считаю, что взволнованные ученые должны толковее объяснить причину своего беспокойства. В эпоху постоянного скепсиса и почти хронического недоверия к правительству и науке потенциальные пророки должны гораздо конкретнее рассуждать о предстоящих опасностях. После пренеприятнейшей истории с Фаучи никто уже не станет принимать их слова на веру.
Я не ученый и даже не писатель-фантаст. Я пишу о политике и национальной безопасности. Но ИИ перестал быть темой для обсуждений в лабораториях.
Искусственный интеллект стал политической силой — и решения политиков на нынешней, пока еще ранней стадии развития этой технологии предопределят, как именно ИИ будет взаимодействовать с нашим миром в дальнейшем. Подобно тем политикам в Вашингтоне, которые осенью 1945 года взяли мир свои руки и задали траекторию следующего этапа развития человечества — ядерного мира — мы должны глубоко и серьезно задуматься о том, что будет дальше.
