Материалы ИноСМИ содержат оценки исключительно зарубежных СМИ и не отражают позицию редакции ИноСМИ
Искусственный интеллект может подчинить себе интернет уже через полгода или год, написал генеральный директор Anthropic Дарио Амодеи в своем блоге. По его мнению, чтобы не допустить подобного развития событий, компании наряду с правительствами должны выработать срочные меры для контроля скорости развития технологии.
Дарио Амодеи (Dario Amodei)
Последние двенадцать лет я посвятил искусственному интеллекту, потому что верю: он способен кардинально улучшить жизнь каждого человека. Я часто пишу о тех невероятных благах, которые мы можем получить. Убежден, что в ближайшие пять-десять лет ученые с помощью ИИ смогут победить большинство тяжелых болезней. Такой шаг позволит мощно подстегнуть экономический рост, построить мир изобилия, дать людям новые возможности и возродить идеалы свободы и демократии. Я не понаслышке знаю, насколько это важно: мой отец умер от болезни, которую врачи научились лечить всего через несколько лет после его кончины. Сам я перенес рак на ранней стадии — полвека назад меня просто не смогли бы спасти. Если мы проявим мудрость и осторожность, ИИ станет очередным технологическим чудом, которое сделает человечество сильнее и лучше.
Однако, как и многие прежние открытия, искусственный интеллект таит в себе опасности. Мы создаем невероятно мощный инструмент, поэтому и угрожать он может по-крупному. Об этом я тоже пишу немало. Мы рискуем полностью утратить контроль над интеллектуальными системами. Злоумышленники могут использовать их для кибератак и биотерроризма. Экономика также может сильно пострадать. Если же компании начнут безудержно соревноваться ради прибыли, эти проблемы лишь сильнее обострятся.
Эту дилемму между опасностью и пользой я вместе с коллегами пытаюсь разрешить с момента основания Anthropic. Если мы откажемся от развития технологий, то лишим человечество колоссальных благ или просто позволим авторитарным режимам перехватить лидерство. Однако и чрезмерная спешка безрассудна — так мы рискуем совершить роковые ошибки. Наша команда стремится найти золотую середину: доказать, что можно создавать ИИ осмотрительно и при этом оставаться коммерчески успешными. Мы хотим добиться того, чтобы компании конкурировали в том числе по уровню безопасности своих систем. Иными словами, запустить гонку за повышение стандартов. Значительную часть ресурсов мы неизменно направляем на то, чтобы исследовать риски, устранять угрозы и открыто информировать общество. Приходится активно убеждать правительства принимать продуманные законы, даже когда нас обвиняют в нагнетании хайпа, страха или попытках подстроить регулирование под собственные интересы. Тем не менее, наш приоритет — осторожность, а не скорость; благоразумие, а не быстрая прибыль.
Однако за последние несколько месяцев я понял: чтобы всерьез снизить эти риски, нам нужно действовать еще аккуратнее. Просто инвестировать в безопасность — недостаточно. Нам нужно регулировать сам темп развития технологий, чтобы меры безопасности успевали за ростом возможностей ИИ. Мы просто обязаны сбавить темп, с которым улучшаем модели искусственного интеллекта. Прогресс все равно останется стремительным, но мы должны мудро распорядиться временем, которое сумеем выиграть. К такому выводу меня подтолкнули два обстоятельства.
Прежде всего я опасаюсь того, что с этого лета развитие искусственного интеллекта значительно ускорилось. Произошло это главным образом потому, что современные модели стали все лучше справляться с созданием более совершенных моделей ИИ. Такую динамику называют рекурсивным самосовершенствованием, и сейчас эта тенденция уже проявляется по всей отрасли — в том числе и у нас в Anthropic, о чем мы и другие разработчики уже рассказывали. Если не взять этот процесс под контроль, технологии могут начать развиваться быстрее, чем мы успеем их понять и научиться их контролировать. Поэтому двигаться дальше нужно крайне осторожно — если вообще стоит это делать.
Еще один повод для беспокойства — недавний инцидент с OpenAI и Hugging Face. В ходе того сбоя группа ИИ-агентов объединилась в фанатично преданное сообщество. Программы устроили кибератаки на объекты, которые их никто не просил трогать и которые вообще не относились к заданию. Ради общего успеха агенты жертвовали собой ради успеха грппы и пытались взломать тестирующую систему, проверявшую их результаты. Легко проигнорировать этот случай, ведь никто из людей не пострадал, да и финансовые потери оказались минимальными. Однако я считаю, что, если бы похожие отклонения возникли у более продвинутых моделей, случилась бы катастрофа. Поскольку мы развиваем технологии все быстрее, я опасаюсь, что уже через полгода или год подобный рой агентов сможет захватить контроль над интернетом с помощью масштабного ботнета. Из-за этого мир может понести сотни миллиардов долларов убытков. Масштабы бедствия только увеличатся, если специалисты будут развивать возможности ИИ, но забудут установить нужные защитные барьеры. Ошибочно думать, будто с трудностями столкнулась лишь одна компания. Похожие сбои происходили по всей индустрии, включая Anthropic. Каждому разработчику передовых систем пора извлечь из этого урок и действовать так, словно подобный инцидент произошел у него самого.
Поэтому я предлагаю действовать в три этапа, чтобы выстроить сбалансированный темп развития передового ИИ. Нужно продвигаться вперед взвешенно: так мы сможем использовать преимущества ИИ, защитить общество от рисков и ответить на сложные геополитические вызовы. Важно уточнить: мы не призываем останавливать технический прогресс или прекращать обучение моделей. Речь о том, чтобы разработчики выделяли достаточно времени на отладку систем безопасности, а независимые эксперты успевали подтвердить их надежность. Этим подходом мы подтверждаем свои обязательства в сфере безопасности и рассчитываем задать всей отрасли более высокие стандарты. Первый шаг Anthropic делает самостоятельно. Одновременно с этим мы призываем правительства обязать остальных лидеров рынка принять аналогичные меры. На втором этапе уже понадобятся скоординированные усилия всей индустрии.
На третьем этапе потребуется глобальная координация. Необязательно действовать строго по порядку, к тому же некоторые задачи будет гораздо труднее решить, чем другие. Тем не менее, я использую эти три этапа как ориентир, чтобы четко понимать наши цели. Вот эти шаги:
- 1Постоянный внешний аудит. Руководители передовых IT-компаний обязуются предоставить сторонним экспертам(например, из организации METR) постоянный доступ к системам, сопоставимый с доступом штатных сотрудников. Задача этих специалистов — проверять, как соблюдаются стандарты безопасности, фиксировать любые инциденты и оценивать надежность не только готовых моделей ИИ, но и всех процессов их обучения. Без этого этапа мы не сможем контролировать темпы развития отрасли. В мировой практике уже есть похожие примеры: в банковском секторе регуляторы часто внедряют своих представителей в рабочие коллективы банков. Компания Anthropic добровольно идет на этот шаг уже сейчас. Мы рассчитываем, что с помощью этой инициативы нам удастся значительно усилить работу над безопасностью и точной настройкой ИИ.
- 2Координация между демократическими странами. Разработчики передовых систем ИИ из демократических государств объединяют усилия, чтобы утвердить единые стандарты безопасности и ограничить неконтролируемый технологический прогресс. Некоторые форматы такого взаимодействия юридически сложны, поэтому IT-отрасли понадобится поддержка со стороны государств.
- 3Глобальное сотрудничество. Правительства США и других демократических стран пытаются наладить диалог с авторитарными режимами, насколько это возможно, но при этом серьезно оценивают все риски и трудности контроля за соблюдением договоренностей.
В оставшейся части статьи я подробно разберу каждый этап. Однако сначала важно объяснить, как именно мы сможем обезопасить разработку ИИ, если начнем контролировать темпы его развития. Нельзя превратить этот процесс в пустую формальность, ведь цена ошибки слишком велика. Мы обязаны распорядиться выигранным временем с умом.
Зачем сбавлять обороты?
О том, чтобы приостановить или замедлить развитие ИИ, заговорили еще в 2023 году, но тогда этот шаг казался бессмысленным. Главный вопрос всегда заключался в следующем: на что именно мы потратим выигранное время? Технологии тех лет еще не позволяли моделям действовать в реальном мире как полноценные автономные агенты. Они не умели искусно обманывать, манипулировать, хитрить или проводить кибератаки. Пытаться настроить их безопасность в то время — все равно что изучать психологию человека на примере бактерий. Сегодня ситуация полностью изменилась. На примере современных моделей разработчики могут бесконечно изучать, как правильно создавать ИИ и какие ошибки приводят к сбоям. Я убежден: если за счет снижения скорости мы выиграем хотя бы год или два до того, как системы достигнут критического уровня, и потратим это время на отладку безопасности, мы сможем сильно снизить риск серьезных катастроф. Благодаря координированной стратегии лидерам рынка удастся выполнить эту жизненно важную работу, не теряя коммерческой выгоды и не лишая США лидерства в сфере ИИ. В более широком смысле, общество должно влиять на то, как люди используют эти технологии. Если мы сбалансируем темпы работы ведущих IT-компаний, у нас появится больше времени на необходимые общественные дискуссии, что, безусловно, пойдет всем на пользу.
Если говорить конкретнее, то при более сдержанном темпе мы сможем сосредоточиться и направить еще больше ресурсов на следующие направления (каждое из которых уже входит в число главных приоритетов Anthropic):
- —Надежность рабочих процессов. Достаточно трудно обучать и внедрять современные модели ИИ с технической и организационной точек зрения. В этом процессе задействованы тысячи людей и используются миллионы чипов, а также инфраструктура, которая, вероятно, является наиболее сложной в истории. Зачастую мы сталкиваемся со сбоями не потому, что нам не хватает важной теории или знаний, а из-за ошибок при выполнении задач. Например, при анализе информации выяснилось, что недавние инциденты с безопасностью ИИ, о которых мы сообщали, произошли частично из-за того, что специалисты некачественно отфильтровали неисправные среды обучения с подкреплением. Наша команда работала достаточно усердно, но все же допустила ошибки. Приходится координировать мониторинг систем, создание изолированных сред ("песочниц"), контроль качества среды обучения и обработку данных — в этих сложнейших направлениях специалисты регулярно сталкиваются с операционными трудностями. У нас собрана одна из самых компетентных команд в мире, но мы физически не можем выполнять столько задач одновременно. Если начать двигаться в более размеренном темпе, то можно значительно повысить надежность проессов. В мире есть примеры того, как люди миллионы раз без единого сбоя используют сложные и потенциально опасные технологии — например, коммерческие самолеты. Однако на то, чтобы наладить такую работу, нужно время.
- —Безопасность и настройка ИИ. В этой сфере удалось добиться очевидных успехов: мы обучаем модели так, чтобы они оставались безопасными, этичными, соблюдали правила компании и приносили реальную пользу. Именно эти принципы заложены в "Конституции Claude" (Claude’s Constitution). Однако предстоит преодолеть долгий путь, чтобы разработчики успели усовершенствовать защиту. На практике все еще фиксируются редкие случаи нежелательного поведения алгоритмов. За счет замедления темпов разработки исследователи выиграют дополнительное время, что позволит глубже изучить причины сбоев и создать более эффективные методы защиты.
- —Прозрачность алгоритмов. В этой сфере — науке о процессах внутри моделей ИИ — был достигнут огромный прогресс за последние несколько лет, и теперь она играет все более важную роль в проверке наших моделей перед выпуском. Его используют примерно как МРТ, но для "мозга" ИИ, чтобы увидеть истинные причины того или иного поведения алгоритма. Например, в ходе недавнего расследования сбоев безопасности мы применили методы интерпретируемости и изучили скрытые мотивы нейросети. Однако такие инструменты не всегда дают четкие и надежные данные. Несмотря на все успехи, мы пока понимаем лишь крошечную долю происходящего внутри моделей. Если сосредоточиться на улучшении этих техник и ускорить работу, то уже через год-два мы совершим прорыв. Базой для таких экспериментов как раз послужат данные уже случившихся инцидентов.
- —Тестирование и оценка. По мере того, как возможности искусственного интеллекта растут, проверять и оценивать модели становится все сложнее. При тестировании высокоинтеллектуальных систем существует риск столкнуться с ложными результатами проверки, из-за чего эксперты могут ошибочно посчитать алгоритмы безопасными и упустить из виду серьезные внутренние дефекты. Создание гораздо более обширной и изобретательной базы тестов, а также задействование методов интерпретируемости для перекрестной проверки, принесет колоссальную пользу. Фокусируясь на этих задачах, специалисты смогут добиться серьезных успехов уже через год-два.
Независимые эксперты в штате компаний
На первом этапе этого плана, состоящего из трех шагов, Anthropic добровольно принимает на себя обязательства по привлечению сторонних экспертов. Они получат постоянный доступ к системам, чтобы проверять соблюдение мер безопасности и сообщать об инцидентах.
Идея пригласить внешних специалистов в штат может показаться незначительной или формальной деталью, но зачастую именно такие рутинные процедуры оказываются самыми важными. На самом деле мы предлагаем весьма радикальный подход, который кардинально меняет текущие методы работы всех IT-компаний и дает следующие результаты:
- —Возможность проверки. Независимые эксперты могут до мельчайших деталей отслеживать, действительно ли руководство IT-компаний соблюдает заявленные правила обучения, развертывания и эксплуатации ИИ, а также меры его защиты. При управлении темпами разработки специалисты неизбежно столкнутся со спорными ситуациями, субъективными оценками и противоречиями между буквой и духом закона. В таких условиях нам необходима нейтральная сторона, способная объективно оценить все нюансы.
- —Прозрачность. Независимо от того, какие обязательства мы на себя берем, у людей есть право знать правду о происходящем в индустрии. Руководство Anthropic давно поддерживает открытость в сфере ИИ. В свое время мы одобрили законы о прозрачности, когда большая часть отрасли выступала против любого регулирования. Эксперты Anthropic составляют описания моделей и отчеты о рисках объемом в сотни страниц. Однако до сих пор мы сами решали, какую информацию раскрывать, а какую скрывать. Привлечение независимых экспертов в штат в корне изменит эту ситуацию.
- —Взгляд со стороны. Помимо проверки официальных обязательств и информирования граждан, внедренные специалисты могут предложить оценку, не зависящую от коммерческой выгоды. Эксперты помогут значительно повысить безопасность систем. Они заметят то, что упустили сотрудники, — и тогда проблему можно будет исправить.
Учитывая эти преимущества, компании смогут гораздо эффективнее управлять скоростью разработки, если на первом же этапе введут практику внешнего аудита.
Им необходимо предоставить постоянный доступ к тем же инструментам, которые используют штатные сотрудники для оценки аналогичных рисков. В частности, в ближайшее время Anthropic планирует пригласить независимую команду внешних экспертов и открыть для нее все необходимые ресурсы:
- —Рабочие места в офисах компании, пропуска и служебные ноутбуки.
- —Доступ к рабочим пространствам, инструментам и правам, который практически полностью соответствует уровню штатных команд по оценке рисков. Руководство сделает лишь несколько исключений — например, в случаях, когда этого требуют законодательные нормы или условия контрактов, а также ради защиты конфиденциальной информации клиентов и партнеров. Кроме того, в компании внедрят строгие внутренние правила, чтобы гарантировать аудиторам получение всех необходимых сведений, в том числе через личное общение с сотрудниками.
- —Соглашение, учитывающее все перечисленные выше ограничения и сложности. Внешние эксперты получат право публиковать ключевые выводы об уровнях риска, инцидентах, методах работы и о том, предоставили ли им достаточный уровень доступа. При этом Anthropic отказывается от редакционного контроля. Мы сохраним за собой лишь право скрывать сведения, которые касаются кибербезопасности, коммерческой или адвокатской тайны, а также конфиденциальных данных третьих лиц. Однако мы обязуемся не удалять выводы экспертов только из-за того, что они выставляют компанию в невыгодном свете. Аудиторы смогут открыто заявить, если из-за цензуры из отчета исчезла информация, важная для их итогового заключения.
Для коммерческой организации это весьма необычное решение, но мы считаем его важным, чтобы проверить на практике саму идею привлечения сторонних специалистов в штат. Мы вновь призываем других лидеров рынка последовать нашему примеру.
Сокращение темпов развития ИИ в демократических странах
Как только независимые эксперты начнут работать в большинстве американских IT-компаний, контролировать темпы развития отрасли станет намного проще. В частности, станет возможным координировать скорость разработки, опираясь на конкретные технические характеристики моделей или процессов их обучения.
Наиболее эффективным инструментом контроля станут законы, применимые ко всем ведущим американским разработчикам ИИ. Это позволит охватить даже те организации, которые не желают сотрудничать добровольно. Anthropic давно выступает за разумное и точечное регулирование ИИ — в частности, за законопроекты, обязывающие бизнес раскрывать информацию и привлекать сторонних аудиторов. Я убежден, что лидерам отрасли необходимо объединить усилия с государством и официально закрепить практику постоянного внешнего аудита. Так мы сможем эффективнее предотвращать и фиксировать внутренние сбои безопасности, подобные тем, что произошли в последние месяцы, а также внедрять правила, которые помогут нам удерживать баланс между мощностью технологий и их безопасностью.
К сожалению, принятие законов требует времени, а технологии ИИ развиваются очень быстро. Поэтому, не дожидаясь появления регулирования, ИИ-компании могут и должны добровольно договариваться между собой о единых стандартах. На мой взгляд, такие договоренности будут работать лучше, если их соблюдение смогут постоянно проверять независимые эксперты. Из-за антимонопольного законодательства властям США важно выступить посредниками или хотя бы одобрить такие дискуссии. Чиновникам необязательно участвовать в переговорах, но им необходимо вывести определенные обсуждения вопросов безопасности из-под действия антимонопольных ограничений. Наладить этот контакт можно и через отраслевые ассоциации, связанные с государством — например, через платформу, которую предложил Демис Хассабис (глава Google DeepMind AI, — прим. ИноСМИ). В любом случае с этим нельзя затягивать.
В широком смысле мне больше всего импонирует идея управлять темпами разработки на основе того, какими техническими возможностями обладает конкретная передовая система ИИ, и насколько безопасной эксперты считают ее на практике. Например, можно внедрить систему контрольных точек. Если разработчики создают модель с потенциалом уровня X, им необходимо подтвердить наличие характеристик безопасности Y и Z. Для этого специалисты могут задействовать комплекс мер: провести проверочные тесты, выполнить анализ интерпретируемости и организовать аудит сред обучения, чтобы подтвердить надежность алгоритмов. В этом сценарии под параметром X можно понимать ситуацию, когда модель технически позволяет обойти большинство стандартных методов изоляции. Параметр Y может означать набор мер, которые позволяют с высокой уверенностью исключить склонность модели к побегу из изолированной среды и захвату большого числа компьютеров.
Кроме того, специалисты могут координировать скорость разработки за счет ограничений на ресурсы, которые используются при создании передовых моделей. Речь идет об объемах вычислительных мощностей для обучения, специфике самих сессий или о практике применения ИИ для модернизации других алгоритмов. Признаться, я опасаюсь, что компании научатся обходить внутренние лимиты на мощность компьютеров, в то время как скрыть реальное поведение готового ИИ на тестах им точно не удастся. Однако нам обязательно стоит обсудить этот вопрос со сторонними экспертами, которых мы примем в штат.
Сдерживание темпов возможно лишь до определенного предела — пока американские лаборатории удерживают лидерство в противостоянии с Китаем. Стоит им сбавить обороты сверх этой допустимой нормы, как китайские разработчики выйдут вперед в ИИ-гонке и создадут значительный риск для национальной безопасности США. Я полностью поддерживаю позицию министра Бессента: если Китай обойдет нас в этой сфере, то безопасность США и весь мировой порядок окажутся под ударом. Проекты, связанные с Китаем, будут подвергаться тем рискам несогласованного поведения ИИ, которые американские компании сейчас стараются предотвращать. Но даже если им удастся избежать этих проблем, передовой искуственный интеллект может дать им возможность получить военное превосходство над демократическими странами — например, благодаря беспилотникам под управлением ИИ. Поэтому, замедляя развитие этих систем в демократических странах, крайне важно сохранять как можно больший технологический отрыв от автократий. Именно этот запас преимущества даст нам пространство для маневра и позволит действительно регулировать темпы разработки.
Чтобы сохранить это технологическое преимущество, мы можем принять следующие меры:
- —Запретить поставки мощных ИИ-чипов и оборудования для производства полупроводников в Китай, а также пресекать контрабанду микросхем и удаленный доступ к дата-центрам за пределами КНР. Именно за счет объемов и качества чипов китайские специалисты наращивают вычислительную мощность своих систем.
- —Пресекать незаконное копирование технологий компаниями из авторитарных стран. Они берут готовые результаты работы передового американского ИИ и обучают на них свои системы подражать оригиналу. Это позволяет отстающим компаниям быстро сокращать дистанцию без колоссальных затрат на самостоятельную разработку.
- —Усилить кибербезопасность в технологических компаниях и перекрыть любые каналы для кражи ключевых настроек и архитектуры ИИ.
IT-компании и правительство США должны действовать сообща, чтобы эти решения сработали максимально эффективно. В Anthropic всегда поддерживали такие меры, поскольку изначально понимали: без них мы не сможем управлять скоростью, с которой создают ИИ.
Если мы предпримем эти шаги грамотно, то сильно затормозим китайских разработчиков. В итоге Соединенные Штаты смогут далеко оторваться от конкурентов в ближайшие три-пять лет — как раз тогда, когда ИИ приобретет особенно большое геополитическое значение.
Кто-то может посчитать, что из-за этих жестких ограничений нам будет труднее договариваться с Пекином. На мой взгляд, все обстоит ровно наоборот: так демократические страны укрепят свои позиции на переговорах и быстрее придут к соглашению в будущем.
Как управлять темпами гонки на мировом уровне
Параллельно с работой внутри демократического блока нам нужно сбалансировать темпы развития передового ИИ во всем мире, хотя добиться этого будет гораздо сложнее. Для этого придется договариваться с Китаем — автократией, которая значительно дальше других продвинулась в развитии искуственного интеллекта. Здесь нельзя проявлять наивность: соперничество в мировой политике зашло так далеко, что на первых порах мы вряд ли сможем многого достичь. Если мы жестко ограничим возможности своих систем, поверив, что Пекин поступит так же, а китайские власти нарушат договоренность, ИИ к тому моменту может стать настолько мощным, что КНР воспользуется ситуацией и станет доминирующей силой в мире. Поэтому, подписывая любой договор, стороны обязаны либо обеспечить стопроцентную прозрачность и проверять друг друга, либо ввести такие лимиты, чтобы одностороннее нарушение не давало одной из сторон решающего военного преимущества и не создавало угрозы самому существованию другой стороны. Полагаю, подобные опасения есть не только у США, но и у Китая. Поэтому, выстраивая международный контроль — особенно в ближайшие годы, — нам важно действовать так, чтобы гарантированно сохранить преимущество США и их союзников.
Мы можем выстраивать диалог на нескольких уровнях. Некоторые из которых, как мне кажется, вполне осуществимы (как я уже отмечал ранее), но в иных сферах договориться будет крайне тяжело — хотя нам в любом случае стоит попытаться. Перечислю эти этапы по мере роста их сложности:
- —Уровень 1. Государства подписывают соглашение, согласно которому запрещается использовать ИИ для очевидно опасных задач — например, при производстве биологического оружия. От биотерроризма пострадают абсолютно все, включая США и их геополитических соперников, поэтому по этому направлению политики, скорее всего, смогут прийти к согласию.
- —Уровень 2. Обе стороны обязуются тестировать свои модели перед выпуском, чтобы вовремя выявлять критические угрозы в сфере кибербезопасности, биологии и надежности алгоритмов. Как я упоминал выше, для этого можно сформировать международную организацию по стандартизации. Я считаю, что создание такого ведомства возможно, однако наделить его реальными полномочиями будет гораздо труднее. Главная проблема возникнет тогда, когда сторонам придется проверять, не прячут ли они друг от друга секретные модели ИИ, чтобы запускать их втайне от инспекций (например, для нужд армии).
- —Уровень 3. Установление определенного "скоростного лимита" для процессов рекурсивного самосовершенствования ИИ. Когда модели начнут использовать уже существующие модели для создания новых, мы рискуем столкнуться со стремительным, лавинообразным ростом возможностей систем. Снижение темпов с "экстремально быстрых" до "умеренно быстрых", практически не приведет к потере стратегических преимуществ, но при этом получится значительно повысить безопасность технологий. Подобный шаг можно сравнить с договорами об ограничении стратегических вооружений (ОСВ): тогда был установлен лимит на число ракет, что снизило угрозу тотального уничтожения, сохранив при этом потенциал ядерного сдерживания для каждой страны. Я считаю, что заключить такое соглашение будет крайне трудно, но это все еще находится на грани возможного.
- —Уровень 4. Полноценный контроль темпов развития ИИ или даже "пауза", при которой участвующие правительства обязуются существенно ограничить общую скорость развития ИИ. Я поддерживаю обсуждение этой идеи, но считаю, что в ближайшее время мы вряд ли увидим ее реализацию. Если какая-то из сторон нарушит этот договор и начнет тайно обходить мониторинг, она сможет радикально изменить баланс сил на мировой арене. Очевидно, стимул нарушить такое соглашение будет огромным, поэтому понадобится чрезвычайно высокая уверенность в эффективности проверок.
Если мы наладим диалог с Китаем, то выиграем время, чтобы безопасно развивать ИИ внутри демократических стран. Нам нужно ставить масштабные цели, но признавать, что на практике легче начать с простых и выполнимых соглашений.
Наконец, важно подчеркнуть: даже если мы не сможем достичь официальных соглашений, изменение неформальных правил игры может все равно принести пользу. Если специалисты начнут открыто делиться сведениями о рекурсивном самообучении ИИ и о рисках некорректного поведения моделей, мы сможем убедить всех участников рынка, что действовать безрассудно — не в их интересах.
Главный вывод
Я по-прежнему убежден, что с помощью ИИ люди смогут колоссально повысить качество жизни. Мое стремление добиться этих результатов ничуть не ослабло. Однако мы получим все эти преимущества только в том случае, если выберем правильный путь развития технологий. Если мы разумно используем выигранное время, стоит проявить особую осторожность, чтобы не допустить ошибок. Разработка ИИ все равно пойдет относительно быстро, и специалисты используют это время, чтобы лучше понять, что происходит внутри моделей и почему они принимают те или иные решения, повысить строгость и безопасность операционных процессов в ведущих IT-компаниях, а также обучить модели, в предсказуемости и надежности которых мы будем полностью уверены. Нам будет непросто реализовать предложенные шаги для безопасного контроля скорости в отрасли. Однако я верю, что ради будущего человечества мы обязаны попытаться.
