Раскрыто содержание письма Маска и Возняка с призывом приостановить обучение нейросетей

Системы искусственного интеллекта, потенциально соперничающие с человеком, могут представлять глубинную опасность для общества и человечества. Это показали обширные исследования и признано ведущими лабораториями ИИ. Как отмечено в общепризнанных Асиломарских принципах, продвинутый ИИ может повлечь за собой коренную перемену в жизни на Земле, поэтому его следует планировать и управлять им с должным тщанием и соответствующими ресурсами. Увы, надлежащего уровня планирования и управления мы не наблюдаем — наоборот, за последние месяцы лаборатории искусственного интеллекта втянулись в неуправляемую гонку по разработке и внедрению систем машинного обучения, которые непонятны, непредсказуемы и неподконтрольны никому — даже их создателям.

Современные системы искусственного интеллекта постепенно становятся конкурентоспособными в решении общих задач, и мы должны задаться вопросом: можем ли мы позволить, чтобы машины заполоняли наши информационные каналы пропагандой и неправдой? Надо ли автоматизировать все подряд рабочие места — даже те, что приносят удовлетворение? Надо ли развивать нечеловеческий разум, который в конечном счете превзойдет нас числом, перехитрит и заменит как безнадежно устаревших? Можем ли мы рисковать утратой контроля над всей нашей цивилизацией? Такие решения нельзя отдавать на откуп технологическим лидерам, которых никто не выбирал. Мощные системы искусственного интеллекта следует разрабатывать лишь в том случае, если мы полностью уверены, что сами они принесут пользу, а сопутствующие риски окажутся управляемыми. Эта уверенность должна быть оправдана и крепнуть с ростом потенциальных последствий. В недавнем заявлении о развитии ИИ компания OpenAI признала: "В какой-то момент перед обучением будущих систем может понадобится независимая оценка, а перед разработкой самых передовых из них — ограничение скорости роста вычислений". Мы согласны. И этот момент настал.

Поэтому мы призываем все лаборатории немедленно свернуть обучение систем ИИ мощнее GPT-4 как минимум на полгода. Этот перерыв должен быть публичным и достоверным и соблюдаться всеми ключевыми участниками. Если договориться об этом в кратчайшие сроки не удастся, правительства должны вмешаться и ввести мораторий.

Лаборатории ИИ и независимые эксперты должны воспользоваться этим перерывом для совместной разработки и внедрения общих протоколов безопасности при проектировании и разработке продвинутых систем ИИ, которые будут тщательно проверяться и контролироваться независимыми сторонними экспертами. Эти протоколы должны гарантировать однозначную безопасность поддерживающих их систем. Это означает не паузу в развитии ИИ как такового, а лишь приостановку опасной погони за все более крупными и непредсказуемыми моделями черного ящика, чьи возможности еще только проявляются.

Исследования и разработки в области ИИ должны быть переориентированы, чтобы сделать современные мощные системы более точными, безопасными, объясняемыми, прозрачными, надежными, согласованными, безотказными и верными.

Параллельно разработчики должны в сотрудничестве с политиками значительно ускорить разработку надежных систем управления ИИ. В них должны войти как минимум следующие элементы: новые, дееспособные регулирующие органы по вопросам ИИ; надзор и отслеживание высокопроизводительных систем ИИ и больших массивов вычислительных мощностей; системы происхождения и водяных знаков, помогающие отличить оригинал от синтезированного продукта и отслеживать утечки моделей; надежная экосистема аудита и сертификации; ответственность за вред, причиненный ИИ; надежное государственное финансирование технических исследований безопасности ИИ; и, наконец, обеспеченные ресурсами институты для преодоления серьезных экономических и политических потрясений в результате деятельности ИИ (особенно для демократий).

В будущем благодаря ИИ человечество сможет добиться процветания. Если мы преуспеем в создании мощных систем, нас ждет "лето ИИ", когда мы будем пожинать плоды, разработав эти системы ради общего блага и дав обществу возможность адаптироваться. Общество уже останавливало применение других технологий с потенциально катастрофическими для себя последствиями. Мы можем повторить это и здесь. Давайте же вместе радоваться "лету ИИ", а не бросаться очертя голову в осень.