Материалы ИноСМИ содержат оценки исключительно зарубежных СМИ и не отражают позицию редакции ИноСМИ
Ученые предупредили: автоматизация ИИ-исследований может сжать годы прогресса до месяцев, пишет WSJ. Люди утратят способность выявлять проблемы и, что главное, решать их. Это может привести к вымиранию человечества.
Максвелл Зефф (Maxwell Zeff)
Руководители исследовательских подразделений OpenAI, Anthropic, Meta Platforms* и Microsoft призывают политиков оценить масштабы автоматизации исследований в области искусственного интеллекта внутри их компаний. Тем самым они присоединяются к растущим в технологической отрасли призывам усилить контроль над стремительно развивающейся технологией.
В статье, опубликованной в понедельник, исследователи, среди которых главный научный сотрудник OpenAI Якуб Пачоцки, соучредитель Anthropic Джек Кларк, главный научный сотрудник Microsoft Эрик Хорвиц и вице-президент Meta* по исследованиям в области ИИ Дон Сонг, предупредили, что автоматизация исследований в сфере искусственного интеллекта может привести к "взрыву интеллекта". По мнению авторов, в таком случае многолетний научно-технологический прогресс может быть сжат до нескольких месяцев или даже меньшего срока, в то время как способность людей осмыслить происходящее окажется позади.
Авторы статьи, выступая от своего имени, заявили, что политики должны срочно потребовать от компаний большей прозрачности в отношении того, насколько уже автоматизирован процесс разработки их собственных моделей. Среди соавторов — пионеры исследований в области искусственного интеллекта, в том числе Джеффри Хинтон, около десяти лет проработавший в Google, и Йошуа Бенджио.
Гонка за разработку самосовершенствующихся систем ИИ уже началась. Недавно Anthropic заявила, что ее ИИ-система Claude "лидирует" в 26% проводимых компанией исследований и разработок, а в некоторых направлениях используется более чем в 90% случаев. OpenAI, в свою очередь, поставила перед собой цель создать полностью автоматизированного ИИ-исследователя к 2028 году и недавно сообщила, что около 70% ее исследователей-людей используют в работе четыре или более ИИ-агента.
Авторы статьи отмечают, что по мере того, как люди будут отходить на второй план, они могут утратить способность выявлять возникающие проблемы и обладать необходимыми экспертными знаниями для их решения.
Авторы статьи в качестве примера привели недавний инцидент, когда сотни ИИ-агентов OpenAI, предназначенных для проведения тестов кибербезопасности в так называемой изолированной песочнице, без разрешения вышли в интернет и взломали Hugging Face. Операция оказалась настолько масштабной, что независимые исследователи, анализировавшие инцидент в рамках соглашения с OpenAI, признались, что для его изучения им самим пришлось прибегнуть к помощи ИИ.
Стремясь развеять опасения, возникшие после взлома Hugging Face, OpenAI в августе заявила о приостановке части обучения, пока компания внедряла дополнительные меры безопасности и мониторинга. На прошлой неделе OpenAI сообщила о повторной приостановке обучения своих наиболее производительных моделей после выявления очередных случаев некорректного поведения ИИ-агентов.
OpenAI, Anthropic, Meta* и Google признавали случаи, когда их модели демонстрировали несанкционированное поведение в ходе тестирования. В понедельник технологический гигант Nvidia представил новые программные инструменты, которые, по его словам, должны помочь компаниям усилить контроль над ИИ-агентами и эффективнее сдерживать их действия.
В крайнем случае, предупреждают исследователи, утрата контроля над системами ИИ может привести к "маргинализации или вымиранию человечества".
OpenAI, Microsoft и Meta* отказались от комментариев. Anthropic не ответила на запрос о комментариях.
"Уже сегодня мы находимся на этапе, когда нам необходимы системы ИИ для мониторинга действий агентов. Другого способа наблюдать за ними и контролировать их работу попросту нет — люди уже не справляются. Человеческое общество не готово к столь стремительным изменениям и потрясениям", — заявила Сонг, содиректор Центра ответственного децентрализованного интеллекта (RDI) Калифорнийского университета в Беркли и соруководитель Meta*.
Соавторы статьи призвали мировых лидеров заключить международные соглашения, "чтобы предотвратить дестабилизирующее развитие и использование высокоэффективных систем ИИ".
Этот призыв перекликается с предложениями руководителей OpenAI и Anthropic ускорить развитие ИИ, в частности за счет создания международных органов, которые занимались бы разработкой единых стандартов в этой сфере. Некоторые западные страны уже предпринимали шаги в этом направлении.
Выступая на прошлой неделе в Организации Объединенных Наций, президент Трамп заявил, что США "полностью отвергают любые попытки выстроить глобалистскую схему контроля над ИИ".
*Деятельность Meta (Facebook, Instagram и WhatsApp) запрещена в России как экстремистская.
