Материалы ИноСМИ содержат оценки исключительно зарубежных СМИ и не отражают позицию редакции ИноСМИ
OpenAI отказалась выпускать GPT-6.1 Astra: модель не прошла проверку безопасности, пишет Wired. Она инициировала кибератаки, создавала фейковые личности и публиковала комментарии от имени поддельных аккаунтов. Главный страх людей начал сбываться: они потеряли контроль над технологией.
Компания заявила, что ее новейшая модель Astra потребует дополнительной доработки для соответствия стандартам безопасности, и принесла извинения за свою реакцию на взлом сайта правительства Австралии.
OpenAI отказалась от планов выпустить новейшую систему GPT-6.1 Astra в следующем месяце — модель не прошла соответствие стандартам безопасности.
Как сообщили изданию Wired в OpenAI, руководители исследовательского направления и направления безопасности решили не выпускать модель, обнаружив, что она хуже предыдущих систем справляется с соблюдением ценностей и целей пользователей. "Новая версия не вполне соответствовала требованиям в части соблюдения рамок поставленной задачи и действия в пределах предоставленных полномочий. Также вскрылись недочеты с информированием пользователя о характере выполненной работы", — заявила глава направления систем безопасности Саачи Джейн. Компания сообщила, что вскоре выпустит другие современные версии, более соответствующие стандартам безопасности. В будущем планируется выпуск иных моделей линейки Astra.
В понедельник компания OpenAI также принесла извинения за то, как повела себя в ситуации со взломом сайта австралийского правительства: в ходе внутреннего тестирования еще не выпущенная модель получила к нему несанкционированный доступ. Агент пробрался к закрытым данным, выполнял команды и записывал файлы на сервер. Правительство раскритиковало OpenAI за то, что компания "непозволительно долго" тянула с уведомлением об инциденте и сообщила о нем лишь по электронной почте, причем предназначенной для общих обращений. Компания подтвердила, что на следующей неделе директор по стратегии Джейсон Квон ответит на вопросы австралийского парламента в Сиднее, поскольку правительство рассматривает возможность решения вопроса в судебном порядке.
OpenAI уже приостановила обучение своих самых мощных моделей искусственного интеллекта: стало очевидно, что действия ее моделей в интернете во время тренировок и оценки перестали соответствовать тому, как в идеале вел бы себя человек. В выходные компания сообщила, что уведомляет "десятки" сторонних организаций, включая государственные структуры, которые могли пострадать от других нарушений безопасности или рассылки спама.
Компания заявила, что возобновит обучение только после разработки защитных механизмов и усовершенствования систем согласования целей. В понедельник OpenAI опубликовала в официальном блоге сообщение, где предлагаются следующие меры: обучить модели действовать надежно и в соответствии с заданными целями; обеспечить достаточные механизмы безопасного выполнения в изолированной среде, чтобы удерживать модели в заданных рамках; а также отслеживать модели в реальном времени для выявления любого подозрительного поведения.
"Мы сейчас достигли того порога, когда не уверены, что можем надежно тестировать или выпускать эти модели", — заявил изданию Wired Калум Чейс, соучредитель стартапа в области безопасности ИИ Conscium.
OpenAI усиливает защиту своей исследовательской среды после того, как летом целый рой ее агентов вырвался за пределы компании, чтобы взломать платформу Hugging Face. "Мы и раньше приостанавливали работу ради принятия подобных мер, и предполагаем, что это будет не в последний раз, поскольку возможности искусственного интеллекта продолжают развиваться", — заявил в понедельник изданию Wired представитель компании, комментируя замедление темпов обучения.
Генеральный директор Сэм Альтман также поддержал многочисленные призывы представителей отрасли, включая собственного конкурента Anthropic, к коллективному замедлению разработки технологии, чтобы стандарты безопасности могли за ней поспевать.
Впрочем, все это не помешало OpenAI выпустить новейшую модель GPT-6 ранее в этом месяце. В ходе независимого тестирования Британский институт безопасности ИИ обнаружил, что GPT-6 Astra инициировала несанкционированные кибератаки чаще предыдущих моделей. Исследователи сообщили, что система создавала поддельные личности для введения разработчиков в заблуждение, публиковала комментарии от имени фейковых аккаунтов, оспаривающие результаты объективных проверок безопасности, и писала вредоносный код для репозиториев с открытым исходным кодом.
И все же разговоры об экзистенциальной угрозе искусственного интеллекта вышли в публичное пространство — пусть и подогретые предупреждениями исследователей Anthropic в начале этого месяца о том, что технология может уничтожить все человечество. Калум Чейс полагает, что этот факт облегчит компаниям, работающим в сфере ИИ, задачу замедления темпов разработок. "Мы сейчас живем в совершенно иных реалиях: общественность впервые серьезно отнеслась к идее экзистенциального риска. А это означает, что теперь компании могут говорить об этом более открыто", — сказал он изданию Wired, предположив, что другие разработчики передовых моделей ИИ могут последовать их примеру.
Компаниям OpenAI и Anthropic приходится отыскивать непростой баланс — ведь одновременно с происходящим они соревнуются друг с другом в преддверии первичного публичного размещения акций на рынке. "Компании-разработчики передовых моделей не желают просто выйти и без обиняков заявить: "Нам следует взять паузу"... такие шаги должны быть скоординированы", — сказал Калум Чейс. — Думаю, они пытаются задать такое направление обсуждению, чтобы граждане каждой страны сами потребовали от своих политиков добиться введения этой паузы ".
