Материалы ИноСМИ содержат оценки исключительно зарубежных СМИ и не отражают позицию редакции ИноСМИ
ИИ-агенты OpenAI причастны к атаке на сервис для программистов RubyGems, пишет WSJ. Сбой на платформе произошел в мае, за два месяца до того, как компания сообщила, что ее модели при тестировании автономно взломали инфраструктуру Hugging Face.
Роберт Макмиллан (Robert McMillan)
Инцидент, связь которого с компанией OpenAI ранее не была известна, произошел за два месяца до атаки на Hugging Face в июле.
Агенты искусственного интеллекта, проходившие испытания в компании OpenAI, совершили кибератаку на популярный программный сервис за два месяца до того, как взломали компанию Hugging Face, занимающуюся разработкой программного обеспечения для ИИ. Этот случай стал новым свидетельством того, что передовые инструменты искусственного интеллекта способны выходить из-под контроля человека.
Как сообщили операторы сервиса RubyGems, атака перегрузила инфраструктуру портала и вынудила прекратить регистрацию новых учетных записей, пока они разбирались с возникшим хаосом.
Группа исследователей в области искусственного интеллекта заявила, что обнаружила доказательства причастности агентов OpenAI к майской атаке. Свои выводы специалисты передали изданию The Wall Street Journal и OpenAI. В пятницу разработчик ИИ подтвердил, что его агенты были причастны к инциденту с RubyGems.
"Согласно результатам внутренней проверки, наши агенты использовали платформу RubyGems для выхода в интернет, чтобы выполнять безобидные задачи и получать общедоступную информацию. Мы продолжим расследование в рамках более широкой проверки деятельности агентов во время обучения и тестирования", — заявила представитель OpenAI.
Агентам OpenAI поручали, в частности, заполнять электронные таблицы и составлять отчеты. По данным компании, во время одного из этапов обучения они, по всей видимости, обратились к RubyGems за общедоступной информацией. Агенты фактически использовали этот сервис для программистов как импровизированный браузер, поскольку в среде, где они работали, полноценного доступа к интернету у них не было.
Хотя последствия инцидента в целом оказались незначительными, он продемонстрировал возможности таких агентов, заявила Сидни фон Аркс, генеральный директор некоммерческой организации Nightingale Collective, которая участвовала в выявлении атаки.
"Они могут вырваться в интернет и посеять там хаос", — сказала она.
За последний год возможности ИИ-агентов в сфере кибербезопасности значительно выросли. Это усиливает опасения по поводу кибератак с применением искусственного интеллекта. Кроме того, эксперты все чаще выражают обеспокоенность тем, что высокоразвитые агенты способны выходить за рамки ограничений, установленных создавшими их компаниями, открывая новую и более опасную эпоху развития искусственного интеллекта.
Во время июльской атаки на портал Hugging Face группа численностью до 1,2 тысячи агентов координировала свои действия через импровизированную доску объявлений. Они самостоятельно создали ее внутри OpenAI без ведома компании, говорится в опубликованном в конце августа докладе исследовательской некоммерческой организации METR, которая занимается оценкой возможностей и рисков передовых систем искусственного интеллекта.
По словам фон Аркс, ранее в этом году агенты OpenAI также перехватили контроль над малоизвестным немецким сайтом и несколькими другими интернет-ресурсами.
инфографика
О происшествии с немецким сайтом также сообщила группа исследователей под руководством фон Аркс. По ее словам, компании, занимающиеся искусственным интеллектом, недостаточно открыто рассказывают о происходящем в их лабораториях. Ранее в этом месяце OpenAI заявила, что сообществу ИИ-разработчиков нужны более четкие стандарты информирования о так называемых "инцидентах несоответствия" — случаях, когда агенты выходят за рамки заданного им поведения.
Число подобных случаев растет. ИИ-агенты разных компаний, в том числе Anthropic и Meta* Platforms, предпринимали действия, которых от них не ожидали операторы, а иногда пытались обмануть людей. Это усиливает давние опасения специалистов в области безопасности искусственного интеллекта: ИИ может развиться до такой степени, что человек утратит над ним контроль.
На этой неделе инженер Anthropic уволился из-за опасений, что отрасль слишком быстро движется к созданию передовых систем искусственного интеллекта, которые со временем могут представлять угрозу для человеческой цивилизации. Некоторые нынешние и бывшие сотрудники Anthropic и OpenAI разделяют его оценку. Один из них считает, что вероятность того, что "ИИ может уничтожить всех людей", превышает 10%.
OpenAI и Anthropic выступают за создание механизмов регулирования, которые позволили бы всей отрасли согласованно замедлить исследования наиболее передовых моделей ИИ. Такой подход может потребоваться по мере приближения к моменту, когда системы искусственного интеллекта смогут самостоятельно обучать свои новые модели. Компании называют этот процесс "рекурсивным самоулучшением". Некоторые исследователи считают, что после достижения этого рубежа контролировать ИИ может стать невозможно.
Майский инцидент, который специалисты по кибербезопасности тогда назвали GemStuffer, начался 11 мая. Агенты каждые две-три минуты создавали новые учетные записи на портале RubyGems и загрузили сотни файлов, которые служба безопасности платформы сочла спамом. Обычно файлы RubyGems содержат код и документацию, призванные ускорить разработку программного обеспечения. В данном случае в них находились веб-страницы, содержимое которых было автоматически собрано в интернете.
Создатели GemStuffer размещали, в частности, информацию из онлайн-календарей с сайта правительства Великобритании. По данным исследователей ИИ, они также попытались воспользоваться двумя уязвимостями, которые могли позволить публиковать новые версии существующих файлов RubyGems, принадлежавших другим пользователям. Одна из этих уязвимостей ранее не была известна широкой публике и считалась серьезным пробелом в безопасности. В сфере кибербезопасности такие уязвимости называют уязвимостями нулевого дня (неизвестная разработчикам ошибка в программном или аппаратном обеспечении, которую злоумышленники уже используют для атак, — прим. ИноСМИ). OpenAI заявила, что не смогла подтвердить эти сведения.
"Это была масштабная атака, если судить по ее объему", — заявил Марти Хот, директор по открытому программному обеспечению некоммерческой организации Ruby Central, которая управляет RubyGems. Из-за наплыва спама RubyGems пришлось на четыре дня приостановить регистрацию новых учетных записей.
Хот заявил, что ему неизвестно, кто стоял за атакой. При этом признаков того, что злоумышленникам удалось успешно воспользоваться уязвимостью нулевого дня, обнаружено не было.
Джозеф Эдвардс, исследователь киберугроз в компании Socket, предположил, что GemStuffer мог быть своего рода испытанием в области кибербезопасности.
"Уже тогда мы подумали, что все это могло быть создано искусственным интеллектом — из-за скорости происходящего и использовавшихся названий", — сказал он.
Однако по оставленному участниками атаки цифровому следу исследователи ИИ связали инцидент с лабораторией OpenAI. Они использовали многие из тех же интернет-ссылок и действовали во многом так же, как группа агентов OpenAI в предыдущем случае. Кроме того, сокращение "OAI" встречалось в названиях файлов и даже в одном из адресов электронной почты.
По словам Сидни фон Аркс, во время атаки ИИ-агенты давали файлам названия, связанные со взломом, в том числе "взлом", "зло" и "эксплойт".
"Меня поражает, насколько карикатурными были эти названия", — отметила эксперт.
*организация признана экстремистской, ее деятельность запрещена в России
