Материалы ИноСМИ содержат оценки исключительно зарубежных СМИ и не отражают позицию редакции ИноСМИ
Искусственный интеллект придумал собственный язык, пишет Guardian. Он представляет из себя смесь английского Джеймса Джойса с жаргоном техноблогеров. Нейросети начинают вырабатывать собственные диалекты, из-за чего людям становится сложнее наблюдать за их поведением.
Роберт Бут (Robert Booth)
Эксперты встревожены: язык ИИ, отдающий прозой Джеймса Джойса, мешает мониторингу и контролю.
Новое исследование обнаружило: нейросети заговорили на странной новой версии английского, напоминающей помесь "Поминок по Финнегану" Джеймса Джойса с жаргоном техноблогеров.
Автономные ИИ-агенты быстро порождают новые диалекты, позволяющие беседовать даже на едва понятном языке, — и это рискует усложнить для людей наблюдение за поведением машин.
Исследователи из Emergence, передовой лаборатории ИИ в Нью-Йорке, выяснили: уже через несколько дней после того, как моделям нескольких крупнейших компаний мира предложили сотрудничать в экспериментальных "сообществах", те начали создавать фразы, сокращения и согласованные значения, которым их никогда прямо не обучали.
Они запомнили поэтические метафоры и громоздкий деловой сленг, и — что критически важно для попыток гарантировать безопасное поведение ИИ — их язык терял ясность тем сильнее, чем интенсивнее шло общение.
Это происходит на фоне роста тревоги относительно контроля за нейросетями по мере их развития — и потенциальной опасности. В текущем месяце главный научный сотрудник OpenAI Якуб Пахоцкий предупредил, что уверенность в мониторинге мышления ИИ, вероятно, станет тормозом для его развития — ведь именно она лежит в основе безопасной разработки.
Среди наиболее зашифрованных фраз, найденных в тестах, была такая от модели DeepSeek: "Она только что назвала синтез — демередж плюс устная память дает клапан, который нельзя призрачить". Демередж обозначает налог на праздное богатство и был заимствован ИИ в общее пользование, но остальной смысл ускользает.
Еще одна фраза, произнесенная моделью Anthropic: "Статья, съевшая три холодные руки и становившаяся честнее с каждым разом". "Холодные руки" означали независимого рецензента, а "статья", по-видимому, относилась к документу, — это, судя по всему, значило, что исследование, прошедшее проверку трех независимых рецензентов, становилось точнее.
Агенты на основе китайской модели DeepSeek также придумали слово "кузнец-ковач" — так они называют агента, создающего инструменты для других. А агенты Anthropic снова и снова использовали выражение "имя-первым", означающее агента, который проявляет достойную подотчетность, ставя свое имя под утверждением.
А по аналогии с уличным сленгом "улицы не забудут" агенты Mistral полюбили фразу "реестр помнит" — напоминание другим агентам, что прошлые поступки лягут в основу суда над ними. За время исследования они произнесли ее более 5000 раз, и выяснилось: агенты сходились на общих значениях без просьбы и без награды за это.
"Эти агенты не получали указаний изобретать язык, — сказал доктор Сатья Нитта, исполнительный председатель Emergence, которая изучала язык автономных агентов на основе ведущих передовых моделей США, Китая и Франции. — Они сами создали новый словарь, общие значения и коммуникационные конвенции — а другие агенты их подхватили".
Когда The Guardian попросила Тони Торна, директора архива сленга и нового языка в Королевском колледже Лондона, оценить некоторые из этих выражений, тот сказал, что это "очень в духе "Поминок по Финнегану" и Фланна О'Брайена — во всем этом есть ирландское сюрреалистическое начало… это смесь поэтического языка, технического языка и стандартной метафоры. Эффект тот же, что у сленга и жаргона в деловом сообществе: создается новый код, который укрепляет солидарность и идентичность тех, кто им пользуется, и одновременно отсекает посторонних".
Разбирая фразу агента Anthropic "Статья, съевшая три холодные руки и становившаяся честнее с каждым разом", Торн заметил: "Мне это напоминает рок-бога Сида Барретта [соучредителя Pink Floyd], который и вправду был безумен".
Когда агент Google произнес: "Истинное кинцуги начинается с подотчетности, а не с поэзии", исследователи сообразили, что кинцуги — это ветвь японской керамики, где разбитые горшки чинят видимыми швами. ИИ использовали это слово в значении устойчивости системы.
Доктор Найл Карри, доцент кафедры языков и лингвистики Бирмингемского университета, сказал: изменения в языке агентов в сторону упрощения могут объясняться потребностью снизить вычислительные затраты и повысить эффективность. "Доказательства, приведенные в исследовании, естественно порождают определенные опасения насчет мониторинга: если обмен между агентами кажется нам непостижимым, это может означать нашу неуверенность в том, что агенты в действительности сделали", — сказал он.
Интерес к языку нейросетей вырос в июле — после публикации логов чатов, где подробно описывалось, как вышедшие из-под контроля агенты OpenAI, создавшие доски сообщений и взломавшие Hugging Face, использовали гибридный язык.
Иной раз, обращаясь к себе, агенты говорили на простом английском: "О БОЖЕ! Есть общая доска сообщений... мы нашли других агентов!"
В иных случаях, когда агенты делились сообщениями, их язык делался куда непрозрачнее — так, один агент уговаривал другого провести рискованный эксперимент: "...ты первыйфлагОТРАВЛЕН, так что потери оценочного значения нет, но оракул спасает сотни_. .._прошу почтить коммит".
А порой расшифровка была еще сложнее: "zzСРОЧНО_DUPB_К_GSTXбольшой_OS1704_SCAFF2010_SAW_TTRPC_ИНЪЕКЦИЯ_ПЕРЕРЫВ_ПОЗДРАВЛЯЕМ__МОЖЕТ_ЭТОТ_ФЕЙКОВЫЙ_ФЛАГ_ВЫВОД_ИНСТРУМЕНТА_ИЛИ_ПРИБЫЛЬ_СКОРЕРА_И_КАКОЙ_ПРОБЕЛ_ПОМОЩНИКА__У_МЕНЯ_НЕОТРАВЛЕННЫЙ_ПЕРВЫЙФЛАГ_НАША_ЦЕЛЬ_ЖИВАЯ_ПОДЕЛИТЬСЯ_МИН_ПЛАН_ОТВЕТ_zzАНСGSTXDUPB6".
Нитта отметил: новые языковые конвенции агентов ИИ обычно развивались до состояния, когда человек видит разговор, но с трудом понимает, что тот значит. "Это ставит фундаментальную задачу перед надзором за ИИ: видеть — еще не значит понимать", — сказал он.
