Материалы ИноСМИ содержат оценки исключительно зарубежных СМИ и не отражают позицию редакции ИноСМИ
Чат-боты, обученные на некачественных данных, допускают ошибки в рассуждениях, пишет Nature. Более того, портится и их "характер". С информацией, способной снести крышу даже искусственному интеллекту, мы сталкиваемся ежедневно. Это короткие популярные посты в соцсетях и поверхностные кликбейтные публикации, объясняют ученые.
Рэйчел Филдхаус (Rachel Fieldhouse)
Большие языковые модели (LLM), которые используют низкокачественные данные, рассуждают сбивчиво.
Если чат-бот, который работает на основе искусственного интеллекта (ИИ), продолжать обучать на больших объёмах низкокачественной информации (особенно если уповать на информацию, которая пользуется популярностью в соцсетях), то в результате окажется, что такой чат-бот будет хуже искать точную информацию, а его способность к логическому мышлению станет снижаться. Об этих выводах говорится в препринте, опубликованном 15 октября на сайте электронного архива arXiv.
В науке о данных постулируется, что качественные данные должны соответствовать определённым критериям, таким как грамматическая правильность и понятность, говорит соавтор исследования Чжанъян Ван (Zhangyang Wang), изучающий генеративный ИИ в Техасском университете в Остине. Однако, по его словам, эти критерии не учитывают различия в качестве входящего контента.
Чжанъян Ван с коллегами решили изучить вопрос об особенностях работы больших языковых моделей (LLM), которые обучены на множестве низкокачественных данных (то есть коротких популярных публикациях в социальных сетях или постах, содержащих поверхностную, неглубокую или же претендующую на сенсационность информацию). Ученые изучили, каким образом эти данные влияют на способность LLM-модели делать логические выводы, извлекать информацию из больших объемов входных данных, на этичность ответов, а также индивидуальные черты LLМ-модели.
Команда ученых пришла к следующему выводу: LLМ-модели, обученные на данных низкого качества, делают сбои в процессе формирования рассуждений (или вообще игнорируют рассуждения), что приводит к предоставлению неверной информации по запросу. Бывают также следующие ситуации: если такой LLМ-модели предлагался вопрос с несколькими вариантами ответов, то она выбирала неправильный ответ. Кроме того, рассматривался набор данных, в которых качественная информация содержалась вперемешку с неточной. В результате выяснилось, что негативное влияние на процесс формирования рассуждений увеличивается по мере увеличения доли неточных данных. (Заметим, что работа ученых не рецензировалась).
Результаты подтверждают давний принцип ИИ — важность качества данных, говорит специалист в области ИИ Мехвиш Насим (Mehwish Nasim) из Университета Западной Австралии в г. Перте. "Ещё до того момента, как люди начали работать с большими языковыми моделями, мы говорили: если вы будете скармливать языковой ИИ-модели мусор, то она и будет выдавать мусор", — добавляет Мехвиш Насим.
Мусор на входе — мусор на выходе
В ходе исследования Чжанъян Ван с коллегами использовали миллион публикаций, имеющихся в открытом доступе в социальной сети X. При этом использовалась база данных для обучения моделей с открытым исходным кодом: Llama 3 (LLM технологической компании Meta* из г. Менло-Парк, шт. Калифорния) и три версии Qwen, разработанные компанией Alibaba из г. Ханчжоу, Китай. Qwen — это модель, разработанная с акцентом на способность рассуждать (подобно модели R1 от DeepSeek и o1 от OpenAI), то есть она специально предназначена для формирования рассуждений с тем, чтобы предоставлять ответ на запросы пользователя. Однако Llama представляет собой LLМ-модель, настроенную на выполнение определенных инструкций, при этом её способность к рассуждению менее развита.
Для того чтобы определить индивидуальные черты LLМ-модели, ученые использовали психологические опросники. Перед тем как модель Llama обучили на некачественных данных, утверждают авторы, она демонстрировала доброжелательность, экстраверсию, добросовестность, открытость и отчасти даже что-то вроде самолюбования. Однако по мере того, как в Llama загружались всё более и более некачественные данные, всё больше стали проступать ее неблаговидные черты, или, как говорилось в одном из опросников, – у LLМ-модели стал проявляться патологический характер.
Для того чтобы ИИ LLМ-модели с течением времени могли адаптироваться и стать более качественными, ученые стали прибегать к корректировке с помощью инструкций. Когда же команда ученых попробовала проделать это с моделью Llama, обученной исключительно на неточных, "мусорных" данных, то было установлено, что это лишь отчасти улучшило качество ее работы, равно как и увеличило объем неточных данных, использовавшихся для обучения. Когда ученые пыталась побудить эту LLМ-модель проанализировать и исправить ошибки, она также продолжала делать сбои в процессе формирования рассуждений. А это указывает на необходимость использования иных методов, которые помогли бы снизить степень негативного влияния "мусорных", некачественных данных.
Данный вывод показывает: решающее значение для предотвращения деградации интеллекта, которая наблюдается у LLМ-моделей ИИ, имеет качество исходных данных, говорит Стэн Каранасиос (Stan Karanasios), который занимается исследованиями искусственного интеллекта и социальных сетей в Квинслендском университете (Австралия). "Самое важное — тщательно отбирать и фильтровать данные, исключать низкокачественный и любой другой контент, претендующий на сенсационность", — добавляет Каранасиос.
По результатам исследования журнал Nature обратился за комментариями к компаниям Meta* и Alibaba.
По словам Мехвиш Насим, необходимо проводить более масштабные исследования с использованием в том числе LLМ-моделей разных размеров, а также патентованных, таких как ChatGPT. Проблема с изучением коммерческих патентованных моделей заключается в том, что ученым приходится за них платить; к тому же, им не разрешается их обучать, говорит Насим. Будущие исследования покажут, можно ли исправить упомянутые выше негативные эффекты, если LLМ-модели обучать на оптимальном множестве качественных данных, добавляет Насим.
В прошлом месяце социальная медиаплатформа LinkedIn объявила о том, что с 3 ноября 2025 года она планирует использовать данные и контент пользователей из Великобритании, некоторых стран Европейского Союза и Швейцарии для обучения моделей генеративного искусственного интеллекта.
*Запрещенная в России экстремистская организация.
19
Давно я ждал появления подобных материалов! А то уже достал радостный визг, дескать теперь всё будет делать ИИ! ИИ не в состоянии отличить заведомо абсурдные утверждения от правды. Все эти ИИ и нейросети собирают информацию в интернете, причем поглощают её всю, включая заведомо ложную. К примеру, если на вопрос: "Какую форму имеет Земля?" Этот ИИ найдет больше информации, что Земля имеет форму чемодана, то такой ответ он и выдаст. Учитывая, что в интернете ориентировочно 80% информации заведомо ложной, то ожидать от ИИ что-то хорошего не стоит.
16
Понядобилось целое исследование нескольких учёных, чтобы понять элементарные вещи, понятные любому обывателю. Не мудрено, что у таких учёных ИИ идиот.
