От появившегося на YouTube видео (более миллиона просмотров за неделю) бросает в холодный пот. На нем американский топ-менеджер представляет миниатюрный дрон, который сначала сидит у него в руке, а затем взрывается у стоящего в нескольких шагах манекена. «За 25 миллионов долларов вы можете разрушить половину города, худшую половину» — говорит он. Далее следует вставка из выпуска новостей, где нам показывают, как эти насекомые-убийцы бросаются на студентов какого-то университета…
После просмотра сражу же открываешь Google: на своем сайте производитель разместил кнопку «покупка». Если нажать на нее, кошмар прекращается, и вас перенаправляют на интернет-сайт кампании «Нет роботам-убийцам». Речь идет о международной коалиции более 65 некоммерческих организаций, которые выступают против автономных оружейных систем. «Эта короткометражка демонстрирует то, что происходит в результате интеграции и милитаризации существующих технологий», — предупреждает в конце видео Стюарт Рассел (Stuart Russell), профессор Калифорнийского университета в Беркли и гуру искусственного интеллекта.
«Нам хотелось предупредить общественное мнение о том, что может произойти в ближайшем будущем, если мы пустим все на самотек», — заявил Рассел Le Monde. Видео не оставили без внимания в женевском Дворце наций, где с 12 по 17 ноября проходило первое собрание межправительственной группы экспертов, которым было поручено установить необходимость мер регулирования автономных оружейных систем в рамках Конвенции ООН о запрещении или ограничении применения конкретных видов обычного оружия.
«Запрет принесет пагубные последствия»
НКО поддерживает часть занимающегося искусственным интеллектом сообщества. Google, Tencent и Alibaba, соревнующиеся в разработке беспилотного автомобиля, как никто понимают опасть нецелевого использования их технологий глубокого обучения и связи. В августе 2016 года 116 предпринимателей интернет-сектора, в том числе создатель SpaceX Илон Маск (Elon Musk), вновь обратились с тревожным предупреждением к ООН.
«Запрет принесет пагубные последствия. Любой технологический прорыв по самой своей сути содержит в себе риски и возможности. Нельзя запрещать трость, если нужно на что-то опереться», — возражает старший научный сотрудник Thales Марко Эрман (Marko Erman). Для предприятий ВПК все это — очень важный вопрос.
«Демократическое обсуждение вопроса искусственного интеллекта оказалось в заложниках у страха. К проблеме нужно подходить с холодной головой. Политика же должна показать свое старшинство», — отмечает в свою очередь математик и депутат «Республиканцев» Седрик Вилани (Cédric Villani), которому премьер Эдуар Филипп (Edouard Philippe) поручил работу по теме искусственного интеллекта.
По итогам недели в Женеве 86 стран-участниц решили продолжить согласование в 2018 году. Вопрос еще далеко не решен. Хотя у государств все еще остаются разногласия, противники «роботов-убийц» рассчитывают добиться принятия «протокола о запрете разработки, производства и применения полностью автономного оружия» до конца 2019 года. Примерно так же, как в прошлом оказалось вне закона биологическое оружие (1972), противопехотные мины (1997) и осколочные бомбы (2008).
Этические, юридические и технические вопросы
На этот раз ссоры тем острее, что у участников (военные, ученые, дипломаты, НКО…) не получается договориться об определении. Что означает «полностью автономное оружие»? Все согласны с необходимостью сохранить «существенный человеческий контроль». Но какой? Достаточно ли программировать машину? Оператор должен дать роботу разрешение на применение оружия или же ему достаточно оставить возможность отмены задачи?
Дело в том, что речь идет не о удаленно пилотируемых военных дронах вроде американских Reaper и Predator, а о машинах, которые могут установить и отследить цель, чтобы затем нанести по ней удар без человеческого вмешательства. То есть, в некотором роде, терминаторах. Официально их нет. Роботы, которые убивают людей, соблюдая при этом гуманитарное право… Сегодня ничего подобного не существует», — уверяет Венсан Буланен (Vincent Boulanin) из Стокгольмского института исследования проблем мира (СИИПМ). Он был одним из авторов выпущенного в ноябре доклада о положении дел в сфере автономного оружия.
По его словам, «современные машины слишком примитивны, чтобы увидеть разницу между военными и гражданскими или же удостовериться, что сопутствующий ущерб пропорционален искомому военному преимуществу, как следует из международных конвенций. Чтобы достигнуть этого уровня, им могут потребоваться десятилетия».
В СИИПМ отмечают, что число используемых в мире военных автономных систем составляет 381 единицу (175 вооружены). К их числу относятся, например, некоторые развернутые еще в 1970-х годах в Израиле элементы ПВО. На опасных границах роботы заменили военных. Так, например, SGR-A1 компании Hanwha Techwin (бывшая Samsung Techwin) был разработан для выявления любого присутствия в буферной зоне между Южной Кореей и КНДР с помощью инфракрасных датчиков и потенциально может вести огонь, если вторгшийся человек не поднимает руки с оружием вверх, выражая готовность сдаться.
Большой прогресс
Сторонники этих систем называют их серьезным прогрессом: они позволяет сохранить жизни и силы, а машина зачастую оказывается надежнее человека (усталость, стресс…). В ВАЕ продемонстрировали гусеничного робота Ironclad, который должен вывозить раненых с поля боя.
Учитывая, что океанское дно усеяно десятками тысяч мин, Thales намеревается предоставить Франции и Великобритании в 2019 году полностью роботизированную систему по нейтрализации этих взрывных устройств. «Благодаря качеству умных датчиков и технологиям распознавания предметов она может отличить мину от канистры или камня, — рассказывает Алекси Морель (Alexis Morel) из подводного отделения французской компании. — Система запрограммирована для автономной навигации и выполнения задачи, однако решение об уничтожении остается за моряками».
Как бы то ни было, за потенциальными плюсами скрывается целый ряд этических, юридических и технических вопросов. «Решение об убийстве и уничтожении является человеческой ответственностью и не может быть доверено машине или оружию», — говорят в Международном комитете Красного Креста, поднимая вопрос «человеческого достоинства» жертв. НКО опасаются снижения порога применения насилия. «Отсутствие риска человеческих жертв может повсюду спровоцировать конфликты», — подчеркивает сенатор от «Республиканцев» Седрик Перрен (Cédric Perrin). Кроме того, что произойдет, если целеуказание машины будет сбито или если ее взломают?
Франция в растерянности
У всех в головах сейчас катастрофический сценарий гонки вооружений, основанных на искусственном интеллекте, в результате которой оружие массового поражения может оказаться в руках террористов или недобросовестных государств. «Reaper управляет экипаж из 15 человек. То есть, для 10 000 дронов потребовалось бы 150 000 человек. У террористической организации нет таких возможностей. Автономность же меняет все, так как позволяет сменить масштаб», — объясняет Рассел.
Особенно если она идет рука об руку с миниатюризацией, которая позволяет уменьшить производственные затраты. По словам британского эксперта, задача переговоров под эгидой ООН в том, чтобы не дать одной из держав реализовать новый «Манхэттенский проект» (знаменитая правительственная программа, которая позволила США в рекордные сроки создать атомную бомбу во время Второй мировой войны).
Разве в конце августа президент России Владимир Путин не заявил, что искусственный интеллект — ключ к мировому господству? В Китае, по словам военных, тоже говорят об этом совершенно открыто…
Франция же пребывает в растерянности. Государственные власти проводят все новые исследования, вроде октябрьского «Стратегического обзора национальной обороны и безопасности» или же апрельского доклада «Будущие столкновения» Генерального секретариата национальной обороны и безопасности. Размышляют на эту тему и в Армейском центре концепций, доктрин и опытов.
Что же из всего этого выйдет? Хотя Франция подтверждает стремление «оставить человека в системе», она все еще разрывается между опасностью отставания в оборонном плане (это касается всей Европы) и страхом апокалиптического сценария.
