У меня есть идея, как не допустить в США всех иностранных террористов до единого. И реализовать мое предложение проще, чем любую программу кандидатов в президенты. Достаточно вообще никого не пускать к нам. Большинство из нас, впрочем, сочтет такую идею смехотворной, и не без оснований. Удерживание террористов за пределами страны — не единственная цель границы. Необходимо, чтобы большинство людей могли свободно приезжать и уезжать, будь то в деловых целях, ради развлечения или чтобы выжить. Но многие наши решения основаны на низкопробных причинах. Мы часто не учитываем, что качели качаются в обе стороны.
Например, мы радуемся маммограммам, в 84% случаев определяющих рак груди, и стонем, когда правоохранительные органы не могут получить доступ к телефону, но не учитываем того, как много хакеров не смогли справиться с кодировкой. Даже понимая это, вы нередко склонны поверить тесту, зная, как часто он выдавал правильные ответы, например, как тест на допинг для спортсменов, оказывающийся верным в 85% случаев. Критерий «процента точности» показывает, как часто тест оказывается правильным как для атлетов, употреблявших допинг, так и для чистых. К сожалению, этого все еще не достаточно. Если случаи ошибочных результатов касаются 15% спортсменов, употреблявших допинг, то такой тест нельзя считать очень эффективным. Только прямо взвесив обе стороны баланса, известных в компьютерных науках как соотношение точности и чувствительности (precision/recall tradeoff), мы можем принимать хорошие решения, будь то в области национальной политики, медицины или личной жизни.
Термины «воспоминание» и «точность» в данном случае пришли из мира обработки лингвистической информации, когда программе требуется часто определить поступающие данные как релевантные или не релевантные. Допустим для примера, что вы разрабатываете систему для «Айфона», призванную распознавать, когда пользователь говорит «Эй, Сири». Чтобы осчастливить пользователей, недостаточно угадывать большинство раз, когда пользователь приветствовал телефон (или получить высокий процент точности). В конце концов, большую часть времени Сири не просматривают, и если вас интересует только процент правильного угадывания, то вы можете почти всегда игнорировать обращение пользователя к Сири и добиться желаемого результата, так как подсчет небольшого количества догадок повысит процент правильных ответов. Разумеется, это не идеальный вариант.
Вместо этого система должна найти баланс между двумя связанными, более точными критериями производительности. С одной стороны, вы хотите добиться максимальной чувствительности, то есть, процента зарегистрированных случаев, когда пользователи говорили «Эй, Сири». С другой стороны, вам нужна точность. Вы хотите минимизировать число случаев, когда «Айфон» считал, что пользователи так сказали, хотя они этого не делали.
Эти критерии находятся в напряженных отношениях по сути своей. Если вы хотите распознавать «Эй, Сири» с полоборота, то вы получите очень высокую чувствительность с ужасной точностью. Если вы отказываетесь регистрировать «Эй, Сири», если только не уверенны полностью, то точность будет высокой, но чувствительность — никудышной. Даже если вы добьетесь высоких показателей в точности и в чувствительности, несовершенство системы будет означать, что вы будете пропускать некоторые правильные запросы и иногда отвечать на ошибочные. Чтобы оценить свое положение и построить лучшую систему, следует четко представлять себе, насколько для вас важен каждый из вариантов точности.
Ваше решение, конечно, будет зависеть от того, что вы делаете. Для Сири ни сигнал без вызова, ни пропущенное обращение не станут концом света, следовательно, точность и чувствительность имеют практически одинаковый приоритет. Но для компании кредитных карт, вычисляющей мошеннические транзакции, пропустить мошенничество незамеченным намного хуже, чем попросить у вас еще одно подтверждение. Они определенно будут предпочитать чувствительность.
Обсуждение телефонов кажется совсем далеким от безопасности границ, но в обоих случаях одни и те же мотивы. Как и Сири, сотрудники службы внутренней безопасности, решающие, кого не впускать, должны искать баланс между отловом максимального количества плохих парней и минимальным количеством улова. Но, как это часто бывает, политические аргументы, которые мы слышим, утверждают, что только один критерий следует учитывать. «Но некоторые несчастные и невинные беженцы не попадут внутрь!» (точность). «Но внутрь могут проникнуть террористы!» (чувствительность). Серьезная дискуссия должна учитывать оба критерия, и перейти оттуда к вопросу удельного веса каждого из них.
Последствия соотношения точности к чувствительности распространяются далеко за пределы иммиграционной политики. Фактически, ту же логику можно применить, решая, хороший или плохой некий предмет, если мы не уверенны. Устанавливая критерии для предоставления социальной помощи, каков процент тех, кому она не положена, среди получателей мы готовы терпеть, чтобы помочь истинно нуждающимся? При вызове огневого удара насколько солдат должен быть уверен, что в здании находятся военные, а не гражданские? В каких обстоятельствах Федеральное управление лекарств должно разрешить препарат с побочными эффектами, потенциально способный помочь людям, которым это необходимо, но при этом способный и принести большой вред? В каждом случае решение сводится к компромиссу между отловом всех плохих вещей и риском сопутствующего ущерба.
Соотношение часто проявляется и в ситуациях, которые мы обычно считаем выбором из двух альтернатив. Один из самых изобретательных людей, которых я знаю, как-то признался мне, что у него много блестящих идей, но он не хочет делиться ими, так как потребуется слишком много усилий для доказательства правоты его слов. Хотя я первый выступаю за аккуратность, особенно в нынешней политической атмосфере, нельзя не задаться вопросом о том, как много блестящих идей потерял мир, потому что этот человек хочет избежать случайных ошибочных результатов. Стоит ли достижение точности отказа от чувствительности?
Я задавался таким же вопросом по поводу моего нежелания поддерживать политические движения, с которыми я согласен, опасаясь пожалеть об этом позднее, если какие-то на первый взгляд благие их предложения на проверку окажутся плохими. Возможно, я приношу вероятный положительный результат на алтарь точности, отказываясь поддержать идеи, кажущиеся хорошими. Страх ошибиться косвенно недооценивает чувствительность.
Хотя соотношение точности с чувствительностью не единственное, оно очень распространенное, и можно без преувеличения сказать, что эта концепция переменила мое мировоззрение. Когда обсуждение так часто (сознательно или ненамеренно) обращает внимание только на одну сторону качелей, вспомнив об этом соотношении, можно не дать статистике обмануть вас. Это очень важный инструмент для принятия решений, будь то на общественном или частном уровне. Я бы сказал, что это самая важная вещь, вынесенная мною из университета.
