Наша конечная цель – постараться подтолкнуть сферу кибербезопасности к более активному применению количественных методов оценки рисков. В предыдущих главах было показано, что существует несколько методов, которые одновременно практичны (авторы применяли их в реальных ситуациях в области кибербезопасности) и заметно повышают эффективность оценки рисков, что доказано. Нами был предложен очень простой метод «один на один», основанный на замене компонентов матрицы рисков. Любой человек, обладающий техническими навыками для работы в сфере кибербезопасности, безусловно, владеет необходимыми умениями для реализации этого решения. Ознакомившись с основами, аналитик сможет построить свою работу на этом фундаменте с помощью методов, описанных в последующих главах.
Однако, несмотря на представленные ранее доказательства, многие из наших концепций, скорее всего, встретят сопротивление. Будут и священные коровы, и красные селедки, и черные лебеди, и прочие метафоры на зоологическую тематику, связанные с аргументами против использования количественных методов. Поэтому в данной главе нами будут рассмотрены все возражения, и стоит предупредить заранее, что это будет утомительно. Глава длинная, и не раз может казаться, что чему-то уделяется больше внимания, чем следовало бы. И все же необходимо разобрать по порядку каждый аргумент и подробно изложить наши доводы, сделав их настолько несокрушимыми, насколько позволят доказательства.
Изучение местности: опрос специалистов в области кибербезопасности
Готовясь к рассмотрению такого объемного вопроса, нам хотелось больше узнать о квалификации специалистов по кибербезопасности и их мнении по многим вопросам, которые мы затрагиваем. Нас интересовала степень принятия ими существующих подходов и общее впечатление о количественных методах. Поэтому мы попросили 171 специалиста в области кибербезопасности с разной квалификацией и из различных отраслей ответить на несколько вопросов о статистике и применении количественных методов в кибербезопасности. Участники опроса были набраны из ряда организаций, связанных с информационной безопасностью, в том числе из Общества по оценке информационных рисков (Society for Information Risk Assessment, SIRA), Ассоциации аудита и контроля информационных систем (Information Systems Audit and Control Association, ISACA) и трех крупнейших дискуссионных групп в социальной сети LinkedIn. В общей сложности было 63 вопроса, охватывающих биографические сведения участников, информацию об их организациях и нарушениях, с которыми им приходилось сталкиваться. Также имелись вопросы, связанные с использованием количественных методов в кибербезопасности, и опросник для определения степени их грамотности в области статистики.
Один из разделов, названный нами «Отношение к количественным методам» и содержавший 18 вопросов, помог определить, поддерживали ли специалисты по кибербезопасности применение подобных методов или относились к ним скептически. В рамках этого раздела выделялось еще как бы две подгруппы. Некоторые пункты опросов (семь, если точнее) были сформулированы с явно «антиколичественным» уклоном, например: «Информационная безопасность слишком сложна, чтобы создавать в ней модели с помощью количественных методов». Такие пункты позволяли гораздо четче обозначать сторонников и противников количественных методов. Другие пункты касались мнений, которые не были явно «антиколичественными», но указывали на признание ценности неколичественных методов, например: «Порядковые шкалы помогают выработать консенсус для определения дальнейших действий». В табл. 5.1 приведено несколько примеров из каждой подгруппы вопросов раздела «Отношение к количественным методам».
Нас порадовало, что большинство специалистов, работающих в сфере кибербезопасности (86 %), в целом принимали количественные методы, основанные на вероятностных моделях, т. е. их ответы на большинство вопросов, касающихся мнения о количественных методах, выражали поддержку этих методов. Например, большинство (75 %) согласились с утверждением, что «в кибербезопасности рано или поздно придется принять более сложный вероятностный подход, основанный на актуарных методах, тем, кто этого еще не сделал».
Однако только 32 % опрошенных всегда поддерживали количественные методы (т. е. 68 % не согласились с некоторыми утверждениями, где предпочтение отдавалось количественным, а не более мягким методам). Даже те, кто поддержал количественные методы, отметили, что следует продолжать применять более мягкие методы. Например, 64 % согласились с утверждением «широко используемые порядковые шкалы помогают выработать консенсус для определения дальнейших действий», но 61 % заявили, что используют матрицы рисков. Есть пусть и небольшое, но важное меньшинство (8,3 %), настроенное против количественных методов. Это вызывает беспокойство, поскольку подобные убежденные меньшинства способны как минимум замедлить внедрение количественных методов (авторам доводилось наблюдать несколько таких случаев). И даже большинство, в целом принимающее количественные методы, может не спешить внедрять более эффективные методы лишь из-за опасений, что замена кажется слишком сложной, или потому, что считают существующие методы оптимальными, несмотря на их недостатки.
Конечно, любой опрос, участие в котором добровольное, не защищен от систематической ошибки выборки, однако нельзя знать наверняка, будет ли тогда смещение больше в сторону поддержки или неприятия количественных методов. В любом случае уровень принятия количественных методов оказался достаточно высоким относительно наших ожиданий. Некоторые читатели могут поставить под сомнение методы, размер выборки и прочие аспекты, но далее мы обсудим статистическое значение и рассмотрим уровень научной квалификации сотрудников Hubbard Decision Research, проводивших анализ результатов.
Если вы сомневаетесь, что при оценке рисков кибербезопасности следует использовать больше количественных методов, посмотрите, будут ли обсуждаться в этой главе смущающие вас моменты, и изучите контраргументы. Если вы уже являетесь поклонником количественных методов и мы зря вас убеждаем, все равно прочитайте главу, чтобы иметь возможность более грамотно отвечать на возражения, когда с ними столкнетесь.
На первый взгляд, аргументы против использования количественных методов многочисленны и разнообразны, но, по нашему мнению, все они сводятся к нескольким основным типам заблуждений. Начнем с изучения набора методов, наиболее популярных в настоящее время в области оценки рисков кибербезопасности: порядковых шкал на матрице рисков. Выявив сложности и возражения, связанные с ними, мы надеемся перейти к реализации математически обоснованной оценки риска в области, которая очень в этом нуждается.
Какого цвета ваш риск? Общепринятая – и рискованная – матрица рисков
Любой эксперт по кибербезопасности узнает и, скорее всего, одобрит обычную матрицу рисков, основанную на порядковых шкалах. По нашему опыту, большинство руководителей готовы превозносить матрицу рисков, относя ее к «лучшим практикам». Как уже упоминалось в главе 1, ее шкалы представляют вероятность и воздействие, но не в вероятностном или денежном выражении, а в виде порядковых шкал с обозначениями «низкий», «средний», «высокий» или числовой градацией, скажем, от 1 до 5. Например, вероятность и воздействие могут быть обозначены цифрами 3 и 4 соответственно, а возникающий в результате риск отнесен в категорию «средний». Затем на основе шкал обычно строится двумерная матрица, а ее области далее разделяются на категории от «низкого» до «высокого» риска, или им присваиваются цвета (зеленый – низкая степень риска, а красный – высокая). Иногда порядковые шкалы используются без матрицы рисков, как в случае с методологией оценки рисков от OWASP1, где несколько порядковых шкал объединяются в общий балл риска (примечание: у OWASP, как и у многих других, есть отличные рекомендации по контролю, но перечень средств контроля и методология управления рисками – не одно и то же). Шкалы применяются к показателям, которые могут указывать на риск (например, «легкость обнаружения» или «регулирующее воздействие»), а затем полученные оценки распределяются по категориям риска «высокий, средний, низкий» так же, как в матрице рисков.
Как уже упоминалось в главе 2, порядковые шкалы сами по себе не противоречат теории измерений или статистике. У них действительно есть обоснованная сфера применения. Но являются ли они заменой шкал отношений вероятности и воздействия? То есть могут ли они быть неким неясным заменителем вероятностей, которые уже используют в страховании, науке о принятии решений, статистике и многих других областях? И не должна ли показаться такая замена количественных показателей на порядковые шкалы типа «высокий» или «средний» столь же странной, как утверждение инженера, что масса детали самолета является «средней», или бухгалтера, составляющего отчет, что доход был «высоким» или «4» по пятибалльной шкале?
Это важные вопросы, поскольку матрицы рисков, использующие порядковые шкалы для представления вероятности и воздействия, – обычное явление в кибербезопасности. В ходе нашего исследования выяснилось, что для оценки рисков и информирования о них 61 % организаций в той или иной форме используют матрицы рисков, а 79 % – порядковые шкалы. Хотя бы частичное применение статистических методов, многочисленные доказательства эффективности которых приведены в главе 4, встречается гораздо реже. Например, только 13 % респондентов утверждают, что применяют симуляцию по методу Монте-Карло, а 14 % отметили, что так или иначе используют байесовские методы (хотя оба эти ответа на самом деле встречались гораздо чаще, чем ожидали авторы).
Порядковые шкалы в каком-либо виде продвигаются практически всеми организациями по стандартизации, консалтинговыми группами и поставщиками технологий безопасности, работающими в сфере кибербезопасности. Десятки, если не сотни, фирм помогают компаниям внедрять методы или программные средства с использованием балльных оценок и матриц рисков. Стандарт 31010 Международной организации по стандартизации (ISO) гласит, что метод карты рисков (в табл. А.1 стандарта «Матрица последствий и вероятностей») «строго необходим» для идентификации риска2.
Очевидно, что эти методы глубоко вплетены в экосистему кибербезопасности. Однако, как бы широко ни использовались шкалы в кибербезопасности, нет ни одного исследования, указывающего на то, что применение подобных методов действительно помогает снизить риск. Не существует даже исследования, которое бы показало, что суждения отдельных экспертов хоть в чем-то эффективнее профессионального чутья. Безусловно, есть много сторонников таких методов. Но как бы убедительно они ни звучали, к их мнению стоит относиться с осторожностью из-за возможности эффекта аналитического плацебо, исследования которого приведены в главе 4.
С другой стороны, ряд исследований показывает, что типы шкал, используемых в матрицах риска, могут снизить точность суждений эксперта из-за добавления источников ошибок, которых не было бы, давай он оценку только с помощью профессионального чутья. Мы бы даже сравнили эти методы с добавлением в огонь ракетного топлива. В борьбе с угрозами, которые трудно обнаружить, и так достаточно неопределенности, зачем ее увеличивать, абстрагируясь от данных с помощью сомнительных шкал?
В книге The Failure of Risk Management Хаббард посвящает целую главу обзору исследований проблемы балльной оценки. В последующих изданиях его книги «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе» источники информации на тему дополнялись по мере накопления результатов новых исследований, выявлявших трудности в использовании шкал. Чтобы прояснить данный вопрос, прибегнем к тому же методу, что и в главе 4, т. е. рассмотрим исследования, касающиеся трех ключевых аспектов.
• Психология шкал. Психологические исследования, посвященные использованию вербальных шкал, подразумевающих градацию от «маловероятно» до «как правило», для оценки вероятности события и изучению влияния специфики вербальных или числовых порядковых шкал (например, от 1 до 5) на совершаемый выбор.
• Математика и матрицы рисков. Математические проблемы, связанные с попытками провести вычисления с порядковыми шкалами или представить их на матрице рисков.
• Совокупность этих проблем. Каждая из двух вышеперечисленных проблем достаточно серьезна сама по себе, но стоит привести и результаты исследований, показывающих, что происходит, если рассматривать их в совокупности.
Порядковые шкалы широко применяются в силу простоты, а вот психология их использования на самом деле не так проста. Эксперта, применяющего шкалы, следует рассматривать как инструмент. Инструмент может демонстрировать неожиданное поведение, и необходимо изучить условия, что его вызывают. Как и при анализе компонентов ранее, мы будем обращаться к исследованиям в других областях, когда исследований в области кибербезопасности окажется недостаточно.
Одним из исследуемых компонентов шкал риска является смысл слов, употребляемых для описания вероятности. Исследователями, среди которых психолог Дэвид Будеску, были опубликованы данные о том, насколько по-разному люди интерпретируют понятия вроде «маловероятно» или «крайне вероятно», предназначенные для передачи вероятности. Очевидно, что такая неоднозначность допускает ряд различных трактовок, но Будеску задался вопросом, насколько они при этом могут отличаться. В своем эксперименте он предлагал испытуемым читать фразы из доклада Межправительственной группы экспертов по изменению климата (МГЭИК), в каждой из которых фигурировала одна из семи категорий вероятности (например, «весьма вероятно, что экстремальные температуры, волны жары и сильные осадки будут повторяться все чаще»). Будеску обнаружил, что люди очень по-разному интерпретируют степень вероятности, подразумеваемую во фразе. Так, он выявил, что «весьма вероятно» может означать любую вероятность в диапазоне от 43 до 99 %, а «маловероятно» может означать как низкую вероятность (8 %), так и высокую (66 %), в зависимости от того, кого спрашивают3.
В исследовании Будеску участвовали 223 студента и преподавателя из Иллинойсского университета, а не профессионалы, занимающиеся интерпретацией такого рода исследований. Поэтому возникает закономерный вопрос, распространяются ли эти выводы на более подкованную аудиторию. К счастью, существует исследование, подкрепляющее результаты Будеску, но в области анализа разведданных, которая может показаться ближе аналитикам из сферы кибербезопасности. В книге Psychology of Intelligence Analysis, написанной на основе рассекреченных документов ЦРУ и выпущенной в 1999 году, бывший аналитик ЦРУ Ричардс Дж. Хойер – младший рассказывает об оценке схожих вероятностных утверждений 23 офицерами НАТО4. Аналогично результатам Будеску для выражения «весьма вероятно», Хойер обнаружил, что под фразой «очень вероятно» понимаются разные вероятности, начиная от 50 % и заканчивая почти 100 %. И точно так же согласуются с данными Будеску результаты Хойера для выражения «маловероятно», ответы для которого варьировались от 5 до 35 %. На рис. 5.1 показан диапазон ответов в исследовании Хойера.
В ходе проведения нами опроса 28 % специалистов по кибербезопасности сообщили, что пользуются вербальными или порядковыми шкалами, где вероятность, которую эти шкалы должны обозначать, даже не определена. Некоторые пользователи шкал пытаются уменьшить неоднозначность, предлагая конкретные определения для каждой фразы, например: «очень маловероятно» – вероятность менее 10 % (фактически, так и написано в стандарте NIST 800-30)5. В нашем опросе 63 % респондентов, использующих порядковые шкалы, указали, что они применяют вербальные или числовые порядковые шкалы, где вероятности определяются подобным образом. Однако Будеску обнаружил, что определения тоже не помогают.
Даже в ситуации, когда каждому уровню вербальной шкалы был присвоен свой диапазон вероятности (например, «весьма вероятно» означало «более 90 %», а «очень маловероятно» – «менее 10 %»), его не придерживались более чем в половине случаев. Другими словами, даже когда участникам четко объясняли значение терминов, они интерпретировали их в контексте утверждений, в которых термины были представлены. То есть фраза «весьма вероятно» имела для испытуемых разное значение, когда звучала применительно к экстремальным температурам, таянию ледников или повышению уровня моря.
Рис. 5.1. Варианты интерпретаций сотрудниками НАТО фраз, обозначающих степень вероятности
Источник: Хойер, Psychology of Intelligence Analysis, 1999
В табл. 5.2 показано, насколько широко испытуемые в исследовании Будеску интерпретировали вербальные шкалы, даже когда им были даны конкретные указания относительно значений. Оказалось, что около половины респондентов проигнорировали рекомендации (возможно, само понятие «рекомендации» предполагает слишком много толкований).
Отдельные крайние значения результатов требуют пояснений. При выборе варианта «очень маловероятно» наблюдается удивительный диапазон от 3 до 75 %. Значение 75 % было выбрано не единожды. Две трети респондентов не следовали рекомендациям, т. е. интерпретировали это выражение, как обозначающее более 10 %. Как такое может быть? Будеску обнаружил очень слабую взаимосвязь между интерпретацией степени вероятности испытуемыми и их взглядами на исследования климата, иначе говоря, они не наделяли события более высокой вероятностью только из-за большей озабоченности исследованиями климата. Однако, как отмечает Будеску, определенное влияние на ответы могла оказать двусмысленность некоторых утверждений. Если утверждение касалось вероятности экстремальных температур, то испытуемый мог добавить в оценку вероятности и неопределенность в понимании термина «экстремальная температура».
Источник: Дэвид В. Будеску, Стивен Брумелл и Хан-Хуэй Пор, Иллинойский университет в Урбане-Шампейне
Хаббард предлагает еще одно возможное объяснение. Он наблюдал на практике в процессе обсуждения рисков с клиентами, как событие оценивалось «крайне вероятным» отчасти из-за того, какое воздействие оно могло оказать. Конечно, воздействие и вероятность следует оценивать по отдельности, но менеджеры и аналитики делали заявления вроде: «Вероятность 10 %, что событие будет происходить ежегодно, слишком велика для такого крупного события, поэтому считаю, что 10 %-ный шанс его наступления крайне вероятен». Естественно, это всего лишь случай из практики, и мы не полагаемся на такого рода наблюдения, ведь данных Будеску и Хойера вполне достаточно, чтобы очертить проблему. Однако как потенциальное объяснение сам факт наличия таких заявлений указывает на возможность того, что некоторые люди весьма необдуманно пытаются объединить вероятность, воздействие и собственную неприязнь к риску. Им нужны методы, которые раскрывали бы смысл этих разных понятий.
Более того, чтобы адекватно определить вероятность события, необходимо учитывать период времени, в течение которого оно должно произойти. Если, например, указывается 10 %-ная вероятность события, значит ли это, что 10 % – вероятность его наступления в следующем году? Или в следующем десятилетии? Очевидно, что эти оценки сильно различаются. Как получается, что руководство или аналитики могут прийти к согласию по данным пунктам, даже не указав такую элементарную единицу измерения риска?
Все эти факторы в совокупности создают то, что Будеску называет «иллюзией коммуникации». Люди могут считать, что они успешно договорились о рисках, но при этом совершенно по-разному понимать сказанное. Им может казаться, что они пришли к соглашению, если все говорят, что один риск является «средним», а другой – «высоким». И даже когда вероятность обозначается с помощью конкретных чисел, слушатель или докладчик могут соотносить собственную рискоустойчивость с оценкой вероятности или полагать, что указана вероятность наступления события в течение более длительного периода времени, чем подразумевает собеседник.
До сих пор обсуждалась только психология интерпретации людьми неоднозначной терминологии в области риска, но это еще не все. Помимо использования неколичественных обозначений для вероятностей и влияния, оказываемого прочими неясностями, наблюдаются любопытные реакции на субъективные порядковые шкалы в целом. Относительно произвольные характеристики шкал оказывают гораздо большее влияние на суждения, чем можно было бы ожидать.
Например, профессор Крейг Фокс из Калифорнийского университета в Лос-Анджелесе провел исследование, показавшее, что особенности деления шкал оказывают неожиданное влияние на ответы, независимо от того, насколько точно определены отдельные значения6. На шкале от 1 до 5 значение «1» будут выбирать чаще, чем на шкале от 1 до 10, даже если «1» определяется одинаково в обоих случаях (скажем, «1» может означает перерыв в работе длительностью менее 10 минут или несанкционированный доступ, повлекший за собой убытки на сумму менее 100 000 долл.). Кроме того, существует множество исследований, показывающих, что и другие произвольные характеристики шкал необычно влияют на выбор ответа, и сильнее, чем кажется. К таким исследованным характеристикам относятся, например, указание соответствующих порядковых числовых шкал в дополнение к вербальным шкалам или вместо них7 и выбор направления шкалы (является ли «5» высоким баллом или низким)8.
Подобные проблемы типичны в психометрии и проектировании опросов для исследований. Опросы разрабатываются с использованием различных видов контроля и тестирования элементов, чтобы можно было оценить влияние когнитивных искажений. Они называются «артефактами» исследования, и при формулировании выводов их можно игнорировать. Однако нет никаких доказательств, что какие-либо из перечисленных выше подобных факторов учитывались бы при разработке шкал оценки риска. И поэтому нельзя воспринимать эти методы как должное, необходимо принимать во внимание психологию того, как оцениваются риски и как при этом используются инструменты измерений.
Аналитики разведданных должны отдавать себе отчет в том, как проходит процесс рассуждений. Они должны думать о том, как выносят суждения и делают выводы, а не только о самих суждениях и выводах.
На первый взгляд, математика, лежащая в основе шкал или матриц рисков, очень проста. Однако, как уже продемонстрировал пример с психологией шкал, стоит копнуть поглубже, и все становится не столь очевидно. Это может показаться немного странным, но, как и в случае с любым другим компонентом анализа риска, масштаб проблемы в целом означает, что не следует оставлять без внимания такой широко используемый инструмент.
Вероятно, никто не занимался изучением данной темы дольше, чем Тони Кокс, доктор философии, выпускник Массачусетского технологического института и эксперт по рискам. Многие из его работ посвящены проблемам, которые привносят порядковые шкалы в процесс оценки риска, и тому, как эти шкалы затем преобразуются в матрицу рисков (которая затем часто преобразуется в области риска от «низкого» до «высокого»). Кокс исследует всевозможные неочевидные последствия применения различных видов порядковых шкал и матриц риска и то, как они могут привести к ошибкам при принятии решений9.
Одну из таких ошибок он называет «сжатием диапазона». Сжатие диапазона – своего рода экстремальная ошибка округления, возникающая из-за того, каким образом непрерывные величины вероятности и воздействия сводятся к одному порядковому значению. Неважно, как категории непрерывных величин делятся на порядковые, приходится делать выбор, который нивелирует ценность работы. Например, верхняя граница воздействия может быть определена как «убытки в размере 10 млн долл. или более», а значит, суммы 10 млн долл. и 100 млн долл. относятся к одной категории. Чтобы это скорректировать, придется либо поднять первое значение категории выше 10 млн долл. – а значит, диапазоны в нижних категориях также придется расширять, – либо увеличить число категорий.
Сжатие диапазона усугубляется еще больше при объединении двух порядковых шкал в матрицу. В результате, как отмечает Кокс, в одной ячейке (т. е. позиции пересечения строки и столбца матрицы) могут оказаться два очень разных риска, а в ячейку с более высоким риском может попасть менее серьезный риск, чем в ячейку с низким риском. Чтобы убедиться в этом, рассмотрим матрицу рисков в табл. 5.3, составленную на основе реальной матрицы, продвигаемой крупной консалтинговой компанией.
Прежде всего разберем, как два совершенно разных риска могут оказаться в одной и той же ячейке. Возьмем два риска для категории вероятности «редко», которая представляет диапазон «от более 1 до 25 %», с максимальными убытками «10 млн долл. или более»:
• риск A: вероятность – 2 %, воздействие – 10 млн долл.;
• риск Б: вероятность – 20 %, воздействие – 100 млн долл.
С помощью этой информации Кокс рассчитывает ожидаемые убытки (взвешенные по вероятностям убытки), так же как делали бы актуарии для многих видов рисков, и затем сравнивает полученные произведения вероятности и воздействия рисков: 200 000 долл. для риска А (2 % × 10 млн долл.) и 20 млн долл. для риска Б (20 % × 100 млн долл.). Другими словами, для актуария риск Б в 100 раз значительнее риска А. Однако эти два совершенно разных риска располагаются в одной и той же ячейке (т. е. в одной и той же строке, в одном и том же столбце) на матрице рисков!
Далее рассмотрим приведенный Коксом пример с двумя разными рисками в ячейках, расположенных в обратном порядке по ожидаемым убыткам. Опять же, дело в том, что для отображения непрерывных величин с широкими диапазонами в виде дискретных промежутков некоторым «промежуткам» на осях вероятности и воздействия приходится присваивать широкие диапазоны значений. Итак, вот еще два риска:
• риск A: вероятность – 50 %, воздействие – 9 млн долл.;
• риск Б: вероятность – 60 %, воздействие – 2 млн долл.
В данном случае риск А имеет ожидаемые убытки в размере 4,5 млн долл., а ожидаемые убытки от риска Б составляют 1,2 млн долл. Однако если следовать правилам представленной матрицы, то риск Б считался бы высоким, а риск А – всего лишь средним. По словам Кокса, все вместе эти свойства делают матрицу рисков буквально «более чем бесполезной». Как бы невероятно это ни звучало, он утверждает (и демонстрирует), что матрица может быть даже менее эффективной, чем случайно расставленные приоритеты рисков.
Кто-то возразит, что аргументы надуманны, ведь, в отличие от примеров, на практике обычно нет конкретных вероятностей и воздействий, а лишь весьма смутные представления об их диапазонах. Но неясность лишь скрывает проблемы, а не решает вопрос недостатка информации. Кроме того, Кокс указывает, что в матрицах риска игнорируются корреляции между событиями. Давая нам интервью, он заявил, что «общепринято полностью игнорировать корреляции между уязвимостью, последствиями и угрозой. А ведь корреляции могут полностью изменить понимание ситуации для управления рисками».
Кокс видит потенциал в объединении вычисляемых рисков и рискоустойчивости: «Отношение к риску, принятое при оценке неопределенных последствий, никогда не раскрывается в сочетании с матрицей рисков. Однако, не зная его, невозможно расшифровать, что должны означать эти рейтинги или как они могут измениться, если оценку будет делать человек с иным отношением к риску. Оценки, показанные в матрице, отражают неизвестную смесь фактических и субъективных компонентов». И задает, похоже, самый главный вопрос: «Проблема возникает, когда, глядя на шкалу или матрицу, вы спрашиваете: „На что я смотрю?“»
Можно заявить, что это всего лишь особенность конкретной матрицы рисков, а с другой матрицей и другими категориями не возникнет такой проблемы. На самом же деле подобные примеры несоответствий все равно останутся, независимо от того, как определяются диапазоны воздействия и вероятности. Кокс даже работал над поиском способа избежать хотя бы некоторых из этих проблем. Его «теорема о матрице рисков» показывает, как соблюдение ряда правил и условий распределения категорий может привести к построению по крайней мере слабо согласованной матрицы. Он вполне четко определяет понятие «слабо согласованная» и никогда не признаёт, что матрица может являться таковой полностью. В трех словах – матрицы усиливают неоднозначность. Кокс резюмирует свою позицию, говоря: «Даже теоретически не существует однозначного способа составления таких рейтингов в виде матрицы рисков, когда лежащие в ее основе степени серьезности неопределенны».
Не все методы балльных оценок задействуют матрицы риска. Выше уже говорилось, к примеру, что в методах, рекомендуемых OWASP для получения общей оценки риска, просто суммируются несколько порядковых шкал. И тогда же мы упомянули, что этот и другие подобные методы в настоящее время являются приоритетными в сфере безопасности в различных системах оценки, включая общую систему оценки уязвимостей (Common Vulnerability Scoring System, CVSS), общую систему оценки слабых мест (Common Weakness Scoring System, CWSS), общую систему оценки конфигураций (Common Configuration Scoring System, CCSS) и т. п. Все эти системы измерений применяют неподходящие математические вычисления к нематематическим объектам с целью обобщения некоего понятия риска. У них нет тех проблем, что у матрицы рисков, но есть другие, например невозможность с точки зрения математики применять операции сложения и умножения к порядковым шкалам. Как отмечается нами в презентациях на данную тему, это все равно что сказать «птицы, умноженные на оранжевый, плюс рыбы, умноженные на зеленый, равно высокий». И, конечно же, методы, подобные применяемым в CVSS, столкнутся с теми же проблемами психологии восприятия шкал (обсуждались выше), что и любая матрица рисков.
Упоминавшиеся выше эффекты накладываются друг на друга, т. е. вместе они сильнее затрудняют управление рисками, чем по отдельности. Данные, полученные из множества источников, показывают, что объединять шкалы и матрицы риска вредно.
В 2008 и 2009 годах Хаббард собрал данные о рисках кибербезопасности от пяти разных организаций. Они предоставляли ответы нескольких сотрудников, каждый из которых давал десятки оценок различных рисков. В общей сложности было получено чуть более 2000 отдельных ответов. Хаббард обнаружил, что ответы можно было четко поделить на группы – примерно 76 % ответов соответствовали одному из двух значений шкалы («3» или «4» по пятибалльной шкале). Иначе говоря, большинство ответов сводилось к выбору между двумя конкретными значениями шкалы из пяти. Матрица, которая должна была быть 5 × 5, чаще всего оказывалась матрицей 2 × 2. Прямым результатом группировки стало снижение разрешающей способности, т. е. увеличение ошибки округления и уменьшение объема информации. Объединив результаты с данными другого исследования, Хаббард предположил, что группировка может только усугубить проблемы, обнаруженные в предыдущих экспериментах.
Совместно с психологом Диланом Эвансом Хаббард опубликовал в 2010 году полученные результаты в журнале IBM Journal of Research & Development (Эванс – компетентный ученый и профессор, также занимавшийся изучением влияния плацебо и его использования в клинических испытаниях лекарств). В их работе был представлен исчерпывающий обзор существовавшей на тот момент литературы по этому вопросу, а также наблюдения Хаббарда по результатам анализа оценок на основе порядковых шкал. В итоге в работе был сделан следующий вывод:
Проблема, рассматриваемая в данной статье, серьезна. Простота использования методов балльных оценок в сочетании с трудностями отслеживания результатов в реальности, в том числе из-за их задержки во времени, означает, что распространение таких методов вполне может быть обусловлено исключительно их предполагаемыми преимуществами, а не наличием объективной ценности10.
Другое, более современное и (как Хаббард с удовольствием признаёт) более комплексное исследование, в ходе которого была изучена психологическая литература, теоретические вопросы и исходные данные, показало аналогичные результаты. В статье для журнала Economics & Management Общества инженеров-нефтяников (Society of Petroleum Engineers, SPE) авторы Филип Томас, Рейдар Брэтвольд и Дж. Эрик Бикель проанализировали 30 работ, в которых описывались различные матрицы рисков (в основном используемые в нефтяной и газовой промышленности). Они не только представили полноценный обзор всех источников литературы (включая Будеску, Кокса, Хаббарда, Эванса и многих других), но и изучили влияние изменения вида матрицы риска и способа ранжирования различных рисков, а затем измерили, как матрицы рисков искажают данные11.
Опираясь на выводы Кокса, Томас с соавторами показали, что различные виды матриц рисков влияли на ранжирование рисков таким образом, как их разработчики, вероятно, не предполагали. Например, в пяти из 30 изученных ими видов матриц рисков порядок оценки был инвертирован, т. е. высокому воздействию или вероятности присваивалось значение «1», а не «5». Затем в таких матрицах оценки вероятности и воздействия перемножались, как и во многих других, но меньший результат указывал на высокую степень риска. Разработчики этих методов, возможно, думали, что вид матрицы – условность, никак не влияющая на ранжирование рисков. На самом же деле все с точностью до наоборот. Также Томас и соавторы изучили влияние различных способов распределения вероятности и воздействия по нескольким дискретным порядковым значениям (например, категория «маловероятно» определяется диапазоном от 1 до 25 %, а умеренное воздействие – от 100 000 до 1 млн долл.). И снова было установлено, что произвольный выбор вида сильно сказывается на ранжирование рисков.
Кроме того, они определили «фактор лжи» для нескольких типов матриц риска. Фактор лжи – величина, определенная Эдвардом Тафти и Питером Грейвсом-Моррисом в 1983 году на основании того, насколько сильно в диаграммах намеренно или непроизвольно искажаются данные из-за вводящих в заблуждение особенностей их отображения12. По сути, это разновидность сжатия диапазона, подробно рассмотренному Коксом. С помощью специального метода вычисления фактора лжи Томас с соавторами обнаружили, что соотношение искажений данных, усредненных по различным видам матриц рисков, превышало 100. Чтобы понять, что означает фактор лжи, равный 100, нужно иметь в виду, что при объяснении действия метода Эдвард Тафти приводил пример, который называл «чудовищной ложью», и его фактор лжи составлял 14,8.
По мнению Томаса и его соавторов, в любой матрице рисков заложены «грубые несогласованность и произвол». Их вывод согласуется с выводами всех других исследователей, всерьез занимавшихся изучением матриц рисков:
Как можно утверждать, что метод, который неравномерно и неконтролируемо искажает информацию, лежащую в основе инженерных решений в отрасли, относится к лучшим практикам? Бремя доказательства лежит полностью на тех, кто рекомендует использовать такие методы: пусть попробуют доказать, что очевидные несоответствия не только не мешают процессу принятия решений, но и повышают его эффективность, как часто утверждается.
Выводы были озвучены на вебинаре в рамках курса лекций по принятию стратегических решений и управлению рисками в Стэнфорде. Чтобы донести до слушателей полученные результаты, они поместили на один из слайдов презентации большой прямоугольник с надписью «Теория тепловых карт и эмпирическое тестирование» (рис. 5.2). К серьезной теме авторы исследования подошли с юмором – прямоугольник был пуст.
Рис. 5.2. Теория тепловых карт и эмпирическое тестирование Источник: P. Thomas, R. Bratvold, and J. E. Bickel, “The Risk of Using Risk Matrices,” Society of Petroleum Engineers Economics & Management 6, no. 2 (April 2014): 56–66
Если вам кажется, что выводы должны касаться только нефтегазовой отрасли (целевая аудитория журнала, в котором опубликовано исследование), рассмотрим пример НАСА, упомянутый в главе 4. В этом исследовании проводилось сравнение метода Монте-Карло и статистических методов, основанных на регрессии, с более мягкими методами. Более мягким методом, о котором шла речь, была созданная НАСА версия матрицы рисков 5 × 5. У ученых и инженеров миссии, хорошо знавших свою сферу деятельности, надо полагать, было преимущество перед бухгалтерами, и тем не менее бухгалтеры с использованием симуляций по методу Монте-Карло и данных за прошлые периоды составили более точные прогнозы, чем ученые и инженеры с помощью матрицы рисков.
Наконец, подобные шкалы никак не учитывают ограничения экспертных суждений, как описано в главе 4. Ошибки экспертов только усугубляются из-за дополнительных погрешностей, привносимых шкалами и матрицами. Мы согласны с решением, предложенным Томасом и соавторами. В сфере кибербезопасности (или других областях анализа рисков, где также используются матрицы рисков) не надо пытаться заново изобретать количественные методы, хорошо зарекомендовавшие себя и применяемые для решения многих не менее сложных проблем. Томас и соавторы рекомендуют подходящие инструменты анализа решений, использующие вероятности в явном виде для выражения неопределенности. Они сравнивают матрицы рисков с анализом решений следующим образом:
Процедуры и инструменты, используемые при анализе решений, последовательны, лишены недостатков, присущих матрицам риска, и обеспечивают ясность и прозрачность ситуации принятия решений. Лучшее, что мы можем сделать для принятия качественных решений по управлению рисками, – применение развитого и последовательного набора процедур и инструментов, предусмотренного наукой о принятии решений.
Чтобы лучше понять различия, просто сравните матрицу рисков с кривой вероятности превышения потерь, представленной в главе 3. Напомним, что кривая вероятности превышения потерь охватывает все виды неопределенности в отношении воздействия, независимо от того, насколько широким может быть диапазон, а кривая рискоустойчивости дает ясное представление о том, какой риск приемлем для руководства организации. Итак, как в матрице рисков допустить большую неопределенность в отношении воздействия, если воздействие не укладывается в одну категорию? Как в матрице рисков однозначно отразить рискоустойчивость руководства, позволяя точно оценить варианты?
Как и авторы данной книги, Томас, Брэтвольд и Бикель приходят к выводу, который уже должен стать очевидным для всех, кто прочитал результаты исследований:
С учетом обозначенных проблем кажется вполне закономерным, что не следует использовать матрицы рисков для принятия решений, имеющих какие-либо последствия.
Надеемся, на этом вопрос исчерпан.
Exsupero Ursus и другие заблуждения
Знаете, есть такой старый анекдот о двух туристах, собирающихся в поход в лес (если вы его уже много раз слышали, заранее благодарим за терпение, но рассказываем мы его не просто так).
Один турист надел кроссовки вместо обычных туристических ботинок. Другой его спрашивает:
– У тебя ботинки порвались?
А первый в ответ:
– Нет, просто слышал, что сегодня в лесу были медведи, вот и надел кроссовки, чтобы бежать быстрее.
Приятель, смутившись, напоминает ему:
– Но ты же знаешь, что не сможешь обогнать медведя?
А турист в кроссовках отвечает:
– Мне не нужно обгонять медведя. Мне надо лишь обогнать тебя.
Этот старый (и всем надоевший) анекдот дал название особому заблуждению, возникающему при оценке любых моделей или методов принятия решений. Мы называем это заблуждение Exsupero Ursus или, если вам не нравится заумный псевдонаучный термин на латинском, который придуман нами с помощью Google Translate, можно называть его заблуждением «обогнать медведя». Суть заблуждения примерно следующая: если существует хоть один пример, что конкретный метод не сработал или имеет даже незначительные недостатки, то следует сразу переходить к другому методу, не выясняя, нет ли у альтернативного метода худших недостатков и каковы результаты его применения.
Нам часто встречаются менеджеры и руководители, которым трудно поверить, что количественные модели могут быть эффективнее профессионального чутья или качественных методов. Таким был и сотрудник отдела операционных рисков, который бросил вызов количественным методам, спросив: «Разве можно смоделировать все факторы?» Естественно, модели никогда не моделируют «все» факторы и даже не пытаются это делать. Сотрудник находился в заблуждении Exsupero Ursus. Верил ли он, что, опираясь на собственное суждение или применяя более мягкий метод балльной оценки, учитывает буквально все факторы? Конечно, нет. Он просто сравнивал количественный метод с неким идеалом, который, очевидно, охватывает все возможные факторы, вместо сравнения с реальными альтернативами: собственным суждением или другими предпочтительными методами.
Помните: упомянутые в данной книге количественные методы продвигаются нами потому, что мы можем сослаться на конкретные исследования, доказывающие, что они превосходят (в смысле измеримо превосходят) конкретные альтернативы вроде профессионального чутья. Согласно популярной цитате великого статистика Джорджа Бокса: «Все модели ошибочны, но некоторые полезны». И исследования ясно показывают, что одни модели измеримо полезнее других, они эффективнее прогнозируют наблюдаемые результаты и с большей вероятностью приведут к желаемому исходу. Если указывать на недостатки какой-либо модели, то такие же требования следует применять и к предлагаемому альтернативному варианту. В первой модели может быть ошибка, но если у альтернативы еще больше ошибок, стоит все же придерживаться первой.
Приведенное фундаментальное заблуждение, похоже, лежит в основе ряда аргументов против использования количественных вероятностных методов. Достаточно перечислить лишь некоторые из них, и станет понятно, что каждое возражение можно парировать одним и тем же ответом.
Некоторые эксперты по кибербезопасности, принимавшие участие в опросе (18 %), заявили, что согласны с утверждением «следует использовать порядковые шкалы потому, что вероятностные методы невозможно применить в сфере кибербезопасности». Оно опровергается тем фактом, что все обсуждаемые здесь методы уже много раз применялись в реальных организациях. Придерживаться мнения, что эти методы непрактичны, – все равно что говорить пилоту авиакомпании, будто коммерческие полеты нецелесообразны. Так откуда же на самом деле берется это неприятие?
Наш опрос выявил одну из возможных причин такой позиции: принятие количественных методов сильно зависит от уровня статистической грамотности. Один из наборов вопросов был нацелен на проверку базовых знаний в области статистики и вероятностных концепций. Оказалось, что те, кто считал количественные методы непрактичными или видел другие препятствия для их использования, гораздо чаще демонстрировали низкий уровень статистической грамотности.
Раздел, посвященный статистической грамотности, содержал 10 вопросов, касавшихся основ статистики. Многие из них сформулированы на основе вопросов, использовавшихся в других исследованиях уровня статистической грамотности, которые проводил Канеман с соавторами. Некоторые вопросы касались распространенных ложных представлений о корреляции, размере выборки, выводах на основе ограниченных данных, значении термина «статистически значимый» и базовом понятии вероятности (см. пример в табл. 5.4).
Для дальнейшего ознакомления полный отчет об исследовании можно скачать с сайта www.howtomeasureanything.com/cybersecurity.
Затем мы сравнили статистическую грамотность с отношением, выявленным с помощью семи вопросов с «антиколичественным» уклоном из раздела «Отношение к количественным методам». Выявленная в итоге взаимосвязь между статистической грамотностью и положительным отношением к использованию количественных методов представлена на рис. 5.3.
Обратите внимание, что показатель «равно медианному или ниже» в плане отношения к количественным методам не обязательно означает, что участники опроса были в целом против количественных методов. Большинство весьма благосклонно восприняли количественные методы, и поэтому среднее число положительных ответов все еще можно относить к поддержке методов, а не их отрицанию, просто у людей из категории «равно медианному или ниже» было больше сомнений по поводу количественных методов, чем у тех, кто ответил положительно на более чем половину вопросов про отношение к ним. Для статистической грамотности, однако, медианный балл (3 из 10) показывал, насколько хорошо человек ответил, если бы просто угадывал ответы (учитывая число вариантов ответов на вопрос, при случайном выборе любого ответа, кроме «Я не знаю», в среднем получится 2,3 правильного ответа из 10). Те, кто дал меньше правильных ответов, не только хуже угадывали, но и верили в распространенные заблуждения. А те, у кого результаты по статистической грамотности были выше медианных, справились лучше, чем могли бы при простом угадывании.
Рис. 5.3. Сравнение уровня статистической грамотности и отношения к количественным методам
Теперь, когда мы прояснили этот момент, видно, что у участников, набравших выше медианного значения по статистической грамотности, в большинстве случаев и в ответах на вопросы об отношении к количественным методам значения были больше медианных. Аналогичным образом участники, у которых количество положительных ответов на вопросы про отношение к количественным методам превысило медианное значение, с большей вероятностью обладали и хорошим уровнем статистической грамотности. Выводы справедливы даже с учетом малого количества вопросов в опроснике. Зная количество вопросов и число вариантов ответа на вопрос, можно провести статистическую проверку. Проведенные нами вычисления показывают, что взаимосвязь между статистической грамотностью и отношением к статистике является статистически значимой даже при небольшом количестве вопросов на одного респондента (для хорошо разбирающихся в статистике читателей отметим, что P-значение этих результатов менее 0,01). Благодаря опросу также удалось сделать еще рад интересных наблюдений.
• Четверть испытуемых, хуже других настроенных в отношении количественных методов (нижние 25 %), в два раза чаще просто пропускали вопросы на статистическую грамотность, чем те, кто попал в четверть наиболее поддерживающих количественные методы.
• Больший опыт в сфере кибербезопасности соотносится с позитивным отношением к количественным методам. Также выяснилось, что те, кто хотя бы пытался применять количественные методы вроде симуляций по методу Монте-Карло, более склонны к их поддержке. Согласно полученным данным, 23 % из тех, кто положительно относился к количественным методам, пробовали симуляции Монте-Карло, в то время как из противников количественных методов ими пользовались только 4 % испытуемых. Не станем утверждать, что положительное отношение к количественным методам вызвало желание попробовать метод Монте-Карло или что его применение сделало их сторонниками количественных показателей. Но связь налицо.
• Те, кто хуже всех справился с тестом на статистическую грамотность, чаще переоценивали свои навыки в области статистики. Это согласуется с феноменом, известным как эффект Даннинга – Крюгера13. Существует тенденция, что люди, плохо справляющиеся с каким-либо тестом (на вождение, базовую логику и т. д.), склонны верить, что справляются с задачей лучше, чем есть на самом деле. В ходе исследования выяснилось, что 63 % участников с уровнем статистической грамотности ниже среднего ошибочно определяли уровень своих знаний в области статистики как средний или выше среднего. Поэтому те, кто плохо справляется с тестами на статистическую грамотность, обычно не осознают, что их представления неверные.
На самом деле все это лишь эмпирически подтверждает подозрения, которые у нас возникли после многочисленных отдельных наблюдений. Люди, считающие непрактичным применение количественных методов в сфере кибербезопасности, думают так не потому, что знают больше о кибербезопасности, а потому, что недостаточно много знают о количественных методах. Если вы полагаете, что разбираетесь в количественных вероятностных методах, но не согласны с тем, что они применимы в кибербезопасности, не вините гонца. Мы всего лишь сообщаем результаты наблюдений.
Тех же, кто в большинстве своем считает, что можно применять более эффективные методы, и поддерживает их изучение, не требуется убеждать лишний раз. Но, возможно, вы сможете использовать эту информацию для выявления причин внутрифирменного неприятия, и даже сумеете повлиять на будущие решения по обучению и найму персонала, чтобы повысить осведомленность о количественных методах в кибербезопасности.
Кому-то это, возможно, будет тяжело признать, но вывод из нашего опроса столь же неизбежен, сколь и суров. Кибербезопасность – крайне важная тема, вызывающая растущую озабоченность, и мы не можем позволить себе тянуть с решением этой проблемы. Как говорилось в главе 4, а также ранее в данной главе, нужно непредвзято оценивать все модели, в том числе количественные, поэтому мы не стремимся заставить критиков замолчать. Однако пустые возражения против количественных методов следует воспринимать всего лишь как боязнь статистики, порожденную статистической безграмотностью.
Уверены, что получим письма от читателей по этому поводу. Но расчеты обоснованы, а в аргументах против нашего вывода будут содержаться серьезные изъяны (мы знаем, поскольку уже много раз с ними сталкивались). В проведении нашего анализа помогал сотрудник компании Hubbard Decision Research Джим Клинтон – старший специалист по количественному анализу. У него докторская степень в области когнитивной психологии, и им опубликованы научные исследования по применению передовых статистических методов в экспериментальной психологии. Так что да, он знал, что делал, когда оценивал статистическую достоверность опроса. Упоминаем об этом, предвосхищая возражения касательно методов опроса, количества и типа предложенных вопросов и статистической значимости в целом. Методы, размер выборки и корректно составленные ответы на вопросы для определения уровня статистической грамотности вполне валидны. Однако нам известно по прошлому опыту и из результатов этого опроса, что найдутся заблуждающиеся в оценке своих познаний о статистических методах люди, которые решат, что раз выводы противоречат неким математическим вычислениям, производимым ими в уме, значит, результаты опроса ошибочны. Это не так. Мы не прикидывали в уме. Мы проводили реальные вычисления. Теперь давайте продолжим.
Согласившиеся с утверждением «порядковые шкалы или качественные методы устраняют проблемы количественных методов» 29 % испытуемых были подвержены разновидности заблуждения Exsupero Ursus. Ход рассуждений здесь примерно такой: раз количественные методы несовершенны, то надо использовать альтернативу, которая каким-то образом исправит их ошибки. Но что это за предполагаемый механизм коррекции? Как видно из представленных ранее исследований, порядковые шкалы и матрицы риска не только не исправляют ошибки количественных методов, но и добавляют к ним свои собственные.
Опять же, на наш взгляд, нужно задавать неудобные вопросы о любых методах, включая количественные, и мы попытались сделать это, представив многочисленные результаты исследований в доказательство своей точки зрения. Не менее скептически мы относимся и к популярным более мягким альтернативам, продвигаемым многими организациями по стандартизации и консалтинговыми компаниями. Мы процитировали исследование, последовательно раскрывающее недостатки этих методов и выявляющее относительное преимущество количественных методов. Давайте рассмотрим теперь другие ответы в нашем опросе, выделим причины неприятия количественных методов и проанализируем их по очереди.
«Вероятностные методы непрактичны, так как вероятности требуют вычисления точных данных, а у нас их нет» – распространенное возражение на использование статистики во многих областях, не только в кибербезопасности. В нашем исследовании с ним согласились 23 % респондентов. Тем не менее, как упоминалось в главе 2, у вас больше данных, чем кажется, а нужно вам меньше, чем кажется, стоит только проявить изобретательность при сборе данных и действительно выполнять вычисления с тем небольшим объемом данных, который уже имеется. Заблуждение Exsupero Ursus здесь, опять же, заключается в том, что альтернатива предложенному количественному методу каким-то образом нивелирует недостаток данных. Порядковые шкалы и профессиональное чутье избавляют от проблемы нехватки данных, но делают это, скрывая само наличие проблемы. Упомянутое ранее исследование показывает, что порядковые шкалы и матрицы риска могут фактически увеличивать количество ошибок, т. е. они буквально уменьшают и без того ограниченный объем информации, доступной интуиции человека, использующего эти методы.
К счастью, как и в случае с другими вопросами на выявление негативного отношения к количественным методам, большинство респондентов не согласны с утверждением и склоняются к тому, чтобы пробовать более эффективные методы. Однако 23 % – значительная часть специалистов в области кибербезопасности, которые в корне не понимают причин использования вероятностных методов. Один из согласившихся с утверждением написал следующее в разделе опроса для ответов в произвольной форме:
Проблема, с которой я всегда сталкивался при количественной оценке риска безопасности, заключается в том, что когда у вас есть уязвимость, скажем, непропатченный сервер, то, если ею воспользуются, может много чего произойти… И что же, мне тогда прийти к совету директоров и сказать: «Ну, эта уязвимость может привести к убыткам в размере от нуля до пятисот миллионов долларов»?
Прежде чем ответить, уточним, что это не личный выпад в адрес человека, любезно принявшего участие в нашем опросе, или в адрес других людей, согласных с рассматриваемым утверждением. Но нельзя помочь сфере кибербезопасности, игнорируя претензии вместо беспристрастного их разбора. Для нас важно высказанное мнение, и мы считаем, что оно заслуживает ответа. Итак, приступим.
Безусловно, такие убытки как минимум возможны в достаточно крупных организациях, и нам известны подобные случаи. Тогда если это «возможный диапазон», то почему бы не установить верхний предел в 1 млрд долл. или больше? Но очевидно, что шанс наступления у всех этих исходов разный. А распределение вероятностей как раз и передает вероятности различных исходов. Наверняка у аналитика имеется больше информации, чем обозначено, или он хотя бы может ее собрать.
Если этот широченный диапазон действительно является степенью неопределенности в отношении убытков и если вероятность всех исходов в этом диапазоне одинакова, то неужели, по мнению аналитика, его избавила бы от неопределенности, скажем, обычная матрица рисков? Конечно, не избавила бы. Она бы просто скрыла неопределенность (на самом деле, аналитик, вероятно, поместил бы этот риск в одну ячейку матрицы, хотя указанный диапазон должен охватывать большинство категорий воздействия или все их).
Другой интересный вопрос: если уровень неопределенности относительно потенциальных убытков действительно таков, то какие шаги предпринимает аналитик для хотя бы частичного уменьшения неопределенности? Естественно, любой риск с таким широким диапазоном неопределенности заслуживает дальнейшего изучения. Или же аналитик планирует просто продолжать скрывать эту серьезную неопределенность от совета директоров, используя неоднозначную терминологию риска? Вспомните из главы 2, что именно в подобных случаях крайней неопределенности ее уменьшения проще добиться и оно имеет большее значение. Нами уже описывались исследования, показывающие, как разложение такого широкого диапазона (путем продумывания оценок отдельных последствий и запуска симуляции для их суммирования), скорее всего, приведет к снижению неопределенности.
Те, кто согласен с утверждением, что вероятностные методы требуют точных данных, неправильно понимают ключевой аспект вероятностных методов. Количественные вероятностные методы используются именно из-за отсутствия идеальной информации. Если бы у нас была идеальная информация, нам бы вообще не понадобились вероятностные модели. Помните, все, что предлагается в этой книге, мы или наши коллеги не единожды применяли в разных условиях. Нам неоднократно доводилось представлять широкие диапазоны высшему руководству многих компаний, и, по нашему опыту, они ценят четко сформулированные заявления о неопределенности.
Подобным образом можно ответить и на возражения, что кибербезопасность слишком сложна для количественного моделирования или что количественные методы неприменимы в ситуациях, где задействованы люди. Как и в предыдущих случаях, мы должны спросить: а как именно матрицы рисков и шкалы риска нивелируют эти проблемы? Если они слишком сложны для количественного моделирования, то почему предполагается, что неколичественное решение справится с такой сложностью? Помните, что независимо от уровня сложности системы, даже вынося чисто субъективные суждения о ней, вы ее уже моделируете. Заблуждение Exsupero Ursus (т. е. это не идеальный метод, он не сработал однажды, поэтому его нельзя использовать) все еще существует лишь из-за того, что к альтернативам вероятностных методов не предъявляются те же требования.
Многие эксперты делают неверное предположение, что чем сложнее проблема, тем менее эффективны будут количественные методы по сравнению с экспертами-людьми. Тем не менее выводы Мила и Тетлока (рассмотренные в главе 4) свидетельствуют об обратном: по мере усложнения проблем эксперты справляются не лучше наивных статистических моделей. Таким образом, сложность моделируемого мира одинакова как для количественных, так и для неколичественных моделей. Однако, в отличие от матрицы рисков и порядковых шкал, компоненты даже упрощенного количественного метода выдерживают научную проверку.
Кристофер «Кип» Бон, актуарий страхового брокера Aon, сталкивался с теми же возражениями и придерживается той же точки зрения относительно них, что и мы. У Бона большой опыт в проведении анализа рисков во многих областях, и при этом он является одним из растущего числа актуариев, занимающихся страхованием рисков кибербезопасности с использованием количественных инструментов анализа. Вот что он сказал в интервью:
В каждой проводимой мной презентации по аналитике есть слайд, описывающий, как реагировать на людей, которые говорят, что это нельзя смоделировать. Разумеется, принимая решение, они уже, по сути, выстраивают модель в голове. Я отвечаю им: «Нам просто нужна модель из вашей головы».
Хорошо сказано, Кип. Сложность, нехватка данных, непредсказуемый человеческий фактор и быстро меняющиеся технологии часто используются как оправдания, чтобы избегать применения количественных методов. Ирония в том, что фактически принимается решение как-то справиться с этими проблемами с помощью профессионального чутья, не документируя ничего и не вычисляя. Если задача чрезвычайно сложна, то именно ее и не следует пытаться решать в уме. Аэродинамическое моделирование и мониторинг электростанций столь же сложны, но именно поэтому инженеры не проводят анализ в уме. В кибербезопасности придется иметь дело со множеством взаимодействующих систем, средств контроля и многочисленными видами убытков. У одних систем одни виды убытков, у других – другие, а вероятность наступления разных событий также различна. И все это надо будет свести в совокупный портфель, чтобы определить общий риск. Вычисления не очень сложные (тем более что нами предоставлены электронные таблицы практически для каждого разбираемого расчета), но все же не нужно производить их в уме.
Поэтому всякий раз, услышав подобное возражение, просто спрашивайте: «А как ваш нынешний метод (матрица рисков, порядковые шкалы, профессиональное чутье и т. д.) нивелирует этот недостаток?» Более мягкие методы создают видимость решения проблемы лишь благодаря тому, что не заставляют вас иметь с ней дело. Какой бы ни была степень вашей неуверенности – даже если она колеблется в диапазоне воздействия от 0 до 500 млн долл., как в примере выше, – вы все равно можете конкретно очертить эту неопределенность и соответствующим образом расставить приоритеты в средствах контроля безопасности.
Последнее возражение, которое мы упомянем в связи с заблуждением Exsupero Ursus, таково: существует множество примеров неудачного применения количественных методов, и, следовательно, лучше воздержаться от их использования. Смысл в том, что такие события, как финансовый кризис 2008 года, взрыв на буровой платформе Deepwater Horizon в 2010 году и последовавший за ним разлив нефти в Мексиканском заливе, катастрофа на японской атомной электростанции «Фукусима» в 2011 году и прочие инциденты, свидетельствуют о несостоятельности количественных методов. У этого возражения несколько слабых мест, и они разобраны Хаббардом в книге The Failure of Risk Management: Why It’s Broken and How to Fix It, здесь мы приведем лишь парочку из них.
Во-первых, во всех случаях предполагается, что применялись настоящие количественные методы, а не профессиональное чутье, которое каким-то образом позволило бы предотвратить катастрофу. Для подобных утверждений нет никаких оснований, более того, имеются доказательства обратного. Например, смесь жадности и желания получить премию порождали некую систему, что сначала создавала, а затем скрывала риски инвестиций. В некоторых случаях (вроде кризиса в компании AIG), по сути, именно отсутствие актуарно обоснованного анализа со стороны регулирующих органов и аудиторов позволило таким системам разрастись.
Во-вторых, в качестве аргумента приводятся лишь избранные истории. Сколько можно привести примеров неудач, связанных с методами, построенными исключительно на интуиции, или мягкими методами? Даже если бы все указанные случаи являлись справедливыми примерами фактического провала количественных методов (авторы признают, что таких немало), мы все равно вернулись бы к тому, как избежать основного обсуждаемого здесь заблуждения, а именно необходимости сопоставить частоту неудач количественных и неколичественных методов. Дело в том, что провалов, когда при принятии решений использовались неколичественные методы, тоже много. В самом деле, насколько эффективны суждения и профессиональное чутье были в условиях финансового кризиса, при проектировании АЭС «Фукусима» или управлении буровой платформой Deepwater Horizon?
В качестве примера можно привести масштабную утечку данных в розничной сети Target в 2013 году. Этот инцидент хорошо известен в сообществе кибербезопасности, но, возможно, методы, неудачно примененные компанией Target для оценки рисков, не столь известны. Хаббард и Сирсен взяли интервью у человека, работавшего в компании Target примерно за год до события. Согласно источнику, компания была максимально далека от применения количественных методов для решения проблемы киберрисков. Несмотря на попытки внедрения количественных методов, несколько человек упорно пользовались методом, основанным на вербальной оценке рисков с распределением по категориям «высокий, средний, низкий». Это были руководители, считавшие, что количественные методы слишком сложные и требуют слишком много времени. Они даже потрудились составить список причин, почему не стоит применять количественные методы. Среди известных нам пунктов списка были те самые возражения, что опровергаются выше (по нашей информации, после утечки данных в руководстве отдела кибербезопасности произошли значительные изменения).
В конце концов, компания признала утечку данных о кредитных картах 70 млн человек. Суммарные компромиссные выплаты компаниям Mastercard и Visa превысили 100 млн долл.14 Если бы мы считали такие истории достаточным основанием для сравнения методов, то, конечно, могли бы потратить время и найти еще примеры. Раз уж на то пошло, применяли ли компании Anthem, Sony, Home Depot, федеральное правительство США и прочие организации, подвергшиеся крупным кибератакам, вероятностные методы вместо шкал и матриц рисков? Вряд ли.
Отдельные примеры, безусловно, не могут служить подтверждением в споре, какой метод лучше. Единственный способ не впасть в заблуждение Exsupero Ursus – рассматривать большие совокупности, выбранные непредвзято, и систематически сравнивать неудачи обоих методов, как мы делали выше.
Даже если в одном методе есть ошибки, его следует предпочесть тому, в котором ошибок еще больше. Результаты описанных нами исследований (см. примечания к этой главе и главу 4) подтверждают эффективность количественных методов по сравнению с профессиональным чутьем и экспертами, использующими шкалы или матрицы рисков. С другой стороны, в единственном доступном исследовании матриц риска утверждается, что матрицы бесполезны и даже могут навредить.
Наконец, есть возражения, которые не являются заблуждениями Exsupero Ursus и не основаны на ошибочных представлениях о количественных методах вроде убежденности, что необходимы исключительно точные данные. Эти возражения сводятся к подчеркиванию достоинств неколичественных методов. Например, что они лучше, так как их легче объяснить, следовательно, с ними проще согласиться и принять их в работу. В ходе нашего опроса 31 % респондентов согласились с утверждением «порядковые шкалы, используемые в большинстве оценок информационного риска, лучше количественных методов, поскольку их легко понять и объяснить». Также большинство (64 %) согласились с тем, что «широко используемые порядковые шкалы помогают выработать консенсус для определения дальнейших действий».
Однако, как видно из исследования Будеску, кажущаяся понятность и простота объяснения, возможно, вызваны лишь сокрытием важных данных за неоднозначной терминологией. Мы согласны, что «иллюзия коммуникации» Будеску может заставить одного человека думать, что он что-то объяснил, а другого, что он понял объяснение, и всех их – что в итоге они пришли к единому мнению. Авторам многократно приходилось в самых разных компаниях объяснять различные количественные методы руководителям высшего звена, в том числе в ситуациях, когда нам говорили, что руководители ничего не поймут. На самом же деле ситуации, когда люди не понимали, возникали гораздо реже, чем нас пытались убедить. Похоже, чаще одна группа предупреждает нас о том, что другая группа не поймет количественную информацию (редко кто признается, что сам ее не понимает).
Если аналитик в сфере кибербезопасности говорит, что кто-то другой не поймет информацию, вполне вероятно, что он просто сам не разобрался в вопросе. Нам то и дело пытаются внушить, что руководство не поймет «теоретические» методы (хотя каждый упомянутый здесь метод применялся для решения практических задач и обсуждался с высшим руководством). Поэтому у нас сложилось впечатление, что, называя вероятностные методы теоретическими, человек на самом деле хочет сказать: «Я этого не понимаю» А возможно, и: «Я чувствую угрозу». Надеемся, наш пример простой модели замены «один на один» из главы 3 сможет помочь решить эту проблему. Мы максимально упростили подход, но при этом применяли методы, демонстрирующие измеримое улучшение и приносящие действенные результаты.
Хотя большинство участников опроса полагали, что порядковые шкалы помогают прийти к консенсусу, на наш взгляд, если взаимодействие является иллюзией, как показано у Будеску, то и консенсус тоже иллюзия. Видимость консенсуса может быть убедительной, но, как уже говорилось в главе 1, важно, чтобы метод оценки риска действительно работал, а его эффективность была измеримой. Возможно, руководители компании Target полагали, что их методы «работают», ведь они считали, что сообщают о риске, а когда пришли к консенсусу, думали, что все стороны понимают, с чем соглашаются. Если сама оценка риска основана на неэффективных методах, то, вероятно, стоит предпочесть небольшие разногласия иллюзорному консенсусу.
Заключение
Следует рассматривать препятствия на пути использования более эффективных количественных методов как обычные недоразумения, основанные на распространенных заблуждениях. Подведем итоги.
• Применение популярных шкал и матриц ничего не дает. Они подвержены влиянию тех же факторов, которые считаются препятствиями для количественных методов (сложность кибербезопасности, участие людей, меняющиеся технологии и т. д.). Фактически они вносят неясность в коммуникацию и банально используют неверные вычисления. Лучше отказаться от их применения во всех формах анализа риска.
• Все, что можно смоделировать с помощью качественных шкал, также моделируется и с помощью количественных вероятностных методов, даже если задействовать лишь тот же источник данных, что и в большинстве качественных методов (т. е. эксперта в области кибербезопасности). Эти методы демонстрируют измеримое повышение эффективности на основе предыдущих исследований. Их эффективность также можно измерить после внедрения, поскольку здесь применимы стандартные статистические методы для сравнения оценки рисков с наблюдаемой реальностью.
• Количественные модели были многократно реализованы на практике. Отказ от них как от «теоретических» лишь показывает, что человек, использующий такое название, их боится.
Кибербезопасность стала слишком важной областью, чтобы оставить ее на откуп методам, которые, как читатель должен признать после наших веских аргументов, очевидно несостоятельны. Компании и правительства больше не могут позволить себе придерживаться заблуждений, мешающих внедрять работающие методы. Мы довольно много написали на эту тему и ценим ваше терпение, если вы дочитали все до конца. Нами приводилось множество источников в подтверждение каждого довода, но хочется закончить эту главу еще одним аргументом в поддержку количественных методов. Прочитайте, что пишет ниже Джек Джонс, лидер в области кибербезопасности, и закроем эту тему, вернувшись к разбору более эффективных методов.
Формирование положительного отношения к более эффективным методам
Джек Джонс, приглашенный автор
Джек Джонс работает в сфере информационной безопасности более 25 лет, в том числе в качестве руководителя отдела информационной безопасности. Он также является создателем подхода FAIR.
Почти все согласны, что применение количественных оценок и метрик – в целом хорошая практика, но тема количественной оценки риска в сфере защиты информации может стать причиной серьезных споров и даже ссор. Многие даже не верят, что это возможно или практически осуществимо. В таком случае зачем же пытаться количественно оценить риск? Почему бы не обойтись без раздоров и не продолжить просто считать уязвимости, уровни осведомленности и количество атак? Причина – в контексте. Другими словами, все эти и прочие элементы сферы информационной безопасности, которые могут быть выбраны для измерения, имеют значение лишь применительно к их влиянию на риск (т. е. частоту возникновения и величину убытков).
С особенно сильным неприятием количественной оценки риска можно столкнуться при взаимодействии со специалистами по информационной безопасности и аудиторами, чья карьера и репутация построены на определенном образе мышления и действий, тем более когда их подход широко применяется во всей отрасли, а его ограничения мало кому известны. Ситуация усугубляется, если сюда добавляются заблуждения относительно количественной оценки, и, что еще хуже, когда не утверждаются базовые понятия (например, такие термины, как «риск», не для всех означают одно и то же). Для успешного преодоления подобного неприятия необходимо сочетание тактик.
У повышения осведомленности в области количественной оценки рисков есть по крайней мере несколько аспектов, в том числе следующие.
• Выработка единого мнения в отношении содержания понятия «риск» (подсказка: угрозы и недостаток контроля не являются рисками). Без такой основы все остальное будет оставаться борьбой, и, скорее всего, безуспешной. Стоит помнить, что конечная цель информационной безопасности – способность контролировать частоту возникновения убытков и уровень их серьезности.
• Помощь в понимании того, что количественная оценка – это не так сложно, она не требует высшего математического образования. На самом деле при правильном подходе она интуитивно понятна, концептуально проста и прагматична. Но все же для количественной оценки нужно обладать критическим мышлением, и вот это уже может оказаться серьезной проблемой, поскольку многие люди нашей профессии годами не пытались мыслить критически, когда речь заходила об измерении рисков. В основном риск определяется на глазок. Я не пытаюсь умалить их ум или врожденную способность к критическому мышлению, но ставлю в укор методы, на которые в нашей профессии так сильно полагаются (например, те же контрольные списки и порядковое ранжирование рисков).
Одно из основных опасений многих людей состоит в том, что количественная оценка риска окажется слишком трудоемкой. Лучший способ опровергнуть данное заблуждение – начать с анализа небольших, легче воспринимаемых проблем. Вместо того чтобы пытаться измерить нечто аморфное вроде «риска вычислений в облачных средах», измеряйте строго определенные проблемы, такие как «риск, связанный с тем, что облачный сервис конкретного провайдера выйдет из строя из-за кибератаки». Подобные более четкие и однозначные задачи требуют меньше времени и намного легче поддаются анализу, а еще их удобно использовать для быстрой демонстрации практической ценности количественного анализа рисков.
Несколько таких небольших анализов способны также продемонстрировать, насколько оперативно входные данные можно задействовать в разных анализах, что может еще больше ускорить достижение результатов и повысить эффективность.
Во многих организациях независимо от их размера есть функции, где главную роль играет количественный анализ. В качестве примера можно привести некоторые из наиболее зрелых направлений, связанных с риском (скажем, кредитный риск в финансовых учреждениях), и бизнес-аналитику. Там, где подобные функции существуют, часто встречаются компетентные руководители, которые ценят количественные показатели и готовы отстаивать соответствующие методы. Такие люди могут стать важными союзниками в сложных ситуациях корпоративной политики.
Считается, что количественная оценка риска сродни переключателю: стоит организации начать количественно оценивать риски информационной безопасности, как она полностью перестает действовать на глазок. Это в корне неверно. Ни одна из организаций, с которыми мне доводилось работать, не могла даже приблизиться к количественному определению всех имевшихся проблем информационной безопасности. Для этого банально нет ни ресурсов, ни времени. Поэтому важно разработать процедуру выработки приоритетов, которая поможет определять, когда следует проводить количественную оценку риска.
В зависимости от своих ресурсов и потребностей организация может выбрать, с чего начать количественную оценку. Возможно, сперва она понадобится только для обоснования крупных расходов на информационную безопасность или для определения наиболее важных задач. Суть в том, что количественная оценка риска может быстро предоставить весьма ценные сведения и не будет тормозить работу, если применять ее вдумчиво, а не как попало.
Количественная оценка рисков информационной безопасности может привести к смене парадигмы в организации, и, как почти при любой смене парадигмы, придется в процессе преодолеть косность и неприязнь. Одним из ключей к успеху является понимание того, что самая сложная часть перехода – культурная, как в рамках организации, так и (по крайней мере пока) в сфере информационной безопасности в целом. И поскольку культура в значительной степени функционирует благодаря убеждениям, для достижения успеха необходимо сосредоточиться на их изменении.
1. Open Web Application Security Project, “OWASP Risk Rating Methodology,” last modified September 3, 2015, www.owasp.org/index.php/OWASP_Risk_Rating_Methodology.
2. IEC, “ISO 31010: 2009–11,” Risk Management – Risk Assessment Techniques (2009).
3. D. V. Budescu, S. Broomell, and H. Por, “Improving Communication of Uncertainty in the Reports of the Intergovernmental Panel on Climate Change,” Psychological Science 20, no. 3 (2009): 299–308.
4. Richards J. Heuer, Jr., Psychology of Intelligence Analysis (Langley, VA: Center for the Study of Intelligence, Central Intelligence Agency, 1999).
5. Rebecca M. Blank and Patrick D. Gallagher, Guide for Conducting Risk Assessments, NIST Special Publication 800–30, Revision 1 (Gaithersburg, MD: National Institute of Standards and Technology, 2012), http://csrc.nist.gov/publications/nistpubs/800–30‐rev1/sp800_30_r1.pdf.
6. K. E. See, C. R. Fox, and Y. Rottenstreich, “Between Ignorance and Truth: Partition Dependence and Learning in Judgment under Uncertainty,” Journal of Experimental Psychology: Learning, Memory and Cognition 32 (2006): 1385–1402.
7. G. Moors, N. D. Kieruj, and J. K. Vermunt, “The Effect of Labeling and Numbering of Response Scales on the Likelihood of Response Bias,” Sociological Methodology 44, no. 1 (2014): 369–399.
8. J. Chan, “Response‐Order Effects in Likert‐Type Scales,” Educational and Psychological Measurement 51, no. 3 (1991): 531–540.
9. L. A. Cox Jr., “What’s Wrong with Risk Matrices?” Risk Analysis 28, no. 2 (2008): 497–512.
10. D. Hubbard and D. Evans, “Problems with Scoring Methods and Ordinal Scales in Risk Assessment,” IBM Journal of Research and Development 54, no. 3 (April 2010): 2.
11. P. Thomas, R. Bratvold, and J. E. Bickel, “The Risk of Using Risk Matrices,” Society of Petroleum Engineers Economics & Management 6, no. 2 (April 2014): 56–66.
12. Edward R. Tufte and P. Graves-Morris, The Visual Display of Quantitative Information (Cheshire, CT: Graphics Press, 1983).
13. J. Kruger and D. Dunning, “Unskilled and Unaware of It: How Difficulties in Recognizing One’s Own Incompetence Lead to Inflated Self‐Assessments,” Journal of Personality and Social Psychology 77, no. 6 (1999): 1121–1134.
14. Ahiza Garcia, “Target Settles for $39 Million over Data Breach,” CNN Money, December 2, 2015.