Глава 4. Формулирование задачи по измерению
Когда вы сталкиваетесь со сложной задачей по измерению, полезно поместить ее в определенный контекст. Прежде чем приступить к измерению, задайте себе следующие пять вопросов.
1. Какое решение будет принято с учетом результатов данного измерения?
2. Что на самом деле представляет собой объект измерения?
3. Почему данное измерение необходимо для принятия решения?
4. Что мы знаем об объекте измерения в настоящий момент?
5. Какова ценность проведения дальнейших измерений?
При работе с созданным мною и используемым с 1995 г. методом прикладной информационной экономики я методично отвечаю на эти вопросы, что бы ни приходилось измерять. Я применял метод прикладной информационной экономики при решении более чем 50 сложных проблем в целом ряде организаций[16]. Если прекратить процедуру «вопросы — ответы», то можно полностью изменить не только способ, но и объект измерения.
Первые три вопроса помогают понять, что представляет собой объект оценки в рамках решений, которые планируется принимать по результатам измерения. Если эти результаты вообще имеют значение, то только потому, что они понятным образом влияют на решения и линию поведения. Когда не удается установить, какие решения будут затронуты итогами задуманного измерения и способ их воздействия, значит, это измерение просто не имеет никакой ценности.
Например, вы захотели оценить качество продукта. Тогда придется выяснить, на какие факторы повлияет результат оценки, и ответить на более общий вопрос о том, что вообще подразумевается под качеством продукта. Вы хотите использовать полученную информацию для решения об изменении действующего производственного процесса? Если да, то насколько низким должно оказаться качество продукта, чтобы это решение было принято? Вам нужны данные о качестве, чтобы рассчитать премии менеджеров по программе качества? Если да, то по какой формуле будут рассчитываться эти премии? И конечно, прежде всего ответы на вопросы зависят от того, какой смысл вы вкладываете в понятие «качество продукта».
Когда в конце 1980-х годов я работал в компании Coopers & Ly-brand, мы консультировали небольшой региональный банк, решивший упростить свои процессы отчетности. Банк использовал систему микрофильмирования для хранения отчетов из филиалов (их поступает более 60 еженедельно). Большинство отчетов были необязательными и составлялись не по требованию регулирующих органов, а потому, что кто-то из руководства считал эту информацию необходимой. В наши дни любой хороший программист на Oracle может сказать, что готовить и хранить такие справки очень легко, но в то время на составление отчетов уходила масса времени. Когда я спросил менеджеров банка, какие решения принимаются на основе этих документов, они смогли вспомнить лишь несколько случаев, когда необязательная отчетность изменила или только могла изменить сложившееся мнение. Неудивительно, что отчеты, не использовавшиеся непосредственно для принятия реальных управленческих решений, редко даже просматривали. Кто-то когда-то попросил составлять их, но первоначальная цель была, по всей видимости, забыта. Осознав, что многие отчеты совершенно не нужны для принятия решений, менеджеры поняли и то, что эти отчеты не имеют никакой ценности.
Годы спустя аналогичный вопрос возник у сотрудников аппарата министра обороны (Office of the Secretary of Defense, OSD). Они решили выяснить, какую ценность имеют многочисленные отчеты, составляемые еженедельно и ежемесячно. Когда я попросил их назвать хотя бы одно решение, принимаемое на основе каждого отчета, они обнаружили, что многие из них вообще не используются. Информационная ценность этих отчетов тоже оказалась нулевой.
Прежде чем выбрать конкретный способ измерения, вы должны задать себе еще два вопроса: что известно об объекте измерения сейчас, и какова стоимость информации, которую предполагается получить? Знать объем затрат, безусловно, следует заранее, ведь выбор метода оценки качества зависит от того, стоят эти сведения 10 тыс. или 10 млн дол. Но определить стоимость информации можно только тогда, когда станет ясно, что мы знаем в настоящий момент и как результаты оценки повлияют на конкретные решения.
В следующих главах мы обсудим несколько примеров, связанных с поиском ответов на вопросы, перечисленные выше. Рассказывая о проблемах этапа, предшествующего измерению, мы покажем, что ответы на эти вопросы, в частности о неопределенности, риске и стоимости информации, сами по себе являются полезными оценками.
Уточним терминологию: что на самом деле означают понятия «неопределенность» и «риск»
Как уже говорилось, прежде чем приступить к измерению, целесообразно определить, о чем, собственно, идет речь и почему это нас интересует. Хороший пример задачи по измерению, с которой может столкнуться любая компания и которая требует существенных предварительных уточнений, — это оценка надежности информационных технологий. Приступая к решению этой задачи, мы должны задать следующие вопросы: «Что мы понимаем под безопасностью?» и «Какие решения зависят от этой оценки?»
Для большинства людей повышение безопасности означает не только рост числа работников, прошедших соответствующее обучение, или число компьютеров, на которых установлено новое защитное программное обеспечение. Когда безопасность повышается, какие-то риски должны снижаться. Раз это так, нам нужно также знать, что подразумевается под словом «риск». Вообще-то, именно поэтому я и начинаю с примера, связанного с надежностью информационных технологий. Уточнение этой задачи требует того, чтобы мы вместе выяснили смысл понятий «неопределенность» и «риск». И то и другое не только поддается измерению, но и служит ключом к пониманию измерения в целом.
Риск и неопределенность нередко считаются неизмеримыми факторами, однако специалисты любой процветающей отрасли постоянно занимаются их оценкой. Чаще всего мне доводилось консультировать страховые компании. Помню, как-то я анализировал один проект по поручению директора по ИТ некой чикагской страховой компании. Он сказал: «Дуг, проблема с информационными технологиями состоит в том, что они рискованны, а способа оценить существующие риски нет». Я ответил: «Но вы же работаете в страховой компании. В вашем здании целый этаж занимают актуарии. Чем же, по-вашему, они занимаются целый день?» Выражение лица моего собеседника было сродни прозрению. До него дошла вся абсурдность ситуации: человек, работающий в компании, ежедневно оценивающей риски наступления страховых событий, считает риск не поддающимся измерению.
Смысл слов «неопределенность» и «риск», а также их отличие друг от друга, похоже, не до конца ясны даже некоторым специалистам. Вот, например, что писал в начале 20-х годов прошлого века экономист Чикагского университета Фрэнк Найт:
Неопределенность следует употреблять как нечто кардинально отличающееся от Риска в его привычном понимании, хотя до сих пор четкую грань между ними никто не провел… Существенным фактом является то, что в одних случаях «риск» означает величину, поддающуюся измерению, а в других — нечто совсем иного характера и что возникают важные и принципиальные отличия в развитии явления в зависимости от того, присутствует в нем неопределенность или риск[17]…
Именно поэтому, давая определение своим терминам, так важно понять, для принятия каких решений мы проводим свои измерения. Найт говорит о непоследовательном и неоднозначном использовании понятий «риск» и «неопределенность» некими не названными им группами людей. Однако это не означает, что и мы обязаны использовать их таким же образом. На самом деле эти понятия довольно регулярно используют в науке принятия решений, причем трактуют их непоследовательно и неоднозначно. Но как бы ни толковали их другие, мы дадим им определения с учетом решений, которые придется принимать нам.
Неопределенность. Отсутствие полной определенности, то есть существование более чем одной возможности. «Истинный» результат (состояние, последствие, стоимость) неизвестен.
Показатель неопределенности. Ряд вероятностей, приписанных ряду возможностей. Например: «Есть 60-процентная вероятность того, что данный рынок за пять лет более чем удвоится, 30-процентная вероятность того, что он вырастет не так заметно, и 10-процентная вероятность того, что за тот же период рынок сократится».
Риск. Такое состояние неопределенности, когда в число возможностей входят убытки, катастрофы или другие нежелательные исходы.
Показатель риска. Набор возможностей с приписанными ими количественными вероятностями и количественно определенным ущербом. Например, «мы полагаем: существует 40-процентная вероятность того, что нефтяная скважина окажется сухой, и в результате мы понесем убытки в размере 12 млн дол. в виде затрат на разведочное бурение».
О том, как определяются эти вероятности, расскажем немного позже, а пока мы, по крайней мере, уточнили, что имеем в виду, то есть выполнили предварительный этап любого измерения. Мы выбрали именно такие определения как наиболее соответствующие той задаче, которую решаем в нашем примере, — задаче оценки информационной защищенности и стоимости безопасности. Но, как мы увидим, эти определения наиболее удобны и при решении любых встающих перед нами проблем, связанных с измерениями.
Будут ли другие и впредь использовать неоднозначные термины и вести бесконечные теоретические споры, мало интересует того, кто должен срочно решить поставленную задачу. Слово «сила», например, использовалось в английском языке задолго до того, как сэр Исаак Ньютон дал этому понятию математическое определение. Сегодня оно иногда используется как синоним терминов «энергия» или «мощность» — но только не физиками и не инженерами. Когда термин «сила» используют авиаконструкторы, они точно знают, что имеют в виду в количественном смысле (и те из нас, кто часто путешествует по воздуху, ценят их стремление быть точными).
Теперь, сформулировав, что такое неопределенность и риск, мы получили лучший инструментарий для определения такого понятия, как «безопасность» (или «защищенность», «надежность» и «качество», но об этом чуть позже). Говоря «безопасность повысилась», мы обычно имеем в виду, что отдельные риски снизились. Если исходить из данного нами определения риска, то его снижение должно означать уменьшение вероятности наступления нежелательных событий и (или) масштабов связанного с ними ущерба. Как я уже сказал ранее, именно этот подход позволил мне оценить целесообразность вложения Управлением по делам ветеранов крупной суммы (100 млн дол.) в ИТ с целью повышения надежности информационных технологий.
Примеры уточнения объекта измерения: чему бизнес может поучиться и у государства
Многие государственные служащие представляют себе бизнес как некий сказочный мир высокой эффективности и мотивации, где страх проиграть в конкурентной борьбе заставляет людей трудиться изо всех сил. Как часто можно услышать от них сожаления, что они не работают в бизнесе! А для представителей деловых кругов органы власти (федеральные, штата или иные) — синоним бюрократической неэффективности и немотивированности сотрудников, считающих дни, оставшиеся до пенсии. Мне доводилось консультировать и государственные учреждения, и частные компании, и я бы не назвал ни ту, ни другую точку зрения полностью правильной или абсолютно неверной. Многие представители этих двух сторон удивились бы, узнав мое мнение: бизнес мог бы поучиться у государства (или, по крайней мере, у некоторых государственных учреждений) очень многому. На самом деле, в крупных компаниях с их сложной внутренней структурой немало сотрудников, очень далеких от экономических реалий бизнеса, а их работа не менее бюрократизирована, чем у служащих любого государственного органа. И я готов прямо сейчас засвидетельствовать где угодно и перед кем угодно, что в федеральном правительстве США, хотя это, конечно, и самая крупная в истории бюрократическая машина, работает немало мотивированных и любящих свое дело людей. Поэтому я приведу здесь несколько весьма поучительных для бизнеса примеров из практики моих клиентов — государственных учреждений.
Расскажу подробнее о работе по оценке надежности информационных технологий, которую я выполнял для Управления по делам ветеранов и о которой говорилось в предыдущей главе. В 2000 г. Совет директоров по информационным технологиям при Федеральном правительстве США (Federal CIO Council) решил провести своего рода испытания, чтобы сравнить различные методы оценки эффективности. Как следует из его названия, Совет директоров по информационным технологиям — это организация, объединяющая руководителей информационных служб федеральных учреждений и их непосредственных подчиненных. У Совета есть свой бюджет, и иногда он финансирует исследования, представляющие интерес для всех директоров по информационным технологиям федеральных органов. Проанализировав несколько подходов, Совет решил, что должен испытать метод прикладной информационной экономики.
Было решено проверить этот метод на большом пакете мер по повышению информационной безопасности, который был предложен Управлению по делам ветеранов. Моя задача состояла в подборе показателей эффективности для каждой системы, связанной с безопасностью, и оценке самого пакета под пристальным наблюдением Совета. Всякий раз, когда я проводил семинар или презентацию своих результатов, на них присутствовало несколько наблюдателей от Совета — сотрудников разных федеральных органов. В конце каждого проекта они готовили свои отчеты, в которых сравнивали мой метод с другим популярным подходом, использовавшимся в то время в других организациях.
Прежде всего, я озадачил специалистов Управления по делам ветеранов вопросом, который задаю, приступая к решению большинства проблем по измерению: «Что именно вы подразумеваете под информационной безопасностью?» Иными словами, в чем должно будет проявиться усиление этой безопасности? Что нового мы увидим или обнаружим, если безопасность улучшится или ухудшится? Более того, что такое, по нашему мнению, «величина» безопасности?
Информационная безопасность, возможно, и не такое уж эфемерное, расплывчатое понятие, но участники проекта вскоре обнаружили, что не вполне уверены в том, какой смысл в него вкладывают.
Было очевидно, например, что уменьшение частоты и масштабов воздействия «пандемических» вирусных атак можно считать усилением безопасности, но что такое в данном случае «пандемические» и что такое «воздействие»? Также было очевидно, что несанкционированный вход хакера в систему — это нарушение информационной безопасности, но является ли таким нарушением кража ноутбука? А пожар в информационном центре, наводнение или торнадо? На первой же нашей встрече участники проекта установили один факт: хотя все они и считали, что безопасность могла бы быть выше, единого понимания того, что это такое, у них не было.
И дело было вовсе не в том, что разные стороны уже выработали свои, отличные от других представления о безопасности. Проблема заключалась в том, что до этого момента никто и не задумывался над смыслом слова «безопасность». Как только члены группы столкнулись с поиском специфических конкретных примеров информационной безопасности, они достигли согласия по поводу однозначной и полной ее модели.
Специалисты из Управления по делам ветеранов решили, что повышение безопасности означает снижение частоты определенных нежелательных событий и уменьшение ущерба от них. Они договорились, что в Управлении к таким событиям относятся вирусные атаки, несанкционированный доступ (логический и физический), а также некоторые другие происшествия (например, утрата центра обработки и передачи данных в результате пожара или урагана). Каждый из этих типов событий влечет за собой определенный тип издержек. В таблице 4.1 перечислены предложенные системы повышения безопасности, события, которые они были призваны предотвратить, и возможные последствия этих событий.
Каждая из предложенных систем уменьшала частоту или тяжесть воздействия конкретных событий. Каждое из этих нежелательных событий привело бы к ряду негативных последствий. Так, вирусная атака обычно снижает эффективность труда, в то время как несанкционированный доступ приводит одновременно к снижению эффективности, убыткам от мошенничества и даже возникновению юридических обязательств в результате неправомерного раскрытия частной информации, например медицинского характера, и т. п.
Выработав эти определения, мы добились более конкретного представления о том, что такое усиленная информационная безопасность, а значит, и о том, как ее можно измерить. На мой вопрос «Что вы замечаете, когда информационная защищенность повышается?» руководство Управления по делам ветеранов могло теперь ответить вполне конкретно. Специалисты поняли: наблюдая за усилением безопасности, они обнаруживают снижение частоты и тяжести последствий перечисленных в таблице 4.1 событий. Они реализовали первый этап измерения.
Конечно, к этому определению можно предъявить какие-то претензии. Вы можете (вполне обоснованно) возразить, что риск пожара не является, строго говоря, риском информационной безопасности. И все же специалисты Управления решили, что в своем учреждении им нужно учитывать и этот фактор. Я думаю, что, если оставить в стороне мелкие разногласия по поводу того, что еще можно включить в данное определение, нам действительно удалось выработать такое базовое определение, которое может использоваться при любой оценке информационной безопасности.
Ранее в Управлении применялся совершенно иной подход к измерению безопасности. Использовались такие показатели, как число сотрудников, закончивших курсы подготовки, и число компьютеров, на которые были установлены определенные программы. Иными словами, результаты вообще не измерялись. Все предыдущие усилия были направлены на количественную оценку того, что было легче измерить. До моей работы с Советом директоров по информационным технологиям при федеральном правительстве некоторые считали конечный результат реализации мер по повышению безопасности не поддающимся измерению, и никто не пытался уменьшить неопределенность хоть ненамного.
Разработав необходимые критерии, мы приступили к измерению вполне конкретных вещей. Мы построили на компьютере модель, учитывающую все эти последствия. В сущности, мы просто задали ряд «вопросов Ферми». В контексте вирусных атак эти вопросы звучали следующим образом:
• Как часто происходит средняя пандемическая (охватывающая все Управление) вирусная атака?
• Сколько человек страдает от такой атаки?
• Как снижается эффективность работы этих людей по сравнению с нормальными условиями?
• Как долго эффективность остается сниженной?
• Какие издержки от неэффективности труда несет при этом компания?
Знай мы ответы на все эти вопросы, удалось бы рассчитать, во что обходится компании вирусная атака, по следующей формуле:
Среднегодовые убытки от вирусных атак = Число атак × Среднее число пострадавших сотрудников × Среднее снижение эффективности × Средняя продолжительность простоев × Годовые затраты на оплату труда / 2080 часов в год[18].
Конечно, эта формула учитывает только потери, связанные со снижением производительности труда. Она ничего не говорит о том, как вирусная атака сказывается на заботе о ветеранах, или о другом ущербе. Тем не менее, хотя некоторые виды потерь и не учитываются, формула, по крайней мере, дает нам осторожную оценку нижней границы убытков. В таблице 4.2 приведены ответы на все эти вопросы.
Указанные интервалы значений отражают неопределенность в оценках экспертов по безопасности, сталкивавшихся ранее с вирусными атаками в Управлении по делам ветеранов. Этими интервалами эксперты пытаются сказать: есть 90-процентная вероятность того, что истинные значения окажутся где-то между верхней и нижней границами. Я научил экспертов оценивать неопределенность. Приобретя данный навык, они, по сути, стали «калиброванными», как любой научный инструмент.
Приведенные интервалы значений могут показаться чисто субъективными, но субъективные оценки некоторых людей бывают очень точными. Мы сочли возможным рассматривать эти интервалы как верные, поскольку серия испытаний доказала: когда наши эксперты говорили, что уверены на 90 %, они оказывались правыми в 90 % случаев.
Как вы могли убедиться, можно взять такое неоднозначное понятие, как «безопасность», и разложить его на несколько конкретных, вполне поддающихся наблюдению составляющих. Определив, что такое безопасность, Управление по делам ветеранов сделало большой шаг к ее оценке. На тот момент его специалисты еще не проводили наблюдения, которые позволили бы снизить неопределенность. Все, что они совершили, — это количественно оценили имеющуюся неопределенность с помощью вероятностей и интервалов значений.
Оказывается, способность человека оценить шансы можно калибровать — точно так же, как любой научный инструмент калибруется для получения правильных показаний. Калиброванная оценка вероятности — ключ к измерению степени приблизительности (достоверности) ваших нынешних знаний о чем-либо. Обучение количественному выражению приблизительности своих знаний о неизвестном показателе — важный этап в выборе такого способа его оценки, который отвечал бы вашим потребностям. Воспитанию этого навыка посвящена следующая глава.