а 3. Почему неизмеримость нематериального — всего лишь иллюзия
Обычно люди считают вещи неизмеримыми по трем причинам, проистекающим из ошибочных представлений о разных аспектах количественной оценки. Речь идет о сущности измерения, его объекте и методах.
Сущность измерения. Многие неверно понимают саму идею измерения. Если бы люди осознали, что она означает на самом деле, то гораздо больше вещей стали бы для них измеримыми.
Объект измерения. Зачастую объект измерения бывает определен недостаточно четко. Измерению мешают неточность и неоднозначность используемых терминов.
Методы измерения. Многие техники эмпирического наблюдения известны недостаточно хорошо. Будь люди лучше с ними знакомы, стало бы очевидно, что многие вещи, считающиеся неизмеримыми, не только могут быть, но и уже кем-то количественно оценены.
Для легкого запоминания этих трех аспектов весьма распространенного заблуждения по поводу неизмеримости можно использовать название сайта howtomeasureanything.com (буквы с, о и m в `.com` могут обозначать сущность (concept), объект (object) и метод (method). Как только мы поймем, что люди часто сомневаются в возможности проведения измерения по этим трем причинам, станет ясно, что на самом деле измерению поддается абсолютно все.
Наряду с сомнениями в возможности проведения измерения существует убеждение, что порой проводить количественную оценку и не следует. Выдвигаются следующие причины:
• экономические возражения (ссылки на то, что это потребует слишком больших затрат);
• возражения против полезности и значимости статистики вообще (когда, например, утверждают, что «с помощью статистики можно доказать все, что угодно»);
• морально-этические возражения (утверждение, что оценивать некоторые вещи просто аморально).
В данном случае речь идет не о том, что измерение невозможно в принципе, а о том, что оно экономически нецелесообразно, бесполезно или нежелательно по моральным соображениям. Я постараюсь доказать, что внимания заслуживают лишь экономические возражения, но и ими нередко злоупотребляют.
Сущность измерения
Пока законы математики остаются определенными, они не имеют ничего общего с реальностью; как только у них появляется нечто общее с реальностью, они перестают быть определенными.
Как это ни парадоксально, но всякая точная наука основывается на приблизительности. Если кто-то говорит вам, что точно знает что-то, можете смело делать вывод: вы разговариваете с человеком, понятия не имеющим о точности.
Тем, кто считает что-либо не поддающимся количественной оценке, труднее всего преодолеть свое недопонимание сущности измерения. Если мы будем придерживаться ошибочного мнения, что измерение означает соответствие каким-то практически недостижимым критериям, то измеримым окажется совсем немногое. На семинарах и лекциях я часто спрашиваю своих слушателей, что, по их мнению, означает измерение. (Интересно наблюдать, как глубоко этот вопрос заставляет задуматься людей, отвечающих в своих компаниях за различные программы по количественным оценкам.) Обычно я получаю ответы: «количественно выразить что-либо», «рассчитать точную стоимость», «свести к одному числу» или «выбрать репрезентативное число» и т. д. Явно или неявно все эти ответы подразумевают, что измерение — это определенность, точная величина без права на ошибку. Если бы обсуждаемый термин действительно имел этот смысл, то измеримые объекты можно было бы перечесть по пальцам.
Однако когда измерения проводят ученые, актуарии[9] или статистики, они, похоже, пользуются де-факто совершенно иным определением. Каждый из этих специалистов знает, что в его области термины часто имеют иные значения, чем вкладывают в них широкие массы населения. И у экспертов понятие «измерение» не вызывает особых затруднений. А объясняется это тем, что в своих сферах деятельности они пользуются специальной терминологией, выходящей за рамки односложных толкований, а все ее определения являются элементами общей теоретической схемы. В физике сила тяжести — это не просто статья из специального словаря, но параметр конкретных уравнений, связывающих ее с такими понятиями, как масса, расстояние, а также определяющих ее влияние на пространство и время. Поэтому, желая истолковать понятие «измерение» с такой же точностью, мы должны знать кое-что о той теоретической схеме, элементом которой оно является. Без этого мы в нем не разберемся.
Измерение — это совокупность снижающих неопределенность наблюдений, результат которых выражается некой величиной.
Для всех практических целей научное сообщество рассматривает измерение как совокупность снижающих неопределенность наблюдений, результат которых выражается некой величиной. Таким образом, измерение — это не только полное устранение, но и частичное сокращение неопределенности. Даже явно не декларируя данную идею, ученые используют методы, оставляющие сомнения в том, что под измерением они подразумевают именно это. Факт присутствия ошибки, избежать которой полностью не удастся, при том что полученный результат все равно станет шагом вперед по сравнению с прежними представлениями, — ключевая идея проведения экспериментов, опросов и прочих научных измерений.
Фактические различия между таким толкованием измерения и его наиболее распространенными определениями колоссальны. Истинное измерение не только не обязано быть абсолютно точным, чтобы считаться таковым. Однако отсутствие информации о погрешности (подразумевающей строгость оценки величины) может служить признаком того, что эмпирические методы, такие как выборочное и экспериментальное исследования, не использовались (а значит, на самом деле это нельзя считать измерением вообще). Настоящие научные методы описывают результаты в определенном интервале значений, например говорят, что «использование нового сорта кукурузы позволило повысить среднюю урожайность кукурузных ферм на 10–18 % (95-процентный CI)». Точные значения без указания погрешности могли бы быть рассчитаны «принятым способом» (как, например, оценивались активы Enron). Однако если они не представляют собой 100-процентный итог полного подсчета (как мы пересчитываем мелочь в кармане), их не всегда можно рассматривать как основанные на эмпирическом наблюдении.
Для многих читателей такое понимание сущности измерения может оказаться в новинку, но есть веские математические основания, как и практические причины трактовать данный термин именно таким образом. По крайней мере, мы можем сказать, что измерение — это способ получения информации, к тому же наука уже дала строгую теоретическую концепцию информации. Математическую теорию информации создал в 1940-х годах Клод Шеннон — американский инженер-электротехник, математик и разносторонний ученый, интересовавшийся робототехникой и компьютерными шахматными программами.
В 1948 г. Шеннон опубликовал работу под названием «Математическая теория связи» («A Mathematical Theory of Communication»), заложившую основы теории информации и измерений в целом. Нынешнее поколение знает о Шенноне немного, но на самом деле его заслуги переоценить невозможно. На теории информации основаны все современные теории обработки сигналов и технологии систем электронной связи, в том числе и производство всех когда-либо собранных микропроцессоров.
Шеннон предложил математическое определение информации как снижения неопределенности в сигнале, которое он обсуждает в терминах энтропии, сокращаемой данным сигналом. Согласно Шеннону, получателя информации можно описать как объект, находившийся ранее в состоянии неопределенности. Это означает, что получатель уже обладал ранее какими-то сведениями, а затем получил новую информацию, которая устранила существовавшую неопределенность, но не обязательно полностью. Прежний уровень знаний, или состояние неопределенности, может быть использован, например, для расчета объема информации, который можно передать сигналом, минимальной величины сигнала для поправки на шум и оценки максимально возможного сжатия данных.
Представление об информации как о снижении неопределенности имеет огромное значение для бизнеса. Ведь многие решения (например, стоит ли внедрять новую информационную технологию или разрабатывать новый продукт) принимаются компаниями в условиях неопределенности, и даже незначительное ее уменьшение способствует более удачному выбору. Такое снижение неопределенности может дать многомиллионный экономический эффект.
Итак, измерение не должно устранять неопределенность полностью. Одно только снижение ее уже считается измерением, эффект которого порой многократно превышает затраты на проведение подобной оценки. Но есть и другая сторона дела, наверное, удивительная для большинства читателей: измерение — это не обязательно количественная оценка в традиционном смысле слова. Предложенное мной определение гласит, что результат измерения должен выражаться некой величиной. При этом неопределенность следует выразить числом, в то время как сам объект наблюдения может оставаться в виде «качества», скажем принадлежности к какой-либо категории. Например, можно «измерить», получит ли компания патент, произойдет ли слияние и т. д., и то, что мы будем для этого делать, точно удовлетворит нашему определению «измерение». Но неуверенность в результатах наблюдений должна быть выражена количественно (так, необходимо указать, что вероятность получения патента составляет 80 % или что вероятность улучшения имиджа компании в глазах общественности после слияния составит 93 % и т. п.).
Точка зрения, что измерение позволяет ответить на вопросы, которые требуют лишь утвердительного или отрицательного ответа, или выявить другие качественные различия, вполне согласуется с воззрениями еще одной школы научной мысли, получившей признание. В 1946 г. психолог Стенли Смит Стивенс написал статью под названием «On the Theory of Scales and Measurement» («О теории шкал и измерений»). В ней он описал различные шкалы измерения, включая номинальную (шкалу наименований) и порядковую. Номинальные измерения просто показывают принадлежность объекта к той или иной категории, например пол эмбриона — мужской или женский, или наличие у объекта того или иного заболевания. Шкалы наименований не предполагают ранжирования или сравнения, в частности по размерам. Объект просто относят к той или иной категории.
Порядковые шкалы позволяют утверждать, что одна величина «больше» другой, не уточняя, однако, на сколько. Примером может служить четырехзвездочная система оценки кинофильмов или шкала твердости минералов по Моосу. В обеих шкалах 4 больше, чем 2, но не обязательно вдвое. Вместе с тем однородные единицы, такие как доллары, километры, литры, вольты и т. п., можно суммировать и получить содержательный результат. И если просмотр четырех однозвездочных фильмов не обязательно доставит вам такое же удовольствие, как от одного четырехзвездочного, то камень массой четыре тонны весит ровно столько же, сколько четыре камня массой по одной тонне. Однородные единицы позволяют нам рассчитывать имеющие смысл пропорции (так, четыре километра действительно вдвое превышают два километра).
Концепция номинальной и порядковой шкал может противоречить сложившемуся представлению о том, что такое шкала, но позволяет сделать полезные наблюдения об изучаемых предметах. Иногда геологу важно знать, что один камень тверже другого (при этом неважно насколько), и такую информацию дает шкала твердости по Моосу.
Стивенс и Шеннон, каждый по-своему, опровергают распространенное представление об измерении. Стивенса больше занимала таксономия различных видов измерения, и он ничего не писал об измерении как о снижении неопределенности. Работавший в другой области Шеннон, возможно, не знал или не интересовался тем, что двумя годами ранее сделал для теории измерений психолог Стивенс. Однако я не думаю, что практическое определение измерения, пригодное для оценки всего, с чем приходится сталкиваться компаниям, было бы разработано без этих двух концепций.
Наряду с некоторыми другими концепциями теория измерения использует обе эти идеи. Измерение она трактует как нечто среднее между измеряемостью и численным выражением величины. Со временем она все более становится понятной только посвященным, но если говорить о вкладе Шеннона и Стивенса, то менеджеры найдут здесь для себя много полезного. Общее представление об измерении как об определении точного количества не учитывает важности простого снижения неопределенности в тех случаях, когда ее полное устранение невозможно или экономически нецелесообразно. В бизнесе решения принимаются в условиях неопределенности. Когда такая неопределенность велика и касается важных, рискованных решений, ее снижение играет большую роль. Вот почему в дальнейшем мы будем пользоваться именно этим определением измерения.
Объект измерения
Правильно поставленная проблема уже наполовину решена.
Ничто так не мешает прогрессу знания, как расплывчатость терминологии.
Даже если принять более полезную концепцию измерения, кое-что по-прежнему будет казаться не поддающимся оценке, поскольку мы просто не знаем, что имеем в виду, когда впервые ставим перед собой проблему. На самом деле часто нам неясен сам объект измерения. На вопрос, как измерить стратегическую согласованность, гибкость или удовлетворенность потребителей, я отвечаю: «А что конкретно вы имеете в виду?» Интересно наблюдать, как зачастую, уточняя используемый ими термин, люди фактически сами отвечают на свой вопрос. На семинарах я часто прошу присутствующих поставить передо мной максимально сложную задачу, связанную с измерением. Как-то мне предложили измерить наставничество, и я сказал: «Что ж, такая проблема может возникнуть в реальной жизни. Первое, что я заметил бы, — это: больше наставничества всегда лучше, чем меньше наставничества. Я знаю людей, которые тратят на это деньги, поэтому не удивлюсь, если кому-то потребуется оценить данное явление. Однако что вы имеете в виду под наставничеством?» Слушатель ответил, не задумываясь: «Не уверен, что смогу это сформулировать», на что я заметил: «Вот поэтому, наверное, вам и трудно его измерить. Сначала необходимо сформулировать, что такое наставничество».
Когда я просто спрашиваю людей, что они подразумевают и насколько важно измерить интересующий их объект или явление, они сами нередко отвечают на свой вопрос. Обычно это мой первый этап анализа — то, что я называю семинарами по выявлению объекта измерения. Дело в том, что клиенты нередко просят меня измерить вещи, которые можно толковать по-разному. В таких случаях я, как правило, задаю вопрос: «А что конкретно вы имеете в виду под… (вставьте нужное)?»
В 2000 г., когда сотрудники Управления по делам ветеранов (Department of Veterans Affairs) попросили меня помочь в разработке показателей информационной безопасности, я спросил: «А что вы имеете в виду под информационной безопасностью?», и на первых двух или трех встречах они объясняли мне, что это такое. В конце концов выяснилось, что под информационной безопасностью они понимают такие вещи, как сокращение числа несанкционированных вторжений и вирусных атак. Кроме всего прочего, подобные вещи влияют на финансовое положение Управления за счет убытков от мошенничества, снижения производительности труда и даже возможных случаев правовой ответственности (чего они едва избежали в 2006 г., вернув украденный ноутбук, в памяти которого содержались номера карточек социального страхования 26,5 млн ветеранов).
Очевидно, что почти все упомянутые факторы поддавались измерению. Понятие «безопасность» допускало неоднозначное толкование до тех пор, пока сотрудники Управления не разложили его составляющие, которые можно реально наблюдать. Однако довольно часто клиенты нуждаются в дополнительном руководстве, когда пытаются охарактеризовать объекты таким образом, чтобы их можно было измерить. В сложных случаях я использую «цепочку уточнений» или, если это не срабатывает, провожу своего рода мысленный эксперимент.
Цепочка уточнений — это просто короткий ряд ассоциаций, помогающий представить себе нематериальный объект как материальный. Сначала мы осознаем, что если объект X имеет для нас значение, то он, по определению, должен в чем-то проявляться. Разве могли бы такие реальности, как качество, риск, безопасность или репутация, иметь для нас какую-то ценность, не проявляй они себя прямо или косвенно? Если возникает причина интересоваться неизвестной величиной, значит, мы думаем, что она каким-то образом приводит к желательным или нежелательным последствиям. Кроме того, если эта величина как-то себя проявляет, значит, она обнаруживает себя в каком-то количестве. Если нечто вообще наблюдается, то его бывает больше или меньше. Как только мы все это примем, последний шаг наверняка окажется самым легким. Раз что-то наблюдается в каком-то количестве, значит, это можно измерить.
Например, решив, что нужно оценить нашу деловую репутацию, потому что она влияет на рекламу, которую нам делают сами клиенты, а это, в свою очередь, влияет на продажи, мы уже приступили к поискам способа оценки своей репутации. Ведь рекомендации клиентов можно не только наблюдать, но и фиксировать каким-то количеством. А это означает, что они поддаются измерению. Иногда я провожу людей не через все звенья цепочки уточнения объекта измерения, но этот метод все равно дает хорошие результаты, если помнить три важных правила.
1. Если это вообще имеет какое-то значение, значит, оно обнаруживается или наблюдается.
2. Если это обнаруживается, значит, оно обнаруживается в каком-то количестве (или количественном интервале).
3. Если это обнаруживается в количественном интервале, его можно измерить.
Когда цепочка уточнения не срабатывает, я провожу мысленный эксперимент. Представьте себе, что вы иностранный ученый, способный клонировать не только овец и людей, но даже целые организации. Предположим, предметом вашего исследования является конкретная сеть предприятий экспресс-питания и вас интересует, как на ее работу повлияет такая нематериальная вещь, как расширение полномочий сотрудников. Вы создаете два клона изучаемой организации, один из которых называете тестируемой, а второй — контрольной группой. При этом сотрудники тестируемой группы получают дополнительные полномочия, а в контрольной группе все остается по-прежнему. Какие изменения — прямые или косвенные — вы наблюдаете в первой организации? Ожидаете ли вы, что решения будут приниматься на более низком организационном уровне? Станут ли решения качественнее и будут ли они приниматься быстрее? Приводит ли передача полномочий к ослаблению контроля за работниками? Означает ли это, что теперь структура организации станет более «плоской» и накладные расходы на управление сократятся? Если удастся обнаружить хотя бы одно различие между двумя организациями-клонами, то вопрос о способе измерения вашего объекта будет наполовину решен.
На самом деле точное определение объекта измерения — исходный пункт любого научного исследования, даже самого революционного. Менеджеры компаний должны понять, что некоторые вещи кажутся нематериальными только потому, что люди сами толком не решили, о чем они говорят. Определитесь с объектом — и половина работы по измерению будет проделана.
Методы измерения
Некоторые вещи кажутся не поддающимися измерению только потому, что тот, кто хочет это сделать, незнаком с основными методами измерения, такими как выборочные исследования или управляемые эксперименты разного типа. Традиционное возражение звучит примерно так: данная задача уникальна, ранее такие измерения не проводились и подходящего метода просто не существует. Надежду вселяет тот факт, что существует целый ряд проверенных способов, позволяющих оценить даже то, что сейчас кажется неизмеримым. Вот несколько примеров.
• Измерения при очень малой случайной выборке (например, можете ли вы узнать нечто важное от маленькой выборки из потенциальных потребителей, своих работников и т. д. в условиях большой неопределенности?).
• Оценка некой совокупности, или множества, объектов, которые невозможно увидеть все сразу (например, численность рыб одной породы в океане, растений одного вида в ливневых лесах, сбоев при производстве нового продукта или же таких попыток несанкционированного доступа в вашу систему, которые остаются необнаруженными, и т. д.).
• Измерения при наличии множества переменных, в том числе неизвестных (например, определение причины роста продаж — реализация новой программы повышения качества, экономия, ошибки конкурентов, новая политика ценообразования и т. д.).
• Оценка риска наступления маловероятных событий (например, вероятность неудачного запуска новой ракеты, повторения атаки террористов 11 сентября 2001 г. или еще одного наводнения в Новом Орлеане).
• Оценка стоимости предметов искусства, свободного времени или повышения вашей личной безопасности на основе того, сколько на самом деле люди готовы за это заплатить.
Многие из перечисленных подходов к измерению — просто разновидности базовых методов, включающих выборку и управляемые эксперименты, иногда концентрирующих внимание на других типах вопросов. Такие методы наблюдения практически не используются в принятии бизнес-решений, вероятно, потому, что представляются довольно сложными и формализованными. Считается, что это не те способы, которые можно при необходимости применить сразу же без подготовки и с минимальными затратами. Однако на самом деле это совсем не так.
Вот очень несложный пример быстрого измерения, которое каждый может провести и при этом легко рассчитать статистическую погрешность. Предположим, что вы подумываете над тем, чтобы перевести часть своих сотрудников на дистанционную работу. Один из факторов, который вам необходимо учесть, — сколько времени средний служащий ежедневно тратит на дорогу до работы и домой. Чтобы выяснить это, вы можете официально опросить всех работников, потратив много времени и денег. При этом, скорее всего, ответ будет более точным, чем вам необходимо. Допустим теперь, что взамен вы выберете наугад пять человек. Позже мы еще поговорим о том, что означает «выбрать наугад», а сейчас представим, что вы просто закроете глаза и ткнете пальцем в список сотрудников. Вызовите этих людей и спросите, сколько времени они обычно тратят на дорогу. Предположим, будут получены следующие ответы: 30, 60, 45, 80 и 60 минут. Возьмем самое высокое и самое низкое значения в выборке — 35 и 80. Вероятность того, что медиана значений продолжительности поездок на работу и домой для совокупности работников находится в этом интервале значений, составляет 93 %. Я называю это Правилом пяти. Правило пяти несложно, оно работает, и можно доказать его статистическую обоснованность для решения целого ряда задач. Когда выборка настолько мала, интервал значений может быть очень широким, но если он окажется значительно уже предыдущего интервала, значит, вы провели измерение.
Существует 93-процентная вероятность того, что в любой случайной выборке медиана для всей совокупности находится в интервале между наименьшим и наибольшим значениями.
Кажется, что нельзя быть уверенным в чем-то на 93 %, располагая всего пятью случайными значениями, но это возможно. Чтобы понять, почему это так, важно учесть, что Правило пяти позволяет определить медиану совокупности. Медиана — это такая точка, которая делит всю совокупность на половины со значениями выше и ниже нее. Если выбрать наугад такие пять значений, которые все располагались бы выше или ниже медианы, то медиана оказалась бы вне интервала. Но какова вероятность подобного выбора?
Вероятность случайного выбора значения, превышающего медиану, составляет, по определению, 50 % (вероятность выпадения орла при подкидывании монеты). Вероятность случайного выбора пяти значений, которые все окажутся выше медианы, равна вероятности выпадения орла при подкидывания монеты пять раз подряд, то есть равна 1/32, или 3,125 %. Такова же вероятность того, что пять раз подряд выпадет решка. Тогда шанс не получить все решки или все орлы составляет 100 % — 3,125 % × 2 = 93,75 %. Поэтому вероятность случая, когда по крайней мере одно значение из пяти окажется больше или меньше медианы, составляет 93,75 %, или, если округлить с понижением, 93 % (или даже 90 %, если вы хотите быть очень осторожным). Некоторые читатели, возможно, еще помнят тот раздел статистики, где обсуждаются методы выборочного обследования для малых выборок. Эти методы несколько сложнее Правила пяти, но по причинам, о которых я подробнее расскажу позже, не позволяют получить намного более точные результаты.
Дополнительно к такому эмпирическому правилу можно использовать простые методы, позволяющие учесть определенные виды смещения (ошибок). Предположим, что начавшееся строительство удлинило время, затрачиваемое каждым сотрудником на дорогу, или же люди, которые дольше добираются до работы, чаще болеют или не вошли в вашу выборку по другим причинам. Однако даже при всех его недостатках любой человек, желающий развить у себя умение измерять, обязательно должен знать Правило пяти.
Позднее мы поговорим о разных подходах, позволяющих, как доказано, еще более снизить неопределенность. Это и более сложные методы выборочного обследования или проведения экспериментов, и приемы, которые просто снижают погрешность субъективных оценок экспертов. В своем стремлении повысить точность измерений мы должны учесть множество факторов, но важно помнить одно: когда наблюдение сообщает нам нечто, чего мы раньше не знали, это означает, что произведено измерение.
Между тем ответим на вопрос, почему неправ тот, кто считает, что «метода измерения подобного объекта еще не существует». В бизнесе принято приклеивать ярлык нематериального всему, чего нет в бухгалтерской отчетности или базах данных. И даже если измерения считают возможными, то полагают, что они по силам только специалистам, владеющим сложными методами, практически не доступными для бизнесменов. К счастью, обычно это не так. Свой способ измерения может придумать каждый.
Важную подсказку дает этимология слова «эксперимент», которое происходит от латинского ex, что означает «из» или «от», и periri, что означает «попытка». Иными словами, оно означает получение чего-то путем осуществления попытки. Статистик Дэвид Мур, возглавлявший в 1998 г. Американскую статистическую ассоциацию (American Statistical Association), как-то сказал следующее: «Измеряйте, даже если не знаете, что измерять. Тогда вы и узнаете, что вам нужно измерить»[10]. Принцип Мура мало чем отличается от подхода Nike «просто сделай это». Звучит как «сначала измерь, а вопросы будешь задавать потом», и если довести данный принцип до крайности, то окажется, что он далеко не идеален. Однако у него есть ряд значительных преимуществ перед нынешним неконструктивным отношением некоторых менеджеров к измерению.
Многие из тех, кто принимает решения, думают только о том, что мешает провести измерения, и поэтому даже не пытаются осуществлять наблюдения. Если вы предлагаете провести опрос и выяснить, сколько времени люди тратят на какой-то вид деятельности, они говорят: «Хорошо, но кто же точно запоминает такие вещи?» Если вы хотите опросить потребителей, чтобы узнать их предпочтения, они заявляют: «У нас такие разные потребители, что вам потребуется огромная выборка». Пытаетесь показать, какая программа совершенствования привела к росту продаж, и слышите: «Но продажи зависят от множества факторов, разве можно узнать, как именно повлияла именно эта программа?» Такие люди заранее уверены в бесполезности измерений, чего заранее знать нельзя. Они просто предполагают.
Подобные критики делают определенные допущения о трудности проведения измерений. Они могут даже ссылаться на свою подготовку в этой области (например, на то, что 20 лет назад они в течение двух семестров изучали статистику). Я не стану утверждать, что их предположения всегда оказываются неверными. Но скажу, что если это только допущения, то они контрпродуктивны. Давайте воспользуемся другими предпосылками, которые, как и любые другие, не всегда оказываются верными в конкретных случаях, но на практике приносят намного больше пользы.
1. Ваша проблема совсем не так уникальна, как вы думаете.
2. У вас гораздо больше информации, чем вам кажется.
3. Вам нужно меньше данных, чем вы предполагаете.
4. Существует удобный способ измерения, который намного проще, чем вы представляете.
Предпосылка № 1
Такие измерения уже проводились. Какой бы сложной или «уникальной» ни казалась вам проблема, предположите, что кто-то уже занимался ею до вас, возможно в другой области. Если эта предпосылка окажется неверной, пусть утешением послужит то, что, возможно, вы осуществляете попытку получить за свое открытие Нобелевскую премию. А если серьезно, то я заметил, что специалисты любого профиля склонны считать свою сферу деятельности уникальной с точки зрения уровня неопределенности. Обычно они говорят: «В отличие от других отраслей в нашей каждая задача уникальна и непредсказуема» или «В моей отрасли факторов слишком много, чтобы их можно было выразить количественно» и т. п. Мне доводилось много работать в разных отраслях и слышать одно и то же. Но до сих пор проблемы измерения везде оказывались стандартными и ничем не отличались друг от друга.
Предпосылка № 2
На самом деле у вас намного больше информации, чем вы думаете. Предположите, что необходимые для ответа на поставленный вопрос данные вполне доступны, и если вы потратите время и подумаете, то обязательно их найдете. Мало кто из руководителей даже отдаленно представляет себе, какую информацию можно найти в собственной организации. То, что так важно измерить, обычно оставляет следы, которые вы обязательно обнаружите, если окажетесь достаточно изобретательным.
Предпосылка № 3
На самом деле вам нужно намного меньше информации, чем кажется. Правило пяти помогает снизить неопределенность при решении множества задач. Я знавал статистиков, которые не верили в это правило до тех пор, пока сами не выполняли расчеты. Но, как нам показал Эратосфен, при умелом подходе интересные выводы можно извлечь и из минимальной информации.
Предпосылка № 4
Существуют полезные способы измерения, гораздо менее сложные, чем вы предполагаете. Представьте, что первый пришедший вам на ум способ — самый трудный. Представьте, что, проявив чуть больше изобретательности, вы сможете найти более простой метод. Например, Кливлендский оркестр захотел оценить, улучшается ли со временем качество его исполнения произведений. Многие бизнес-аналитики предложили бы руководству оркестра проводить периодические опросы случайно выбранных постоянных слушателей, пришедших на концерт. Возможно, они предложили бы этим людям оценить то или иное выступление оркестра (если те его помнят) по шкале от «плохое» до «блестящее» или по нескольким параметрам, на основе которых потом можно было бы рассчитать общий показатель удовлетворенности. Но Кливлендский оркестр подошел к этой проблеме творчески и начал подсчитывать, сколько раз публика устраивала овации стоя. Если слушатели вставали не два раза, а три, то, очевидно, выступления отличались не слишком сильно. Но если с появлением нового дирижера публика стала устраивать бурные овации, поднимаясь из кресел намного чаще, то мы можем сделать весьма ценные выводы по поводу этого дирижера. Да, это было измерением в полном смысле слова, и оно потребовало гораздо меньше усилий, чем проведение опроса, дав, как сказали бы многие (и я бы с ними согласился), более содержательные результаты.
Итак, не стоит исходить из того, что единственный способ уменьшить неопределенность — это использовать какой-то сложный, практически нецелесообразный метод. Что вы собираетесь делать — публиковаться в научном журнале или сокращать неопределенность при принятии реального бизнес-решения? Отнеситесь к измерению как к итеративному процессу. Начните измерять то, что вам нужно. Получив первые результаты, вы всегда сможете скорректировать свой метод.
Самое главное, как это следует из этимологии слова «эксперимент», интуитивный экспериментатор делает попытку. Сделайте ее и вы. За исключением тех случаев, когда заранее можно предсказать результат какого бы то ни было наблюдения, оно обязательно расскажет то, чего вы не знали ранее. Сделайте еще несколько наблюдений — и узнаете больше.
Конечно, бывают такие редкие случаи, когда объекты или явления кажутся не поддающимися количественной оценке только из-за отсутствия современных изощренных методов. Но обычно для измерения большинства вещей, называемых нематериальными, не хватает вовсе не передовых замысловатых способов. Как правило, неопределенность в отношении подобных объектов так велика, что уменьшить ее позволяют и базовые методы измерения.
Экономические возражения против проведения измерений
Как мы видели, сомнения в концепции, объекте и методе измерения зачастую связаны с ошибочным восприятием проблемы. Однако иногда возражения против измерений основываются не на уверенности в их невозможности, а на убеждении, что проводить их не следует.
На мой взгляд, измерения не следует осуществлять в одном случае — если издержки, связанные с их проведением, превышают получаемые выгоды. Однако на практике, конечно, встречается и такое. В 1995 г. я разработал метод оценки неопределенности, рисков и других нематериальных факторов, влияющих на принятие любого крупного рискованного решения, который назвал прикладной информационной экономикой (applied information economics, AIE). Ключевой этап данного процесса (и этим объясняется название метода) — расчет экономической стоимости информации. Позже поговорим об этом подробнее, но проверенная формула из теории решений позволяет рассчитать денежную стоимость любого снижения неопределенности. Я вставил эту формулу в программу Excel и годами рассчитываю экономическую стоимость измерения любых величин, учитываемых при принятии десятков важных бизнес-решений. Благодаря этим расчетам я обнаружил ряд любопытных закономерностей, но пока упомяну только об одной: информационная ценность большинства переменных, учитываемых при принятии бизнес-решений, равна нулю. В каждом случае оказывалось, что число факторов, которые имеют для принятия решения значение, оправдывающее усилия по их оценке, не более четырех.
В каждом случае лишь несколько ключевых переменных имеют значение, оправдывающее усилия по их определению. Информационная ценность остальных равна или практически равна нулю.
Конечно, существуют величины, не стоящие усилий, затраченных на их измерение, и все же бытует устойчивое заблуждение, что если полученная количественная оценка не соответствует неким произвольным критериям (например, результаты нельзя опубликовать в научном журнале или они не согласуются с общепризнанными стандартами бухгалтерского учета), то она не имеет никакой ценности. Это, разумеется, излишнее упрощение, поскольку на самом деле ценность измерению придает большая неопределенность неизвестной в сочетании с высокой ценой принятия неверного решения. Отвечает ли измерение другим стандартам, значения не имеет. Когда вы рискуете большими деньгами в расчете на результат действия фактора, поведение которого отличается серьезной неопределенностью, даже не-большое ее снижение имеет вполне поддающуюся расчету денежную стоимость. Предположим, например, что вы собираетесь потратить крупные средства на придание своему продукту свойства, благодаря которому его продажи в данном демографическом секторе могут возрасти на 12 %, хотя, возможно, рост будет не так заметен. Кроме того, вы считаете, что затраты окупятся только в том случае, если объемы продаж повысятся не менее чем на 9 %. Если в результате инвестиций объемы продаж не возрастут на 9 %, значит, вы не добились доходности. А если рост продаж будет еще меньше или реализация упадет, то вся затея обернется катастрофой. В этой ситуации предварительная оценка имела бы очень высокую ценность.
Когда вам говорят, что определить величину «слишком дорого» или «слишком трудно», сразу спрашивайте: «По сравнению с чем?» Разумеется, если информационная ценность измерения буквально или практически равна нулю, проводить его не имеет смысла. Но когда эта ценность велика, задайте себе вопрос: «Существует ли вообще метод, позволяющий снизить неопределенность настолько, чтобы оправдать затраты на проведение измерения?» Как только ценность даже частичного снижения неопределенности становится понятной, ответ на этот вопрос обычно бывает утвердительным.
Возражение против полезности «статистики» вообще
В конце концов, факты — это факты. И хоть мы напоминаем друг другу, посмеиваясь, слова одного мудрого политика про «ложь, проклятую ложь… и статистику», есть все же такие цифры, в которых разберется даже последний простак и которые не сможет извратить и первый ловкач.
Иногда высказывается и такое возражение, что даже если измерение возможно, оно ничего не даст, поскольку статистика и вероятность сами по себе бессмысленны (так сказать, «ложь, проклятая ложь… и статистика»[11]). Глубокое непонимание основ статистики проявляют порой даже квалифицированные специалисты. Иногда приходится слышать такие поразительные вещи, что не знаешь, как на них реагировать. Вот несколько высказываний, которые мне довелось выслушать:
«Все события равновероятны, так как мы не знаем, что произойдет» (сказано слушателем моего семинара).
«Я совершенно нетерпим к риску, потому что никогда не рискую» (фраза менеджера среднего звена страховой компании, которую я консультировал).
«Как узнать интервал, если я даже не знаю среднего значения?» (вопрос клиента Сэма Сэвиджа, ученого, моего коллеги и пропагандиста методов статистического анализа).
«Откуда известно, что вероятность выпадения орла — 50 %, если никто не знает, что произойдет?» (вопрос, заданный дипломником на лекции, которую я читал в Лондонской школе экономики, — это не шутка!)
«С помощью статистики можно доказать все, что угодно» (известная поговорка о статистике).
Давайте сначала обсудим последнюю фразу. Я прямо сейчас предлагаю приз в 10 тыс. дол. любому, кто, используя статистику, докажет следующее утверждение: «С помощью статистики можно доказать все, что угодно». Под словом «доказать» я подразумеваю, что это доказательство можно будет опубликовать в любом крупном математическом или вообще научном журнале. Критерием будет именно такая публикация (уверен, что подобное важное открытие обязательно будет напечатано). Под словами «что угодно» я подразумеваю буквально все, что угодно, включая любое давно опровергнутое утверждение из области математики или другой науки. А вот под статистикой я понимаю статистику в самом широком смысле слова. Тот, кто получит этот приз, может использовать любое направление математики или другой науки, имеющее малейшее отношение к теории вероятности, методам выборочного обследования, теории решений и т. д.
Дело в том, что когда люди говорят: «С помощью статистики можно доказать все, что угодно», они, скорее всего, имеют в виду не статистику как таковую, а использование цифр вообще (особенно, по какой-то причине, процентов). На самом деле они подразумевают не совсем «что угодно» или не совсем «доказать». Реальный смысл поговорки заключается в том, что «цифрами можно сбить с толку людей, особенно легковерных, кто не в ладах с математикой». Вот с этим я полностью согласен.
Другие высказывания из моего списка свидетельствуют о незнании основ теории вероятности, риска и измерений в целом. Ясно, что вероятности мы используем исключительно потому, что не можем быть уверены в полученном результате. Очевидно и то, что нам приходится принимать какие-то риски, даже при обычной поездке на работу, так что все люди в известной мере терпимы к риску.
Иногда я обнаруживаю, что люди, делающие подобные заявления, противоречащие здравому смыслу, не вполне понимают, о чем говорят, поскольку их собственные шаги идут вразрез с теми убеждениями, которых они якобы придерживаются. Заключите с кем-нибудь пари, что он не угадает, сколько раз выпадет решка, если подбросить монету 12 раз, — и вы увидите, что даже тот, кто считает, что вероятность определить невозможно, назовет цифру 6 или близкую к ней. Тот, кто говорит, что никогда не рискует, тем не менее, летит в Москву самолетом Аэрофлота (компании, статистика авиапроисшествий которой хуже любого американского перевозчика), чтобы получить в качестве приза миллион долларов. С какими только заблуждениями по поводу статистики и теории вероятности не приходится сталкиваться! Этим ошибочным мнениям, характерным даже для руководителей крупнейших компаний, а также путям их преодоления посвящены почти все статьи в таких изданиях, как, например, «Journal of Statistics Education». Но тот, кто дочитает книгу до конца, наверняка избавится хотя бы от некоторых своих заблуждений относительно статистики.
Этические возражения против проведения измерений
Обсудим теперь последний аргумент, приводимый теми, кто считает, что осуществлять измерения не следует. Это аргумент этического характера. Сопротивление проведению измерений порождается страхом перед возможной ответственностью и уверенностью в окончательном характере чисел в сочетании с ранее приобретенным недоверием к «статистике». Иногда измерения воспринимают даже как нечто антигуманное. Попытки оценить такие деликатные вещи, как стоимость исчезающих видов животных или даже человеческой жизни, вызывают праведное негодование. Тем не менее подобные оценки проводятся, причем регулярно, поскольку они необходимы.
Агентство по защите окружающей среды (Environmental Protection Agency, EPA) и другие государственные органы должны распределять весьма ограниченные средства на экологию, охрану нашего здоровья и даже жизни. Я помогал EPA оценивать некоторые инвестиционные проекты, в том числе проект создания Географической информационной системы (Geographic Information System, GIS) для улучшения мониторинга концентрации диметилртути — по мнению многих, вещества, высокая концентрация которого приводит к снижению коэффициент интеллекта (IQ) у детей.
Чтобы оценить, следует ли создавать эту систему, мы должны были задать важный, хотя и не очень приятный вопрос: целесообразно ли тратить в течение пяти лет 3 млн дол. на то, чтобы предотвратить возможное снижение IQ? Кого-то может возмутить одно то, что такой вопрос вообще был поставлен. Многие скажут, что миллионы стоит потратить даже в том случае, если IQ детей удастся повысить хотя бы на один балл.
Однако позвольте! Ведь EPA приходится финансировать и другие системы, призванные наблюдать за эффектом воздействия новых загрязнителей, которые иногда приводят к преждевременной смерти. Ресурсы EPA ограниченны, а программ по улучшению общественного здравоохранения и состояния окружающей среды, а также спасению исчезающих видов животных очень много. Агентству приходится сравнивать программы, задавая вопросы: «Скольким детям мы сумеем помочь, и насколько повысится их IQ?» и «Сколько преждевременных смертей можно будет предотвратить?»
Иногда даже приходится спрашивать: «Насколько преждевременной является такая смерть?» Когда ограниченность ресурсов вынуждает делать выбор, должны ли мы относиться к смерти пожилого человека так же, как к гибели молодого? В определенный момент EPA даже подумывала о том, чтобы использовать поправку на смерть пожилых людей (senior death discount). Это означает: смерть человека в возрасте за 70 лет «стоит» на 38 % меньше смерти человека в возрасте до 70. У некоторых это вызвало возмущение, и в 2003 г. администратору EPA Кристин Тодд Уитмен пришлось объявить, что данная поправка использовалась для общей ориентации, а не для разработки политики, и теперь эта практика прекращена[12]. Конечно, даже говоря об одинаковой стоимости жизни людей разных возрастов, мы проводим измерения, поскольку выражаем эти величины количественно. Но если они одинаковы, то всегда ли действует этот принцип? Стоит ли потратить на спасение жизни 99-летнего больного человека столько же усилий, сколько на спасение здорового пятилетнего ребенка? Каким бы ни был ваш ответ, это будет измерение относительной стоимости жизни каждого.
Если мы будем настаивать на том, чтобы не рассчитывать относительную стоимости многочисленных государственных социальных программ (что является естественным результатом отказа от определения ценности каждой из них), то почти наверняка будем распределять ограниченные ресурсы так, что, решив менее значимые задачи, потратим гораздо больше денег. Это связано с огромным числом возможностей для подобных инвестиций, и без цифр определить лучший вариант очень трудно.
В других случаях кажется, что само существование погрешности (которая, как мы знаем, почти всегда существует в эмпирических измерениях) делает попытку измерения неприемлемой с точки зрения морали. Стивен Гулд, автор книги «The Mismeasure of Man» («Ложное измерение человека»), страстно возражает против полезности и даже этичности оценки интеллекта путем определения IQ или единого показателя интеллекта g (проявляющегося при различных тестах, в том числе при расчете IQ). По его словам, g — не что иное, как артефакт математических манипуляций[13]. При определении баллов IQ и g, разумеется, возникает ошибка, но все-таки они не только отражают процедуру их расчета, но и основаны на наблюдениях (тестах). И поскольку теперь мы понимаем, что измерение вовсе не означает «полного отсутствия ошибки», возражение о невозможности количественной оценки интеллекта из-за погрешностей тестов, по меньшей мере, беспомощно.
Более того, другие исследователи считают: точка зрения, что показатели интеллекта не являются характеристиками реального явления, не согласуется с хорошей корреляцией таких показателей, рассчитанных разными способами[14], а также с социальным феноменом криминального поведения людей или индивидуальными доходами[15]. Как IQ может быть совершенно произвольным числом, если он соответствует наблюдаемой реальности? Я не пытаюсь здесь решить этот спор, но мне интересно, как Гулд распорядился бы средствами, выделяемыми на защиту окружающей среды от токсических веществ, влияющих на умственное развитие. Рассмотрим пример с диметилртутью, которая приводит к снижению IQ у детей. Считает ли Гулд, что на самом деле она такого эффекта не оказывает, или же он думает, что даже если эффект наблюдается, мы не вправе его оценивать, поскольку значения IQ были определены с погрешностью? В любом случае в итоге нам придется проигнорировать наносимый токсическими веществами вред здоровью, а отсутствие полной информации заставит направить ресурсы на другую программу. Бедные дети!
Когда между полным невежеством и возможностью хоть немного восполнить пробелы в своих знаниях выбирают полное невежество, вряд ли это можно назвать высокими моральными устоями. Если решения принимаются в условиях высокой неопределенности, хотя ее и можно снизить, то политики (или даже руководители таких компаний, как авиастроительные) сильно рискуют неправильно распределить ограниченные ресурсы и в результате создать угрозу для нашей жизни. В измерениях, как и во многих других областях человеческой деятельности, невежество не только расточительно, но и опасно.
Невежество никогда не может быть лучше знания.
Навстречу универсальному подходу к измерению
Итак, мы узнали о людях, обладавших интересными интуитивными подходами к измерению. Мы познакомились с тем, как следует рассматривать главные возражения против проведения измерений, в том числе некоторые «измеренческие» максимы, и познакомились с несколькими интересными примерами количественной оценки. Мы выяснили, что люди считают объект не поддающимся измерению только из-за своих ошибочных представлений. Все это вместе очерчивает общие рамки схемы измерения. Чтобы завершить дело, нам нужно добавить к ней еще несколько понятий. Данная схема, как оказалось, лежит в основе разработанного мною метода прикладной информационной экономики.
При всем разнообразии возникающих на практике задач по измерению мы все же предложим такую последовательность шагов, которой следует придерживаться при проведении количественной оценки практически любого вида. Таким образом, мы можем разработать универсальный подход. Каждый элемент этого подхода хорошо известен специалистам разных областей науки или отраслей экономики, но никто еще не объединял их в единый логически последовательный метод. Предлагаемый универсальный подход требует ответов на шесть перечисленных далее вопросов.
1. Что вы пытаетесь измерить? Что на самом деле представляет собой этот якобы неизмеримый объект?
2. Почему вы хотите его измерить? Какое решение будет принято по результатам измерения, и каким должно быть «пороговое значение» определяемого показателя?
3. Что вам известно сейчас — какие интервалы или вероятности представляют нынешнюю неопределенность?
4. Какую ценность имеет данная информация? К каким последствиям приведет ошибка, какова ее вероятность и какие усилия, связанные с измерением, будут оправданы с экономической точки зрения?
5. Какие наблюдения, затраты на которые будут оправданы ценностью требуемой информации, позволят подтвердить или исключить различные возможности? Что именно мы должны увидеть сразу, если сбудется тот или иной сценарий?
6. Как учесть такие ошибки при измерении, которых можно избежать (опять при условии, что затраты оправдаются ценностью информации)?
Более подробно каждый шаг описываемого подхода будет рассмотрен в последующих главах, но частично мы о них уже говорили.
Выгоды взгляда на мир «калиброванными» глазами, которые видят все через призму количественной оценки, были той исторической силой, которая двигала вперед науку и способствовала повышению экономической эффективности. Измерение — один из основных инстинктов человека, однако этот инстинкт подавляется в условиях, когда люди предпочитают создавать комитеты и добиваться консенсуса вместо того, чтобы делать простые наблюдения. Многим менеджерам даже не приходит в голову, что «нематериальное» можно измерить с помощью простых и остроумных наблюдений.
Из предыдущего знакомства с концепцией измерения люди часто выносят свои предубеждения. Все мы сталкивались с основными понятиями теории измерений, например в университетской химической лаборатории, но вряд ли научились чему-то, кроме того, что измерения всегда точны и что количественно оценить можно только то, что поддается непосредственному наблюдению и количественному выражению. Однако, видимо, университетская статистика приводит в замешательство столько же людей, сколько информирует. Когда мы идем на работу, то видим, что специалисты любого профиля и квалификации просто завалены задачами по измерению совсем не столь легко поддающихся оценке объектов, с какими мы имели дело на семинарах. Взамен мы узнаем, что некоторые вещи просто не поддаются измерению. Однако, как мы видели, «неизмеримость» — это миф. Задачу по измерению можно решить. Вопрос «Сколько?» позволяет взглянуть на любую задачу под нужным углом зрения, и даже самые сложные проблемы измерения решаемы, если только осознать, к каким последствиям приведет отказ от их решения.