Глава 8. Переход от объекта к способу измерения
Применив уроки предыдущих разделов к своей задаче по измерению, вы определили объект наблюдения, количественно оценили имеющуюся неопределенность, связанную с ним, и рассчитали стоимость информации, которую хотите получить. Все это делается обычно до начала измерений. Теперь же мы должны подумать о том, как сократить неопределенность, иными словами, ее измерить.
Пришло время рассказать о нескольких эффективных и удобных в применении эмпирических методах. Мы уже дали определение термину «измерение», отметим, что часто используемое выражение «эмпирическое измерение», в сущности, избыточно. Ведь эмпирическим является факт, подтверждаемый наблюдениями (возможно, вы даже слышали такую избыточную фразу, как «эмпирическое наблюдение»). Эмпирические методы представляют собой формализованный систематизированный подход к осуществлению наблюдений, позволяющий предотвратить или, по крайней мере, снизить число допускаемых при этом ошибок определенного типа. Вопреки распространенному заблуждению наблюдение вовсе не сводится к визуальному. Наблюдать за явлениями даже не всегда нужно напрямую; эффективность можно повысить, используя инструменты измерения, что почти всегда и делается в естественных науках.
В научной литературе нередко описываются остроумные эмпирические методы, удивляющие и экспертов в данной области, и широкую публику. Многие, наверное, были бы поражены, узнав, что статистики нашли способ (о котором мы подробнее расскажем позже) определить число танков, произведенных Германией во время Второй мировой войны, на основе всего-навсего серийных номеров захваченных в боях машин. Был найден даже способ установить, когда у младенцев появляется пространственное зрение, хотя они в этом возрасте еще не разговаривают.
Однако мы обсуждаем то, что считают неизмеряемым в бизнесе. К счастью, подобные оценочные задачи, как правило, решаются не самыми сложными методами. Стоит еще раз напомнить, что цель книги — показать: многое из того, что менеджеры компаний считают не поддающимся измерению, на самом деле вполне можно оценить количественно. Вопрос только в том, заслуживает ли данный объект измерения, то есть не превысят ли связанные с этим затраты стоимость полученной в результате информации.
В большинстве своем подобные задачи решаются несколькими сравнительно простыми способами. На самом деле, как мы уже выяснили, реальным препятствием в этом является не отсутствие знания многочисленных сложных методов, а непонимание сущности измерения. В конце концов, в тех отраслях, где используются достаточно сложные методы оценки, дискуссии о возможности измерить тот или иной объект — большая редкость. Ведь все эти сложные методы разрабатывались, поскольку кто-то понял, что какой-то объект измерим. Ну зачем писать двухтомный трактат, например, по количественным методам клинической химии, если автор и целевая читательская аудитория с самого начала были уверены в принципиальной невозможности такого анализа?
Описывать специальные количественные методы, используемые в различных научных дисциплинах, я предоставлю другим. Ведь вы выбрали эту книгу потому, что хотите узнать, как математически строго обращаться с иными, «мягкими» объектами измерения.
В данной главе зададим себе следующие вопросы, которые помогут нам выбрать подходящую категорию методов измерения.
• Каковы составляющие интересующего вас объекта? Разложите неизвестный объект так, чтобы по составляющим, характеризующимся собственными неопределенностями, оценить целое.
• Как интересующий вас объект или его составляющие измерялись ранее? Вполне возможно, что вы не первый, кто столкнулся с подобной задачей, и что на данную тему даже существует обширная литература. Анализ работ других авторов называется вторичным исследованием.
• В чем проявляют себя выявленные вами составляющие объекта измерения? Вы уже ответили на вопрос, как можно наблюдать интересующий вас объект. Проделайте то же относительно его составляющих. Возможно, и в этом вам помогут вторичные исследования.
• Что на самом деле нам необходимо знать, чтобы проводить измерения? Примите в расчет оцененную ранее нынешнюю степень неопределенности, порог и стоимость информации. Все эти ориентиры помогут вам выбрать правильный подход к измерению.
• Что может вызвать ошибку? Подумайте над тем, каким образом наблюдения могут ввести вас в заблуждение.
• Какой инструмент следует выбрать? Ответы на предыдущие вопросы помогут вам выбрать или разработать подходящий инструмент измерения. Возможно, как и раньше, полезными окажутся вторичные исследования.
Теперь, не забывая об этих вопросах, мы можем обсудить, какие инструменты используются для измерения.
Инструменты наблюдения: введение в инструментарий измерений
Названия предметов и явлений, варианты изменения этих названий со временем немало рассказывают о развитии наших представлений. Хороший тому пример — научные инструменты. До промышленной революции, особенно в эпоху европейского Возрождения, их нередко называли инструментами философского поиска. Научные инструменты использовали для поиска ответов на «глубинные» вопросы того времени. Галилей с помощью маятника и наклонной плоскости, по которой он скатывал шарики, рассчитал ускорение свободного падения (история о том, как он бросал с Пизанской башни разные предметы, скорее всего, вымысел). Даниэль Фаренгейт с помощью ртутного термометра дал количественную оценку тому, что раньше называлось «качеством» температуры. Но эти устройства позволили не только назвать точные числа, но и узнать нечто новое о мире, в котором жили эти ученые. Каждое из устройств предоставило своим создателям возможность наблюдать за той стороной мира, которая ранее была скрыта от всеобщего обозрения.
А тех, кто пользовался этими приборами, называли в те времена даже не учеными, а натурфилософами, которые не пропадали день и ночь, как нынешние исследователи, в научных лабораториях, а были, скорее, хорошо образованными людьми. За немногими исключениями, они располагали и временем, и средствами, необходимыми для конструирования дорогостоящих устройств, или имели состоятельных покровителей — так же, как многие художники. Используемые ими приборы были нередко не только функциональными, но богато украшенными произведениями искусства и приобретались с целью продемонстрировать хороший вкус, а также научную любознательность (хотя иногда и то и другое было только видимостью).
В конце XIX века, во времена таких изобретателей, как Томас Эдисон и Александр Грейам Белл, исследования и разработки превратились в крупномасштабный бизнес. До этого инструменты нередко изготавливались по индивидуальному заказу; ко времени Эдисона и Белла научные приборы стали стандартными и началось их массовое производство. Кроме того, они приобрели более утилитарный вид. Если раньше просвещенные господа демонстрировали свои новые микроскопы гостям наряду с дорогими предметами искусства, то микроскопы изобретателей времен промышленной революции годились для показа только в лабораториях, условия работы в которых по нынешним меркам были просто каторжными. Неудивительно, что именно тогда наука и научные наблюдения стали ассоциироваться у широкой публики не с увлекательной погоней за глубокими знаниями, а с тяжелым и изнурительным трудом.
Даже сегодня для многих инструмент измерения обычно означает прибор (быть может, элемент сложного электронного оборудования), предназначенный для количественного определения какого-то малоизученного физического явления. Примеры — счетчик Гейгера для регистрации уровня радиации и служащие для определения массы весы. Однако многие специалисты в различных областях вкладывают в термин «инструмент» гораздо более широкий смысл. Так, в сфере образования исследователи называют инструментом опрос, тест или даже отдельный вопрос теста, и такое использование данного понятия вполне правомерно.
Как и любой другой инструмент, инструмент измерения дает своему пользователю определенные преимущества. Простой механический инструмент подобен рычагу, приумножающему мускульную силу человека. Аналогично инструмент измерения улучшает работу его органов чувств, обнаруживая вещи, незаметные при непосредственном наблюдении. Кроме того, он облегчает осмысление и запоминание, ускоряя расчеты и гарантируя сохранение их результатов. Даже тот или иной экспериментальный прием, безусловно, облегчает человеческое восприятие и поэтому тоже может считаться инструментом измерения. И стремясь узнать, как можно измерить все, что угодно, мы должны использовать данный термин именно в самом широком смысле слова.
Нередко менеджеры считают что-либо не поддающимся измерению просто потому, что данные о нем еще не собраны полностью и к ним нет легкого доступа. Они могут придумать, как оценить будущие продажи, — ведь необходимые для этого данные уже собрали и им предоставили. Но вряд ли таким управленцам сразу придет в голову мысль, что определение некоторых показателей потребует целенаправленного наблюдения с применением таких, например, инструментов измерения, как опрос или эксперимент.
Возможно, менеджеры проявляли бы больше изобретательности в использовании инструментов измерения, обладай они той увлеченностью, с какой охотились за тайнами окружающего мира Галилей и Фаренгейт. Эти естествоиспытатели относились к измерительным приборам не как к сложным приспособлениям, применяемым только посвященными для своих загадочных исследований. Устройства Галилея и Фаренгейта были просты и очевидны. От современных менеджеров они отличались и тем, что не забраковывали инструменты только из-за присущих им недостатков или ошибки измерения. Приборы всегда дают какую-то погрешность. Вопрос только: «По сравнению с чем?» По сравнению с наблюдением невооруженным глазом? По сравнению с нежеланием даже попытаться что-то измерить? Не забывайте: цель измерения — снижение неопределенности, а вовсе не обязательно ее полное устранение.
Обычно применение инструментов дает шесть преимуществ. Но если таких преимуществ и меньше, инструмент не перестает быть инструментом. Нередко даже одно преимущество — уже шаг вперед по сравнению с наблюдением невооруженным глазом.
1. Инструменты обнаруживают то, что вы заметить не можете. Вольтметр регистрирует напряжение в цепи, микроскоп увеличивает изображение, камера Вильсона фиксирует следы субатомных частиц. Эти свойства инструментов обычно вспоминают первыми, однако значение данного преимущества преувеличивают.
2. Инструменты более последовательны. Когда люди полагаются только на свои чувства, их выводы отличаются большой противоречивостью. Любой инструмент, будь то весы или опрос потребителей, как правило, дает более последовательные результаты.
3. Инструменты можно калибровать для учета ошибки измерения. Калибровка — это измерение объекта, чьи параметры вам известны, с целью проверки точности самого инструмента. Весы калибруют, поместив на них груз, масса которого, как мы знаем, составляет ровно 1 грамм. Мы калибровали вашу способность оценивать вероятность, задавая вопросы, ответы на которые известны. Таким же образом мы определяем, какую погрешность дает тот или иной инструмент.
Нередко погрешность инструмента можно компенсировать регулировкой. Так, в ходе управляемого эксперимента текущее состояние измеряемого объекта сравнивают с исходным. Если вы хотите узнать, привело ли внедрение автоматизированной системы продаж к росту числа повторных заказов, то должны сравнить результаты тех торговых представителей, которые ею пользуются, и тех, кто нет. Возможно, одни продавцы применяют данную систему чаще, чем другие, или она внедрена еще не во всех регионах и не для всех продуктовых линеек (подробнее об этом см. следующую главу).
4. Инструменты намеренно чего-то не замечают. Инструменты полезны тем, что игнорируют все, что искажает результаты наблюдения невооруженным глазом. Например, когда учителя проверяют экзаменационные работы, на которых не указаны фамилии учащихся, это исключает возможность того, что кто-то поставит завышенную оценку своему любимчику. В клинических научных исследованиях ни доктор, ни пациент не знают, кто принимает лекарство, а кто плацебо. Благодаря этому пациенты не могут исказить информацию о своих ощущениях, а доктор — свой диагноз.
5. Инструменты регистрируют. Хороший тому пример — старый добрый электрокардиограф, регистрирующий на длинной бумажной ленте сердечную деятельность. Конечно, сегодня вся документация ведется в электронном виде. Инструменты не полагаются больше на избирательную и ненадежную человеческую память. Игроки, например, обычно переоценивают свои способности потому, что на самом деле не следят за тем, сколько выигрывают и проигрывают. Ведь для них лучший показатель успеха — деньги на банковском счете.
6. Инструменты измеряют быстрее и дешевле, чем человек. Теоретически можно нанять достаточное число людей, чтобы они ежедневно и ежечасно пересчитывали все товары на полках большого продовольственного магазина. Но стандартные сканеры делают это дешевле. Полицейский может определить скорость машины с помощью часов с секундомером и указателей расстояния, но радар сделает это точнее, а главное, еще до того, как нарушитель скроется из виду. Даже если инструмент не дает больше никаких преимуществ, уже одно только снижение затрат оправдывает его использование.
С этой точки зрения, пастух, считающий овец с помощью веревки с узелками, тоже пользуется инструментом. Веревка калибрована, она регистрирует, и без нее пастух наверняка сделал бы больше ошибок. Методы выборки и экспериментальные приемы, даже не предполагающие использование каких-либо механических или электронных приборов, — сами по себе инструменты, причем их так нередко и называют. Кто-то может возразить против подобного широкого толкования понятия «инструмент измерения», указав, например, на то, что опрос клиентов не всегда обнаруживает информацию, которую человек обнаружить не в состоянии. Но опрос, по крайней мере, должен быть последовательным и калиброванным. А если он проводится по Интернету, то обойдется дешевле и проанализировать его результаты будет легче (подробнее об этом см. главу 13). Те, кто не считает опрос покупателей инструментом измерения, забывают о самой сущности измерения, о том, насколько приблизительными были бы их знания, не располагай они этим инструментом.
Существует столько методов измерения, предложенных для решения самых разнообразных задач, что ни одна книга не вместила бы в себя их подробного описания. Но это изобилие только лишний раз убеждает нас, что какая бы задача измерения ни возникла, ее решение уже существует. И хотя данная книга не претендует на звание энциклопедии измерения, несколько приведенных в ней широких категорий методов позволяют решать огромное число проблем. Более того, эти методы можно использовать в различных сочетаниях, получая таким образом разнообразные подходы к решению конкретных задач.
Памятуя о своей решимости измерить все, что угодно, повторим здесь еще раз четыре полезные предпосылки измерения, о которых мы говорили в главе 3.
1. Не изобретайте велосипед — это уже сделали до вас.
2. У вас есть доступ к гораздо большему объему информации, чем вам кажется, — требуются только изобретательность и исходные наблюдения.
3. Вам нужно меньше данных, чем вы предполагаете, если придумать, как их проанализировать.
4. Нужный вам метод измерения наверняка проще, чем казалось вначале.
Разложение на составляющие
Некоторые очень полезные методы, снижающие неопределенность, технически измерениями не являются, так как не предполагают проведения новых наблюдений. Однако нередко они очень помогают продвинуться в выборе подходящего способа измерения. Порой они позволяют оценщику понять, что на самом деле он знает больше, чем думал, когда давал первоначальную калиброванную оценку. Один из таких методов я называю «разложением на составляющие». Разложение на составляющие позволяет понять, как измерить что-то совершенно неизвестное, предварительно оценив его составляющие с меньшими неопределенностями или, по крайней мере, легче подающиеся измерению.
Многие измерения начинаются с разложения неизвестной величины на составляющие с целью выявления того, что можно наблюдать непосредственно и что легче поддается количественной оценке.
Если вы вспомните начало книги, то поймете, что Эратосфен в свое время осуществил именно разложение. Ведь он не стал измерять длину окружности Земли напрямую. Вместо этого он определил математическое соотношение между длиной окружности и проявляющимся в длине тени углом падения солнечных лучей на разных широтах. Длина тени и стала тем простым наблюдением, на основе которого Эратосфен сумел рассчитать то, что хотел. «Вопросы Ферми» — это тоже всего лишь прием, позволяющий разложить проблему на составляющие. Столкнувшись с трудной задачей по измерению, Ферми не опустил руки, а просто разделил ее на несколько и последовательно решил каждую из них. В то время как его исходную переменную (число настройщиков пианино Чикаго) определить было как будто невозможно, оказалось, что она является функцией других, более легких для оценки величин.
Фактически, большинство измерений в эмпирических науках осуществляются именно таким образом — опосредованно. Например, масса электрона и масса Земли были определены вовсе не по прямым наблюдениям. Были проведены другие исследования, которые и позволили рассчитать эти величины.
Разложение особенно полезно, например, при оценке затрат на реализацию крупного строительного проекта. Основываясь на прошлых затратах на аналогичные проекты, вы можете оценить их в 10–20 млн дол. Но когда разобьете свой конкретный проект на несколько составляющих и определите примерные диапазоны затрат по каждой из них, то получите, в конце концов, такой интервал совокупных затрат, который будет существенно уже первоначального. При этом вы не сделаете никаких новых наблюдений, а просто построите более развернутую модель на основе уже известных данных. Более того, вы можете обнаружить такую статью будущих затрат, о которой не знаете абсолютно ничего (например, затраты на оплату труда рабочих определенной специальности). И одно только это открытие уже сильно приблизит вас к желаемому результату.
Разложение может использоваться и при прогнозировании роста эффективности. Предположим, появился новый процесс или технология, способная повысить производительность труда определенной группы работников. Но, оценивая ее возможный рост, эксперты указали очень широкий интервал (5–40 %), объяснив это незнанием многих факторов, способных повлиять на данный показатель. Например, они не знают, сколько точно человек будет занято на участке, где внедряется данная технология.
Определение численности людей, занятых каким-либо видом деятельности, представляется простым и очевидным этапом этого измерения. Но те, кто уверен в неизмеримости какого-то фактора, обычно возражают и против этого. В подобных случаях большую помощь в преодолении подобных преград оказывают фасилитаторы.
Фасилитатор: Ранее вы сказали, что в случае внедрения новой автоматизированной программы управления документооборотом эффективность труда ваших инженеров увеличится на 5–40 %. Поскольку именно этот показатель несет особую информационную ценность для обоснования инвестиций в новое программное обеспечение, мы должны уточнить вашу оценку.
Инженер: Ну, это будет непросто. Разве можно измерить такую нематериальную вещь, как эффективность труда? Мы даже не следим за управлением документооборотом как за отдельным видом деятельности и поэтому не знаем, сколько времени тратится на него сейчас.
Фасилитатор: Однако вы, очевидно, предполагаете, что эффективность повысится — ведь на выполнение каких-то операций у инженеров будет уходить меньше времени, не так ли?
Инженер: Да, это так.
Фасилитатор: На какие виды деятельности инженеры тратят больше всего времени сейчас и на какие будут тратить его намного меньше после установки новой программы? Будьте как можно конкретнее.
Инженер: О’кей. Думаю, что они будут тратить меньше времени на поиск нужных документов. Но это только одна статья.
Фасилитатор: Хорошо. Начало положено. Сколько времени в неделю уходит на такие поиски сейчас и как, по вашему мнению, сократятся временные затраты? Пока что нам подойдут и калиброванные оценки.
Инженер: Ну, думаю, я на 90 % уверен, что средний инженер тратит на поиски нужных бумаг от одного до шести часов в неделю. Все технические условия на оборудование, чертежи, руководства и прочее хранятся в разных местах, при этом большинство не в электронном виде.
Фасилитатор: Хорошо. Сколько времени удастся сэкономить, если они будут сидеть за своими столами и просто делать запросы?
Инженер: Даже я, когда пользуюсь такими поисковыми машинами, как Google, все равно трачу много времени, отбрасывая ненужную информацию, поэтому компьютеризация уменьшит временные затраты вовсе не на 100 %. Но я уверен, что они сократятся, по крайней мере, вдвое.
Фасилитатор: Зависит ли это от вида деятельности инженеров?
Инженер: Конечно. Инженеры, выполняющие руководящие функции, тратят на это меньше времени. За них поиск документов выполняют подчиненные. А инженерам, занимающимся вопросами соблюдения законодательных и иных требований, постоянно приходится искать разные документы. Программой будут пользоваться и техники.
Фасилитатор: Отлично. Сколько инженеров и техников относятся к каждой из этих категорий и сколько времени каждый из них тратит на подобную деятельность?..
Так мы продолжали до тех пор, пока не выявили разные категории персонала, каждой из которых соответствовали свои временные затраты на поиск документов и свой потенциал снижения этих затрат. Сотрудники компании могут отличаться друг от друга и по темпам освоения новой технологии, и по другим признакам.
Приведенный выше диалог фактически является реконструкцией реального разговора, состоявшегося у меня с инженерами одной крупной американской АЭС. На нашей встрече мы определили и другие функции, такие как дистрибуция, контроль качества и т. д., затраты времени на выполнение которых могут сократиться с внедрением автоматизированной системы управления документооборотом. Время выполнения этих функций также зависело от служебных обязанностей инженера или техника.
Короче говоря, причиной такого широкого интервала значений возможного роста эффективности труда, который указали инженеры АЭС, частично оказалось то, что они знали обо всех этих различиях между инженерами, выполняющими разные обязанности, но не смогли разбить их по категориям. Когда это было сделано, обнаружилось, что некоторые величины (например, число инженеров в каждой группе или разное время поиска документов инженерами разных категорий) были известны и что неопределенность исходного значения объяснялась в основном незнанием всего одного или двух показателей. Если бы мы обнаружили, что в затратах времени на копирование или поиск потерянных документов они сомневаются больше, чем в том, в какие группы нужно объединить инженеров, то начали бы свои измерения с выяснения информации о затратах, а не с распределения работников по категориям.
Эффект разложения на составляющие состоит в том, что сам процесс нередко обеспечивает такое значительное снижение неопределенности, что дальнейшие наблюдения становятся ненужными.
За последние 10 лет мне довелось 55 раз анализировать соотношение риска и доходности, при котором приходилось учитывать в общей сложности более 3300 переменных, то есть в среднем примерно по 60 переменных на один проект. Из них лишь около 120 (всего по две на один проект) потребовали дополнительного уточнения после определения стоимости информации. Большинство из этих 120 величин (около сотни) пришлось разложить на более легкие для оценки составляющие. Прочие переменные поддавались оценке более прямыми и очевидными методами. Например, чтобы определить расход топлива у грузовика при движении по дороге, покрытой гравием, было достаточно просто проехать на нем с включенным расходомером, а оценить число вирусов в программном обеспечении можно было, выборочно проверив коды.
Почти треть из тех переменных, что были разложены на составляющие (около 30), не потребовали после разложения дальнейшего уточнения. Иными словами, около 25 % всех измерений с высокой стоимостью были произведены с помощью одного только разложения. Калиброванные эксперты уже знали о данной переменной вполне достаточно, они просто нуждались в более развернутой модели, точнее выражавшей имевшиеся у них знания.
Нам пришлось оценить одну или более составляющих примерно двух третей всех разложенных на элементы переменных. Например, разрабатывая прогноз роста эффективности труда, мы попросили группу работников оценить время, затрачиваемое ими на определенный вид деятельности. Для таких величин разложение на составляющие стало важным шагом вперед к пониманию способа, каким их можно оценить. Весь процесс разложения сам по себе — процесс постепенного прозрения скептиков, считающих объекты и явления не поддающимися измерению. Используя разложение, мы, подобно инженеру, перед которым поставили непростую задачу построить подвесной мост совершенно новым способом, методично решаем все проблемы измерения, разлагая их на элементы. Как и этому инженеру-мостострои-телю, анализ составляющих на каждом этапе позволяет нам заново сформулировать и уточнить стоящую задачу. Разложение на составляющие переменной, «не поддающейся оценке», — важный этап, иногда он и сам по себе достаточно снижает неопределенность.
Вторичные исследования: предположим, что до вас этот объект уже измеряли
Похоже, что, приступая к измерениям в бизнесе, некоторые толковые предприниматели обычно исходят из того, что им, раз уж они так умны, придется самим придумывать метод количественной оценки интересующего объекта. Однако на самом деле в большинстве случаев подобные инновации вовсе не требуются.
Ни одно научное исследование не начинается с первой случайной выборки или экспериментального наблюдения. Не начинается оно и с разработки метода выборки или способа проведения эксперимента. Исследование начинается с вторичных исследований, то есть с анализа результатов, полученных до вас. Вторичные исследования отличаются от первичных, во время которых исследователи сами делают свои наблюдения. Несмотря на название, вторичные исследования всегда предшествуют первичным. Все исследователи считают само собой разумеющимся, что проблемой уже кто-то занимался. Об этом говорит и первое из четырех сформулированных нами «рабочих предпосылок» измерения (см. главу 3): «Ваша проблема совсем не так уникальна, как вы думаете. Предположите, что кто-то уже решил ее до вас или, по крайней мере, уточнил». Эта предпосылка почти всегда оказывается правильной.
Анализ имеющейся литературы, похоже, еще не вошел у менеджеров в привычку. Но проводить его стало намного легче. Сегодня почти все мои исследования начинаются с поиска информации в Интернете. Какую бы задачу по измерению я ни пытался решить, обязательным этапом является «домашнее задание» в Google или Yahoo. Потом я, конечно, все равно отправляюсь в библиотеку, но уже лучше представляю, что мне нужно.
Даю несколько советов по использованию Интернета для вторичных исследований. Быстро найти нужную вам информацию по методам измерения вы сможете только при условии, что укажете в строке «Поиск» нужные слова. Умение эффективно пользоваться Интернетом приходит с практикой, но, возможно, вам пригодятся следующие советы:
• Если предмет мне совершенно незнаком, то я начинаю вовсе не с Google, а с онлайновой энциклопедии Wikipedia.org. Она содержит свыше миллиона статей, многие из которых посвящены проблемам бизнеса и техники, кажущимся слишком спорными для освещения в традиционных энциклопедиях. В хорошей статье обычно имеются ссылки на другие сайты, а по спорным вопросам приводятся несколько точек зрения, чтобы вы могли сами выбрать наиболее подходящую.
• Ищите по словам, которые ассоциируются с исследованиями и количественным анализом. Если вам необходимо оценить качество программного обеспечения или мнение потребителя, ищите не только по этим словам — найдете только общие рассуждения. Ищите по таким словам, как «таблица», «опрос», «контрольная группа», «корреляция» и «стандартное отклонение», которые обычно фигурируют в более содержательных исследованиях. Кроме того, в серьезных поисках обычно используют такие слова и словосочетания, как «университет», «доктор наук» и «общенациональные исследования».
• Помните, что в Интернете есть не только поисковые машины, но и хранилища специальной информации. Недостатком таких мощных поисковиков, как Google, является то, что вы, получив тысячи совпадений, можете все же не найти необходимой информации. Но попытайтесь заходить на сайты отраслевых или научных журналов. Если меня интересует национальная или мировая экономическая статистика, то я отправляюсь прямиком на такие сайты, как сайт Бюро переписи населения США, Министерства торговли и даже ЦРУ («World Fact Book» — «Всемирная книга фактов ЦРУ» — место, где я всегда нахожу самые разнообразные данные международной статистики). Совпадений окажется меньше, а нужных данных будет больше.
• Используйте несколько поисковых машин. Даже всесильный на первый взгляд Google пропускает статьи, которые быстро находят другие машины. Лично я помимо Google пользуюсь clusty. com и yahoo.com.
• Найдя исследования не совсем по своей теме, в которых, тем не менее, упоминается интересующий вас вопрос, обязательно посмотрите библиографию. Иногда ее изучение — лучший способ отыскать нужные данные.
Основные методы наблюдения: не работает один — попробуйте другой
Подробное описание того, как вы представляете себе или распознаете предполагаемый объект измерения, — полезный прием при выборе метода его количественной оценки. Наличие любых оснований считать, что объект вообще существует, означает: вы его так или иначе наблюдаете. Когда кто-то утверждает, что удовлетворенность потребителей значительно повысится в случае сокращения времени ожидания ответа у телефона, он делает это, основываясь на каких-то аргументах: возможно, поступали жалобы от клиентов; возможно, с ростом компании наметилась тенденция к сокращению числа довольных покупателей. Измерения почти всегда проводятся для проверки достоверности какой-то идеи, а эти идеи возникают не на пустом месте.
Выявив неопределенность, установив соответствующие пороги и рассчитав стоимость информации, вы уже обнаружили нечто, в принципе поддающееся наблюдению. Обдумайте несколько этапов, связанных с характером наблюдений, — своеобразный каскад эмпирических методов. Если вам не подойдет первый подход, попробуйте следующий и т. д. Вопросы приведены в произвольном порядке, но, возможно, в некоторых ситуациях вам будет удобнее начать с первого, а потом перейти к другим.
1. Оставляет ли интересующий вас объект какие-либо следы после себя? Практически все явления, какие только можно вообразить, оставляют после себя некое доказательство своего осуществления. Рассуждайте, как следователь. Приводит ли объект, событие или вид деятельности, который вы хотите измерить (оценить), к последствиям, оставляющим после себя какие-нибудь следы? Пример: длительное ожидание ответа у телефона заставляет некоторых клиентов, позвонивших в службу поддержки, дать отбой. Это должно приводить, по меньшей мере, к убыткам в бизнесе, но каким именно? Почему люди не дожидаются ответа — по каким-то своим причинам или из-за раздражения от проволочки? В первом случае они перезвонят, а во втором — нет. Выявив хотя бы несколько человек из тех, кто повесил трубку, и связав это с сокращением объемов их покупок, вы получите подсказку. Сумеете ли вы установить корреляцию между числом клиентов, не дождавшихся ответа, и снижением продаж своей продукции? (См. пример «Оставшийся след».)
2. Если явление не оставило следов, попробуйте понаблюдать за ним или какой-то его составляющей непосредственно. Вы наверняка не подсчитывали, сколько машин с номерами других штатов скапливается на парковке у магазина, — теперь можете сделать это. Конечно, дежурить на парковке целый день нецелесообразно, но вполне приемлемо подсчитать такие автомобили в какие-то произвольно выбранные часы работы магазина.
3. Если объект измерения, по всей видимости, не оставил после себя никаких определяемых следов, а непосредственное его наблюдение без дополнительных инструментов кажется невозможным, можете ли вы придумать способ обнаружить последствия сейчас? Если до сих пор объект никаких следов не оставил, его можно «пометить», чтобы они проявились, по крайней мере, теперь. Например, Amazon.com предоставляет бесплатную подарочную упаковку, чтобы следить за тем, сколько книг приобретается в подарок. Раньше создателей сайта эта информация не интересовала. Введение новой услуги «мешки» позволило им получить такие сведения. Другой пример — раздача купонов покупателям, давшая владельцам магазинов возможность следить в том числе и за тем, какие газеты читают их клиенты.
4. Если наблюдение в существующих условиях не дает нужных результатов (когда имевшейся или вновь собранной информации недостаточно), то нельзя ли «заставить» интересующий вас феномен проявиться в других условиях, в которых наблюдать за ним будет проще? Пример: владелец сети магазинов хочет узнать, как новые правила возврата бракованных товаров повлияют на удовлетворенность покупателей и объемы продажи. Он должен опробовать их сначала в одном магазине, оставив в других все по-прежнему, и сравнить результаты.
1. Идите по следу, как заправский детектив. Проводите «криминалистический анализ» уже имеющейся у вас информации.
2. Используйте непосредственное наблюдение. Начните смотреть, подсчитывать и по возможности делайте выборочные оценки.
3. Если до сих пор объект не оставлял после себя следов, «пометьте» его, чтобы следы наконец появились.
4. Если выйти на след никак не удается, создайте условия, в которых появится возможность наблюдать за объектом (проведите эксперимент).
Перечисленные методы применимы и тогда, когда требуется оценить происходящее в настоящее время (например, текущие продажи, обусловленные положительными отзывами покупателей), и тогда, когда нужно сделать прогноз (ожидаемого совершенствования рекламы, базирующейся на отзывах потребителей о новой характеристике товара, повышения качества обслуживания и т. д.). Когда возникает необходимость оценить текущее состояние, вся необходимая для этого информация уже имеется. Но когда составляется прогноз, приходится решать, что из уже наблюдаемого дает основания ожидать улучшения. Если же в прошлом нельзя найти ничего, что позволяет надеяться на прогресс, то на чем вообще базировались подобные ожидания?
И помните: чтобы обнаружить след, «пометить» объект или провести эксперимент, нужно понаблюдать всего за несколькими явлениями из случайной выборки. Не забывайте и о том, что выявленные составляющие объекта порой измеряются разными способами. И не стоит сразу беспокоиться из-за проблем, которые часто возникают в ходе применения приведенных выше методов. Просто решите, какой из них проще и практичнее применить именно сейчас.
Один крупный европейский дистрибьютор лакокрасочной продукции попросил меня оценить влияние скорости работы сети на объемы продаж, так как от этого показателя зависела быстрота ответов на входящие звонки клиентов. Поскольку офисная АТС вела учет всех звонков, в том числе и прерванных абонентами в период ожидания, а торговый персонал хранил данные о степени занятости (а следовательно, о времени отклика) за прошлые периоды, я порекомендовал провести перекрестный анализ обоих массивов данных. В результате оказалось, что когда нагрузка на сбытовую сеть возросла, клиенты стали обрывать звонки чаще. Изучались также ситуации прошлых периодов, когда сеть работала медленнее по другим причинам, а не из-за того, что ею активно пользовалась служба поддержки, а также динамика продаж. В результате компания сумела выявить ту разницу в продажах, которая объяснялась исключительно более медленной работой сети.
Не измеряйте точнее, чем нужно
В главе 7 мы рассказали о том, как рассчитать стоимость информации, необходимой для принятия решения. Определенная вами исходная неопределенность, стоимость информации и пороги дают достаточно данных о методе измерения, который действительно подходит для поставленной задачи. Если информация о том, заметили ли покупатели улучшение качества вашей продукции после перехода на новый метод производства (например, после изменения рецептуры изготавливаемого вами напитка), стоит пару тысяч долларов, то вам не удастся экономически обосновать ни небольшое маркетинговое исследование, ни даже дегустацию вслепую. Но когда эта информация стоит миллионы долларов (что более вероятно, если ваша компания крупная или хотя бы средняя), вас не запугает исследование, которое обойдется в 100 тыс. дол. и продлится несколько недель. Знание стоимости информации, порога, текущей неопределенности и решения, которое придется принять, — необходимое условие правильного выбора цели и условий измерения.
Стоимость информации определяет верхний предел затрат на проведение измерений. Но, как правило, такие затраты оказываются намного ниже. Обычно я рассчитываю, что они приблизительно составят 10 % EVPI, хотя порой они не превышают и 2 % EVPI (это минимум, из которого вы должны исходить). Я ориентируюсь на эти показатели по трем причинам. Во-первых, EVPI — это стоимость полной информации. Но все эмпирические методы дают какую-то погрешность, а наша цель — снизить неопределенность, а вовсе не получить точные сведения. Поэтому стоимость результатов наших измерений будет, по всей видимости, намного меньше EVPI. Во-вторых, начальные измерения нередко меняют стоимость результатов дальнейших измерений. Если первые итоги оказываются неожиданными, то затраты на продолжение оценки могут упасть до нуля. Это означает одно: измерения следует проводить итеративно. А поскольку у нас всегда есть возможность продолжить измерения, если нужен более точный результат, то обычно в недооценке результатов начальных оценок присутствует управляемый риск. Наконец, не забывайте о том, что кривая стоимости информации обычно круче всего идет вверх в самом начале: первая сотня изученных образцов снижает неопределенность намного больше, чем вторая.
Способ измерения объекта подсказывает порог. Если возникает необходимость оценить возможный спрос, чтобы определить объем производства, или производительность труда (для расчета премиальных выплат), то фактически порога у вас не будет. Каждое повышение точности будет иметь свою стоимость, хотя с приближением к EVPI стоимость информации будет инкрементально расти все медленнее. Но предположим, что требуется рассчитать размер рынка, так как сделанные вашей компанией инвестиции окажутся безубыточными только в случае роста рынка не менее чем на 12 % по сравнению с прошлым годом. Выбирая метод измерения, вам следует учесть, что ошибка не выше 1 % не так важна, главное — узнать, на какой стороне порога вы окажетесь. Если вы можете с достоверностью установить, что рынок вырастет менее чем на 5 %, то какова погрешность этого показателя — 1 % или 5 % — вам неважно. В этом случае главное, чтобы прогноз не показал, что рост рынка составит больше (или меньше) 12 %, когда на самом деле правильно обратное.
Наконец, о том, какой метод измерения вам потребуется, говорит и исходная неопределенность. Помните: чем выше неопределенность, тем больше информации дадут первые наблюдения. Если сначала неопределенность была очень высока, то даже методы, имеющие большую неустранимую погрешность, дадут больше сведений, чем имелось раньше.
Учитывать погрешность
Все измерения дают погрешность. Чтобы решить эту проблему, ее, как и любую другую, необходимо, прежде всего, признать. После этого мы сможем выработать стратегию, позволяющую, по крайней мере, частично компенсировать ошибки. Однако те, кто быстро пасует перед трудностями измерения, нередко исходят из того, что наличие любой погрешности означает невозможность оценки. Будь это так, измерения были бы невозможны ни в одной области науки. Но, к счастью для научного сообщества и для всех остальных, это заблуждение. Энрико Ферми может покоиться с миром.
Ученые, статистики, экономисты и большинство других специалистов, занимающихся эмпирическими измерениями, делят ошибки на две большие категории — систематические и случайные. Систематические ошибки — это постоянные, а не случайные отклонения результатов одного наблюдения от итогов другого. Например, если прогнозы доходов следующего квартала, составляемые менеджерами по продажам, постоянно оказываются завышенными в среднем на 50 %, то это ошибка систематическая. То, что завышение не всегда составляет ровно 50 %, — ошибка случайная. Случайная ошибка одного наблюдения, по определению, не поддается предсказанию, но случайные ошибки ряда наблюдений подчиняются определенной закономерности и могут быть рассчитаны с помощью теории вероятности.
Термины «систематическая» и «случайная ошибки» связаны с такими понятиями, как достоверность и точность. Достоверность отражает воспроизводимость и повторяемость результатов измерений, в то время как точность показывает, насколько результат измерения близок к «истинному» значению. Большинство считает понятия «точность» и «достоверность» синонимичными, но специалисты по измерению их определенно различают.
Показания домашних весов, специально настроенных, чтобы занижать или завышать вес, могут быть достоверными, но неточными. Они достоверны, так как будут показывать один и тот же вес каждый раз, когда один и тот же человек будет вставать на них несколько раз в течение часа (за который его вес не успеет измениться). И все же они неточны, потому что всякий раз будут показывать вес, специально заниженный, например на 3 кг. Представим себе теперь, что идеально настроенные весы находятся в движущемся автофургоне. Ухабы, ускорение или спуски и подъемы заставят их давать каждый раз иные показания, даже если взвешиваться будет один и тот же человек (становясь на них по два раза в минуту). И все же окажется, что средний ответ очень близок к его реальному весу. Вот пример довольно хорошей точности, но низкой достоверности. Это характерно и для калиброванных экспертов: они могут быть непоследовательными в своих суждениях, постоянно что-то пере- или недооценивая.
Систематическая ошибка, или систематическое отклонение (смещение) — неотъемлемое свойство процесса измерения давать определенный результат; постоянное отклонение.
Случайная ошибка — ошибка, непредсказуемая для отдельного наблюдения, непостоянная и не зависящая от известных величин (хотя в своей массе такие ошибки подчиняются законам вероятности).
Точность — характеристика измерений, дающих низкую систематическую ошибку, то есть таких, когда искомое значение не занижается и не завышается на постоянной основе.
Достоверность — характеристика измерений, дающих низкую случайную ошибку, то есть таких, которые дают аналогичные результаты, пусть и далекие от истинного значения.
Иными словами, достоверность — это низкая случайная ошибка при любой систематической ошибке, а точность — это низкая систематическая ошибка при любой случайной ошибке. Каждый вид ошибки можно учесть и компенсировать. Зная, что весы всегда показывают на 3 кг больше, мы можем скорректировать их показания. Если весы настроены точно, но дают разноречивые показания, то мы можем устранить случайную ошибку, проведя несколько измерений и рассчитать средний результат. Любое снижение того или иного вида ошибки называется контролем точности.
Случайная выборка представляет собой тип контроля точности в случае правильного ее использования. Непредсказуемые по отдельности, взятые в целом, случайные эффекты подчиняются определенным, вполне прогнозируемым закономерностям. Например, я не знаю, как упадет одна подброшенная монета, но могу сказать, что при подбрасывании 1000 монет решка выпадет 500±26 раз (способ определения этой ошибки мы еще обсудим позже). Намного сложнее оценить, даже приблизительно, систематическую ошибку. Систематические ошибки (допускаемые необъективно настроенными экспертами, определяющими качество продукции, или приборами, постоянно дающими завышенные показания) не обязательно порождают случайные ошибки, не поддающиеся количественной оценке с помощью теории вероятности.
Будь у вас выбор, что бы вы предпочли: взвеситься на разрегулированных, но достоверных весах с неизвестной погрешностью или на настроенных, но находящихся на движущейся платформе и дающих всякий раз разные показания? Я обнаружил, что в бизнесе люди нередко предпочитают достоверность с неизвестной систематической ошибкой недостоверному значению со случайной ошибкой. Например, чтобы определить, сколько времени торговые представители тратят на встречи с клиентами по сравнению с выполнением других административных задач, менеджеры, скорее всего, проанализируют все ведомости учета рабочего времени. Идея провести случайную выборку торговых представителей и изучить структуру их временных затрат вряд ли придет им в голову. Но ведомости учета рабочего времени не дают точной картины, особенно если заполняются в пятницу в 5 часов вечера перед самым уходом с работы за всю неделю сразу. Люди недооценивают время, затраченное на выполнение одних задач, переоценивают продолжительность выполнения других и непоследовательны в классификации этих задач.
Поэтому даже если анализ всех пяти тысяч ведомостей учета рабочего времени (по 50 недельных ведомостей на каждого из 100 торговых представителей) и скажет нам, что они тратят на непосредственное общение с клиентами 34 % своего времени, мы не будем знать, правда ли это. И все же эта «точная» цифра, похоже, кажется многим менеджерам вполне убедительной. Предположим теперь, что прямое наблюдение за случайно выбранными торговыми представителями в случайно выбранные моменты времени показало, что они находились на встречах с клиентами или разговаривали с ними по телефону только в 13 из 100 случаев (в этом можно убедиться, и не отвлекая торговых представителей от их занятия, а опросив их, когда они освободятся). Как показано в главе 9, для последнего измерения мы можем статистическими методами рассчитать, что 90-процентный доверительный интервал этого показателя составляет 7,5–18,5 %. Хотя метод случайной выборки и даст нам только интервал, его результат будет представлять больший интерес, чем результат анализа ведомостей учета рабочего времени. Последний способ предоставляет точное число, но мы не имеем возможности узнать, как велика погрешность и в какую сторону полученное значение отклоняется от истинного.
В 1940-х и 1950-х годах исследования Альфреда Кинси о сексуальном поведении человека дали толчок оживленным дискуссиям о сравнительных достоинствах малых случайных выборок и крупных неслучайных. Книги Кинси вызвали и большой интерес, и много споров. Получив грант от фонда Рокфеллера, Кинси сумел опросить 18 тыс. мужчин и женщин. Но его выборки были не совсем случайными. Он стремился встретиться с рекомендованными ему людьми и побеседовать с каждым представителем какой-либо группы (команды по боулингу, студенческих сообществ, книжного клуба и т. д.). По-видимому, он исходил из того, что при достаточно большой выборке погрешность компенсируется. Но в случае большинства систематических ошибок это не срабатывает — они не исключаются методом усреднения. Знаменитый статистик Джон Тьюки, которому тот же фонд Рокфеллера не позволил проверить работу Кинси, якобы сказал, что случайный выбор трех человек дал бы лучшие результаты, чем выбранная мистером Кинси группа из 300 человек. По другой версии, он сказал, что предпочитает случайную выборку из 400 респондентов отобранным Кинси 18 тыс. человек. Возможно, первое высказывание Тьюки и преувеличение, но небольшое. Он имел в виду, что выбиравшиеся Кинси группы были нередко очень близки к однородным. Поэтому, с точки зрения статистики, их можно приравнять к одному случайно выбранному человеку. Во второй версии своего высказывания Тьюки был абсолютно прав: ошибка при случайном выборе 400 человек вполне поддается количественной оценке и может быть намного меньше систематической ошибки при неправильном выборе 18 тыс. человек.
Почему люди предпочитают ложное впечатление точности ошибке случайной выборки, поддающейся количественной оценке? Как я обнаружил, нередко это происходит потому, что они путают ошибку одной выборки с ошибкой всего исследования. Да, в нашем примере с торговыми представителями в какие-то моменты вы могли обнаружить, что кто-то занят нетипичной, нерепрезентативной деятельностью, вовсе не характерной для всей группы, например готовится к командировке, хотя обычно почти никуда не ездит. Если бы мы выбрали именно этого человека и опросили его всего один раз, то вряд ли узнали бы что-то полезное о том, на что он тратит свое рабочее время. Но если 25 из 100 торговых представителей, опрошенных неоднократно, действительно готовятся к командировке, то можно не сомневаться, что весь торговый персонал тратит на это, в среднем, 25 % своего времени, и простейшие расчеты из главы 9 показывают, что 90-процентный доверительный интервал для этого показателя составляет 18–32 %. Из ненадежности результата одной выборки люди делают вывод, что в случае нескольких случайных выборок их ошибки не устраняются путем компенсации, а суммируются.
Ошибку, не исключаемую путем усреднения (систематическую ошибку), называют также отклонением, или смещением. Исследования в области психологии принятия решений и эмпирических наук в целом расширяют перечень возможных типов отклонения чуть ли не каждый год. Но есть три основных типа, которые можно ожидать при проведении измерений: отклонение ожидания, отклонение выбора и отклонение наблюдателя.
Смещение ожидания — принятие желаемого за действительное. Наблюдатели и испытуемые порой намеренно или ненамеренно видят именно то, что хотят. Люди доверчивы и склонны к самообману. Когда проводятся клинические испытания лекарств, пациенты не знают, кто принимает лекарство, а кто — плацебо. Это упомянутое выше испытание вслепую. Если принимающие лекарство не известны ни пациентам, ни врачам, то это двойное испытание вслепую. Еще один пример испытания вслепую — подход, предложенный мною Mitre Corporation (см. главу 3).
Смещение выбора. Выборка, планировавшаяся как случайная, может оказаться неслучайной. Если мы отберем 500 участников голосования, 55 % из которых скажут, что проголосуют за кандидата А, то возникает большая, а точнее, 98,8-процентная вероятность того, что этот кандидат действительно пользуется наибольшей поддержкой населения. Есть только 1,2-процентная вероятность того, что мы случайно отобрали слишком много людей, поддерживающих А, который на самом деле далеко не любимец народа. Но подразумевается, что выборка была случайной и мы не стремились к отбору сторонников одного кандидата. А если отбор осуществляется, например, путем опроса прохожих в деловом районе города, на определенной улице, где расположено много финансовых учреждений, то, скорее всего, все опрошенные избиратели окажутся определенного типа, даже если вы выбирали их наугад.
Ошибка наблюдателя (или искажение Гейзенберга и Хоторна). Субатомные частицы и люди имеют нечто общее: наблюдение заставляет их менять свое поведение. В 1927 г. физик Вернер Гейзенберг вывел формулу, которая показала, что нашим знаниям о положении и скорости движения частицы есть предел. Наблюдая за частицами, мы на них воздействуем (например, направляем пучок света), что заставляет их менять свою траекторию. В том же году началась реализация научно-исследовательского проекта на заводе Western Electric Company в Хоторне (штат Иллинойс). Первоначально им руководил профессор Элтон Мэйо из Гарвардской школы бизнеса, преследуя цель определить влияние условий на производительность труда рабочих. Исследователи меняли уровень освещенности, влажность, график работы и т. д., чтобы определить, при каких условиях рабочие будут работать лучше всего. К своему удивлению, они обнаружили, что производительность труда растет независимо от изменения условий труда. Рабочие работали лучше просто потому, что знали, что за ними наблюдают; или, возможно, предположили исследователи, положительную реакцию вызвало то, что руководство обратило на них внимание. В любом случае, мы не можем больше считать, что наши исследования показывают нам «реальный» мир, если не постараемся компенсировать эффект, оказываемый наблюдениями на изучаемый объект. Простейший выход из положения — проводить наблюдения в тайне от испытуемых.
Выберите или разработайте нужный инструмент
После разложения объекта измерения на составляющие, установления порядка наблюдения за этими составляющими, выбора уровня снижения неопределенности (лишь настолько, насколько это необходимо) и учета основных типов ошибок можно считать, что нужный инструмент оценки практически у вас в руках. Одни только ответы на приведенные ранее вопросы должны были сделать для вас метод измерения более очевидным.
Итак, чтобы выбрать нужный инструмент измерения, необходимы следующие этапы.
1. Разложите интересующий вас объект на составляющие так, чтобы их можно было оценить по другим измерениям. Некоторые составляющие оценивать легко, а иногда само разложение уже достаточно снижает неопределенность.
2. Проведите вторичные исследования своих результатов. Узнайте, как подобные объекты измерялись до вас. Даже если итоги других исследователей далеки от ваших проблем, нельзя ли воспользоваться их методами?
3. Примените к одному или нескольким составляющим объекта измерения один или более методов наблюдения (выявление оставленного следа, прямое наблюдение, наблюдение с помощью «меток» или проведение эксперимента). Придумайте, по крайней мере, три способа их обнаружения и затем действуйте, как настоящий следователь. Если это не удается, попробуйте прямое наблюдение. Если и это оказалось безрезультатным, пометьте свой объект или внесите в него другие изменения, чтобы хотя бы потом он начал оставлять поддающиеся обнаружению следы. Если и этот случай оказался безуспешным, воспроизведите событие специально для того, чтобы за ним можно было понаблюдать (проведите эксперимент).
4. Постоянно помните о правиле «Не измеряйте точнее, чем нужно». Ну зачем вам высокая точность, если вы хотите, например, только удостовериться, что рост производства оправдает сделанные инвестиции? Не забывайте о стоимости информации: низкая стоимость означает, что и затраты на проведение измерений должны быть низкими; а высокая стоимость информации означает, что вы можете не экономить на расходах. Помните и о том, с какого уровня неопределенности вы начинали. Если сначала этот уровень был очень высок, то сколько наблюдений вам потребуется, чтобы снизить его?
5. Учитывайте ошибки, специфичные для данной задачи. Если несколько экспертов оценивают качество работы, помните о смещении ожидания и проведите испытания вслепую. Если нужно сделать выборку, проследите за тем, чтобы она действительно была случайной. Если сам факт проведения наблюдений может повлиять на результат, найдите способ скрыть эту информацию от наблюдаемых.
Но если вы и теперь не сумели выбрать себе инструмент измерения, воспользуйтесь следующими советами, приведенными в произвольном порядке. Некоторые из них вам уже известны, но все они вполне заслуживают повторения.
• Работайте с последствиями. Что вы увидите, если интересующий вас показатель сильно повысится? Что произойдет, если он заметно упадет? В примере из главы 2 юная Эмили рассудила: раз целители с помощью бесконтактного массажа действительно могут делать то, что утверждают, значит, они должны, по меньшей мере, обнаруживать ауру человека. Оценивая качество, мы можем исходить из того, что с его повышением сокращается число жалоб от потребителей. Решая, стоит ли устанавливать новое программное обеспечение для отдела сбыта, мы должны спросить себя: «Если эта информационная система так хороша, как говорят, и действительно позволяет продавать больше, то почему же объемы реализации в тех фирмах, которые ею пользуются, пошли вниз?»
• Представьте себе, как это сделали бы другие. Посмотрите на свою задачу глазами криминалиста, детектива, психолога-экс-периментатора, палеонтолога, библиотекаря, военного разведчика, журналиста. Преодолейте свою профессиональную «за-шоренность» и обратите внимание на другие, нестандартные для вашей отрасли методы измерения.
• Пусть ваши измерения будут итеративными. Не пытайтесь сразу и полностью устранить неопределенность в ходе одного гигантского исследования. Начните с нескольких наблюдений и пересчитайте стоимость информации. Возможно, вы измените прежний план проведения измерений.
• Используйте многосторонние подходы. Если какая-то составляющая объекта измерения не поддается наблюдению одним способом, воспользуйтесь другим. Возможностей у вас много. Хорошо, если сработал первый же метод измерения. Но в некоторых случаях мне приходилось измерять свой объект тремя разными способами, и лишь на третий раз я получал желаемое.
Уверены ли вы, что проверили пригодность всех имеющихся методов? Если не удается оценить одну из составляющих переменной, нельзя ли измерить другую?
• Каков на самом деле тот простой вопрос, ответ на который может сделать дальнейшие измерения неактуальными? Эмили не пыталась оценить, какой эффект дает метод бесконтактного массажа и есть ли этот эффект вообще. В обсуждавшемся ранее примере с компанией Mitre я предложил ее специалистам сначала выяснить, смогут ли ее клиенты заметить хоть какое-то изменение качества исследований, и только потом рассчитывать стоимость ожидаемого повышения качества. Существуют такие базовые вопросы, ответы на которые могут избавить вас от необходимости проведения более сложных измерений. Какой вопрос вы должны себе задать, чтобы понять, необходимы ли дальнейшие усилия?
• Просто сделайте это. Не позволяйте своей озабоченности по поводу возможных неудач помешать вам приступить к каким-либо упорядоченным наблюдениям. Ведь уже первые результаты могут вас удивить и значительно снизить неопределенность, характерную для измеряемого объекта.
К настоящему моменту вы уже должны понять, что следует наблюдать и (в общих чертах) как это сделать. Теперь можно приступить к обсуждению двух категорий методов наблюдения: способов, результаты которых анализируются методами «традиционной» статистики, и метода байесовского анализа. Эти две категории охватывают практически все эмпирические методы измерения, применяемые в физике, медицине, экологии и экономике. Хотя традиционный подход распространен гораздо шире, более новый байесовский анализ обладает рядом очевидных преимуществ.