размах[48], однако он крайне чувствителен к экстремальным значениям, таким как весьма странное предположение о наличии в банке 31 337 драже[49]. Напротив, на интерквартильный размах такие выбросы не очень влияют. Интерквартильный размах – это разность между третьим и первым квартилем (то есть 75-м и 25-м процентилем); иными словами, сюда входит «центральная половина» всех чисел, в нашем случае – от 1109 до 2599 драже. Ящик на диаграмме типа «ящик с усами» как раз и включает интерквартильный размах. Наконец, в качестве меры разброса широко используется стандартное (среднеквадратичное) отклонение. Но поскольку его сложнее вычислять и оно сильно подвержено влиянию выбросов, оно лучше всего подходит для симметричных и хорошо себя ведущих данных[50]. Например, удаление из выборки одного (почти гарантированно ошибочного) числа 31 337 приводит к уменьшению среднеквадратичного отклонения с 2422 до 1398[51].
Таблица 2.1
Характеристики выборки для 915 предположений о количестве драже в банке. Истинное число равно 1616
Толпа в нашем маленьком эксперименте продемонстрировала значительную мудрость, даже несмотря на несколько странных ответов. Это показывает, что, хотя данные часто включают ошибки, выбросы и другие странные величины, их вовсе не обязательно выискивать и исключать. Кроме того, это указывает на полезность использования характеристик выборки, на которые не влияют даже столь эксцентричные наблюдения, как 31 337. Такие характеристики называются робастными (то есть устойчивыми) и включают медиану и интерквартильный размах. Наконец, эксперимент подчеркивает ценность обычного просмотра данных – урок, который будет подкреплен следующим примером.
Разница между группами чисел
Сколько сексуальных партнеров имеют британцы в течение жизни?
Цель этого вопроса вовсе не любопытство относительно личной жизни людей. Когда в 1980-х годах обозначилась вся серьезность проблемы СПИДа, представители организаций здравоохранения Великобритании осознали, что не располагают достоверными данными о сексуальном поведении в стране, в частности о частоте смены партнеров, количестве людей, имеющих одновременно нескольких партнеров, а также об используемых сексуальных практиках. Такая информация была необходима для прогнозирования распространения болезней, передающихся половым путем, и планирования медицинских услуг. Однако люди все еще пользовались данными Альфреда Кинси для США 1940-х годов, а он не пытался получить репрезентативную выборку.
В конце 1980-х в Великобритании и США, несмотря на противодействие определенных кругов, были проведены масштабные, дорогостоящие и тщательные исследования сексуального поведения. И хотя Маргарет Тэтчер в последний момент отказалась поддержать работы по изучению сексуальных привычек в стране, к счастью, ученые смогли найти благотворительное финансирование, и в результате каждые 10 лет после 1990 года проводят Национальное исследование сексуальных отношений и образа жизни (Natsal).
Третье исследование (Natsal-3) проводилось в 2010 году и обошлось в 7 миллионов фунтов стерлингов[52]. В табл. 2.2 представлены сводные данные из Natsal-3 о количестве сексуальных партнеров (противоположного пола), о которых сообщили люди в возрасте от 35 до 44 лет. Хорошее упражнение – использовать эти сведения, чтобы самостоятельно реконструировать, как могут выглядеть данные. Отметим, что наиболее часто встречающееся значение (мода) – это 1, то есть группа людей, у которых за жизнь был всего один партнер, по-прежнему велика. В таблице также отражены принципиальные различия между средними арифметическими и медианами, что говорит о распределениях с длинным правым хвостом. Среднеквадратичные отклонения велики, и это не лучшая мера разброса из-за неоправданно сильного влияния нескольких чрезвычайно больших значений в выборке.
Таблица 2.2
Сводные статистические данные о количестве сексуальных партнеров (противоположного пола) за всю жизнь, согласно ответам 806 мужчин и 1215 женщин в возрасте 35–44 лет, участвовавших в опросе Natsal-3 в период с 2010 по 2012 год. Среднеквадратичное отклонение включено для полноты картины, хотя и не является удачной характеристикой при таком разбросе данных
При сравнении ответов мужчин и женщин можно отметить, что у мужчин партнеров больше, чем у женщин – как по выборочному среднему (около 6), так и по медиане (3). Или, если воспользоваться относительными показателями, число партнеров, которое сообщают мужчины, примерно на 60 % больше, чем у женщин – как для выборочного среднего, так и для медианы.
Такая разница может вызвать у нас подозрения в отношении данных. В замкнутой генеральной совокупности (популяции) с одинаковым количеством мужчин и женщин и примерно одинаковым возрастным профилем среднее (в смысле среднее арифметическое) число партнеров противоположного пола у мужчин и женщин должно быть практически равнозначным![53] Так почему же мужчины в возрастной группе от 35 до 44 лет сообщают о значительно большем количестве партнеров, чем женщины? Отчасти это может объясняться наличием у мужчин более молодых партнерш, которые не попадают в этот возрастной диапазон, а отчасти существованием систематического расхождения между тем, как мужчины и женщины учитывают свою сексуальную историю. Похоже, мужчины склонны преувеличивать число партнеров, а женщины – преуменьшать, или верно и то и другое.
На рис. 2.4 показано реальное распределение, которое подтверждает мнение о тяжелых правых хвостах, сложившееся на основании параметров, представленных в таблице. Кроме того, при взгляде на диаграмму видны и другие важные детали, такие как склонность мужчин и женщин указывать округленные числа при наличии десяти и больше партнеров (за исключением одного педантичного мужчины, возможно, статистика, который точно указал: сорок семь). Конечно, вы можете задуматься о достоверности таких сведений, а возможные искажения в них мы обсудим в следующей главе.
Рис. 2.4
Данные, предоставленные Natsal-3 на основе опроса 2010–2012 годов. Из-за экономии места ограничены числом 50, однако общее количество и у мужчин, и у женщин достигало 500. Обратите внимание на склонность мужчин называть большее число партнеров, чем женщины, и указывать круглые числа в случае 10 и более партнеров представителями обоих полов
Большие совокупности данных обычно характеризуются несколькими параметрами положения и разброса, а пример с сексуальными партнерами доказал, что эти параметры позволяют существенно продвинуться в понимании общей картины. Однако ничто не заменит простого внимательного просмотра данных, и следующий пример показывает, что хорошая визуализация особенно полезна при намерении уловить закономерности в большом и сложном наборе чисел.
Взаимосвязи между переменными
Выше ли показатели выживаемости в более загруженных больницах?
Отмечается значительный интерес к так называемому эффекту масштаба в хирургии – утверждению, что в более загруженных больницах показатели выживаемости лучше, возможно, потому, что там выше эффективность и врачи имеют шанс приобрести больше опыта. На рис. 2.5 отображены показатели выживаемости детей в течение 30 дней после операций на сердце в больницах Великобритании в зависимости от количества прооперированных детей. На диаграмме 2.5(a) отображены данные о детях до 1 года за 1991–1995 годы (об этом периоде рассказывалось в начале предыдущей главы), поскольку именно эта возрастная группа отличается повышенным риском и находилась в центре внимания бристольского расследования. На диаграмме 2.5(b) представлены данные обо всех детях до 16 лет за 2012–2015 годы (также указаны в табл. 1.1); данных о детях до 1 года за этот период нет. По горизонтальной оси откладывается количество операций, а по вертикальной – уровень выживаемости[54].
Рис. 2.5
Диаграммы рассеяния показателей выживаемости в зависимости от количества операций на сердце у детей. Для (a) коэффициент корреляции Пирсона равен 0,59, а ранговый коэффициент корреляции – 0,85. Для (b) коэффициент корреляции Пирсона равен 0,17, а ранговый коэффициент корреляции –0,03
Данные за 1991–1995 годы на диаграмме 2.5(a) демонстрируют явный выброс – небольшую больницу с низким показателем выживаемости в 71 %. Это Бристольская больница, низкие показатели которой и последующее расследование мы обсуждали в главе 1. Однако если данные об этой больнице убрать (попробуйте закрыть эту точку пальцем), то вид данных за 1991–1995 годы подтверждает предположение о более высоком уровне выживаемости в больницах, где проводят больше операций.
Прямую или обратную зависимость между величинами на диаграмме рассеяния удобно выражать одним числом. Чаще всего для этого используется коэффициент корреляции Пирсона – идея, изначально предложенная Фрэнсисом Гальтоном, но официально закрепленная в работе Карла Пирсона, одного из основоположников современной статистики, в 1895 году[55].
Коэффициент корреляции Пирсона принимает значения от – 1 до 1 и показывает, насколько близко к прямой расположены точки на диаграмме. Коэффициент равен 1, если все точки лежат на прямой с положительным наклоном (чем больше одна величина, тем больше другая), и – 1, если все точки лежат на прямой с отрицательным наклоном (чем больше одна величина, тем меньше другая). Корреляция, близкая к 0, может свидетельствовать о случайном разбросе точек или о какой-либо иной зависимости, при которой отсутствует устойчивый возрастающий или убывающий тренд. Примеры таких случаев приведены на рис. 2.6.