Дэвид Хэнд

Темные данные. Практическое руководство по принятию

правильных решений в мире недостающих данных

«Темные данные: Практическое руководство по принятию правильных решений в

мире недостающих данных»: Альпина Паблишер; Москва; 2021
ISBN 9785961458930
Аннотация
 2

Человечество научилось собирать, обрабатывать и использовать в науке, бизнесе и

повседневной жизни огромные массивы данных. Но что делать с данными, которых у нас
нет? Допустимо ли игнорировать то, чего мы не замечаем? Британский статистик Дэвид
Хэнд считает, что это по меньшей мере недальновидно, а порой – крайне опасно. В своей
книге он выделяет 15 влияющих на наши решения и действия видов данных, которые
остаются в тени. Например, речь идет об учете сигналов бедствия, которые могли бы
подать жители бедных районов, если бы у них были смартфоны, результатах медицинского
исследования, которые намеренно утаили или случайно исказили, или данных, ставших
«темными» из-за плохого набора критериев для включения в выборку. Хэнд также
рассказывает о том, какие меры могут сгладить эффект «темных данных» и как их можно
обратить себе на пользу. Книга будет интересна широкому кругу читателей,
интересующихся дата-сайенс, программированием и статистикой.

Дэвид Хэнд
Темные данные. Практическое руководство по принятию
правильных решений в мире недостающих данных
Переводчик М. Белоголовский
Редактор В. Ионов
Главный редактор С. Турко
Руководитель проекта А. Василенко
Корректоры Е. Аксёнова, А. Кондратова
Компьютерная верстка К. Свищёвв
Художественное оформление и макет Ю. Буга

© 2020 by David J. Hand

This edition published by arrangement with the Science Factory, Louisa Pritchard Associates
and The Van Lear Agency LLC.
© Издание на русском языке, перевод, оформление. ООО «Альпина Паблишер», 2021

Все права защищены. Данная электронная книга предназначена исключительно для

частного использования в личных (некоммерческих) целях. Электронная книга, ее части,
фрагменты и элементы, включая текст, изображения и иное, не подлежат копированию и
любому другому использованию без разрешения правообладателя. В частности, запрещено
такое использование, в результате которого электронная книга, ее часть, фрагмент или
элемент станут доступными ограниченному или неопределенному кругу лиц, в том числе
посредством сети интернет, независимо от того, будет предоставляться доступ за плату
или безвозмездно.
Копирование, воспроизведение и иное использование электронной книги, ее частей,
фрагментов и элементов, выходящее за пределы частного использования в личных
(некоммерческих) целях, без согласия правообладателя является незаконным и влечет
уголовную, административную и гражданскую ответственность.

Посвящается Шелли

Предисловие
 3

Перед вами необычная книга. Почти все, что издается на эту тему – будь то популярная
литература о больших или открытых данных, обработке данных или пособия по
статистическому анализу, – основывается на том, что у вас уже есть. Речь идет об
информации, хранящейся в компьютере, ящиках рабочего стола или аудио-, видеозаписях
вашего смартфона. Но эта книга совсем о другом. Она о данных, которых у вас нет.
Возможно, вы пытаетесь получить их прямо сейчас или когда-то безуспешно пытались
сделать это, а может быть, ошибочно полагаете, что они у вас имеются. Как бы то ни было,
речь пойдет о данных, которых у вас нет.
Я утверждаю и далее продемонстрирую это на многих примерах, что отсутствующие
данные важны не менее тех, которыми мы располагаем. Вы сможете сами убедиться, что
неизвестные нам данные являются причиной многих заблуждений, порой имеющих
катастрофические последствия. Я покажу, как и почему это происходит. Затем я расскажу,
как этого можно избежать – на что именно стоит обращать внимание, чтобы обойти
неприятности. А в завершение, когда вы поймете, как возникают темные данные и как они
создают нам проблемы, я покажу, как с их помощью перевернуть с ног на голову
традиционное представление об анализе данных и, если вы достаточно проницательны,
глубже вникнуть в свою область, улучшить процесс принятия решений и выбора действий.
Мое собственное понимание темных данных развивалось постепенно, на протяжении
всей карьеры. Я благодарю всех, кто подкидывал мне проблемы, которые, как я постепенно
осознал, были не чем иным, как проблемами темных данных. Я выражаю признательность
всем, кто вместе со мной искал способы их решения. Сферы, где возникали эти проблемы,
варьировались от медицинских исследований и фармацевтической промышленности до
государственной и социальной политики, финансового сектора и производства – ни одна
сфера человеческой деятельности не свободна от рисков, которые несут с собой темные
данные.
Отдельно хочу поблагодарить тех, кто любезно согласился пожертвовать своим
временем, чтобы прочитать рукопись этой книги, а именно Кристофороса Анагностопулоса,
Нила Ченнона, Найла Адамса и трех анонимных читателей от издательства. Они помогли
мне избежать неловкости перед вами, сократив число допущенных ошибок. Питер Таллак,
мой агент, помог найти идеального издателя для этой работы, любезно давал мне советы и
направлял работу над книгой в целом. Мой редактор из издательства Princeton University
Press Ингрид Гнерлих была мудрым и ценным гидом в вопросах оформления проекта.
Наконец, я особенно признателен своей жене профессору Шелли Ченнон, за ее вдумчивую
критику моих рукописей. Благодаря ее вкладу книга стала значительно лучше.

Имперский колледж, Лондон

Часть I
Темные данные
Происхождение и последствия

Глава 1
Темные данные
Незримая сила, которая формирует наш мир

Призрак данных

Как-то во время прогулки я встретил странного пожилого человека, который что-то

высыпал на пешеходную дорожку примерно через каждые 15 м. Я не смог сдержать
любопытства и поинтересовался, что это он такое делает.
– Рассыпаю слоновий порошок, – совершенно серьезно ответил он. – Слоны не выносят
 4

его запах, поэтому держатся подальше.

– Постойте, но в наших краях нет слонов, – улыбнулся я.
– Вот именно! – воскликнул он. – Это очень эффективное средство.
Этот забавный случай служит хорошим прологом для вещей куда более серьезных, о
которых я собираюсь рассказать.
Каждый год корь убивает почти 100 000 человек. Один из 500 заболевших умирает от
осложнений, многие страдают от необратимой потери слуха или от поражения головного
мозга. К счастью, для Соединенных Штатов это редкое заболевание – например, в 1999 г.
было зарегистрировано всего 99 случаев. Однако внезапная вспышка кори в январе 2019 г.
привела к тому, что в штате Вашингтон была объявлена чрезвычайная ситуация. Некоторые
штаты также сообщили о резком увеличении числа случаев заражения корью 1. Подобное
отмечалось и в других местах. На Украине в середине февраля 2019 г. число заразившихся
превысило 21 0002. В Европе в 2017 г. было отмечено 25 863 случая, а в 2018 г. – уже более
82 0003. С 1 января 2016 г. по конец марта 2017 г. в Румынии зарегистрировано более 4000
случаев заражения и 18 летальных исходов.
Корь – коварное заболевание, распространяющееся незаметно, поскольку симптомы
проявляются лишь через несколько недель после инфицирования. Болезнь поражает
организм намного раньше, чем обнаруживаются ее признаки.
Это не означает, что корь нельзя предотвратить. Простая вакцинация способна
иммунизировать организм, эффективно снижая риск заражения. И, действительно,
национальные программы вакцинации, подобные тем, которые проводились в Соединенных
Штатах, доказали свой успех. В результате большинство родителей в странах, где
осуществляются такие программы, никогда не видели и тем более не испытывали на себе
ужасных последствий этого заболевания.
Именно поэтому, когда родителям рекомендуют делать детям прививку от кори –
заболевания, которого они и в глаза не видели, которым не болели ни их друзья, ни соседи и
которое Центр по контролю и профилактике заболеваний признал неэндемичным для
Соединенных Штатов, – они принимают такой совет с изрядной долей скепсиса.
Вакцинировать от того, чего вроде бы нет? Это то же самое, что использовать слоновий
порошок.
Правда, в отличие от слонов, риск заражения все-таки существует, причем такой же
реальный, как и раньше. Просто информация и данные, которые нужны родителям для
принятия решений, отсутствуют, и риски становятся неочевидными.
Для многочисленных видов отсутствующих данных я использую обобщающий термин
«темные данные». Темные данные скрыты от нас, и этот факт означает, что мы рискуем
недооценить опасность, сделать неправильный вывод и принять неверное решение. Иначе
говоря, наше неведение становится причиной ошибок.
Понятие «темные данные» возникло из аналогии с другим, физическим, термином –
темной материей. Около 27 % Вселенной состоит из этого таинственного вещества, которое
не взаимодействует со светом или каким-либо другим электромагнитным излучением и
потому остается невидимым. Поскольку темная материя не видна, когда-то астрономы не
подозревали о ее существовании. Но затем наблюдения за вращением галактик показали, что
звезды более удаленные от центра движутся ничуть не медленнее звезд, расположенных

1 https://blog.uvahealth.com/2019/01/30/measles-outbreaks/, accessed 16 April 2019.

2 http://outbreaknewstoday.com/measles-outbreak-ukraine-21000-cases-2019/, accessed 16 April 2019.

3
https://www.theglobeandmail.com/canada/article-canada-could-see-large-amount-of-measles-outbreaks-health-experts/,
accessed 16 April 2019.
 5

ближе к центру галактики, что противоречит нашему пониманию гравитации. Эта аномалия
вращения галактик на сегодняшний день объясняется предположением, что галактики имеют
более значительную массу, чем та, о которой мы можем судить по звездам и другим
видимым в телескопы объектам. Поскольку эта дополнительная масса не видна, ее назвали
темной материей. И она может быть весьма значительной: согласно оценкам, наша галактика
Млечный Путь содержит в 10 раз больше темной материи, чем обычной.
Темные данные ведут себя аналогично темной материи: мы не видим их, они не
обнаруживаются, но все же способны оказывать существенное влияние на наши выводы,
решения и действия. И, как я покажу на дальнейших примерах, если не осознать саму
вероятность существования чего-то неизвестного, то последствия такой слепоты могут быть
катастрофическими и даже фатальными.
Цель этой книги – исследовать, как и почему возникают темные данные. Мы
рассмотрим различные виды темных данных, проследим, что приводит к их появлению, и
выясним, как не допустить этого. Мы разберемся с тем, какие меры имеет смысл
предпринимать, когда становится ясно, что темные данные все же имеются. А еще мы
посмотрим, как этими данными, несмотря на их отсутствие, можно воспользоваться. Хотя
это кажется странным, даже парадоксальным, но мы можем обернуть наше незнание себе во
благо, учась принимать более правильные решения и повышая эффективность своих
действий. На практике разумное использование неизвестности означает более крепкое
здоровье, дополнительные деньги и меньшие риски. Я вовсе не имею в виду сокрытие
информации от других (хотя, как мы увидим, намеренно скрытые сведения – это весьма
распространенный вид темных данных). Речь идет о гораздо более тонких методах, которые
могут стать выгодными для всех.
Темные данные принимают различные формы, возникают по разным причинам, и эта
книга среди прочего содержит классификацию типов темных данных, обозначаемых как
DD-тип x. Всего я насчитал 15 таких DD-типов, но не берусь утверждать, что эта
классификация является исчерпывающей. Учитывая большое разнообразие причин, по
которым возникают темные данные, не исключено, что полная классификация просто
невозможна. Более того, многие образцы темных данных соединяют в себе несколько
DD-типов – они могут действовать независимо друг от друга, а могут проявлять некое
подобие синергии, усиливая негативный эффект. Но, несмотря на это, обладание
информацией о DD-типах и изучение темных данных на конкретных примерах помогает
вовремя выявить проблему и защититься от возможных угроз. Список DD-типов,
упорядоченных по сходству, вы найдете в конце этой главы, а в главе 10 я опишу их более
подробно. В книге есть указания на то, где можно встретить примеры того или иного типа,
однако я намеренно не пытался перечислить все возможные места существования темных
данных – в этой книге такой подход был бы излишним.
Давайте перейдем к одному из таких примеров. В медицине понятие «травма» означает
повреждение с возможными долговременными последствиями. Травмы являются одной из
наиболее серьезных причин сокращения продолжительности жизни и инвалидности, а также
самой распространенной причиной гибели людей в возрасте до 40 лет. Компьютерная база
данных TARN является самой большой медицинской базой данных о травмах в Европе. В
нее стекаются данные о полученных травмах из более чем 200 больниц, в числе которых
93 % всех больниц Англии и Уэльса, а также больницы в Ирландии, Нидерландах и
Швейцарии. Безусловно, это очень большой объем данных для прогнозирования и изучения
эффективности медицинского вмешательства при травмах.
Доктор Евгений Миркес и его коллеги из Лестерского университета в Великобритании
провели исследование этой базы данных и выяснили: из 165 559 зарегистрированных травм
исход 19 289 случаев оказался неизвестным4. «Исход» в данном случае определяется тем,

4 E. M. Mirkes, T. J. Coats, J. Levesley, and A. N. Gorban, “Handling missing data in large healthcare dataset: A
case study of unknown trauma outcomes.” Computers in Biology and Medicine 75 (2016): 203-16.
 6

выживает пациент или нет в течение 30 дней после травмы. Иначе говоря, 30-дневная
выживаемость неизвестна для более чем 11 % пациентов. Этот пример иллюстрирует
распространенную форму темных данных – DD-тип 1: данные, о которых мы знаем, что
они отсутствуют. Иначе говоря, нам известно, что травмы у этих пациентов чем-то
закончились, – мы просто не знаем, чем именно.
Можно, конечно, сказать: «Нет проблем, давайте просто проанализируем 146 270
пациентов, для которых исход известен, и будем делать выводы и прогнозы на основе этой
информации». В конце концов, 146 270 тоже немало – в сфере медицины это уже большие
данные. Поэтому мы можем смело утверждать, что понимание, основанное на этих данных,
будет верным.
Но так ли это на самом деле? Возможно, 19 289 недостающих случаев сильно
отличаются от других. В конце концов, их необычность уже в самой неизвестности исхода,
так почему же они не могут отличаться и чем-то другим? Как следствие, анализ 146 270
пациентов с известными исходами может быть ошибочным по отношению к общей
совокупности пациентов с травмами. Таким образом, действия, предпринимаемые на основе
подобного анализа, могут быть в корне неверными и привести к ошибочным прогнозам,
ложным предписаниям и несоответствующим режимам лечения с неблагоприятными и даже
фатальными последствиями для пациентов.
Давайте возьмем нарочито неправдоподобную, крайнюю ситуацию: предположим, что
все 146 270 человек с известными исходами выжили и выздоровели без лечения, а 19 289 с
неизвестными исходами умерли в течение двух дней после обращения в больницу. Если бы
мы игнорировали последних, то неизбежно пришли бы к выводу, что беспокоиться не о
чем – ведь все пациенты с травмами выздоравливают сами собой. Исходя из этого, мы бы
просто не стали их лечить, ожидая естественного выздоровления. И вскоре были бы
шокированы и озадачены тем фактом, что более 11 % пациентов умерли.
Прежде чем продолжить, я должен вас успокоить – в реальности все обстоит не так уж
плохо. Во-первых, приведенный выше сценарий действительно наихудший из возможных, а
во-вторых, доктор Миркес и его коллеги являются экспертами по анализу недостающих
данных. Они прекрасно осознают опасность и разрабатывают статистические методы
решения проблемы, о которых мы поговорим позже. Я привел такой ужасающий пример
лишь для того, чтобы показать: вещи могут быть не такими, какими кажутся. В самом
деле, если бы мне нужно было сформулировать основную идею этой книги, она бы, пожалуй,
звучала примерно так: хотя иметь много данных полезно, большие данные, то есть объем, –
это еще далеко не все. И то, чего вы не знаете, те данные, которых у вас нет, могут быть
важнее для понимания происходящего, чем те, которыми вы располагаете. Во всяком случае,
как мы увидим дальше, проблемы темных данных – это не только проблемы больших
данных: они характерны и для малых наборов данных. Они вездесущи.
Пример с базой данных TARN, конечно, преувеличен, но он служит предупреждением.
Возможно, результаты 19 289 пациентов не были зарегистрированы именно потому, что все
они умерли в течение 30 дней. Ведь если исход заносился в базу на основании опроса
пациентов через 30 дней после обращения, чтобы оценить их состояние, то никто из
умерших просто не ответил на вопросы. Если бы мы не допускали возможность этого, то
никогда бы не фиксировали смерть таких пациентов.
На первый взгляд это кажется нелепым, но в реальности такие ситуации возникают
довольно часто. Допустим, модель прогнозирования эффективности того или иного лечения
основывается на результатах предыдущих пациентов, которые получали такое лечение. Но
что, если время лечения предыдущих пациентов было недостаточным для достижения
результата? Тогда для некоторых из них конечный исход окажется неизвестен, а модель,
построенная только на известных результатах, будет вводить в заблуждение.
Похожая ситуация возникает и с опросами, когда отсутствие ответов становится
 7

источником затруднений. Исследователи обычно имеют некий идеальный список людей, от

которых они хотели бы получить ответы, но, как правило, отвечают не все. Если все те, кто
отвечает, каким-то образом отличаются от тех, кто этого не делает, то у исследователей
появляется основание усомниться в достоверности статистической сводки для данной
группы населения. В конце концов, если бы некий журнал затеял опрос своих подписчиков,
задав им единственный вопрос: «Отвечаете ли вы на журнальные опросы?», тот факт, что
100 % ответивших скажут «да», еще не говорил бы о том, что все подписчики отвечают на
подобные опросы.
Предыдущие примеры иллюстрируют первый тип темных данных. Мы знаем, что
данные для пациентов TARN существуют, даже если не все значения учтены. Мы знаем, что
у людей в списке опроса были ответы, даже если они их не давали. В общем, мы знаем, что
существуют некоторые значения данных, но не знаем, какие именно.
Следующие примеры познакомят нас с другим типом темных данных – DD-тип 2:
данные, о которых мы не знаем, что они отсутствуют.
Многие города сталкиваются с проблемой выбоин в дорожном покрытии. Вода
попадает в мелкие трещины, замерзает зимой, расширяя их, а колеса автомобилей
довершают разрушительную работу. В результате у машин портятся колеса и подвеска.
Бостон решил бороться с этой проблемой с помощью современных технологий. Он выпустил
приложение для смартфона, которое использовало внутренний акселерометр устройства,
чтобы определять тряску автомобиля, проехавшего по выбоине, а затем с помощью GPS
автоматически передавать ее координаты городским властям.
Фантастика! Теперь люди, обслуживающие шоссе, будут точно знать, куда ехать,
чтобы залатать выбоины. Однако это элегантное и дешевое решение реальной проблемы,
основанное на современных технологиях анализа данных, не учитывает того, что владельцы
автомобилей и дорогих моделей смартфонов с акселерометрами концентрируются в более
богатых районах. Это повышает вероятность того, что выбоины на дорогах в районах
победнее не будут обнаружены, а значит, аварийная опасность таких дорог будет все
возрастать. Вместо того чтобы решить проблему в целом, такой подход усугубляет
социальное неравенство. Ситуация в этом примере отличается от ситуации с базой данных
TARN, когда мы точно знали, что отсутствуют некоторые данные. Здесь мы этого не знаем.
Вот еще одна иллюстрация темных данных такого рода. В конце октября 2012 г.
сильнейший ураган, получивший название «Сэнди» 5 , обрушился на восточное побережье
Соединенных Штатов. На тот момент это был второй по разрушительности ураган в истории
США и крупнейший в истории атлантический ураган, причинивший ущерб в $75 млрд и
унесший жизни более 200 человек в восьми странах. «Сэнди» затронул 24 штата (от
Флориды на юге до Висконсина и штата Мэн на севере страны) и спровоцировал закрытие
финансовых рынков из-за отключения электроэнергии. Надо признать, что поэтому он стал
еще и косвенной причиной всплеска рождаемости спустя девять месяцев после описываемых
событий.
Ураган «Сэнди» также стал настоящим триумфом современных СМИ. Ураган
сопровождался шквалом сообщений в твиттер, который позволяет обсуждать происходящее
сразу же и с тем, кто непосредственно участвует в событии. Вообще, социальные
платформы – это способ быть в курсе событий в реальном времени, и «Сэнди» стал именно
таким событием. В период с 27 октября по 1 ноября 2012 г. было опубликовано более 20 млн
твитов об урагане. Очевидно, что это идеальный материал, на основе которого можно
получить непрерывную картину стихийного бедствия по мере его развития – вы видите,
какие районы пострадали больше всего и куда направить экстренную помощь.
Однако спустя какое-то время анализ показал, что наибольшее количество твитов о
«Сэнди» пришло с Манхэттена и лишь немногие поступали из таких районов, как Рокуэй и

5 https://www.livescience.com/24380-hurricane-sandy-status-data.html.
 8

Кони-Айленд. Означало ли это, что Рокуэй и Кони-Айленд пострадали не так серьезно?

Метро и улицы Манхэттена были затоплены, это правда, но едва ли его можно назвать
самым пострадавшим районом даже в пределах Нью-Йорка. Причина того, что из каких-то
районов было послано меньше твитов, заключалась не в том, что ураган пощадил их, а в том,
что на их территории оказалось меньше пользователей твиттера и меньшее число
смартфонов, чтобы отправить твит.
Давайте снова представим себе крайний вариант этой ситуации. Если бы ураган
«Сэнди» полностью уничтожил какой-нибудь населенный пункт, то оттуда вообще бы не
поступало никаких твитов и создалось бы впечатление, что там все просто замечательно. Но
на самом деле мы опять имеем дело с темными данными.
Примеры второго типа темных данных, когда мы не знаем, что чего-то не достает,
встречаются не менее часто, чем примеры первого типа. Они варьируются от
необнаруженных мошенничеств до незафиксированных убийств, выпадающих из
результатов опроса жертв преступлений.
Как-то на информационном брифинге бывший министр обороны США Дональд
Рамсфелд охарактеризовал темные данные второго типа, да так удачно, что его
высказывание стало знаменитым: «Есть известные неизвестные; то есть мы знаем, что есть
какие-то вещи, которых мы не знаем. Но есть также неизвестные неизвестные – те, о которых
мы не знаем, что мы их не знаем»6. Этот замысловатый пассаж стал объектом насмешек для
разнообразных СМИ, но их критика была несправедливой. То, что сказал Рамсфелд, было
сущей правдой и имело глубокий смысл.
Эти первые два типа темных данных только начало. Далее мы познакомимся со
множеством других, которые вкупе и составляют основу этой книги. Как вы увидите, темные
данные разнообразны и до тех пор, пока мы не осознаем, что наши данные могут быть
неполными; наблюдение чего-либо не означает наблюдения всего; процедура измерения
может быть неточной; а то, что мы измеряем, на самом деле может оказаться не тем, что мы
хотим измерить, мы рискуем получать результаты, далекие от истины, что зачастую и
происходит. Тот факт, что никто не слышит, как в лесу падает дерево, не означает, что оно
падает бесшумно.

Так вы думаете, у вас есть все данные?

Покупатель подходит к кассе супермаркета, выкладывает на ленту выбранные товары,

лазер сканирует их штрихкоды, и каждый раз кассовый аппарат издает звуковой сигнал,
сообщая, что суммирует цены. В результате этой процедуры покупатель получает чек и
расплачивается. Однако история его покупки на этом не заканчивается. Данные о купленных
товарах и их стоимости отправляются в базу данных. Позже статистики и аналитики будут
изучать их, создавая картину поведения покупателей на основе того, что они купили, какие
из товаров были куплены вместе и, конечно, какие клиенты покупали эти товары. Казалось
бы, здесь просто нельзя ничего пропустить. Данные о транзакциях собираются во всех
случаях, кроме отключения электроэнергии, сбоя кассового аппарата или мошенничества.
Вроде бы собираются все данные. Иначе говоря, в базу попадают данные не по
некоторым транзакциям или некоторым купленным товарам, а по всем транзакциям,
совершенным всеми покупателями, и по всем товарам в конкретном супермаркете. Такие
данные еще называют исчерпывающими.
Однако так ли это? Ведь собранные данные описывают то, что произошло на прошлой
неделе или в прошлом месяце. Конечно, польза от них несомненна, но если мы управляем
супермаркетом, то, вероятно, нам будет интересно, что произойдет завтра, на следующей
неделе или через месяц. Мы бы хотели знать, кто, что, когда и сколько купит в будущем.

6 D. Rumsfeld, Department of Defense News Briefing, 12 February 2002.

 9

Какие товары могут закончиться на полках, если не заказать их впрок? Как могут измениться
предпочтения людей в отношении брендов? Другими словами, нам нужны данные, которые
не собираются. Это связано с самой природой времени, и здесь фигурируют темные данные
DD-тип 7: данные, меняющиеся со временем.
Помимо этого, интересно узнать, как вели бы себя люди, если бы мы, скажем, более
плотно заставили товарами полки, или разместили их как-то иначе, или изменили часы
работы супермаркета. Такие данные называются контрфактуальными, поскольку они
противоречат реальным фактам – они о том, что случилось бы, если бы произошло нечто,
чего на самом деле не происходило. Контрфактуальные данные классифицируются как
DD-тип 6: данные, которые могли бы существовать.
Излишне говорить, что контрфактуальные данные интересуют не только менеджеров
супермаркетов. Все мы принимаем те или иные лекарства и при этом, разумеется, доверяем
врачу, который их прописал, предполагая, что лекарства прошли тестирование и были
признаны эффективными. Но как бы вы себя чувствовали, если бы вдруг обнаружили, что
ваши лекарства не были проверены? И не было собрано данных о том, помогают ли они
вообще? Вдруг они делают только хуже? А если они даже и были протестированы и
рекомендованы, то ускоряют ли эти лекарства на самом деле процесс выздоровления? А
может быть, их не сравнивали с другими препаратами, чтобы оценить эффективность? В
истории со слоновьим порошком такое сравнение принятых мер с бездействием быстро
показывает, что для отпугивания слонов отсутствие действия так же эффективно, как и
применение порошка. (А это, в свою очередь, может привести к следующему, не менее
полезному выводу, что никаких слонов, которых надо отпугивать, просто нет.)
Возвращаясь к понятию «исчерпывающие данные», стоит отметить, что часто контекст
делает явно бессмысленной саму возможность иметь «все» данные. Возьмите, например,
свой вес. Узнать его легко – достаточно встать на весы. Однако уже не так легко будет
повторно получить те же данные. Даже если сразу же встать на весы снова, результат, скорее
всего, будет немного другим, особенно если попытаться измерить его с точностью до
грамма. Никакие физические измерения нельзя считать абсолютно точными в результате
погрешностей или случайных колебаний, возникающих вследствие очень незначительных
изменений условий (DD-тип 10: ошибки измерения и неопределенность). Для решения этой
проблемы ученые, измеряющие параметры какого-либо явления – скажем, скорость света
или заряд электрона, проводят серию измерений, а затем усредняют значения. Можно
сделать тысячи и миллионы измерений, но очевидно, что невозможно сделать «все»
измерения. В этом контексте просто не существует понятия «все», а значит, не существует и
исчерпывающих данных.
Следующий тип темных данных хорошо иллюстрируется примером знаменитых
лондонских автобусов. Если вам доводилось на них ездить, то, скорее всего, вы помните, что
они, как правило, набиты битком. И все же данные показывают, что средняя заполняемость
одного автобуса составляет всего 17 человек. Но чем можно объяснить это кажущееся
противоречие? Кто-то манипулирует цифрами?
Немного поразмыслив, вы поймете, что ответ довольно прост – в основном мы
попадаем в автобусы в часы пик, именно поэтому они и набиты битком. Вот почему
большинство людей видит автобусы переполненными. В то же время о пустом автобусе
будет просто некому сообщить, что он пуст (разумеется, не считая водителя). Этот пример
иллюстрирует темные данные DD-тип 3: выборочные факты. Иногда, впрочем, это может
быть необходимым следствием сбора данных, и в таком случае мы получаем DD-тип 4:
самоотбор. Я приведу два моих любимых примера, похожих и в то же время
несопоставимых по своему масштабу.
Первый – известная карикатура, на которой изображен человек, стоящий перед
большой картой, какие обычно висят на вокзалах. В центре карты находится красная точка с
надписью «Вы здесь». «Как?! – думает потрясенный человек. – Как они узнали это?» Они
узнали, потому что отталкивались от простого факта, что каждый, кто смотрит на эту
 10

красную точку, должен находиться непосредственно перед ней. Мы имеем дело с очень
узкой выборкой, отсекающей всех, кто находится в другом месте.
Данные могут быть собраны, только если имеется кто-то или что-то для их сбора,
например измерительный прибор. Второй пример самоотбора связан с антропным
принципом, который, по сути, говорит, что Вселенная должна быть такой, какая она есть, а
иначе нас бы просто не существовало и мы бы не смогли наблюдать ее. У нас нет данных из
разных вселенных по одной простой причине – мы там не были. Это означает, что любые
выводы, которые мы делаем, неизбежно ограничиваются нашей Вселенной (а точнее,
вселенными такого же типа): как и в случае с бостонскими выбоинами, может происходить
масса всего, о чем мы не знаем.
Из этого примера наука может извлечь для себя важный урок. Теория может идеально
согласовываться с данными, но сами данные имеют ограничения. И это относится не только
к сверхвысоким температурам, геологическим эпохам или космическим расстояниям. Если
вы экстраполируете теорию за пределы, в которых были собраны данные, то всегда есть
вероятность того, что она окажется недействительной. Экономические теории, основанные
на данных, собранных в период процветания, часто оказываются несостоятельными во время
рецессии, а законы Ньютона работают только тогда, когда речь не идет о крошечных
объектах, высоких скоростях и прочих крайностях. В этом и заключается суть темных
данных DD-тип 15: экстраполяция за пределы ваших данных.
У меня есть классная футболка от сайта веб-комиксов xkcd.com, на которой общаются
два персонажа. Один говорит: «Раньше я думал, что корреляция подразумевает
причинность». В следующем кадре он продолжает: «Потом я прошел курс статистики, и
теперь я в этом не уверен». Другой персонаж говорит ему: «Похоже, курс помог», а первый
отвечает: «Возможно, но не факт»7.
Корреляция просто показывает, что две вещи меняются синхронно, например
положительная корреляция означает, что когда одно становится большим, то и другое
увеличивается, а когда первое уменьшается, то и второе поступает точно так же. Это в корне
отличается от причинно-следственной связи. Говорят, что одно становится причиной
другого, если изменения первого приводят к изменениям второго. Но проблема в том, что
две вещи могут изменяться вместе, но при этом изменения одной не являются причиной
изменений другой. Например, наблюдения в начальной школе показывают, что дети с более
значительным словарным запасом в среднем выше. Но вряд ли вам придет в голову, что
причиной этого являются родители, которые, желая иметь более рослое потомство,
нанимают репетиторов для расширения словарного запаса своих детей. Намного вероятнее,
что существуют какие-то темные данные, третий фактор, который объясняет корреляцию,
например разный возраст детей. Когда персонаж на моей майке говорит «Возможно, но не
факт», он признает, что пройденный курс статистики мог изменить его понимание, но при
этом допускает наличие и других причин. Далее в книге мы еще столкнемся с
поразительными примерами темных данных этого типа, а именно с DD-типом 5:
неизвестный определяющий фактор.
Существуют и другие типы темных данных, о которых мы будем говорить. Напомню,
что цель этой книги – рассказать о существующей на сегодня классификации темных
данных, объяснить способы их идентификации, наглядно продемонстрировать оказываемое
ими влияние и показать пути решения проблем, которые они вызывают, а также то, как
темные данные можно использовать. Список типов темных данных приводится в конце этой
главы, а краткое описание каждого из них вы найдете в главе 10.

Не было ничего необычного, поэтому мы не придали этому значения

7 http://archive.defense.gov/Transcripts/Transcript.aspx?TranscriptID=2636, accessed 31 July 2018.

 11

Следующий пример служит иллюстрацией того, что темные данные могут иметь
катастрофические последствия и что они не являются специфической проблемой больших
наборов данных.
28 января 1986 г. на 73-й секунде полета на высоте около 15 км космический челнок
Challenger превратился в гигантский огненный шар в результате неисправности
ракеты-носителя. Отсек с экипажем какое-то время еще продолжал двигаться по восходящей
траектории, достиг отметки 19 км и рухнул в Атлантику. Все семь членов экипажа погибли.
Впоследствии президентская комиссия установила, что руководители среднего звена
NASA нарушили правила безопасности, требующие передачи данных по цепочке
управления. Все объяснялось экономическими причинами: необходимо было уложиться в
график, ведь дата старта уже переносилась с 22-го на 23-е, потом на 25-е, а затем и на
26 января. Поскольку прогноз погоды на этот день обещал неприемлемо низкую
температуру, запуск снова отложили на день. Обратный отсчет прошел нормально,
индикаторы показали, что замок люка закрылся должным образом. Однако к тому моменту
поднялся сильный ветер, и запуск шаттла вновь пришлось отложить.
В ночь на 27 января состоялась трехчасовая телеконференция между представителями
компании Morton Thiokol, построившей разгонные ступени, сотрудниками NASA в Центре
космических полетов Маршалла и людьми из Космического центра Кеннеди. Ларри Уир из
Центра космических полетов Маршалла попросил представителей Morton Thiokol проверить
возможное влияние низких температур на твердотопливные ракетные двигатели. В ответ
команда Morton Thiokol указала на то, что при низких температурах уплотнительные кольца
становятся более жесткими.
Уплотнительные кольца представляли собой манжеты из резиноподобного материала с
диаметром поперечного сечения около 6 мм, которые устанавливались по окружности в
стыки между четырьмя сегментами ракетного двигателя. Твердотопливные ракетные
ускорители имели 45 м в высоту и 11 м в диаметре. Во время запуска зазор величиной
0,1 мм, который в обычных условиях полностью герметизировался уплотнительными
кольцами, открывался максимум до 1,5 мм и оставался открытым в течение каких-то
0,6 секунды.
Роберта Эбелинга из Morton Thiokol беспокоило то, что при низких температурах
повышение жесткости уплотнительных колец может привести к потере способности
герметизировать зазоры между сегментами, пока они будут в течение 0,6 секунды оставаться
увеличенными на 1,4 мм. На телеконференции Роберт Лунд, вице-президент Morton Thiokol,
заявил, что рабочая температура уплотнительного кольца не должна быть ниже границы
подтвержденной температуры запуска 53 ºF (около 12 ºC). За этим последовала довольно
горячая дискуссия, продолжавшаяся и после окончания конференции на уровне личных
бесед. По ее итогам Morton Thiokol пересмотрела свою позицию и согласилась
рекомендовать запуск.
Ровно через 58,79 секунды с момента старта из правого ракетного двигателя в районе
последнего стыка вырвалось пламя. Оно быстро превратилось в мощную струю, которая
выломала стойки, соединяющие ракетный двигатель с внешним топливным баком.
Двигатель развернуло и ударило сначала о крыло орбитального аппарата, а затем о
топливный бак, в результате чего этот резервуар, наполненный жидкими водородом и
кислородом, попал в струю пламени. На 64-й секунде полета поверхность бака получила
повреждения, а еще через 9 секунд огромный огненный шар поглотил Challenger, и он
разлетелся на несколько больших частей8.
Мы не должны ни на секунду забывать, что космические полеты всегда связаны с
риском. Ни одна миссия, даже при самых хороших условиях, не является безопасным
предприятием – риск просто не может быть сведен к нулю. И всегда существуют

8 https://er.jsc.nasa.gov/seh/explode.html.
 12

противоречивые требования.
Кроме того, как и в любом другом подобном инциденте, установить какую-то одну
причину произошедшего бывает довольно сложно. Было ли это вызвано нарушением правил
безопасности, неоправданным давлением на менеджеров по экономическим соображениям,
следствием ужесточения бюджета или, возможно, влиянием СМИ, которые после
семикратного откладывания запуска предыдущего челнока Columbia встречали каждую
новую задержку саркастическими насмешками? Вот что сказал, например, известный
журналист Дэн Ратер в выпуске вечерних новостей в понедельник, 27 января, после того, как
старт Challenger был отложен в четвертый раз: «Еще одна дорогостоящая и позорная
задержка запуска космического челнока. На этот раз виноватыми оказались плохой болт на
крышке люка и гром среди ясного неба». А может быть, причина кроется в политическом
давлении? В конце концов, интерес к этому запуску был значительно выше, чем к
предшествующим, потому что в число экипажа впервые вошел рядовой гражданин США,
учительница Криста Макалиф и на вечер 28 января было запланировано выступление
президента.
В таких ситуациях обычно переплетаются несколько факторов. Их запутанные и
неопределенные взаимодействия могут привести к неожиданным последствиям. Но в нашем
случае был еще один фактор: темные данные.
После катастрофы комиссия, возглавляемая бывшим госсекретарем Уильямом
Роджерсом, обратила внимание на то, что не все результаты полетов, которые показывали
опасное состояние уплотнительных колец, были включены в диаграмму, обсуждаемую на
телеконференции (темные данные DD-тип 3: выборочные факты, а также DD-тип 2:
данные, о которых мы не знаем, что они отсутствуют). На с. 146 отчета сказано
следующее: «Менеджеры сопоставляли с температурой окружающей среды лишь те полеты,
во время которых были зафиксированы критические состояния уплотнительных колец, но не
рассматривали частоту их возникновения на основе данных всех полетов»9. Именно в этом и
заключается истинная причина трагедии: данные некоторых полетов не были включены в
анализ. Ранее я уже показал, к каким проблемам может привести такое игнорирование
данных.
Далее в докладе говорится: «При таком сопоставлении [то есть с использованием
ограниченного набора данных] не было заметно отклонений от нормы в распределении
критических состояний уплотнительного кольца по всему диапазону температур при запуске
от 53 до 75 ºF [от 12 до 24 ºC}». Это означает, что нет очевидной зависимости между
температурой воздуха и числом уплотнительных колец, показывающих критическое
состояние. Тем не менее «если рассматривать всю историю полетов, включая “нормальные”
полеты без каких-либо разрушений или прорывов газа, результаты сопоставления
существенно отличаются». Иначе говоря, если вы включите все данные, то получите другую
картину. Фактически не включенные в анализ полеты, которые осуществлялись при более
высоких температурах, с гораздо большей вероятностью не имели проблем, и это были те
самые темные данные, не учтенные на графике. Ведь если вывод о том, что, чем выше
температура, тем меньше вероятность возникновения проблемы, верен, то верно и обратное:
чем температура ниже, тем выше вероятность возникновения этой проблемы. А согласно
прогнозу температура воздуха на момент запуска была 31 ºF или около 0 ºC.
В этом же разделе доклада сделан следующий вывод: «Анализ полной истории
температур при запуске указывает на то, что критическое состояние уплотнительного кольца
становится почти неизбежным, если температура стыка меньше 65 ºF [18 ºC]» (курсив мой).
Ситуация проиллюстрирована ниже на двух диаграммах. На рис. 1, а показана
диаграмма, которая обсуждалась на телеконференции. Это график зависимости количества
поврежденных уплотнительных колец при каждом запуске от температуры в градусах

9 https://xkcd.com/552/; отчет комиссии Роджерса см. https://forum.nasaspaceflight.com/index.php?topic=8535.0.

 13

Фаренгейта. Так, при 53 ºF – самой низкой температуре воздуха при запусках в прошлом –
три уплотнительных кольца достигали критического состояния, а при 75 ºF, что было самой
высокой температурой, при которой осуществлялся запуск, критического состояния
достигли два уплотнительных кольца. Мы видим, что нет устойчивой связи между
температурой при запуске и числом поврежденных уплотнительных колец.
Однако если мы добавим отсутствующие данные по запускам, при которых не
наблюдалось критических состояний уплотнительных колец, то получим совсем иную
картину, изображенную на рис. 1, b. И закономерность становится очевидной. Фактически
все запуски, которые произошли при температуре ниже 65 ºF, приводили к критическому
состоянию уплотнительных колец, и лишь 4 из 21 запуска, осуществленных при более
высоких температурах, дали подобный результат. На диаграмме четко видна
закономерность – чем ниже температура, тем выше риск. И что еще хуже, прогнозируемая
температура была намного ниже минимальной, при которой ранее проводились запуски
(DD-тип 15: экстраполяция за пределы ваших данных).
Отсутствующие данные имеют решающее значение для понимания происходящего.
В истории Challenger, однако, остался один загадочный момент. Хотя официальному
расследованию потребовался не один месяц, чтобы сделать выводы о причинах аварии, цена
акций Morton Thiokol упала на 11,86 % прямо в день катастрофы. При этом изменения цены
акций компании даже на 4 % были редкостью. Котировки акций других компаний,
принимавших участие в создании ракеты-носителя, также упали, но существенно меньше.
Такое ощущение, что рынок знал о настоящей причине аварии. Неужели снова темные
данные?

Сила темных данных

Этот последний пример показывает, насколько катастрофическими могут стать

ситуации, когда не обращают внимания на темные данные. А они, по всей видимости,
представляют реальную опасность. Однако картина все же не настолько мрачная.
Оказывается, само осознание факта существования темных данных уже может дать нам
преимущество. Что-то вроде принципа дзюдо для науки о данных; и в этом дзюдо есть
конкретные приемы, которые я опишу в части II книги, а пока просто назову несколько из
них.
 14

В главе 2 пойдет речь о так называемых рандомизированных контролируемых

исследованиях. В главе 9 мы вновь вернемся к ним, но рассмотрим с иного ракурса. Для
примера возьмем медицинские исследования, когда сравнивают два метода лечения и при
этом назначают их двум группам пациентов. Однако просто разделить людей на группы
недостаточно. Если известно, кому какое лечение назначено, это может повлиять на
 15

результаты – исследователи могут относиться к одной из групп более внимательно, чем к

другой. Например, когда сравнивают новый непроверенный метод лечения со стандартным,
исследователи, порой даже не осознавая этого, склонны тщательнее отслеживать побочные
эффекты и проводить измерения в первой группе. Чтобы преодолеть эту потенциальную
необъективность, в подобных исследованиях распределение методов лечения скрывают от
исследователей (DD-тип 13: намеренно затемненные данные). В таких случаях говорят о
слепом исследовании, чтобы указать на темные данные.
Другой хорошо известный метод, использующий темные данные, – выборочные
опросы. Возможно, мы захотим узнать мнение горожан или покупателей конкретной
продукции, но выяснять мнение всех без исключения слишком затратно. К тому же это
занимает много времени, и мнения могут измениться. Альтернативой тотальному опросу
является опрос отдельных представителей группы. Мнения тех, кто не попадает в наш опрос,
и будут темными данными. Вроде бы такая стратегия выглядит рискованно – она явно
напоминает историю с базой данных TARN. Но оказывается, что, используя продуманные
методы отбора людей для опроса, мы можем получить точные и достоверные ответы, при
этом быстрее и дешевле, чем если бы обращались к каждому.
Третий способ заставить темные данные работать на нас заключается в так называемом
сглаживании данных. В главе 9 мы увидим, что этот метод сродни выявлению незамеченных
и не поддающихся наблюдению видов темных данных (DD-тип 14: фальшивые и
синтетические данные) и позволяет получить более точные оценки и прогнозы.
Другие способы использования темных данных, которые носят весьма экзотические
названия, мы также рассмотрим в главе 9. Некоторые из них широко применяются в таких
областях, как машинное обучение и искусственный интеллект.

Всюду вокруг нас

Как мы видим, темные данные вездесущи. Они могут появляться повсеместно и где
угодно, а их наиболее опасное свойство заключается в том, что мы по определению не
можем быть уверенными в их отсутствии. Это означает, что необходимо постоянно быть
начеку и задавать себе вопрос: «Что мы упускаем?»
Не потому ли многие мошенничества остаются незамеченными, что полиция ловит
лишь неумелых преступников, а настоящие «мастера» продолжают «творить»? Берни
Мэдофф основал свою фирму Bernard L. Madoff Investment Securities LLC в 1960 г., а
арестован был лишь в 2008 г. Когда его приговорили к 150 годам тюремного заключения,
ему исполнился уже 71 год – можно сказать, что ему практически все сошло с рук.
А множество потенциально излечимых больных, которых мы вовремя не
диагностируем? Разве это не происходит лишь потому, что болезни на ранней стадии имеют
гораздо меньше симптомов, чем в своей тяжелой форме?
Опасны ли социальные сети? Ведь они отражают только то, что мы уже знаем и чему
верим, не посягая на нашу точку зрения, поскольку отбирают факты и события в пределах
нашей зоны комфорта. Или, что еще хуже, те рассказы, которые люди выбирают для
публикаций в социальных сетях, могут создавать у нас ложное представление о том, что
жизнь всех остальных людей удивительно легка и прекрасна, а это прямой путь к
депрессии – ведь в своей жизни мы встречаем так много препятствий.
Мы привыкли думать о данных как о числах. Но данные необязательно должны быть
числами, включая и темные данные. Вот вам пример, в котором отсутствующей критической
информацией является одна буква.
Арктическим экспедициям 1852, 1857 и 1875 гг. поставлялось Arctic Ale – пиво с особо
низкой температурой замерзания, изготовленное Сэмюэлем Аллсоппом. Альфред Барнард,
написавший историю британского пивоварения, попробовал этот эль в 1889 г., описав его
как напиток «приятного коричневого оттенка, обладающий вкусом вина и орехов и таким
шипением, словно был сварен только что… Из-за большого количества оставшегося
 16

неферментированного экстракта, его следует рассматривать как чрезвычайно ценный и

питательный продукт»10. Как раз то, что нужно в арктических экспедициях.
В 2007 г. бутылка из партии 1852 г. была выставлена на аукционе eBay со стартовой
ценой $299. Продавец, у которого она хранилась в течение 50 лет, неправильно написал
название пива, пропустив одну «р» в слове «Allsopp». Как следствие, предмет не
обнаруживался поисковыми запросами любителей винтажного пива, так что поступило
только две заявки. Из них победила заявка 25-летнего Даниэля Вудула, который предложил
целых $304. Стремясь определить ценность покупки, Вудул тут же вновь выставил бутылку
на продажу, но на этот раз с правильным названием. В ответ было подано 157 заявок с
максимально предложенной ценой $503 300.
В этом случае одна пропущенная буква стоила полмиллиона долларов 11 . Это
наглядный пример того, что потеря информации может привести к значительным
последствиям. Как мы увидим далее, полмиллиона долларов – ничто по сравнению с
убытками в других ситуациях, связанных с отсутствием данных. Они способны разрушать
судьбы, уничтожать компании и, как в случае с Challenger, приводить к гибели людей.
Короче говоря, отсутствующие данные важны.
В случае с Arctic Ale чуть большее внимание помогло бы избежать проблемы.
Небрежность, безусловно, одна из самых распространенных причин появления темных
данных, но далеко не единственная. Неприятный факт заключается в том, что данные могут
стать темными по очень широкому ряду причин, и далее в книге мы увидим это.
Заманчиво считать темные данные исключительно тем, что можно было бы получить,
но по каким-то причинам не удалось. Безусловно, это самый очевидный вид темных данных.
Отсутствующие данные по заработной плате в опросе, в котором часть респондентов
отказалась разглашать эту информацию, конечно, являются темными данными, но также ими
является и уровень заработной платы безработных, которые не получают ее и,
следовательно, просто не могут назвать. Ошибки измерения и неточности скрывают
истинные значения; обобщая данные (например, вычисляя средние значения), мы теряем
детали; неверные формулировки запросов искажают смысл того, что мы хотим узнать. В
более общем понимании любую неизвестную характеристику некоей генеральной
совокупности (статистики часто используют термин «параметр») можно рассматривать как
темные данные.
Поскольку число возможных причин возникновения темных данных, по сути, не
ограничено, знание того, на что следует обращать внимание, является чрезвычайно важным
для предотвращения ошибок и просчетов. Именно с этой целью в нашей книге и
представлено описание DD-типов. Они не охватывают все возможные причины (например,
небрежность, допускающую включение в окончательный результат исследования данных
пациентов, которые наблюдались недостаточно длительное время), но обеспечивают более
общую систематику (например, проводят различие между данными, о которых мы знаем, что
они отсутствуют, и данными, о которых мы этого не знаем). Понимание этих DD-типов
может помочь вам защититься от ошибок, оплошностей и угроз, вытекающих из самого
факта незнания. В этой книге представлены, а в главе 10 обобщены следующие DD-типы:
● DD-тип 1: данные, о которых мы знаем, что они отсутствуют;
● DD-тип 2: данные, о которых мы не знаем, что они отсутствуют;
● DD-тип 3: выборочные факты;
● DD-тип 4: самоотбор;

10 R. Pattinson, Arctic Ale: History by the Glass, issue 66 (July 2102),

https://www.beeradvocate.com/articles/6920/arctic-ale/, accessed 31 July 2018.

11 В действительности оказалось, что победившая заявка была шуткой и участник торгов не собирался
платить. Но даже при этом Вудул мог рассчитывать на приличную прибыль: частный коллекционер из
Шотландии недавно продал с аукциона бутылку из экспедиции 1875 г. за £3300, что равняется примерно $4300.
 17

● DD-тип 5: неизвестный определяющий фактор;

● DD-тип 6: данные, которые могли бы существовать;
● DD-тип 7: данные, меняющиеся со временем;
● DD-тип 8: неверно определяемые данные;
● DD-тип 9: обобщение данных;
● DD-тип 10: ошибки измерения и неопределенность;
● DD-тип 11: искажения обратной связи и уловки;
● DD-тип 12: информационная асимметрия;
● DD-тип 13: намеренно затемненные данные;
● DD-тип 14: фальшивые и синтетические данные;
● DD-тип 15: экстраполяция за пределы ваших данных.

Глава 2
Обнаружение темных данных
Что мы собираем, а что нет

Темные данные со всех сторон

Данные не возникают сами собой. Они не существуют с начала времен, ожидая, пока
их проанализируют. Кто-то должен собрать их. И разные методы сбора данных, как вы
догадываетесь, порождают разные типы темных данных.
В этой главе мы рассмотрим три основных метода создания наборов данных, а также
пути возникновения темных данных, связанные с каждым из них. Следующая глава
посвящена дополнительным осложнениям, которые темные данные могут вызывать в разных
ситуациях.
Итак, вот три основные стратегии создания наборов данных.
● Сбор данных обо всех интересующих нас объектах.
Именно к этому стремятся, например, во время переписи населения. Точно так же
инвентаризации преследуют цель максимально детализировать все позиции на складе или в
любом другом месте. В 2018 г. ежегодная инвентаризация в лондонском зоопарке, которая
занимает около недели, показала, что в данной организации насчитывается 19 289
животных – от филиппинских крокодилов до беличьих обезьян, пингвинов Гумбольдта и
двугорбых верблюдов (в случае муравьев, пчел и других социальных насекомых
подсчитывались колонии). В главе 1 мы уже отмечали, что супермаркеты собирают данные
обо всех покупках. То же самое касается налогов, операций по кредитным картам и
персонала. Не менее подробно регистрируются спортивная статистика, книги на полках
библиотек, цены в магазинах и многое другое. Во всех этих примерах каждая единица – будь
то объект или человек – детализируется для формирования набора данных.
● Сбор данных о некоторых элементах совокупности.
Альтернативой полной переписи населения является сбор данных в рамках
ограниченной выборки. Репрезентативная выборка крайне важна в нашем контексте, и мы
подробно рассмотрим ее взаимосвязь с проблемой темных данных. Проще говоря, порой
приходится собирать только те данные, которые легче собрать. Чтобы понять, как ведут себя
покупатели в принципе, вы можете понаблюдать за теми, кто пришел в магазин сегодня. Для
того чтобы узнать, сколько времени у вас отнимает дорога до работы, вы можете просто
ежедневно на протяжении месяца следить за продолжительностью поездки. Бывают
ситуации, когда просто не нужно измерять все: чтобы увидеть динамику изменения цен на
продукты питания, вам не нужна информация о каждой покупке, а для определения среднего
веса песчинки ни к чему взвешивать каждую из них. В главе 1 мы уже видели, что само
понятие «измерение всего» может быть лишено смысла. Полнота данных, например о вашем
росте, будет ограничена только теми измерениями, которые вы проведете.
 18

Несколько лет назад, еще до начала эры легкодоступных больших наборов данных, мы
с коллегами опубликовали «Справочник по небольшим наборам данных» 12, включающий в
себя 510 массивов реальных данных, на примере которых преподаватели могут
иллюстрировать концепции и методы статистики. В справочнике приведены результаты
20 000 бросков игральной кости, данные о сроках беременности, толщине роговицы глаза,
длительности нервных импульсов и множество других наборов данных, очень немногие из
которых описывают генеральные совокупности целиком.
● Изменение условий.
Первые две стратегии помогают собрать так называемые данные наблюдения. Вы
просто измеряете значения, которые присущи объектам или людям, никак не меняя условия,
в которых проводятся измерения. Вы не даете людям лекарств, чтобы отследить их реакцию,
не просите выполнить какое-либо задание, чтобы подсчитать, сколько времени это займет, не
меняете удобрения, чтобы посмотреть, какие из них дают самый обильный урожай, не
пробуете разную температуру воды, чтобы понять, как она влияет на вкус чая. Если же вы
меняете условия сбора данных, иначе говоря, вмешиваетесь, то такие данные называются
экспериментальными. Экспериментальные данные особенно важны, потому что они могут
дать информацию о контрфактуальности (DD-тип 6: данные, которые могли бы
существовать), упомянутой в главе 1.
Хотя у всех трех методов сбора данных есть немало общих недостатков, связанных с
темными данными, для каждого из них характерны и свои особые проблемы. Мы начнем с
рассмотрения первой стратегии сбора данных, претендующей на полный охват.

Извлечение, отбор и самоотбор данных

Компьютеры оказали революционное влияние на все аспекты нашей жизни. Где-то это
влияние проявляется очевидным образом, например в программном обеспечении, которое я
использую для подготовки рукописи этой книги, или в системе бронирования авиабилетов, а
где-то оно не так заметно, если речь идет, скажем, о встроенных компьютерах, управляющих
тормозами и двигателем автомобиля, или о начинке какого-нибудь копировального аппарата.
Но независимо от того, очевидна или нет роль компьютеров, во всех случаях в машины
поступают данные – измерения, сигналы, команды – и обрабатываются ими, чтобы принять
решение или выполнить какую-либо операцию. Казалось бы, по завершении операции
можно попрощаться с данными, однако зачастую этого не происходит. Данные все чаще
сохраняют, отправляют в базы данных и там аккумулируют. То же самое происходит и с
побочными или, как их еще называют, выхлопными данными (по аналогии с выхлопными
газами), которые в дальнейшем помогают добиться лучшего понимания, усовершенствовать
системы или восстановить картину событий, если что-то пошло не так. Черный ящик в
самолете является классическим примером такого рода систем.
Выхлопные данные, описывающие людей, называются административными13. Особая
сила административных данных заключается в том, что они сообщают не то, что люди
говорят о своих действиях (как, например, в случае опросов), а то, что они делают на самом
деле. Такие данные показывают, что люди купили, где они это купили, что они ели, какие
поисковые запросы делали и т. д. Считается, что административные данные намного точнее
демонстрируют реалии общества, чем ответы людей на вопросы об их действиях и
поведении. Это привело к накоплению правительствами, корпорациями и рядом других

12 D. J. Hand, F. Daly, A. D. Lunn, K. J. McConway, and E. Ostrowski, A Handbook of Small Data Sets (London:
Chapman and Hall, 1994).

13 D. J. Hand, “Statistical challenges of administrative and transaction data (with discussion),” Journal of the Royal
Statistical Society, Series A181 (2018): 555-605.
 19

организаций гигантских баз данных, описывающих наше поведение. Нет сомнения в том, что
эти базы данных представляют собой очень ценный ресурс, настоящую золотую жилу в
сфере знаний о человеческом поведении. Сделанные на их основе выводы помогут
усовершенствовать процесс принятия решений, повысить корпоративную эффективность и
лучше продумать государственную политику – конечно, при условии, что эти выводы будут
точными и не подвергнутся влиянию темных данных. Кроме того, когда данные, которые мы
хотели бы сохранить в темноте, становятся известны другим, возникают риски нарушения
конфиденциальности. Мы вернемся к этому вопросу чуть дальше, а пока давайте поищем
темные данные, причем в самых неожиданных местах.
Один из очевидных и очень серьезных недостатков административных данных кроется
в самом их преимуществе: они сообщают о том, что на самом деле делают люди, а это может
быть полезным только тогда, когда вы не пытаетесь исследовать, что люди думают и
чувствуют. Например, своевременное обнаружение недовольства сотрудников тем, как идут
дела, может быть не менее важным для корпорации, как и наблюдение за их поведением в
жестких рамках повседневной работы, когда начальник буквально стоит за спиной. Но,
чтобы узнать, что чувствуют люди, нам придется активно допытываться этого, например с
помощью опроса. Для решения разных задач требуются и разные стратегии сбора данных,
при этом каждая из них грозит своими особыми проблемами, связанными с темными
данными.
Мое первое настоящее знакомство с темными данными состоялось в сфере банковских
услуг для потребительского сектора: кредитные и дебетовые карты, персональные займы,
автокредиты, ипотека и прочие подобные вещи. Данные о транзакциях по кредитным картам
представляют собой гигантские наборы данных, поскольку миллионы клиентов ежегодно
совершают миллиарды операций. Так, с июня 2014 г. по июнь 2015 г. было совершено около
35 млрд транзакций по картам Visa14. Каждый раз, когда покупка оплачивается кредитной
картой, регистрируется потраченная сумма, валюта, продавец, дата и время транзакции, а
также многие другие детали, общий список которых включает 70–80 пунктов. Большую
часть этой информации составляют данные, необходимые для совершения транзакции и
списывания суммы с соответствующего счета – это обязательная часть операции, поэтому
пропуск таких деталей маловероятен или даже невозможен. Например, операция не может
быть выполнена без информации о том, сколько взимать или с кого взимать. Но есть и такие
данные, которые не критичны для проведения операции, поэтому существует вероятность
того, что они не будут собраны. В частности, номер партии товара, его идентификационный
код или цена за единицу не являются обязательной информацией для проведения
транзакции. Очевидно, что это DD-тип 1: данные, о которых мы знаем, что они
отсутствуют.
Что еще хуже, во всяком случае в отношении темных данных, клиенты рассчитываются
за покупки не только кредитными картами, но и наличными. Это означает, что реестр всех
покупок и транзакций, созданный на основе данных по кредитным картам, будет содержать
невидимые массивы темных данных – DD-тип 4: самоотбор. Вдобавок существует
несколько операторов кредитных карт. Данные одного оператора не могут считаться
репрезентативными для всей совокупности держателей кредитных карт и уж тем более для
населения в целом. Таким образом, несмотря на многообещающие перспективы,
административные данные имеют скрытые недостатки, связанные с темными данными.
Конкретной проблемой, с которой мне пришлось столкнуться, был заказ на создание
«системы показателей» – статистической модели для прогнозирования вероятности
неплатежей, которая могла бы использоваться при принятии решений о предоставлении
кредитов. Мне был открыт доступ к большому набору данных, содержащему информацию из

14 https://www.quora.com/How-many-credit-and-debit-card-transactions-are-there-every-year, accessed 24 August

2018.
 20

заявок предыдущих клиентов, а также их кредитные истории, показывающие

действительную картину того, платили они или нет по своим обязательствам.
По сути ничего сложного в этом заказе не было. Я должен был выяснить, какие
сочетания характеристик отличают клиентов, выполнивших свои обязательства, от тех, кто
допустил дефолт. Это позволило бы классифицировать будущих заявителей как
«добросовестные заемщики» или «потенциальные неплательщики».
Проблема заключалась в том, что банк хотел получить модель, позволяющую делать
прогнозы в отношении всех будущих заявителей. Предоставленные мне данные, безусловно,
не были генеральной совокупностью, отражавшей всех заявителей – они касались лишь тех,
кто уже прошел процесс отбора. Надо полагать, состоявшиеся клиенты получили кредиты,
потому что им был присвоен статус приемлемого риска в соответствии с каким-то более
ранним механизмом отбора – на основе либо предыдущей статистической модели, либо
субъективной оценки менеджеров банка. Те, кого сочли слишком рискованными, не
получили ссуду, поэтому я не мог знать о том, насколько добросовестно они выполнили бы
свои обязательства. Я даже не имел понятия, сколько заявителей было отклонено ранее и не
попало в мой набор данных. Короче говоря, данные, предоставленные мне, были искаженной
выборкой с неизвестными критериями отбора (или смещением выборки), и любая
статистическая модель, построенная на этом наборе данных, вводила бы в заблуждение в
случае применения ко всем потенциальным кандидатам.
На самом деле проблема была еще глубже, поскольку имелось несколько слоев темных
данных. Необходимо было учесть следующее.
 Кто подавал заявки? В прошлом банк проводил почтовые рассылки потенциальным
клиентам, предлагая им взять кредит. Кто-то заинтересовался, кто-то никак не
отреагировал. Банковские данные по таким рассылкам включали только тех, кто
откликнулся на них сразу, и здесь приобретали значение такие факторы, как
формулировка кредитного предложения, его сумма, процентная ставка, а также
множество других, о которых я не был осведомлен. Те же, кто не ответил на
рассылку, представляли собой темные данные.
 Кто получал предложение? Тех, кто откликнулся, банк оценивал с точки зрения
платежеспособности и некоторым предлагал взять кредит, в то время как другим
отказывал. Но, так как я не знал, на каких основаниях делались эти персональные
предложения, темных данных становилось еще больше.
 Кто принимал предложение? Вдобавок к двум предыдущим процедурам отбора не все
из тех, кому был предложен кредит, взяли его, и это породило еще один слой темных
данных.
Вместе эти слои делали совершенно непонятным то, как можно использовать полученные от
банка данные для решения поставленной задачи — создания модели оценки новых заявок.
Несколько слоев темных данных могли означать, что имеющаяся у меня выборка со всеми
известными хорошими/плохими исходами кардинально отличается от той совокупности, к
которой банк хотел применить модель. А вы уже знаете, что игнорирование темных данных
может иметь катастрофические последствия. (Впрочем, замечу, что банк все еще существует
— видимо, моя модель оказалась не так уж плоха!)
Административные данные вездесущи. Только представьте себе все те базы данных, в
которых хранится информация о вашем образовании, работе, здоровье, интересах, покупках,
финансовых транзакциях, ипотеке, страховании, путешествиях, поисковых запросах,
активности в социальных сетях и т.д. Вплоть до недавнего времени подобные данные
сохранялись автоматически, без вашего ведома и учета мнения. Общий регламент по защите
данных Евросоюза (GDPR) изменил ситуацию — теперь, как вы наверняка заметили, сайты
 21

просят вас поставить галочки, подтверждающие, что вы осознанно даете разрешение на

использование персональных данных. Встречаются и другие способы давать или не давать
свое согласие, например в США, где конфиденциальность персональных данных
регулируется как федеральными законами, так и законами штатов, в зависимости от сектора
экономики.

В 2013 г. Национальная служба здравоохранения Великобритании (NHS) запустила

программу, предполагающую ежемесячное копирование медицинских данных из отчетов
семейных врачей и объединение их с учетными записями больниц в Национальном
информационном центре здравоохранения и социальной защиты (HSCIC). Потенциальная
ценность таких объединенных наборов данных огромна. Собрав информацию о состоянии
здоровья и методах лечения миллионов людей, мы сможем извлекать данные, чтобы лучше
не только изучать сами заболевания и пути повышения качества их профилактики,
мониторинга и эффективности лечения, но и понимать, насколько эффективна система
медицинской помощи в целом и где ее необходимо усовершенствовать.
Конфиденциальность при этом обеспечивается системой псевдонимизации, в которой имена,
номер медицинской страховки и другие идентификаторы заменяются кодом, а коды
сохраняются в файле, никак не связанном с фактическими данными.
К сожалению, эта система — и ее потенциальные выгоды для здоровья и медицины — была
плохо представлена общественности. Многих беспокоила возможность продажи их данных
третьим сторонам (например, фармацевтическим и страховым компаниям), которые будут
использовать информацию для получения прибыли. Другие опасались потери и взлома
данных, а также того, что их данные могут быть декодированы, что нарушило бы
конфиденциальность в сфере медицинских вопросов. В результате был получен негативный
общественный резонанс, усиленный отдельными СМИ. И это даже несмотря на то, что
система позволяла людям отказаться от передачи их данных куда бы то ни было.

В феврале 2014 г. программа была приостановлена. После ряда неудачных попыток

перезапуска в июле 2016 г. был опубликован ее расширенный пересмотренный вариант, в
котором рекомендовалась модель согласия пациента на использование персональных
данных, включавшая восемь пунктов. Одна из особенностей нового варианта заключалась в
том, что она давала людям возможность запретить использование их данных для целей,
выходящих за рамки медицинской помощи, например для проведения исследований.
Если до этого момента вы читали внимательно, то, вероятно, заметите скрывающуюся здесь
опасность. Из-за разрешения отказывать в использовании информации для исследований
базы данных перестают быть всеобъемлющими. В них будет содержаться информация
только о части пациентов. Хуже того, поскольку люди сами выбирают, давать или не давать
свои данные (DD-тип 4: самоотбор), велик риск того, что базы данных покажут искаженную
картину всей совокупности.
В 2009 г. Мишель Хо и ее коллеги из Университета Макмастера в Канаде изучили эту
проблему4. Они провели метаанализ исследований влияния информированного согласия на
использование данных с точки зрения того, какие именно люди дают такое согласие.
Сравнив согласных и несогласных по возрасту, полу, расовой принадлежности,
образованию, доходу и состоянию здоровья, они обнаружили, что две группы действительно
отличались друг от друга. Но еще большую тревогу вызвал тот факт, что «направленность и
масштаб этого эффекта оказались непостоянными». Это означает, что согласные и
несогласные не просто отличаются друг от друга, а отличаются непредсказуемым образом,
что делает крайне затруднительной корректировку отличий.
Отказ от участия — иначе говоря, предоставление людям права не быть включенными в базу
данных — требует от них по меньшей мере некоторых усилий. В такой ситуации многие
 22

просто ленятся что-то делать, принимают установки по умолчанию и потому попадают в

базы данных. Потенциально более строгая альтернатива отбора подразумевает приложение
усилий уже для включения в базу данных. В этом случае врожденная лень, наоборот, может
сделать только хуже: требовать от людей каких-то действий — верный способ уменьшить
число откликов.

В примере с медицинскими картами фигурируют четко оформленные административные

данные, но иногда мы имеем дело с вещами менее очевидными. С такими, например, как
сброшенные звонки в службу экстренной помощи.

Сброшенным считается такой вызов, когда кто-то производит набор номера экстренной
службы, но вешает трубку или как-то иначе прерывает звонок, прежде чем ответит оператор.
В сентябре 2017 г. BBC на своем сайте сообщила, что за год, начиная с июня 2016 г.,
количество сброшенных вызовов в диспетчерские британской полиции выросло вдвое: с
8000 до 16 3005. Существуют разные теории о том, почему это происходит. Например, одна
из них утверждает, что полиция перегружена звонками и поэтому операторам требуется
слишком много времени, чтобы принять очередной вызов. Другая теория гласит, что
причина заключается в случайном нажатии телефонных кнопок в кармане или сумочке, что
автоматически генерирует такие вызовы.
Если бы эта последняя теория действительно все объясняла, можно было бы ожидать, что
проблема не возникнет или по крайней мере не будет столь острой в Соединенных Штатах,
где для набора номера экстренного вызова 911 используются две разные цифры, в отличие от
999 в Великобритании. Однако частота таких звонков увеличивается и в Америке. Данные
Центра экстренной связи Линкольна за три месяца показывают, что число сброшенных
звонков с апреля по июнь 2013 г. увеличилось с 0,92 до 3,47%.
Сброшенные звонки — яркий пример темных данных DD-тип 1: данные, о которых мы
знаем, что они отсутствуют. Не менее яркий пример темных данных DD-тип 2: данные, о
которых мы не знаем, что они отсутствуют, был приведен Майком Джонстоном, редактором
сайта The Online Photographer6. В своей редакторской колонке он пишет: «Всякий раз, когда
я читаю описание бревенчатых хижин времен освоения Дикого Запада как хорошо
сработанных, добротных и красивых построек, я тихонько посмеиваюсь. Ведь, скорее всего,
99,9% срубов того времени были построены просто ужасно — поэтому они все и
развалились. Те немногие, что сохранились в первозданном виде, были действительно
сделаны неплохо. Но это не значит, что все хижины были такими». Поскольку не осталось
никаких документальных свидетельств об этих развалившихся бревенчатых хижинах, мы
имеем дело с темными данными.
DD-тип 2: данные, о которых мы не знаем, что они отсутствуют, особенно обманчив, потому
что у нас, как правило, нет оснований подозревать существование таких данных. Допустим,
вы читаете лондонскую The Times от 29 декабря 2017 г. и, так же как и я, узнаете, что, «по
данным полиции, число сексуальных домогательств, предположительно совершенных
водителями такси по отношению к пассажирам, возросло на одну пятую за три года».
Объяснение, лежащее на поверхности, состоит в том, что совершается все больше подобных
правонарушений. Но есть и другое объяснение, вытекающее из темных данных: число
совершенных преступлений не меняется, зато растет число сообщений о них. Темные
данные, которые были до этого скрыты, становятся видимыми в результате изменения
нравов и общественных норм. Отсюда следует важный вывод общего характера: если мы
видим внезапное изменение шага во временном ряду значений, это может быть связано не
только с тем, что поменялись параметры наблюдаемой реальности, но и с тем, что
изменилась сама процедура сбора данных. Это также проявление темных данных DD-тип 7:
данные, меняющиеся со временем.
 23

Более сложный пример того, как работают в тандеме DD-тип 2: данные, о которых мы не
знаем, что они отсутствуют и DD-тип 7: данные, меняющиеся со временем, дают нам
показатели инвестиционных фондов. Рынок таких фондов в целом отличается высокой
динамикой — постоянно создаются новые фонды, а старые умирают. Понятно, что, как
правило, умирают неэффективные предприятия, а преуспевающие остаются. И если мы не
примем во внимание эти исчезнувшие фонды, то средние результаты оставшихся на плаву
покажутся нам весьма неплохими.

Хотя фонды, прекратившие свое существование из-за низкой доходности, исключаются из

индекса, который показывает общую или среднюю результативность по рынку, можно
попытаться самим заглянуть в прошлое и получить нужные данные по этим фондам. Это
изменило бы их статус с DD-типа 2: данные, о которых мы не знаем, что они отсутствуют на
DD-тип 1: данные, о которых мы знаем, что они отсутствуют, и позволило оценить, как их
отсутствие влияет на расчеты. Исследование, проведенное в 2006 г. Эми Барретт и Брентом
Бродески, показало, что «очистки базы данных Morningstar от самых слабых фондов
повышали видимую доходность в среднем на 1,6% в год в течение 10-летнего периода
[1995–2004 гг.]»7. В другом исследовании, опубликованном в 2013 г., Тодд Шлангер и
Кристофер Филипс из инвестиционной компании Vanguard изучили результативность
фондов, исключая, а затем включая выбывшие из игры фонды в расчет доходности за
последние 5, 10 и 15 лет8. Различия оказались поразительными: доходность тех
инвесткомпаний, которые на протяжении 15 лет исключали из расчетов подобные фонды,
почти вдвое превышала показатели тех, кто их учитывал. Это исследование выявило также и
масштаб темных данных в сфере инвестиционных фондов: только 54% из них
просуществовали в течение всего 15-летнего периода.
Этот феномен оказывает влияние и на такие знакомые финансовые индексы, как Dow Jones и
S&P 500. Компании, которые плохо работают, выпадают из расчета этих индексов, так что
только те, которые справляются относительно неплохо, вносят свой вклад в их значение. Это
хорошо, если вы инвестировали именно в те компании, которые преуспели, но обратная
ситуация совсем не радует. А поскольку крайне сложно (некоторые скажут, что невозможно)
определить, какие компании будут продолжать работать хорошо, а какие нет, то индексы
обманчивы.
Предостерегая от так называемой ошибки выжившего в отношении индексов, стоит
отметить, что все может быть еще сложнее. Если говорить о хедж-фондах, то не только
фонды с низкими результатами могут закрываться и не включаться в расчет — самые
результативные из них тоже нередко закрываются для новых инвесторов. По аналогии
сильные компании могут провести дробление акций, находящихся в обращении, чтобы стать
доступнее для новых инвесторов, и как результат выпасть из расчета фондового индекса.
Темные данные могут воздействовать непостижимым образом.
Кроме того, по причинам, которые мы рассмотрим в главе 3, есть большая вероятность, что
фонды, которые работали исключительно хорошо в прошлом, пойдут на спад в будущем по
причине «возврата к среднему значению». Это означает, что инвесторам нужно очень
внимательно следить за тем, как оценивается прошлая результативность фондов. Так же, как
и в любых других сферах жизни, они должны спрашивать себя: «Не сокрыта ли истина под
покровом темных данных?»
Ошибка выжившего является потенциальной проблемой для всех ситуаций, когда со
временем что-то меняется. В мире стартапов мы больше слышим об успехах, чем о неудачах,
хотя большинство таких компаний терпит именно неудачу. Одни исследователи считают, что
их доля составляет всего 50%, другие — что 99%. Конечно, многое зависит от того, какой
период времени вы рассматриваете (год или 50 лет?) и что понимаете под «неудачей».
Возьмем, к примеру, социальную сеть Bebo. Запущенная в 2005 г., она была одной из самых
 24

популярных соцсетей в Великобритании с почти 11 млн пользователей. В 2008 г. Bebo была

куплена AOL за $850 млн. Так вот, на трехлетнем горизонте компания была невероятно
успешной. Но затем число пользователей начало сокращаться, в том числе из-за того, что
они переходили в Facebook, и в 2010 г. AOL продала Bebo Criterion Capital Partners, после
чего компьютерный сбой окончательно подорвал ее репутацию, и в 2013 г. компания подала
заявление о банкротстве в соответствии со статьей 11 Закона о банкротстве США. Позже, в
2013 г. ее основатели Майкл и Сочи Берч выкупили компанию за $1 млн. Так что это, успех
или неудача? А как насчет Lehman Brothers? Эта фирма, основанная в 1850 г., была
четвертым по величине инвестиционным банком в Соединенных Штатах, пока не объявила о
банкротстве в 2008 г. Как и Bebo, компания потерпела крах, хотя и просуществовала намного
дольше. Но была ли ее история историей успеха или же провалом?

В мире стартапов люди по естественным причинам хотят слышать истории успехов, а не

провалов — ведь они стремятся подражать именно успехам. Но на самом деле им требуются
другие данные, остающиеся для них темными. Предприниматели должны искать такие
характеристики, которые отличают успехи от неудач, а не просто те, которые сопровождают
успех, поскольку они точно так же могут быть связаны и с ошибками в действиях. Более
того, даже если характеристики связаны с успехами больше, чем с неудачами, нет никакой
гарантии, что эта связь причинно-следственная.
На сайте веб-комиксов xkcd.com есть забавный комикс на тему ошибки выжившего9.
Персонаж советует нам никогда не прекращать покупать лотерейные билеты, рассказывая,
как он проигрывал и терял деньги раз за разом, но все равно продолжал покупать билеты —
даже устроился на дополнительную работу, чтобы больше зарабатывать и покупать их еще
больше. И вот в конце концов он преуспел (если слово «преуспел» тут уместно). При этом за
кадром громоздятся горы трупов азартных игроков, которые точно так же вкладывались в
лотерейные билеты, но умерли, ничего не выиграв.

В целом административные данные имеют огромный потенциал, если мы принимаем во

внимание риски, связанные с темными данными. Однако есть один аспект, который не
выглядит столь радужным и вызывает озабоченность.
С точки зрения отдельного человека, выхлопные данные, хранящиеся в базах
административных данных, являются не чем иным, как тенями данных. По сути это
цифровые следы, которые мы оставляем каждый раз, отправляя электронные письма,
текстовые сообщения, твиты, публикуя комментарии на YouTube, расплачиваясь
кредитными картами, используя проездные, совершая телефонные звонки, обновляя
приложения для социальных сетей, включая компьютер или iPad, получая наличные в
банкомате, проезжая мимо камеры распознавания номерного знака — список можно
продолжать бесконечно, причем порой следы наших действий считываются весьма
неожиданными способами. Хотя такие данные действительно могут использоваться в
интересах общества, но правдой является и то, что они неизбежно раскрывают большое
количество личной информации о каждом из нас: наши симпатии и антипатии, наши
привычки и поведение. Цифровая тень может быть использована для нашей выгоды — на ее
основе происходит отбор действительно интересных нам товаров и событий, она помогает в
путешествиях и в целом облегчает жизнь. Но эта тень может быть использована и для
манипулирования нашим поведением. Авторитарные режимы получают возможность
контролировать нас, если имеют доступ к подробностям нашей жизни. В некотором смысле
это неизбежно: недостатком предоставления информации для получения ответной помощи
является… само предоставление информации.
На фоне растущей озабоченности этой проблемой появляются сервисы, которые
минимизируют нашу цифровую тень. Они как бы гасят свет, погружая данные во тьму.
Основные шаги в этом направлении включают в себя деактивацию всех учетных записей
 25

социальных сетей, удаление старых учетных записей почтовых сервисов, удаление

результатов поиска, использование ложной информации для учетных записей, которые мы
не можем удалить (например, фиктивные даты рождения или инициалы), удаление из
списков рассылок и оповещений и пр. Понятно, что такое сокрытие данных негативно
сказывается на потенциальных выгодах. Государство, например, может определить,
предоставлять или не предоставлять человеку налоговые льготы, только если располагает
данными о его доходах и налоговых платежах.
От нескольких ко многим
Сбор данных обо всех интересующих нас людях или объектах, например административных
данных, генерируемых во время похода в супермаркеты, — это действенный метод
получения информации, способной улучшить понимание ситуации и повысить качество
принимаемых решений. Но такие данные не всегда могут пролить свет на волнующие нас
вопросы. Простейшим примером являются ситуации, в которых соответствующие наборы
административных данных просто не могут быть собраны автоматически. Одно из решений
— использовать максимально близкий к искомому набор данных, но это имеет свои риски.
Вторым решением будет разовый сбор данных, например в масштабе всего населения, для
получения ответа на конкретный вопрос. По сути, это перепись. Но, к сожалению, перепись
— дорогостоящий и небыстрый процесс, и нет смысла тратить огромные суммы на то, чтобы
получить идеальный ответ уже после того, как он перестал быть актуальным.

Третья стратегия заключается в проведении опросов.

Опросы — это один из основных инструментов, используемых для изучения современного
общества. Их особенность и преимущество состоит в том, что они позволяют понять
происходящее в той или иной группе людей, не спрашивая каждого члена этой группы.
Опросы основаны на таком мощном статистическом феномене, как закон больших чисел,
который гласит, что среднее значение произвольной выборки из некоей генеральной
совокупности с высокой вероятностью будет очень близко к реальному среднему значению
совокупности, если размер выборки достаточно велик.
Предположим, мы хотим определить средний возраст людей в стране. Это значимая
информация, позволяющая понять, например, достаточно ли в стране людей
трудоспособного возраста (и будет ли их достаточно по мере старения населения), чтобы
собранные с них налоги могли обеспечить пенсию старшему поколению. Важность и
потенциальное влияние среднего возраста становится очевидным, если взглянуть на два
государства, занимающих крайние противоположные позиции на этой шкале:
западноафриканский Нигер, где 40% населения не достигло возраста 15 лет, и Японию, в
которой всего 13% населения приходится на эту возрастную группу.

Представим, что у нас нет записей о рождении, что мы не можем позволить себе провести
перепись и узнать возраст каждого, а базы данных, собранные различными службами и
сервисами, которые просят указать при регистрации дату рождения, не внушают доверия
из-за наличия темных данных. Опросы позволяют получить достаточно точную оценку,
задавая лишь некоторым людям вопрос об их возрасте. Вы, должно быть, сразу сообразили,
что существует очевидный риск возникновения темных данных, поскольку мы не узнаем
возраст всех тех, кто не попал в наш опрос. Но закон больших чисел говорит о том, что
узнать это вполне возможно при условии репрезентативности выборки. Более того,
математика, лежащая в основе этого закона, утверждает, что выборка необязательно должна
быть огромной — тысячи человек для средних размеров страны может оказаться достаточно.
Согласитесь, это совсем не то, что опрашивать миллионы.
Обычно к выборке прилагается крайне важное пояснение, которое описывает ее как
сформированную либо «случайно», либо «должным образом». Если мы включим в выборку
 26

только посетителей ночных клубов или только обитателей домов престарелых, то вряд ли
сможем точно определить средний возраст населения. Нам нужно быть уверенными,
насколько это возможно, в том, что выборка должным образом представляет исследуемое
население. Лучший способ достичь этого — начать с составления списка всех интересующих
нас представителей населения (такой список называется рамкой выборки), затем случайным
образом выбрать людей из этого списка и спросить их о возрасте. Такие детальные списки
часто создают на основе административных данных, например списков избирателей или
результатов последней переписи.
Поначалу случайный выбор тех, кого спрашивать о возрасте, может показаться странным.
Конечно, каждый такой опрос может давать разный результат. Однако, хотя он не
гарантирует того, что выборка свободна от негативного влияния темных данных (например,
что доля молодых людей в ней не выше, чем в популяции), вероятность таких искажений
поддается контролю. Это означает, что мы можем утверждать, например, следующее:
«Почти для всех (то есть для 95%) сформированных выборок среднее значение может
отклоняться не более чем на два года от среднего возраста населения». Увеличивая размер
выборки, мы можем увеличить и уверенность с 95%, скажем, до 99%, и уменьшить диапазон
отклонений на год или любую другую величину. А если вас беспокоит отсутствие
абсолютной достоверности выводов, сделанных по результатам такого процесса, напомним,
что ничто в этой жизни не является абсолютно достоверным (разве что смерть и налоги).
Один из любопытных аспектов закона больших чисел состоит в том, что точность оценки
существенно не зависит от того, насколько большую долю населения составляет выборка, во
всяком случае если популяция большая, а выборка относительно невелика. Точность, как ни
странно, зависит просто от численности выборки. При прочих равных условиях выборка
численностью тысячу человек для населения в миллион обычно дает такую же точность, как
и для населения в миллиард. Это верно, несмотря на то, что отношение выборки к
совокупности в первом случае будет один к тысяче, а во втором — один к миллиону.
К сожалению, эта стратегия выборочного опроса не является волшебной палочкой. Как и во
всем остальном в жизни (или почти во всем остальном?), у опросов есть и обратная сторона,
а именно то, что они обычно подразумевают добровольное участие. Это означает, что люди
могут отвечать на одни вопросы и не отвечать на другие или даже отказаться от участия в
принципе. И тут мы входим в область темных данных DD-тип 4: самоотбор.
Пример такого отсутствия ответа приведен в табл. 1, где показаны данные с некоторыми
отсутствующими значениями. Они обозначены вопросительным знаком (часто для этого
используется аббревиатура NA, что означает not available или «нет данных»). В таблице
приведены 10 записей с маркетинговыми данными, взятых с сайта данных для машинного
обучения10. Данные были собраны из анкет, выданных посетителям торгового центра в
районе залива Сан-Франциско. Цель исследования заключалась в построении модели
прогнозирования доходов в зависимости от переменных. Вот эти переменные: A — пол, B —
семейное положение, C — возраст, D — образование, E — род занятий, F — сколько лет
проживает в Сан-Франциско, G — число работающих в семье, H — численность семьи, I —
число членов семьи младше 18 лет, J — статус домохозяйства, K — тип жилой
недвижимости, L — этническая группа, M — язык и, наконец, последняя переменная,
которая должна была быть спрогнозирована, N — доход (на сайте дается более подробная
информация о значении и диапазоне каждой из переменных, я же для удобства обозначил их
буквами). Весь набор данных содержит 8993 строки, подобных тем, что показаны в таблице,
но в 2117 из них есть отсутствующие значения — так же, как и в трех строках приведенного
фрагмента. При этом в одной из этих трех строк отсутствует два значения. Эти
отсутствующие значения явно относятся к DD-типу 1: данные, о которых мы знаем, что они
отсутствуют, поскольку мы отчетливо видим, что в ячейках не хватает чисел.
 27

Столбец таблицы, обозначенный буквой «М», показывает ответы на вопрос «На каком языке
чаще всего говорят в вашем доме?». Есть три варианта ответов: 1 — на английском, 2 — на
испанском и 3 — на любом другом языке. Поскольку только одна из этих категорий может
быть верной для каждого домохозяйства, а вместе они включают в себя все возможные
языки, то мы знаем, что для каждой строки существует только один из трех предложенных
вариантов ответа. Но по какой-то причине два человека в нашей выборке просто не стали
отвечать.
Иногда, впрочем, записи являются неполными по причине того, что подходящих значений
просто нет — ответа не существует. Например, поле, в котором указывается возраст супруга
респондента, должно остаться пустым, если респондент не состоит в браке. Это порождает
интересный вопрос о том, как мы должны относиться к таким недостающим значениям.
Ситуация явно отличается от того, если бы кто-то, состоящий в браке, просто не заполнил
это поле. Но имеет ли это различие значение? Если два типа отсутствия ответа будут
рассматриваться нами одинаково, приведет ли это к ошибочным выводам?
Запись с пробелами сразу показывает, что чего-то не хватает (DD-тип 1: данные, о которых
мы знаем, что они отсутствуют). Однако, когда люди вообще отказываются отвечать на
вопросы, мы имеем иной результат — DD-тип 4: самоотбор. Люди могут быть слишком
заняты, могут воспринять опрос как вторжение в частную жизнь или просто не выходить на
контакт (например, если их нет в городе на момент проведения исследования). Это тоже
известные неизвестные в том смысле, что мы знаем, кто эти люди, поскольку они есть в
списке выборки, а также знаем, что они могли бы дать ответы, если бы были готовы и имели
возможность. Но, поскольку у нас нет их ответов, мы вынуждены находиться в неведении.

Один из ярких примеров такого рода проблем дают президентские выборы 1936 г. в США.
На основе опросов популярный журнал The Literary Digest много раз успешно определял
победителей выборов, и в 1936 г. он предсказал, что победит кандидат от республиканцев
Альфред Лэндон, а голоса разделятся в соотношении 3∕2. Тем не менее Франклин Рузвельт,
кандидат от демократов, одержал уверенную победу, набрав 523 из 531 голоса коллегии
выборщиков, 62% голосов избирателей и получив большинство в 46 из 48 штатов.
Результаты этих выборов и ошибочный прогноз The Literary Digest часто связывают с
темными данными, полученными в ходе опроса. На этот счет есть разные теории, но все они
сводятся к одной мысли: не стоило в качестве рамки выборки использовать телефонные
 28

справочники. В то время телефоны были чем-то вроде предметов роскоши и в основном

принадлежали состоятельным людям, среди которых было больше сторонников
республиканцев. Таким образом, в выборке была завышена доля людей, которые
планировали голосовать против Рузвельта.
Подобно попытке оценить средний возраст населения страны на основе выборок, сделанных
в ночных клубах или домах престарелых, это объяснение ошибочного прогноза
предполагает, что причина появления темных данных кроется вовсе не в отказе людей
отвечать на вопросы, а в неправильном определении первоначального списка респондентов.

Однако подробный анализ статистика Мориса Брайсона показывает, что этот упрощенческий
подход является в корне неверным11. С одной стороны, он недооценивает те меры, которые
предпринимали опросчики The Literary Digest, чтобы обеспечить репрезентативность
выборки потенциальных избирателей. Они хорошо понимали факторы, которые могли
привести к искажению этой выборки. С другой стороны, хотя в то время лишь около 40%
домохозяев имели телефоны, эти же 40% представляли наиболее активную часть
избирателей. Сей факт означает, что, несмотря на возможность появления темных данных в
масштабе всего населения, их влияние было куда менее серьезным, если рассматривать
владельцев телефонов как долю голосующего населения, что, конечно, имеет значение для
выборов. Значение, которое может оказаться решающим: на референдуме 2016 г. о том,
следует ли Великобритании покинуть Евросоюз, проголосовало 43% тех, кто до этого
заявлял, что «не интересуется политикой», в то время как на всеобщих британских выборах
2015 г. проголосовало лишь 30% таких людей. Тот, кто утверждает, что будет голосовать за
Х, должен реально проголосовать за Х, чтобы его утверждение стало верным.
Что касается опроса избирателей на выборах Лэндон/Рузвельт, похоже, что популярная
«телефонная» теория неверна. Тогда чем же объяснить провал опроса?
Ответ по-прежнему лежит в области темных данных, но данных другого типа — куда более
знакомых и понятных нам, живущим в эпоху сетевых опросов. Дело в том, что, хотя было
разослано 10 млн анкет, лишь около четверти тех, кто их получил, то есть около 2,3 млн
человек, потрудились ответить. Более трех четвертей опрошенных просто проигнорировали
анкеты — их политические взгляды стали темными данными. Последствия очевидны. Если
республиканские избиратели были более заинтересованы в выборах, чем сторонники
Рузвельта (а все указывает на то, что это именно так), то они с большей вероятностью
откликались на опрос. Это и создало впечатление большинства в пользу Лэндона —
искаженное представление, которое обмануло The Literary Digest. Искажение самоотбора
было устранено, когда состоялись настоящие выборы.
Таким образом, это неожиданное расхождение прогноза и результатов выборов было
следствием темных данных, но не из-за ошибок при составлении выборки, а по причине
разной вероятности того, что республиканские и демократические избиратели вообще
откликнутся на опрос. Причиной стала добровольность ответа (DD-тип 4: самоотбор).
Поскольку рамка выборки на основе сложного анализа была определена правильно (то есть
опросчики точно знали, кто имеет право голосовать), то можно было бы настроить ее, как это
описано в главе 9. Но там, где рамка выборки определена неверно, такая настройка будет
куда сложнее или даже попросту невозможна. В этом случае мы покидаем область DD-типа
1: данные, о которых мы знаем, что они отсутствуют, и перемещаемся в область DD-типа 2:
данные, о которых мы не знаем, что они отсутствуют. Веб-опросы (о них мы поговорим чуть
позже) особенно уязвимы для этого сценария.
Надо признать, что ситуации, когда часть людей не отвечает на вопросы, как в примере с
Лэндоном/Рузвельтом, бывают довольно сложными. Те, кто отказывается отвечать, могут
 29

существенно отличаться от тех, кто решил ответить: сам факт их неучастия в опросе уже
показывает, что они в чем-то отличаются. Возможно, более склонными пройти опрос будут
люди, проявляющие особый интерес к его теме, как в случае с Лэндоном/Рузвельтом. А
может быть, это будут те, кто просто лучше информирован по данной теме. В Нидерландах
проводилось исследование жилищных условий, которое показало, что более нуждающиеся
люди чаще откликаются на опрос, поэтому может сложиться ложная общая картина12. В
опросах на тему виктимизации так называемые серийные события, например домашнее
насилие, которое не имеет конкретного начала и конца, могут не выявляться в ходе опросов,
посвященных отдельным инцидентам. Кроме того, люди зачастую отказываются от участия,
если им кажется, что на опрос уйдет слишком много времени. В целом, что касается опросов
и не только, самоотбор служит наиболее опасным источником темных данных.

Электоральные опросы, конечно, полезны, но, поскольку и государство, и бизнес все шире
используют опросы как инструмент сбора информации, все больше становится и
неадекватных ответов. Да и показатель отклика во всем мире падает. Проиллюстрируем это
на примере обследования трудовых ресурсов Великобритании13. На рис. 2 показана доля
тех, кто соглашался пройти опрос, по отношению ко всем, кому это было предложено, за
каждый квартал с марта 2003 г. по сентябрь 2017 г. Эта доля снизилась за указанный период
с более чем 65% до 45% и даже ниже. Такая однозначно нисходящая тенденция не
способствует большой уверенности в выводах, которые будут сделаны на основе опросов в
дальнейшем, если, конечно, не принять соответствующих мер.

Это явление не ограничивается обследованием трудовых ресурсов Великобритании, оно

затрагивает все виды опросов во всем мире. Общенациональные опросы потребителей в
США — это телефонные опросы на тему расходов и экономии. Уровень участия в них
снизился с 79% в 1979 г. до 60% в 1996 г. и до 48% в 2003 г. Множество других примеров
приведено в отчете Национальной академии США за 2013 г. под редакцией Роджера
 30

Туранжо и Томаса Пльюиса, в котором говорится: «Уровень отклика домохозяйств на

опросы государственных организаций и частных компаний, которые являются ценными
источниками данных для исследований в области социальных наук, падают во всех наиболее
богатых странах мира»14. На рис. 3 показан уровень отклика в период 1997–2011 гг. для
домохозяйств в рамках Национальной программы анкетирования по вопросам здоровья
США. Хотя, возможно, и не такая яркая, как в предыдущем примере, но тенденция к
снижению существует.

Снижение уровня отклика ясно прослеживается и в медицинских эпидемиологических

исследованиях. Опрос Национальной системы надзора за поведенческими факторами риска
проводится в Соединенных Штатах для изучения собственно факторов риска, скрининга
(массового профилактического обследования населения с целью выявления болезней на
ранней стадии) и доступа к медицинскому обслуживанию. Средний показатель участия в
этом опросе снизился с 71% в 1993 г. до 51% в 2005 г.
Ключевой вопрос заключается в том, в какой момент уровень отклика становится слишком
низким для того, чтобы можно было считать опрос полезным? В какой момент доля темных
данных становится слишком высокой для того, чтобы результаты опроса можно было
экстраполировать на все население? Достаточно ли 90%-ного уровня отклика для получения
надежных результатов? А 80%-, 50%-, 20%-ного? И насколько эффективны методы
корректировки результатов (подобные тем, которые описаны в главе 8), если отсутствуют
ответы?
К сожалению, общего решения этой проблемы не существует. Все зависит от темы опроса,
отдельных заданных вопросов, а также от того, как и почему появились отсутствующие
данные. В некоторых случаях даже небольшая их доля может означать, что имеющиеся
данные не являются репрезентативными для всего населения. Опрос всего населения для
выяснения отношения к операциям по смене пола, в котором какой-нибудь вопрос покажется
 31

трансгендерам настолько оскорбительным, что все они откажутся на него отвечать, в то

время как другие группы ответят, может привести к искажению результатов, даже если у
опроса будет высокий уровень отклика. В других случаях, напротив, даже большой процент
отсутствующих записей может оказать лишь незначительное влияние на выводы.
Фактически из нашего предыдущего обсуждения важности размера выборки и случайности
отбора следует, что если те, кто не откликнулся, не объединены каким-то важным общим
свойством, то высокий уровень отклика может вообще не иметь значения.

В любом случае, как показывают примеры, объем темных данных в форме отсутствия ответа
все возрастает, и, хотя они не всегда оказывают негативное влияние на выводы, когда это
все-таки происходит, такое влияние может быть очень серьезным. Если бы вы управляли
страной или крупной корпорацией, хотели бы вы полагаться на пустые поля опросов?
Одно из замечательных свойств интернета заключается в том, что он дает возможность
проводить недорогие опросы, способные охватывать широкую аудиторию и, следовательно,
формировать выборки огромных размеров. Но есть и ограничения. В частности, вы не
можете контролировать, кто именно отвечает на ваши вопросы. В основном респонденты
сами решают, принять им участие в опросе или скрыться за пологом темных данных.
Очевидно, что это может пагубно влиять на любой опрос, поскольку означает, что выводы
будут напрямую зависеть от того, кто на него откликнется, а кто нет. (Вспомните
гипотетический опрос из главы 1, в котором был единственный вопрос: «Отвечаете ли вы на
журнальные опросы?») И основная неопределенность возникает в отношении того, кто в
принципе видит вашу веб-страницу с анкетой.

В то же время люди зачастую имеют возможность пройти веб-опрос несколько раз. Или еще
хуже: недавно я встретил человека, который сказал, что всякий раз, когда ему предлагают
пройти опрос по мобильному телефону, он передает его для ответов своему пятилетнему
сыну. К тому же фундаментальная проблема заключается в том, что не у всех есть доступ к
интернету — сравните это с ролью телефонов на выборах Лэндон/Рузвельт. В отчете 2013 г.
из Нидерландов, опубликованном в International Journal of Internet Science, сообщалось, что
«пожилые люди, незападные иммигранты и домохозяйства, состоящие из одного человека,
часто не имеют доступа к интернету»15. Впрочем, эта проблема, вероятно, будет решена с
течением времени по мере развития технологий.
Почему же люди все меньше склонны отвечать на опросы? Туранжо и Пльюис изучили эту
проблему и выяснили, что сами причины отсутствия отклика не сильно изменились с
течением времени16. Прежде всего потенциальный респондент просто недостаточно
заинтересован в участии, слишком занят или не хочет тратить на опрос много времени.
Среди других причин можно выделить проблемы конфиденциальности, непонимание
вопросов, а также негативные эмоциональные реакции — раздражение, «хлопанье дверью»,
недружелюбное или даже угрожающее поведение. Рискованное это дело, быть
интервьюером! На основе исследования было высказано предположение, что люди просто
пресыщены опросами — их слишком много, а бесконечными вопросами можно вывести из
себя кого угодно. Ситуация усугубляется рекламными кампаниями, маскирующимися под
опросы. Но главной причиной всего этого является самоотбор, когда респонденты сами
решают, принимать им участие или нет.

Однако отсутствие отклика необязательно связано с респондентом. Бывает, что сам

интервьюер не прикладывает достаточных усилий, чтобы выйти на связь с людьми.
Действительно, для нечестных интервьюеров есть даже отдельный тип темных данных
(DD-тип 14: фальшивые и синтетические данные). Именно такой случай показывает
известная карикатура, где вместо того, чтобы задавать вопросы людям, переписчик сидит на
бордюре и вписывает цифры «от фонаря»17. Однако, если вы переписчик, имейте в виду, что
сложные статистические методы могут обнаружить этот обман, как и другие виды
 32

мошенничества с данными. Стоит также упомянуть языковые барьеры и простую потерю

данных, которые также могут привести к отсутствию значений.
Опросы, затрагивающие чувствительные темы, — как правило, связанные с сексуальной
активностью, финансовыми или медицинскими аспектами — особенно страдают от
отсутствия и неполноты данных. Для таких случаев были разработаны довольно хитрые
методы сбора данных, которые позволяют людям отвечать, сохраняя анонимность, или дают
возможность получать агрегированные показатели, не раскрывая индивидуальных значений.
К этим методам мы еще вернемся в главе 9.
Экспериментальные данные
Итак, мы рассмотрели два способа сбора данных, описанных в начале этой главы: сбор
данных обо всех интересующих нас объектах и выборочный сбор данных. Мы также узнали,
какие типы темных данных могут возникать в каждом из этих случаев.
Теперь перейдем к третьему способу сбора данных — экспериментальному, когда условия,
методы лечения или иные воздействия на объекты и людей изменяются тщательно
контролируемым образом.
Предположим, мы хотим узнать, какой из двух видов лечения является более эффективным:
А или Б. Казалось бы, проще всего последовательно провести лечение обоими методами и
посмотреть, какой из них работает лучше. Например, исследуя эффективность лекарств для
облегчения симптомов сенной лихорадки, мы могли бы первый год лечить пациента по
методу А, а второй — по методу Б (полагаясь на то, что количество пыльцы в оба года будет
одинаковым). Но в большинстве случаев невозможно применить к одному пациенту оба вида
лечения. Например, в исследовании эффективности методов, увеличивающих
продолжительность жизни, мы вряд ли сможем попробовать больше одного метода —
эксперимент в данном случае заканчивается со смертью пациента.
Единственная альтернатива этому — лечение одного пациента по методу А, а другого по
методу Б. Проблема, однако, в том, что не все пациенты одинаково реагируют на одно и то
же лечение: то, что лечение помогло одному пациенту, не означает, что оно поможет и всем
остальным. Более того, даже отдельно взятый пациент может по-разному реагировать на
одно и то же лечение в разные периоды времени.
Далее мы переключаем внимание с отдельных пациентов на средние ответы в группах
пациентов, получающих каждое лечение: насколько хорошо в среднем они реагируют на
лечение в группе А, по сравнению с группой Б? При этом необходимо обеспечить такое
распределение пациентов по группам, чтобы никакие другие факторы, кроме самого лечения,
не могли объяснить различия результатов. Например, не стоит испытывать один метод
лечения исключительно на мужчинах, а другой — на женщинах, поскольку в этом случае мы
не будем знать, лечение или пол объясняют наблюдаемые различия. Точно так же не стоит
проводить одно лечение на пациентах с более запущенной болезнью, а другое — на
пациентах с менее запущенной.
Что нам действительно нужно, так это сбалансировать распределение, например, одной
половине мужчин назначить лечение А, а другой — лечение Б и то же самое сделать для
женщин. Затем попытаться так же распределить по группам более больных пациентов и
менее больных. Эта задача решаема, если мы хотим контролировать лишь небольшое
количество факторов, например пол, возраст и тяжесть заболевания. Но как только их число
возрастает, мы обнаруживаем, что решения нет: просто не существует тяжелобольного
курящего 25-летнего мужчины с высоким кровяным давлением, индексом массы тела,
равным 26, и хронической астмой, эквивалентного тяжелобольной 25-летней женщине с
 33

точно такими же данными. Хуже того, несомненно, будут появляться все новые и новые
факторы, о которых мы даже и не думали.
Чтобы преодолеть эту проблему, людей случайным образом распределяют по двум группам
— отсюда и название: рандомизированные контролируемые исследования (РКИ). Таким
образом можно свести вероятность дисбаланса, которого мы хотим избежать, до
минимального уровня. Помните теоретическое обоснование для случайной выборки, которое
мы рассматривали, когда изучали опросы? Точно такой же принцип действует и здесь,
разница лишь в том, что теперь мы назначаем пациентам лечение, а не выбираем людей для
опроса.
В наиболее простом варианте такого исследования сравнивают две группы людей. Иногда
его еще называют A/Б-исследованием или исследованием типа «победитель/претендент», в
котором новый метод лечения (претендент) сравнивается со стандартным методом
(победитель). Такая структура широко используется, например, в медицине,
веб-экспериментах и на производстве. Преимуществом подобных исследований является
возможность сравнить результат с тем, что произошло бы при других условиях. Это
позволяет избежать контрфактуальных темных данных.
Контролировать темные данные таким способом люди научились уже довольно давно. В
качестве примера авторитетного РКИ прошлого века можно привести исследование лечения
туберкулеза стрептомицином, проводившееся в 1948 г. Вот что сказал о нем британский
историк здравоохранения сэр Иэн Чалмерс: «Подробный и исключительно четкий отчет о
рандомизированном исследовании применения стрептомицина при лечении туберкулеза
легких, проведенном Британским медицинским научным советом в 1948 г., по праву
считается вехой в истории клинических испытаний»18.
Однако, как это часто бывает, идеи этого метода или по крайней мере его корни,
прослеживаются и дальше вглубь времен. Наиболее раннее описание рандомизации
распределения групп мы находим у фламандского врача Жана-Батиста Ван Гельмонта,
который в 1648 г. предложил для оценки эффективности кровопусканий и больших доз
слабительного следующее: «Давайте наберем по больницам… 200 или 500 несчастных с
лихорадкой и воспалением плевры. Давайте поделим их пополам и бросим жребий, чтобы
одна их половина выпала на мою долю, а другая на вашу. Я вылечу своих без кровопусканий
и опорожняя в разумных пределах; а вы делайте как сами знаете… Посмотрим, сколько
будет похорон у каждого»19. В те времена в английском для обозначения жребия
использовалось слово «lot», и это его значение сохранилось до наших дней в слове
«лотерея».
Пока все выглядит неплохо. В отличие от двух других методов сбора данных, где просто
собирают данные, ни во что не вмешиваясь (данные наблюдений), этот новый подход
предполагает управление тем, кто какое лечение будет проходить. И все было бы
замечательно, если бы пациенты придерживались протоколов лечения, принимая лекарства
строго по графику вплоть до самого конца исследования. Но, к сожалению, темные данные
часто встречаются и в такого рода исследованиях, проникая в них в форме выбывших.
Выбывшие — это те, кто выбыл из исследования по тем или иным причинам. К ним
относятся смерть пациента, негативные побочные эффекты лечения, переезд, исчезновение
мотивации на фоне отсутствия улучшений и пр. Проблема здесь кроется в том, что
измерения проводятся в течение какого-то времени или по истечении определенных
периодов и существует риск того, что темные данные по-разному скажутся на разных
группах испытуемых. Эти данные классифицируются как DD-тип 7: данные, меняющиеся со
временем, и DD-тип 1: данные, о которых мы знаем, что они отсутствуют.
 34

Например, в исследовании, в котором реальное лечение сравнивается с плацебо (как бы

лечением), побочные эффекты более вероятны при реальном лечении, поскольку плацебо по
определению не имеет активного терапевтического компонента. Это может означать, что
выбывшие будут чаще появляться в группе лечения. И что еще хуже, после выбывания
людей, которые не ощущают пользы от лечения или даже замечают ухудшения, в
исследовании наметится перекос в сторону тех, кто эту пользу ощущает. Если мы
каким-либо образом не помешаем выбыванию, то можем получить весьма искаженное
представление об эффективности лечения. Это еще один пример ошибки выжившего — те,
кто «выживают» или продолжают лечение до конца исследования, не являются
репрезентативной выборкой для всей группы.
Все усугубляется необходимостью этичного поведения при клинических испытаниях (на
благо пациентов!). Пункт 9 Нюрнбергского кодекса, принятого после Второй мировой
войны, требует, чтобы участники клинических исследований имели возможность в любой
момент выйти из них: вы не можете заставить людей остаться.

Реальные исследования часто бывают куда сложнее, чем наш пример с двумя группами. Они
могут проходить на базе нескольких клиник, включать в себя более двух групп и при этом
сравнивать несколько видов лечения. На рис. 4 приведены данные клинического испытания
будесонида на пациентах с астмой20. В этом исследовании участвовали пять групп
пациентов, одна из которых получала плацебо (нулевая доза), а другие по 200, 400, 800 или
1600 мкг будесонида соответственно. Измерения функций легких проводились в самом
начале, а затем через 2, 4, 8 и 12 недель после начала исследования. Кривые на графике
показывают количество пациентов, остававшихся в исследовании на момент очередного
измерения. Тенденция выбывания участников прослеживается четко, а ее уровень впечатляет
— лишь 75% пациентов, начавших исследование, дошли до конца. Еще более тревожным
является то, что показатели выбывания различаются для разных групп. В частности, выбыло
 35

только 10 из 98 человек, получавших самую высокую дозу препарата, тогда как среди
принимавших плацебо выбыло 58 человек, что составляет почти две трети этой группы. На
основании этого, конечно, можно предположить, что препарат эффективен, но мы видим, что
со временем в исследовании остаются только те, кто ощущает пользу лечения, поэтому это
только предположение. Безусловно, отсутствующие данные усложняют анализ и
интерпретацию происходящего, что может привести к ошибкам, если выводы будут
основаны исключительно на имеющихся данных.

Я проиллюстрировал рандомизированные исследования на примерах из сферы медицины, но

они также широко используются и в других областях, в том числе в социальной и
государственной политике, образовании и в сфере профилактики преступности. Проведение
рандомизированных исследований в социальной и государственной политике тоже имеет
свою историю, хотя и не столь давнюю, как в медицине. Например, в 1968–1982 гг.
исследователи в Соединенных Штатах использовали такие методы, чтобы выяснить, как
скажется на отношении к работе тот факт, что людям будет гарантирован некий
минимальный доход, равный прожиточному минимуму. (Оказалось, что этот доход
сокращает время, в течение которого люди работают, но очень незначительно21.)

Интересным примером рандомизированного исследования в сфере образования была оценка

влияния телевизионного шоу «Улица Сезам» на словарный запас и когнитивные навыки
детей. Это исследование выявило проблему, присущую социологическим
рандомизированным исследованиям: если не брать в расчет прямой запрет некоторым детям
смотреть шоу, то невозможно гарантировать, что они его не посмотрят. Исследователи
наконец-то обошли эту проблему, найдя города, где шоу было доступно только по кабелю, и
предоставив кабельное телевидение случайно выбранной группе домохозяйств. В результате
было установлено, что просмотр «Улицы Сезам» расширяет словарный запас детской
аудитории. Эндрю Лэй описывает это и многие другие рандомизированные исследования для
двух групп в своей превосходной книге «Рандомисты: Как радикальные исследователи
меняют наш мир» (Randomistas: How radical researchers are changing our world)22. В ней он
также рассказывает, как организовал рандомизированное исследование, чтобы найти
наиболее удачное название для книги. До того, как книга была опубликована, 12 вариантов
названия представили группе из 4000 человек, причем каждый из ее представителей видел
лишь одно случайно выбранное название. Их отклик измерялся как доля перешедших по
ссылке на сайт издателя для получения дополнительной информации.
Что касается преступности, хорошо известно, что общественное восприятие рисков
совершения преступлений часто бывает гипертрофированным: из-за незнания ситуация
может казаться хуже, чем на самом деле (еще один аспект темных данных). Национальное
агентство по совершенствованию работы полиции в Великобритании провело исследование
реакции общественности на открытие информации о правонарушениях и охране
правопорядка: усилит ли это страх в обществе или, напротив, будет воспринято позитивно23.
Четыре группы участников исследования были ознакомлены с разной информацией о
преступлениях и охране правопорядка, которая отличалась насыщенностью темными
данными. Одна группа получила карты, показывающие уровень преступности в районах
проживания ее участников, другая — информацию о полицейских участках в районах
проживания, третья группа — и то и другое, а четвертая не получила вообще никакой
информации. Эта последняя группа была полностью погружена в область темных данных.
Выводы, опубликованные в отчете, оказались весьма позитивными: «Исследование смогло
опровергнуть миф о том, что информирование общественности увеличивает страх перед
преступностью. Фактически было установлено, что информация улучшает восприятие
людьми своего окружения и местной полиции».
 36

Конечно, результаты не всегда бывают столь позитивными. Среди прочего

рандомизированные исследования играют очень важную роль в развенчании популярных
мифов или «самоочевидных» истин, которые на деле являются заблуждениями. И порой
требуется значительное мужество, чтобы провести такое рандомизированное исследование
наперекор распространенному убеждению в истинности чего бы то ни было.

Например, хотя тюремное заключение в краткосрочной перспективе и снижает уровень

преступности, это происходит не потому, что злоумышленники перевоспитываются, а
потому, что они на какое-то время исчезают с улиц. Кроме того, тюремное заключение не
способствует интеграции в общество и поиску регулярной работы после освобождения,
поэтому короткие сроки могут не только быть бесполезными, но и увеличивать преступность
в долгосрочной перспективе. Чтобы выработать эффективную стратегию по данному
вопросу, необходим надлежащий эксперимент. Однако надо понимать, что он отягощен
существенной проблемой: немногие судьи — и, возможно, еще меньшая часть общества —
смогут принять тот факт, что приговоры должны выноситься случайным образом. Тем не
менее эксперименты с рандомным смягчением приговора преступникам уже проводились24.
Даже когда результаты исследования не являются положительными, тщательное изучение
вопроса само по себе может выявить нечто большее, чем было заметно на первый взгляд.
Эндрю Лэй описывает четыре рандомизированных исследования, посвященных изучению
того, улучшает ли результаты экзаменов бесплатная раздача учебников в школе. Ни одно из
четырех исследований не показало, что такой подход повышает результаты, но в каждом из
четырех случаев причины были разными. В одном из них учебники были отправлены на
склад вместо раздачи; в другом — родители просто сократили общие расходы на
образование на стоимость предоставленных учебников; в третьем случае не были
мотивированы учителя, а в четвертом — учебники просто не могли помочь большинству
учащихся, поскольку те еще не умели читать. Если бы эти объяснения не были найдены и
продолжали оставаться темными данными, то выводы могли бы ввести в заблуждение.
Рандомизированные исследования являются прекрасным инструментом познания, но они не
всегда уместны. Например, вряд ли кто стал бы проводить такое сравнительное
исследование, чтобы понять, насколько эффективнее иметь парашют, прыгая с самолета, чем
не иметь его25. Кроме того, существуют нюансы. Рассмотрим исследование, направленное
на изучение возможных способов снижения безработицы. Вмешательство может увеличить
шансы конкретного человека найти работу, но если это означает, что он просто займет место
другого человека, который, не будь вмешательства, получил бы эту работу, то никакого
снижения безработицы не произойдет. Аналогичным образом вмешательство, которое
заменяет нескольких штатных сотрудников бо́льшим числом работников с неполным
рабочим днем, может считаться успешным методом борьбы с безработицей, а может, и нет
— в зависимости от того, как вы определяете безработицу.
Еще больше сложностей связано с так называемым эффектом Хоторна. Это склонность
людей вести себя по-разному, если они знают, что за ними наблюдают, и если они этого не
знают. Похоже, что идеальные исследования, проводимые в обществе, должны быть
тайными, но это, очевидным образом, порождает этическую проблему информированного
согласия. Первый пункт Нюрнбергского кодекса клинических исследований гласит:
«Добровольное согласие испытуемого абсолютно необходимо».
Общим термином направления статистики, которая занимается оптимальным
распределением испытуемых в процессе лечения, чтобы наилучшим образом
проанализировать эффективность этого лечения, является экспериментальный дизайн.
Рандомизированное исследование с двумя группами — самый простой из возможных и
широко используемых дизайнов изучения эффективности лечения, политики или иных видов
вмешательства. Прямым обобщением стратегии с двумя группами являются исследования с
 37

несколькими группами, как это было показано выше, каждая из которых получает отличное
от других групп лечение, а также к более сложным, тщательно сбалансированным дизайнам,
в которых учитываются многочисленные факторы, способные повлиять на результаты. В
главе 8 вы найдете описание такого эксперимента по литью пластмассовых деталей для
автомобилей. Сложные дизайны порой носят экзотические названия, такие как «дробный
факториал» или «греко-латинский квадрат».
Принципы экспериментального дизайна были разработаны ведущим британским
статистиком сэром Рональдом Фишером, который ставил сельскохозяйственные
эксперименты на Ротамстедской опытной станции в Хартфордшире, старейшем
сельскохозяйственном исследовательском институте в мире. В 1935 г. он опубликовал свой
основополагающий труд «Дизайн экспериментов» (The Design of Experiments), в котором
описал методы определения «экспериментальных единиц» на примере различных видов
удобрений, типов почвы, ирригационных систем, температуры и т.д., а также лучшие
способы изучения их комбинаций в процессе эксперимента. На сегодняшний день
экспериментальный дизайн является передовой математической дисциплиной. Он включает
в себя такие стратегии, как адаптивное распределение, когда на выбор воздействия влияют
результаты, полученные в ходе самого эксперимента. По мере проведения исследования
начинают накапливаться результаты, и мы видим, что они указывают на эффективность
какого-то одного воздействия. Это приводит к вопросу о том, следует ли нам назначить
большему количеству пациентов (если речь идет о клинических испытаниях) это лечение на
том основании, что в настоящий момент оно представляется наилучшим, или, наоборот,
распределить пациентов по другим методам лечения, чтобы быть более уверенными в своих
выводах.
Интернет существенно упростил проведение социальных рандомизированных исследований
определенных видов, поскольку мы можем легко организовать случайное распределение
среди получателей разной информации и пользователей разных версий сайта — вспомните
эксперимент Эндрю Лэя, который искал лучшее название для своей книги. Для
интернет-компаний это обычная повседневная работа: выполняя тысячи экспериментов
автоматически каждый день, они определяют наиболее успешную стратегию. Но
использование темных данных таким образом может вызвать и обратную реакцию. Такой
подход означает, что клиентов держат в неведении, и, если они узнают о нем, им это может
не понравиться. Например, если к ценам на товары или услуги применяется рандомизация,
то их изменение будет выглядеть странным и может вызывать тревогу и возмущение. В
октябре 2000 г. The Washington Post сообщила о реакции клиентов, узнавших, что Amazon
исследовала их чувствительность к ценам путем случайного манипулирования этими
ценами26. Оценка действий компании сводилась к следующему: «Я всегда считал, что
клиентов сначала привлекают, а затем стараются удержать их. А это определенно не
способствует лояльности клиентов». И что еще хуже: «Я никогда ничего не куплю больше у
этих парней!»

Рандомное изменение цен для выяснения того, сколько клиент готов заплатить, — не самый
сомнительный веб-эксперимент в смысле нарушения этики. В 2014 г. Facebook сильно
пострадала от реакции пользователей на проведенный компанией эксперимент, целью
которого было установить, как «эмоциональное состояние влияет на поведение людей при
размещении постов»27. В ходе исследования соцсеть манипулировала информацией,
размещенной на домашних страницах почти 700 000 пользователей, уменьшая и увеличивая
объем позитивного или негативного контента, чтобы выяснить, может ли это заставить
людей испытывать позитивные или негативные эмоции. Когда исследование стало
достоянием общественности, его охарактеризовали как скандальное, пугающее,
возмутительное, неэтичное, а возможно, даже и незаконное. Очевидно, что оно как минимум
 38

противоречило статье 1 Нюрнбергского кодекса, согласно которой испытуемые должны дать

согласие на участие в эксперименте.
Остерегайтесь человеческих слабостей
В этой главе мы рассматриваем три основных способа сбора данных. Полученные данные
рассеивают мрак вокруг и освещают нам новые миры. Но стратегии их сбора разрабатываем
и воплощаем мы сами, и мы же впоследствии интерпретируем и анализируем собранные
данные. При этом наши решения о том, какие данные собирать и что означают результаты
анализа, основываются на предыдущем опыте, который может не отражать того, что ждет
нас в будущем. Если копнуть еще глубже, наши решения обусловлены нашим
эволюционным развитием. Эти факторы становятся причиной того, что мы совершаем
ошибки, не в состоянии должным образом сбалансировать данные, и часто выбираем не
самый рациональный путь. Короче говоря, мы уязвимы для всевозможных подсознательных
когнитивных искажений.

Эвристика доступности — одно из таких искажений. В ее основе лежит склонность судить о

вероятности события, исходя из того, насколько легко мы можем вспомнить
соответствующий пример. Если недавно в новостях сообщалось о крушении самолета, то мы
склонны думать о крушениях самолетов как о более вероятных событиях. Реклама
использует этот эффект, делая так, чтобы при возникновении потребности в определенном
продукте вы вспомнили о конкретном бренде, а воспоминания о конкурирующих с ним
брендах оказались подавлены. Этот же эффект объясняет, по крайней мере отчасти,
внезапные скачки выявления отдельных медицинских состояний или видов социального
насилия после того, как общество сосредотачивается на них. Например, в главе 3 мы
рассмотрим пример с ростом уровня диагностирования аутизма в Соединенных Штатах
после 2000 г. Во многом это объясняется как раз эвристикой доступности. Если на людей со
всех сторон сыпется информация о такого рода состояниях, неудивительно, что они
начинают везде видеть его признаки. Действительно, исследования показали, что в семьях,
живущих по соседству с аутичными детьми, родители чаще выискивают проявления такого
диагноза у собственного ребенка.
Эвристика доступности связана с другим когнитивным искажением — ошибкой базового
процента. Предположим, что вы проходите тестирование на редкое заболевание и знаете, что
этот тест на 100% точен, когда выявляет заболевание у тех, у кого оно есть, и на 99% —
когда показывает его отсутствие у тех, у кого его нет. Какой вывод вы сделаете, если ваш
тест окажется положительным? На первый взгляд кажется, что вы почти наверняка больны.
Но это заблуждение, поскольку правильный ответ зависит от базового процента, то есть от
того, у скольких людей в популяции есть заболевание. Например, если заболевание
настолько редкое, что его имеет только 1 из 10 000 человек, то из каждых 101 человека,
получивших положительный результат теста, на самом деле болен только 1 (в среднем!).
Несмотря на то, что тест вроде бы редко дает ошибку с теми, у кого болезни нет, их число
намного больше, чем число больных, поэтому почти все, у кого диагностировано
заболевание, получат неправильные диагнозы. Если мы игнорируем или не осознаем тот
факт, что подавляющая часть населения не имеет этой болезни, мы допускаем ошибку. В
Гарварде более 56% студентов-медиков, проходя тест, описывающий эту ситуацию, дали
неправильные ответы. К сожалению, были и другие исследования, которые показали
аналогичные результаты уже с практикующими врачами. Базовый процент, по крайней мере
для этих студентов и врачей, был темными данными.
Ошибка базового процента возникает потому, что люди не осознают или игнорируют
соответствующие данные. Та же причина лежит в основе ошибки конъюнкции. Это
тенденция считать конкретные условия более вероятными, чем общие. Вот классическая
иллюстрация этого когнитивного искажения.
 39

Мой друг Фред — университетский профессор, который ведет курс по истории

викторианской Англии, Америки XIX в. и мировой торговли в том же XIX в. В свободное
время он увлекается чтением толстенных жизнеописаний и проводит свой отпуск
исключительно в местах, представляющих археологический или исторический интерес.
Теперь скажите, что, по вашему мнению, более вероятно: то, что у Фреда есть борода
(вариант А), или то, что у Фреда есть борода и он является попечителем местного
исторического музея (вариант Б)?

Многие люди выбирают вариант Б, но, если задуматься хотя бы на секунду, становится ясно,
что это полный абсурд. Вариант Б является лишь подмножеством варианта А, поэтому
вариант А более вероятен. Причина, по которой люди совершают эту ошибку, заключается в
том, что, как и в случае с эвристикой доступности, они делают вывод на основании
соответствия предложенных вариантов описанию Фреда. Кто-то с его характеристиками
вполне мог бы оказаться попечителем местного исторического музея, так почему бы не
отдать это место Фреду?

Предвзятость подтверждения — еще один риск, которому подвержено наше восприятие.

Тогда как ошибка базового процента и эвристика доступности возникают, если
игнорируются данные некоторой совокупности, предвзятость подтверждения связана с тем,
что зачастую люди активно, хотя и подсознательно, ищут данные, которые неадекватно
представляют эту совокупность. В частности, мы склонны выискивать информацию, которая
поддерживает нашу точку зрения, и игнорировать данные, противоречащие ей. Возьмите, к
примеру, Джин Диксон. Госпожа Диксон, настоящее имя которой Лидия Эмма Пинкерт,
была одним из самых известных экстрасенсов Америки. Вплоть до своей смерти в 1997 г.
она вела газетную колонку, цитируемую многими изданиями, а ее биография «Пророческий
дар: Феноменальная Джин Диксон» (A Gift of Prophecy: The Phenomenal Jeane Dixon)
разошлась тиражом более 3 млн экземпляров. Фактически из огромного количества
предсказаний, которые она сделала, большинство оказались неверными. Кто знает, может,
она и сама верила в свою способность предсказывать будущее, вспоминая лишь сбывшиеся
предсказания и начисто игнорируя все прочие. Но многие точно не сомневались в ее
сверхъестественной силе, основываясь на сбывшихся пророчествах и забывая о
несбывшихся, эффективно загоняя их в область темных данных DD-тип 3: выборочные
факты. Психологические эксперименты, в которых людям показывают ряд примеров,
отчетливо демонстрируют, что то, во что мы верим, может влиять на то, что мы помним.
Дополнительным проявлением предвзятости подтверждения является также то, что люди
склонны забывать опровергающие доказательства, если они противоречат их
первоначальным убеждениям.
Существуют и другие причины, по которым люди делают неправильные выводы,
подсознательно игнорируя часть данных. Среди них можно выделить феномен негативного
восприятия — тенденцию легче вспоминать неприятные события, чем приятные; эффект
уступчивости, из-за которого респонденты говорят то, что, по их мнению, интервьюер
желает услышать; эффект повального увлечения, когда люди склонны примыкать к
большинству; ошибку правдоподобия, при которой ответ зависит от того, насколько
правдоподобным считает его респондент; и эффект причудливости, из-за которого все
необыкновенное запоминается лучше, чем привычное. На фоне всего этого кажется просто
поразительным, что мы хоть что-то умудряемся делать правильно!

Явления, описанные в этом разделе, закономерно ведут к излишней самонадеянности: если

большинство доказательств, которые вы можете вспомнить, говорят в пользу определенной
позиции, то у вас есть все основания полагать, что эта позиция верна. И проблема
усугубляется так называемыми эхо-камерами, которые мы обсудим в главе 5.
 40

Знание о когнитивных искажениях в какой-то степени помогает избегать их в исследованиях,

но они все равно могут подкрасться к нам с неожиданной стороны. Это хорошо показывают
исследования влияния формулировок опроса, когда по-разному заданный вопрос приводит к
противоречивым ответам. Например, когда одной и той же группе задают и положительную,
и отрицательную версии вопроса («Вам понравился фильм?» и «Вам не понравился
фильм?»), число людей, отвечающих «нет» на первый и «да» на второй вопрос по идее
должно быть одинаковым (при условии, что есть только два варианта ответа без опции «не
знаю»). Но часто это не так. Ошибка измерения, которая скрывает истинные значения, может
находиться в сознании самих респондентов.

Глава 3
Определения и темные данные
Что именно вы хотите узнать?
Начнем с очевидного: полезность данных зависит от того, то ли мы собираем и не допускаем
ли при этом искажений. Каждое из этих условий чувствительно к темным данным.
Фактически число потенциальных рисков, связанных с темными данными, настолько велико,
что составить их полный перечень просто невозможно. Тем не менее представление о
типовых ситуациях, на которые нужно обращать внимание, может быть жизненно важным
при работе с темными данными. В этой главе мы рассмотрим постановку целей для сбора
данных, а в следующей — то, как этих целей достигать, причем и то и другое сквозь призму
нашей основной темы.
Ошибки в определениях и измерениях
Одна из фундаментальных причин возникновения темных данных — использование
неподходящих определений или (что часто одно и то же) непонимание, о чем идет речь.
Давайте разберем это на примерах.
Иммиграция
Опросы всегда проводят с конкретной целью, административные же данные собирают по
множеству причин. Это означает, что административные данные могут не содержать ответа
на интересующий вас вопрос. Например, в Великобритании недавно возник спор о точности
статистики по долгосрочной международной миграции (LTIM). Национальная
статистическая служба в соответствии с данными Отчета по международным пассажирским
перевозкам сообщила, что за год, завершившийся в сентябре 2015 г., в Великобританию
иммигрировало из Евросоюза 257 000 человек. В то же время число граждан Евросоюза,
зарегистрировавшихся для получения номеров социального страхования, за этот период
составило 655 000 человек. Номера социального страхования — это личные счета всех, кто
работает в Великобритании, обеспечивающие надлежащий учет налоговых платежей и
взносов в систему национального страхования (куда относятся в том числе медицинские
страховки и пенсии), поэтому несоответствие кажется по меньшей мере странным. Похоже,
что цифры Национальной статистической службы далеки от реальности. По этому поводу
британский политик Найджел Фарадж выразился так: «Они пускают нам пыль в глаза.
Номера социального страхования — это простое и четкое отражение реального числа людей
в этой стране, так как без такого номера вы не сможете ни легально работать, ни
претендовать на получение пособия»1.
Отчет по международным пассажирским перевозкам, который учитывает основные
пассажиропотоки через британские воздушные и морские порты, а теперь еще и
Евротоннель, выпускается с 1961 г. Ежегодно проводится 700 000–800 000 интервью. Хотя
это число представляет лишь небольшую часть людей, приезжающих в Великобританию,
 41

ответы могут быть использованы для оценки общего числа мигрантов. Но это всего лишь
оценка, и с ней неизбежно связана погрешность. Национальная статистическая служба
определила величину этой погрешности как ±23 000, получив интервал от 234 000 до 280
000, и заявила, что на 95% уверена в попадании истинных цифр в этот диапазон.
Погрешность, хотя и существенная, явно не объясняет такое большое отличие от числа
номеров социального страхования.
Когда Национальная статистическая служба подробно изучила расхождение между своей
оценкой и числом номеров социального страхования, оказалось, что основной причиной этой
разницы была краткосрочная миграция (мигранты, прибывающие на срок от 1 до 12
месяцев)2. Долгосрочные мигранты остаются на 12 месяцев и более. Краткосрочные
мигранты могут работать и подавать заявки на получение номеров социального страхования,
но определяющим показателем в данном случае должна быть статистика LTIM (по
долгосрочной международной миграции). Национальная статистическая служба заявила, что
«различие определений этих данных является фундаментальным и невозможно обеспечить
согласование двух типов учета, просто “складывая” и “вычитая” номера страховок. Эти
регистрационные данные не могут служить показателем LTIM». Короче говоря,
административные данные были полезны в тех вычислениях, для которых они были
собраны, и не подходили для других целей. Неподходящие или несоответствующие
определения эффективно скрывают интересующие нас данные и превращают их в темные
данные DD-тип 8: неверно определяемые данные. Ключевой момент в том, что данные
становятся или не становятся темными в зависимости от того, что вы хотите узнать.
Преступность
Другой пример темных данных, возникающих из-за различий в определениях, дает нам
статистика преступности. На национальном уровне такая статистика по Англии и Уэльсу
поступает из двух основных и довольно далеких друг от друга источников: Обзор
преступности в Англии и Уэльсе (CSE & W) и полицейская статистика правонарушений
(PRC). CSE & W является эквивалентом Национального обзора преступности и
виктимизации в США. Он был запущен в 1982 г. (одновременно с Британским обзором
преступности) для изучения опыта столкновения с преступностью в течение последнего
года. Данные PRC предоставляются 43 полицейскими управлениями Англии и Уэльса, а
также Британской транспортной полицией, и анализируются Национальной статистической
службой.
Различия в характере этих процессов сбора информации непосредственно влияют на
возникновение темных данных. Поскольку обзор CSE & W призван выяснить, жертвами
каких преступлений становились респонденты, то он по определению не дает никакой
информации, скажем, об убийствах или хранении наркотиков. Он также не затрагивает
людей в местах коллективного проживания, таких как дома престарелых или студенческие
общежития, и не распространяется на преступления против коммерческих организаций или
государственных органов. Это говорит о большом потенциале для темных данных, хотя
когда мы четко определяем охватываемую обзором область, то делаем этот риск видимым.

Статистика PRC также содержит темные данные, но они отличаются от темных данных
обзора CSE & W. По определению, статистика PRC не включает в себя преступления, о
которых не сообщают полиции, например, потому, что жертвы порой не рассчитывают на ее
помощь. Это существенный момент, поскольку, согласно оценкам, в полицию сообщают в
среднем только о 4 из 10 преступлений, хотя и очевидно, что это число различно для разных
видов преступности. Более того, в полицейской статистике отражаются в основном так
называемые регистрируемые преступления, которые могут быть рассмотрены судом
присяжных. Дополнительные сложности возникают из-за механизмов обратной связи
(DD-тип 11: искажения обратной связи и уловки). Например, число преступлений, связанных
 42

с хранением наркотиков, зависит от активности самой полиции, а эта активность зависит от

предполагаемого объема наркотиков, имеющихся у людей, на который влияет число
зафиксированных преступлений, связанных с хранением наркотиков, в прошлом.

Использование разных определений объясняет расхождения между уровнями преступности,

которые публикуют эти два источника. Например, в 1997 г., по данным PRC, было
совершено 4,6 млн правонарушений, в то время как, по оценкам CSE & W, их было 16,5 млн.
Различия в определениях также объясняют крайне озадачивший экспертов и читателей факт,
состоящий в том, что, согласно PRC, число преступлений в период с 1997 по 2003 г. возросло
(с 4,6 млн до 5,5 млн, в то время как обзор показал сокращение их количества (с 16,5 млн до
12,4 млн)3. Так все-таки, растет или сокращается преступность? Несложно догадаться, чьи
данные выбрало большинство СМИ для публикации.
Медицина
Число областей, в которых определения могут порождать темные данные по причине того,
что они не включают те виды данных, которые мы хотели бы получить, огромно. Иногда
последствия таких ситуаций бывают просто поразительными. Например, именно проблема
несоответствия определений лежит в основе того факта, что сегодня от болезни Альцгеймера
умирает больше людей, чем в прошлом.
Болезнь Альцгеймера представляет собой наиболее распространенную форму деменции. Она
носит прогрессирующий характер, когда на ранней стадии появляется незначительная
забывчивость, которая на более поздних стадиях перерастает в дезориентацию,
неспособность понимать происходящее вокруг и изменение личности. Считается, что
болезнь в ближайшее время затронет около 50 млн человек во всем мире и со временем этот
показатель будет только расти, достигнув, по прогнозам, к 2030 г. 75 млн. И темные данные
могут объяснить такой рост как минимум двумя способами.

Во-первых, никто не умирал от этой болезни до 1901 г., поскольку именно тогда немецкий
психиатр Алоис Альцгеймер впервые описал случай заболевания, которое впоследствии
было названо его именем. Кроме того, первое время диагноз ставили только людям в
возрасте от 45 до 65 лет с симптомами деменции и лишь позже, уже в последней четверти
XX в., было снято ограничение по возрастному диапазону. Очевидно, что такое расширенное
определение изменило число диагностированных людей. Данные, которые ранее
рассматривались как несущественные, попали в поле зрения.
Во-вторых (и это объяснение роста смертности от болезни Альцгеймера может показаться
парадоксальным), во всем виноват прогресс медицинской науки. Благодаря ему люди,
которые раньше бы умерли молодыми, теперь могут прожить достаточно долго, чтобы стать
потенциально уязвимыми для таких медленно развивающихся недугов, как болезнь
Альцгеймера. Это заставляет задуматься, действительно ли продление жизни является
абсолютным благом.

Тот факт, что число диагностируемых случаев аутизма в Соединенных Штатах удвоилось с
2000 г., также может быть в значительной степени объяснен темными данными (DD-тип 8:
неверно определяемые данные)4. В главе 2 мы уже рассмотрели одну из причин этого —
эвристику доступности, когда сам факт аутизма все более осознается обществом. Но есть и
другая серьезная причина такого роста, которая состоит в том, что изменения претерпел сам
подход к определению и диагностике аутизма. В частности, хотя в 1980 г. аутизм был
включен в «Диагностическое и статистическое руководство по психическим расстройствам»,
в 1987 и в 1994 гг. метод его диагностики был существенно изменен, при этом критерии
были ослаблены. Такое ослабление диагностических критериев соответствия означает, что
им удовлетворяет большее число людей.
 43

Вдобавок к этому в 1991 г. министерство образования США постановило, что диагноз

«аутизм» дает право ребенку на специальные образовательные услуги, а в 2006 г.
Американская академия педиатрии рекомендовала педиатрам проверять всех детей на аутизм
во время стандартных визитов на дом. Если меняется сам подход к определенным данным,
то вполне логично ожидать, что и поведение людей при сборе этих данных тоже будет
меняться (это явление обратной связи мы подробно рассмотрим в главе 5). Такой же эффект
можно проследить на примере запуска в Англии в феврале 2009 г. сразу нескольких
кампаний национального масштаба по профилактике деменции среди населения в
соответствии с Национальной стратегией по деменции, направленной на улучшение качества
диагностики и медицинской помощи. Неудивительно, что по сравнению с 2009 г. частота
выявления деменции увеличилась примерно на 4% в 2010 г. и на 12% в 2011 г.5
Экономика
В целом можно заключить, что изменение определений с течением времени часто меняет и
характер собираемых данных. Это не только затрудняет ретроспективные сравнения, но
также может вызвать обвинения в нечестности. Ярким примером служит определение
безработицы: достаточно слегка изменить его и, о чудо, результаты работы правительства
начинают выглядеть намного лучше.
Другим примером в экономике является измерение инфляции. Оно основано на изучении цен
на определенный набор товаров и услуг, называемых потребительской корзиной (которой в
природе, конечно, не существует), и отслеживании изменений средней цены на эту корзину с
течением времени. Однако из-за существования темных данных (DD-тип 8: неверно
определяемые данные) все обстоит не так уж просто. Например, возникает вопрос о том, как
рассчитать среднее значение, поскольку в статистике есть несколько способов сделать это:
среднее арифметическое, среднее геометрическое, среднее гармоническое и т.д. Недавно
Великобритания перешла от индекса инфляции, основанном на среднем арифметическом, к
индексу на основе среднего геометрического, что привело его в соответствие с индексами
большинства других стран. Когда меняется определение, вы начинаете смотреть на вещи с
другой точки зрения, поэтому меняются и аспекты данных, которые вы видите.
Помимо изменения формулы расчета, бывают и более фундаментальные причины, по
которым темные данные возникают в индексах инфляции: прежде чем производить расчет,
необходимо решить, какие товары и услуги включать в потребительскую корзину и как
именно получать информацию о ценах. В целом, как показали предыдущие примеры, мы
должны осознавать риск появления темных данных всякий раз, когда в процессе сбора
данных встаем перед выбором. При расчете инфляции важнейший вопрос — что положить в
потребительскую корзину — потенциально проблематичен, поскольку общество меняется, а
индексы инфляции должны так или иначе отражать стоимость жизни. Я намеренно
использовал выражение «так или иначе», чтобы подчеркнуть неоднозначный факт: разные
индексы измеряют разные аспекты влияния инфляции. Одни измеряют то, как ценовые
изменения влияют на людей, другие — как они влияют на экономику в целом и т.д. В любом
случае важно, чтобы потребительская корзина была релевантной, то есть состояла из товаров
и услуг, которые люди действительно покупают. Для сравнения представим, что могло быть
включено в корзину индекса цен 200 лет назад, и сопоставим с тем, что входит в нее сегодня.
Два столетия назад свечи были бы важнейшим элементом корзины, но сегодня расходы на
них далеки от того, чтобы счесть их значимыми. Свечи и уголь уступили место мобильным
телефонам и автомобилям. Это означает, что у нас есть номинальный список товаров,
которые в принципе могут быть включены в корзину, но не все из них в нее попадают.
Несмотря на глубокое продумывание того, какие именно товары следует учитывать, ясно,
что при расчете инфляционных индексов всегда остается элемент неопределенности и
произвола.
 44

Что касается того, как получать информацию о ценах на товары в корзине, то традиционно
для этого принято проводить опросы и направлять сборщиков данных непосредственно в
магазины и на рынки. Бюро трудовой статистики США обследует таким образом около 23
000 предприятий и регистрирует цены около 80 000 предметов потребления каждый месяц,
суммируя их, чтобы получить индекс потребительских цен. Другие страны используют
аналогичный подход.
Возможно, вы заметили, что этот традиционный метод сбора ценовых данных полностью
игнорирует покупки онлайн. Учитывая, что на такие покупки в настоящее время приходится
уже около 17% розничных продаж в Великобритании6 и почти 10% розничных продаж в
США7, становится ясно, что многие релевантные цены никак не учитываются в индексе.
(Стоит отметить, что последние цифры действительны на момент написания книги, в то
время как тенденция стремительно нарастает.) По этой причине многие страны начали
разрабатывать методы учета цен в интернете. Эти методы не являются копией
традиционных, потому что корзины в том и другом случае отличаются. Мы увидим пример
такого метода в главе 10.
Общество меняется непрерывно, а сегодня это происходит куда быстрее, чем когда-либо в
прошлом, поскольку компьютер и сопутствующие ему технологии — мониторинг,
глубинный анализ данных, искусственный интеллект, автоматизированные транзакции и
глобальная сеть — оказывают все большее влияние. Такая скорость изменений имеет важные
последствия для анализа информации с точки зрения темных данных, поскольку прогнозы
всегда строятся на том, что случалось в прошлом. Последовательности данных во времени в
науке называют временными рядами. Скорость изменения методов и технологий сбора
данных означает, что временные ряды часто ограничены весьма недавним прошлым. Новые
типы данных потому и называются «новые», что они имеют недолгую историю и доступны
лишь за относительно короткий период времени. За пределами же его лежит тьма.
Невозможно измерить все
Наборы данных всегда конечны. Это, безусловно, верно с точки зрения количества случаев
— конечного числа людей в популяции или конечного числа измеряемых событий. Но это
верно и с позиции того, что измеряется или какие данные собираются. Изучая людей, мы
можем определять их возраст, вес, рост, квалификацию, любимую еду, доход и множество
других вещей. Однако всегда будет оставаться бесчисленное множество характеристик, не
включенных в наши определения. Эти характеристики неизбежно становятся темными
данными со всеми вытекающими последствиями.
Причинность
Когда демографические исследования показали связь между раком легких и курением,
выдающийся статистик Рональд Фишер отметил, что это необязательно означает, что
курение вызывает рак. Он привел несколько возможных причин возникновения такой связи
явлений, в том числе вероятность того, что и рак легких, и предрасположенность к курению
могут быть вызваны каким-то третьим общим фактором, например на генетическом уровне.
Здесь мы имеем дело с классическим примером темных данных DD-тип 5: неизвестный
определяющий фактор — некоторой неизмеренной переменной, которая служит причиной и
того и другого и даже приводит к корреляции между ними, при этом сами по себе изучаемые
явления непосредственно не влияют друг на друга. Этот пример показывает, насколько
сложно бывает обнаружить темные данные.
Мы уже сталкивались с подобной ситуацией в начале книги. В главе 1 я говорил, что в
раннем школьном возрасте рост детей соотносится с их лексическим запасом. Если вы
проведете исследование выборки детей в возрасте от 5 до 10 лет, измеряя их рост и объем
словаря, то обнаружите, что у тех, кто повыше, в среднем и словарный запас больше. Из
 45

этого напрашивается вывод: если давать детям больше новых слов, они лучше растут.
Можно пойти еще дальше и провести второе исследование, измеряя рост детей в начале и в
конце года, в течение которого они интенсивно осваивают новые слова. Результаты будут
впечатляющими — рост детей увеличится.
Конечно, это шутка, и вы понимаете абсурдность подобных выводов. Хотя рост и словарный
запас детей в указанном возрастном диапазоне, безусловно, взаимосвязаны, эта связь не
носит причинно-следственного характера. Дело в том, что оба параметра зависят от третьей
переменной — той, которую мы не планировали измерять в нашем исследовании, а именно
от возраста детей. Возраст в этом примере является темными данными, его незнание может
привести к ложным выводам.

Эта ситуация отличается от той, в которой отсутствуют значения некоторых атрибутов для
отдельных объектов, и от той, когда для отдельных объектов отсутствуют значения всех
атрибутов. Здесь значения для определенного атрибута (или атрибутов) отсутствуют для
всех объектов в базе данных. Все записи для такой переменной будут обозначены пробелами
или словом «неизвестно», если вообще эта переменная была включена в исследование.
Например, в предыдущем примере мы могли просто забыть спросить о том, сколько лет
респондентам, поэтому у нас нет информации о точном возрасте ни одного из них. Или,
возможно, мы не подумали о том, что возраст будет иметь значение, поэтому нам не пришло
в голову задавать соответствующий вопрос. И для того и для другого имеются естественные
причины: если исследование будет перегружено вопросами, это отрицательно скажется на
уровне отклика, поэтому отбирать их приходится тщательно.
Парадокс!
Иногда последствия влияния темных данных DD-тип 5: неизвестный определяющий фактор
могут буквально ставить в тупик.

Трагедия «Титаника» — затонувшего океанского лайнера — известна всем. Но мало кто

знает, что тщательное изучение показателей выживаемости среди пассажиров и членов
экипажа выявило нечто любопытное8. Как видно из табл. 2, а, на судне было 908 членов
экипажа, из которых выжило только 212 человек, то есть 23,3%, а из 627 пассажиров
третьего класса — тех, чьи каюты находились на нижних палубах корабля и кому было
труднее выбраться, — выжил только 151 человек, то есть 24,1%. Хотя показатели
выживаемости в этих двух группах не сильно отличаются, тем не менее мы видим, что
вероятность выживания пассажиров была несколько выше.
Но давайте взглянем на показатели выживаемости мужчин и женщин по отдельности,
приведенные в табл. 2, б.
В экипаже насчитывалось 885 мужчин, из которых 192 выжили, показатель выживаемости
составил 21,7%. Среди пассажиров третьего класса 462 были мужчинами, 75 выжили,
показатель составил 16,2%. У членов экипажа мужского пола более высокая выживаемость,
чем у мужчин из третьего класса.

Из 23 членов экипажа женского пола выжили 20, что составляет 87,0%. Среди пассажиров
третьего класса было 165 женщин, 76 выжили, показатель выживаемости составил 46,1%.
Представительницы экипажа имеют более высокую выживаемость, чем пассажирки третьего
класса.
 46

Минуточку, что происходит? В расчете для мужчин и женщин по отдельности экипаж имеет
более высокий показатель выживаемости, чем пассажиры третьего класса. Однако в целом
его выживаемость ниже.
Здесь нет никакого трюка — цифры соответствуют действительности. Мы имеем дело с
явлением, которое иногда так и называют парадоксом Симпсона, в честь Эдварда Симпсона,
описавшего его в статье в 1951 г. (хотя это явление уже было описано как минимум на
полвека раньше).

Последствия парадокса Симпсона могут быть очень серьезными. Если бы мы не учитывали

пол людей на «Титанике», то есть если бы эти данные отсутствовали, результаты нашего
анализа показали бы, что пассажиры третьего класса с большей вероятностью выживут, чем
члены экипажа. Но это утверждение было бы ложным в отношении мужчин или женщин в
отдельности. Это означает, что если бы мы решили определить вероятность выживания
человека вообще на борту лайнера, то получили бы неверную картину, поскольку он мог
быть мужчиной или женщиной.

Далее мы подробно рассмотрим, почему возникают подобные ситуации, но, думаю, уже
вполне понятно, что их возможные последствия выглядят устрашающе. Конечно, никто и не
думал регистрировать необъятное число характеристик всех, кто плыл на корабле. В то же
время если любая из этих характеристик может повлиять на наши выводы, то пренебрегая
ею, мы создаем отсутствующие данные, способные вводить в заблуждение. Возможно, это не
так критично в случае с «Титаником», поскольку речь идет об исторических данных, но
давайте рассмотрим другой пример.

Предположим, мы проводим клиническое испытание, которое обсуждалось в предыдущей

главе, сравнивая препарат А с препаратом Б. Для этого мы даем препарат А одной группе
людей, а препарат Б — другой. Обе группы включают людей разных возрастов, и для
удобства мы будем относить их либо к «младшим», либо к «старшим», в зависимости,
скажем, от того, являются ли они моложе или старше 40 лет. Далее предположим, что в
группе, принимающей препарат А, 10 младших и 90 старших, в то время как в группе,
принимающей препарат Б, 90 младших и 10 старших.
Теперь посмотрим на результаты, где чем выше значение, тем эффективнее препарат. Эти
гипотетические результаты приведены в табл. 3.

Предположим, средний балл для младших в группе А равен 8, а средний балл для младших в
группе Б — 6, как показано в табл 3, а. Это говорит о том, что препарат А более эффективен
для молодых, поскольку 8 больше 6.

Аналогично для старших предположим, что средний балл в группе А равен 4, а средний балл
в группе Б — 2, как во втором ряду значений табл. 3, а. Для старших препарат А также более
эффективен, чем препарат Б.
 47

Хотя средний балл для старших ниже, чем для младших, очевидно, что и для тех и для
других препарат А более эффективен, чем препарат Б. Мы определенно должны
рекомендовать препарат А для всех возрастов.

А как обстоит дело в целом? Общий средний балл всех людей, получающих препарат А,
составляет (8 × 10 + 4 × 90)/100 = 4,4, тогда как общий средний балл всех, получающих
препарат Б, равен (6 × 90 + 2 × 10)/100 = 5,6. Эти результаты отображены в табл. 3, б. В
целом, когда мы игнорируем возраст пациентов, препарат Б получает более высокий балл,
чем препарат A.

Это означает, что если бы мы не регистрировали возраст пациентов, то есть при отсутствии
этих данных, мы бы пришли к выводу, что препарат Б эффективнее, чем препарат A, хотя
для младших A лучше, чем Б, и для старших A лучше, чем Б. Иначе говоря, А лучше, чем Б,
для всех.

Первое, что приходит в голову: мы должны регистрировать возраст при сборе данных. Это,
конечно, хорошо, но мы можем также регистрировать и множество других переменных,
любая из которых грозит поставить наши результаты с ног на голову. При этом мы не
способны зарегистрировать все возможные переменные, а значит, темные данные будут
всегда.

Ключ к решению состоит в том, как именно рассчитывать общие средние значения. В
примере с испытаниями препаратов в группе А старших намного больше, чем младших, в то
время как для группы Б верно обратное. Это приводит к снижению общего среднего
значения: 8 больше 6, а 4 больше 2, но если учесть подавляющую долю старших в группе
при расчете среднего значения 8 и 4 и подавляющую долю младших при усреднении 6 и 2, то
результат изменится на противоположный.
Итак, теперь мы видим корни проблемы — это разные доли старших и младших в наших
группах. В группе получавших препарат А было всего 10% младших, а в группе получавших
препарат Б младших было 90%. Если бы обе группы имели равные доли младших и старших,
то проблемы бы не возникло. Поскольку клинические испытания относятся к
экспериментальным исследованиям, в которых мы контролируем число пациентов,
получающих каждый из препаратов, проблему устранить возможно, сбалансировав доли
младших и старших и сделав их одинаковыми в каждой группе.

Такой метод работает, если мы контролируем состав и численность групп. Но в случае с

«Титаником» это невозможно: пассажиры были пассажирами, члены экипажа — членами
экипажа, и этого изменить мы никак не можем.

Ниже приведен еще один пример, в котором мы не контролируем, кто в какую группу
входит.
 48

По данным исследования 1991 г. о взаимосвязи расовой принадлежности и вынесении

смертных приговоров по обвинениям в убийстве на территории Флориды, 53 из 483
подсудимых европеоидной расы и 15 из 191 подсудимых афроамериканцев были
приговорены к смертной казни9. В процентном отношении приговоренных белых (11,0%)
было больше, чем афроамериканцев (7,9%), как это показано в табл. 4, а.

Но если мы примем во внимание не только расу обвиняемого, но и расу жертвы, то

получится несколько иная и вновь обескураживающая картина.
Данные в табл. 4, б показывают, что в случаях, когда жертва принадлежала к белому
населению, к смертной казни было приговорено 53 из 467 (11,3%) белых подсудимых и 11 из
48 афроамериканцев (22,9%). А в случаях, когда жертвой был афроамериканец, суд
приговорил к казни 0 из 16 (0%) белых подсудимых и 4 из 143 афроамериканцев (2,8%).
Таким образом, среди приговоренных к смертной казни за убийство белого человека доля
афроамериканцев выше (22,9% против 11,3%); и среди приговоренных к казни за убийство
афроамериканца доля обвиняемых той же расы снова оказывается выше (2,9% против 0%).
Однако в целом при этом к смертной казни за убийство в процентном отношении
приговорили меньше афроамериканцев, чем белых (7,9% против 11,0%).

Как и прежде, объяснение заключается в диспропорциях между группами. Общая доля

приговоренных белых (11,0%) вычисляется путем усреднения результатов по 467 белым
жертвам и 16 чернокожим; общая доля приговоренных афроамериканцев (7,9%) —
усреднением результатов по 48 белым жертвам и 143 чернокожим. Эти два отношения,
467/16 и 48/143, являются обратными, что неизбежно искажает общие средние значения.

И снова вы можете справедливо заметить: «Хорошо, разные подходы дают разные

результаты, и мы понимаем, почему так происходит. Но при этом оба кажутся разумными,
так какие из значений правильные?»
Ответ на этот вопрос зависит от того, что именно вы хотите узнать. В частности, вы хотите
задать вопрос о совокупности в целом с указанием размеров ее относительных групп или же
провести сравнение внутри этих групп? Если первое, то игнорировать расщепляющую
переменную — это нормально. Если второе, то, очевидно, ее необходимо включить в расчет.

Обратите внимание, что пример с клиническим испытанием препарата немного отличается

от двух других. В нем не было ничего неизменного и предопределенного в отношении числа
младших и старших в каждой группе: эти числа были выбраны экспериментатором.
Напротив, в примерах с «Титаником» и смертной казнью цифры были в точности такими,
какими они остались в истории. Поэтому в этих двух примерах имеет смысл говорить обо
всей совокупности, в то время как при клинических испытаниях, когда экспериментатор сам
определяет пропорции возрастов и может их менять, вероятно, нет смысла этого делать.
(Возможны исключения, когда цель состоит в том, чтобы увидеть, насколько эффективным
является лечение для населения в целом, с воспроизведением пропорций возрастных групп
реальной популяции.)
 49

Таким образом, необходимо понимать две вещи: то, какой вопрос вы задаете, и, то, что
наличие темных данных зависит от этого вопроса. Как ни банально это прозвучит, но
данные, которые вам предстоит собрать, анализ, который вы проведете, и ответ, который
получите, зависят от того, что именно вы хотите узнать.
Между или внутри групп?
Проблемы, подобные парадоксу Симпсона, встречаются и в других обличьях. Например,
экологическая ошибка возникает, когда по факту корреляции двух групп делается вывод о
корреляции между составляющими эти группы объектами. Классический пример был описан
в 1950 г. социологом Уильямом Робинсоном10. Корреляция между процентом иммигрантов
в первом поколении и процентом грамотных в 48 штатах США в 1930 г. составляла 0,53. Это
означает, что в штатах с более высокой долей «понаехавших» также и более высокий
уровень грамотности (во всяком случае больше людей способны читать на американском
английском). На первый взгляд, эти цифры говорят о том, что рожденные за пределами
Соединенных Штатов более склонны к обучению. Но анализ внутри штатов
продемонстрировал иную картину: средняя корреляция составила –0,11. Отрицательное
значение показывает, что иммигранты в первом поколении менее предрасположены к
освоению грамотности. Если бы информация по каждому из штатов была недоступна и
находилась в области темных данных, то можно было бы сделать неверный вывод о прямой
зависимости уровня грамотности от страны рождения.
Родственная этой проблема, известная как смещение вследствие пропущенных переменных,
возникает в более сложных статистических методах. Множественная регрессия — это
статистический инструмент, который увязывает множество независимых переменных
(предикторов) с зависимой от них переменной. Хотя есть особые случаи, для которых это
неприменимо, в целом можно сказать, что пропуск любого предиктора ведет к появлению
мнимых связей между другими предикторами и зависимой переменной. И, как и в
предыдущем примере, поскольку мы не можем включить все возможные предикторы,
пропуск некоторых из них неизбежен. Риск, который несут такие темные данные,
заключается в том, что выводы могут оказаться неверными. Конечно, статистики, зная об
этих проблемах, разрабатывают инструменты для смягчения их воздействия.
Скрининг
В начале своей статистической карьеры я участвовал в проекте по выявлению
предрасположенности к остеопорозу у женщин. Остеопороз — это патология, при которой
кости теряют массу, становятся хрупкими и с большей вероятностью могут сломаться. По
этой причине падения для пожилых людей могут быть особо опасными. Способы измерения
плотности костей, например центральная двухэнергетическая рентгеновская
абсорбциометрия (центральная DXA), существуют, но они, как правило, очень сложны и
недешевы. Это означает, что нужен процесс, позволяющий идентифицировать людей,
которые могут страдать от этого состояния. Цель проекта состояла в разработке простой
анкеты, которая позволяет получить оценку вероятности возникновения остеопороза на
основе известных факторов риска. При этом анкета должна была заполняться респондентом
самостоятельно без необходимости присутствия специалиста.

Наша анкета, как и другие подобные инструменты скрининга, не могла бы полностью

отделить имеющих предрасположенность от тех, у кого ее нет. Но даже несовершенная
система, способная выявлять большинство тех, кто находится в группе высокого риска, была
бы чрезвычайно ценной. Это позволило бы службам здравоохранения сосредоточить на них
внимание и протестировать с помощью более точной и дорогостоящей процедуры.
Несовершенная система допускает ошибки двух видов. С одной стороны, она может
пропустить того, у кого есть патология, — в нашем примере это кто-то с остеопорозом при
 50

отсутствии стандартных признаков. А с другой стороны, система может отнести здорового

человека к имеющим заболевание. Очевидно, что чем ниже уровни ошибок обоих видов, тем
лучше инструмент проверки. Казалось бы, можно снизить частоту ошибок первого вида до
нуля, просто классифицируя всех как подверженных остеопорозу, но это делает скрининг
бесполезным. И что еще хуже, это увеличивает уровень ошибок второго вида: мы
классифицируем всех одинаково без реального выполнения условий. Аналогично мы могли
бы уменьшить уровень ошибок второго вида до нуля, классифицируя всех как не имеющих
предрасположенности, но и это совершенно бессмысленно. Учитывая, что инструмент
несовершенен, нужно было найти какой-то баланс. Или, другими словами, следовало
признать тот факт, что кого-то мы неизбежно будем классифицировать неверно.
Любой, кто окажется по результатам скрининга в группе высокого риска, будет подвергнут
более тщательному обследованию, например с использованием центральной DXA. Среди
этих людей будут и те, кого мы неверно классифицируем как потенциально страдающих
остеопорозом, и в этом случае тест покажет отсутствие заболевания. Но другая группа, к
которой по результатам скрининга будут отнесены не имеющие предрасположенности, не
будет обследоваться так тщательно. Таким образом, мы не узнаем, с кем из этой группы мы
ошиблись, по крайней мере до тех пор, пока их состояние не покажет со всей очевидностью
нашу ошибку. Можно только надеяться (если инструмент скрининга достаточно
эффективен), что таких окажется не слишком много, но их истинное состояние будет для нас
темными данными.

Ошибочная классификация больных людей как здоровых может быть весьма опасна,
особенно в случае потенциально смертельного, но легко поддающегося лечению
заболевания. Однако ошибочная классификация человека в качестве больного, тогда как на
самом деле он здоров, тоже может иметь нежелательные последствия. Например, ошибочные
подозрения на такие серьезные заболевания, как СПИД или рак, способны вызвать
психологические проблемы, даже если впоследствии подозрение будет снято. Кроме того,
это влечет ненужные затраты на проведение более точного обследования. Герд Гигеренцер,
эксперт в вопросах искажения восприятия случайности и статистики, приводит пример с
программами скрининга рака молочной железы11. Он отмечает, что из 1000 женщин,
которые принимают участие в таких программах, около сотни ошибочно направляются на
дальнейшее обследование, подвергаясь инвазивным, неприятным, а порой и болезненным
процедурам. И даже для многих из тех, у кого рак молочной железы все-таки
обнаруживается, ситуация становится только хуже. Как полагает Гигеренцер, «женщины,
имеющие непрогрессирующий или прогрессирующий очень медленно рак молочной железы,
который они сами даже не заметили бы в течение жизни, часто подвергаются лампэктомии,
мастэктомии, токсичной химиотерапии и прочим вмешательствам, которые не приносят им
никакой пользы». Порой кажется, что лучше бы темные данные так и оставались темными.

Оценка эффективности программ скрининга осложняется фактом развития общества. Мы

уже видели, как сказалось на росте числа случаев болезни Альцгеймера то, что люди стали
дольше жить и диагнозы этого заболевания перестали быть темными данными из разряда
«что могло бы случиться, если бы вы жили дольше» и перешли в категорию «что на самом
деле случилось с вами».
Скрининговые программы также чувствительны к такому тонкому проявлению темных
данных, как систематическая ошибка различия длительности течения заболевания. Давайте
проиллюстрируем этот эффект на примере гипотетической ситуации.
Предположим, есть две болезни: одна длится один день, а другая — один год, в течение
которого инфицированные люди живут нормальной жизнью, но в конце каждого из этих
периодов они умирают. Для простоты предположим также, что ежедневно каждой болезнью
заражается один человек. Если мы хотим узнать, сколько людей страдает от этих
 51

заболеваний, самым простым (и неправильным!) способом будет взять один день и

посмотреть статистику по нему. Мы обнаружим лишь одного человека с краткосрочной
болезнью — человека, зараженного в этот самый день, но тех, кто болен продолжительным
заболеванием, будет 365 человек — по числу дней в году, на протяжении которого они
заражались. На первый взгляд это будет выглядеть так, словно от продолжительного
заболевания страдает в 365 раз больше людей, чем от краткосрочного. Чтобы увидеть
реальную ситуацию, нам будет не хватать 364 человек, заразившихся краткосрочной
болезнью в течение предыдущего года.
Этот пример может показаться надуманным, но на самом деле при скрининге рака иногда
происходит нечто подобное. Медленно развивающиеся раковые опухоли имеют более
длинную бессимптомную фазу и не влияют на выживаемость организма более
продолжительный период времени. Исследование, которое мы описали выше, выявило бы
больше людей с медленно развивающимся раком, чем с быстро развивающимся. Это привело
бы к ложному представлению о том, насколько эти два вида рака поражают людей в
популяции.
Мы рассмотрели скрининговые программы на примере медицины, где проверяется, болен
или не болен человек, но та же формальная структура описывает и многие другие ситуации.
Ранее в книге я приводил пример кредитного скоринга с целью классификации людей в
зависимости от вероятности того, будут они погашать кредит или нет. Подбор персонала —
еще одна сфера применения скрининга. Заявки подает множество кандидатов, которые
отсеиваются после первичного изучения биографических данных и заполненных анкет.
Кандидаты из короткого списка приглашаются на собеседование. Первичное изучение
выполняет ту же роль, что и инструмент скрининга. Кандидатов, попавших на
собеседование, но не прошедших его, можно рассматривать как ложноположительные
результаты — они казались подходящими на основании резюме, а более глубокий анализ
показал, что это не так. Но нельзя забывать и о тех кандидатах среди отсеянных до
собеседования, которые подошли бы идеально. В медицине такие результаты называются
ложноотрицательными, и, конечно, все это тоже темные данные.
Выбор на основе прошлого
Мы обращаемся в курьерскую службу на основании того, что раньше она была самой
быстрой. Мы выбираем модель автомобиля, потому что до сегодняшнего дня она была самой
безопасной. Мы идем в ресторан, где когда-то нас по-настоящему впечатлила кухня. Вполне
логично прогнозировать будущие результаты на основе прошлых. Да и другого способа
зачастую у нас просто нет. Но, к сожалению, прошлое может быть очень ненадежным
путеводителем по будущему. Звучит банально, но все действительно меняется: организации
приходят в упадок, производители автомобилей обновляют модельный ряд, а рестораны
меняют своих владельцев. Более того, показатели могут ухудшиться, даже если ничего не
изменится. И это не просто какая-то слабая вероятность — на самом деле мы должны
ожидать такого ухудшения.
Странный феномен, заставляющий нас ожидать того, что хорошие показатели должны
ухудшиться, а плохие улучшиться, даже если процесс остался неизменным, называется
возвратом к среднему. Это проявление темных данных DD-тип 3: выборочные факты. Как
только вы осознаете существование этого явления, вы начнете замечать его на каждом шагу.
Давайте разберем на примере.
В 1970 и 1973 гг. в 12 сельхозугодьях Великобритании была зарегистрирована урожайность
пшеницы в килограммах12. В табл. 5 показано, увеличивалась или уменьшалась
урожайность за эти годы. Мы видим, что из шести участков с самой низкой урожайностью в
1970 г. пять имели наибольшую урожайность в 1973 г. И наоборот, из шести участков с
самой высокой урожайностью в 1970 г. пять показали снижение в 1973 г. Закономерность
 52

очевидна, и вот что она означает: если бы в 1970 г. мы выбрали участки с высокой
урожайностью, ожидая от них аналогичных результатов в 1973 г., мы были бы разочарованы.

Чтобы понять, откуда берется такая закономерность, предположим, что у нас есть условная
группа студентов с одинаковыми способностями и трудолюбием. Несмотря на это, каждый
раз по результатам тестирования одни добиваются больших успехов, чем другие. Это
обусловлено изменчивостью сопутствующих обстоятельств — хорошо ли человек спал
прошлой ночью, не была ли его голова занята чем-то посторонним, верно ли он представлял
себе содержание теста и т.д. Да, мы можем оценить студентов в соответствии с результатами
теста и тех, кто набрал больше баллов, отнести к лучшим. Но какие сюрпризы нам может
преподнести следующий тест?
Поскольку у всех наших студентов одинаковые способности, то набравшие больше баллов в
первом тесте добились этого благодаря удачному стечению обстоятельств. Эти
обстоятельства, равно как и другие, которые сопутствовали менее успешным студентам, вряд
ли повторятся. Поэтому, скорее всего, студенты с самыми высокими показателями справятся
хуже со следующим тестом, а студенты с самыми низкими показателями вполне могут
выглядеть лучше.

Проблема кроется в том, что результаты первого теста, то есть исторические данные,
показывают нам не сами способности ученика, а их комбинацию со случайными факторами.
Случайность как бы скрывает от нас истинные способности.

Конечно, в реальности мы вряд ли найдем группу студентов с одинаковыми способностями и

трудолюбием. Каждый из них будет отличаться уникальным набором качеств. Но даже в
этом случае всегда будет вероятность, что те студенты, которые отличились во время
первого теста, проявят себя хуже при прохождении второго, поскольку как минимум
некоторые из лучших результатов первого теста могли быть банальной удачей. Отсюда
следует, что, отобрав наиболее успешных студентов, например, на работу в компанию или на
дипломный проект, в будущем мы можем столкнуться с тем, что их успеваемость не столь
хороша.
Какой практический смысл есть в этом примере? Означает ли он, что мы должны избегать
тех, кто добился лучших результатов? Ответ, как правило, отрицательный, поскольку в
будущем они все еще могут преуспеть, просто не в той степени, какую можно было бы
ожидать на основе исторических данных. В целом степень ухудшения показателей лучших
студентов (или улучшения показателей отстающих) зависит от соотношения величины
случайного аспекта измерения и реальных способностей. Если диапазон неопределенности,
возникающей из-за случайных аспектов, достаточно велик по сравнению с диапазоном
способностей, то эффект будет ярко выраженным. Обратите внимание, что степень
неопределенности нам неизвестна — все, чем мы располагаем, это сочетание
неопределенности и способностей. По этой причине и неопределенность, и способности
являются темными данными.
 53

Сам термин «возврат к среднему» был введен блестящим эрудитом викторианской эпохи
Фрэнсисом Гальтоном. Он заметил, что (в среднем) дети высоких людей хотя и оказывались
выше среднего роста, но при этом не были настолько же высокими, как их родители, а дети,
рожденные невысокими людьми, хотя и были ниже среднего роста, но все-таки
превосходили своих родителей в росте.

В этой главе мы рассмотрели некоторые пути, которыми темные данные вводят нас в
заблуждение, если мы недостаточно внимательны или не вполне понимаем то, что
собираемся выяснить. Следующая глава посвящена тому, как мы попадаемся на удочку, даже
если точно понимаем, что именно мы хотим узнать.

Глава 4
Непреднамеренные темные данные
Видим одно, регистрируем другое
Общая картина
Не все измерения абсолютно точны. Подсчет детей в семье или кораблей в море ведется в
удобных целых числах, но такие измерения, как, например, длина, будут неизбежно
округляться до некоторого уровня. Это может быть сантиметр, миллиметр, микрон
(миллионная доля метра), десятая доля микрона, но не бесконечное число знаков после
запятой. Иными словами, мы не можем определить детали дальше какого-то уровня
приближения и вынуждены ограничиваться общей картиной (хотя сама по себе она может
быть просто малюсенькой!). А это означает, что детали остаются во мраке.
Мы видим округление всякий раз, когда смотрим на табличные данные, например 70,3, или
0,04, или 41,325, или значения вроде 76,2±0,2, где ±0,2 — диапазон точности, в пределах
которого значение можно считать истинным. Такая запись наглядно демонстрирует тот факт,
что мы имеем дело с темными данными.
Округление необходимо и стало настолько привычным, что подчас мы просто не замечаем,
что оно скрывает данные. Например, возраст людей часто записывается с точностью до
ближайшего года, несмотря на тот факт, что на самом деле понятие возраста включает в себя
число дней, часов, минут и т.д., а также на то, что присущая данному параметру
погрешность, связанная с разной продолжительностью самих родов, означает, что более
высокая точность не может быть достигнута. Общее правило округления возраста до
ближайшего меньшего целого числа лет означает, во-первых, что возраст стремится к
целому числу и, во-вторых, что его значение всегда меньше, чем фактическое время, которое
прожил человек.
Иногда возраст округляют до ближайших пяти лет или вообще классифицируют как
«младший», «средний» или «старший» с границами на уровне 25 и 65 лет. Хотя для
некоторых целей этого бывает достаточно, мы упускаем много информации, а именно то, что
происходит внутри возрастных групп. Эта проблема становится особенно заметной, если
взять крайний случай и разделить людей на две категории — на младших и старших, в
зависимости от того, являются они моложе или старше, скажем, 35 лет. Данные, обобщенные
таким образом, дают нам возможность увидеть, имеет ли старшая группа свойства, отличные
от свойств младшей группы, например, отличается ли их средний доход или доля, состоящих
в браке. Но мы не видим более тонких взаимосвязей. Например, мы не можем утверждать,
увеличивается ли средний доход начиная с младшего возраста, достигая своего максимума в
 54

среднем возрасте, а затем снижаясь у пожилых людей. Затемнение или «укрупнение» данных
лишает нас потенциальной возможности таких открытий, опуская плотный занавес.
Когда данные собираются непосредственно людьми, их затемнение, вызванное округлением
значений, может быть особенно коварным и даже привести к ошибочным решениям и
действиям. Симон де Лузиньян и его коллеги изучили 85 000 зарегистрированных значений
артериального давления1. Нет никакой разумной причины для того, чтобы эти реальные
значения оканчивались на какую-то одну цифру чаще, чем на другие. Иначе говоря, мы
должны ожидать, что около 10% всех значений будут оканчиваться на 0, 10% — на 1, 10% —
на 2 и т.д. Однако исследователи обнаружили, что 64% всех показаний систолического
артериального давления (в момент, когда сердце сокращается) и 59% показаний
диастолического давления (когда сердечная мышца расслабляется между ударами)
оканчивались на 0. Кроме того, они обнаружили, что среди остальных значений было
значительно больше четных чисел, нежели нечетных, а среди нечетных самой
распространенной последней цифрой была цифра 5. Но реальные показатели кровяного
давления не имеют этой странной тенденции группироваться вокруг определенных чисел!
Значит, зарегистрированные значения искажены стремлением людей все округлять до
удобных чисел.
Так ли это важно? Британский норматив по гипертонии указывает пороговые значения
артериального давления, выше которых рекомендуется медикаментозное лечение2. В
частности, для систолического давления это значение равно 140 мм рт. ст. или выше. Но
склонность к округлению до значений, оканчивающихся на ноль (например, округление 137
до 140), означает, что у значительной части пациентов, у которых зарегистрировано это
пороговое значение, реальное систолическое давление ниже 140 мм рт. ст.

Стоит отметить, что в этом примере округление является следствием конструктивных

особенностей измерительного прибора. Если показания считываются с градуированной
шкалы, такой, как на измерительной линейке, возникает естественное стремление округлить
их до ближайшего удобного значения. Однако, если показания выводятся в цифровом виде
на дисплей, они с большей вероятностью будут зарегистрированы точно или по крайней
мере с бо́льшим количеством десятичных знаков. Это внушает оптимизм, поскольку
автоматизация современных приборов оказывается полезной с точки зрения
противодействия темным данным.
Последний пример подсказывает, что быть особенно внимательными нам следует, когда
люди считывают значения с градуированной шкалы измерительного прибора, такой как на
линейках, транспортирах или циферблатах. Но то же самое относится и к подсчетам, которые
делают сами респонденты в процессе опроса. Джон Робертс-младший и Девон Брюер
опросили потребителей наркотиков, со сколькими партнерами им довелось делить наркотики
в течение предыдущих шести месяцев3. Хотя только два человека сказали, что имели девять
партнеров, и четыре человека, что имели 11 партнеров, колоссальное число респондентов,
равное 39, заявило, что у каждого из них было по 10 партнеров. Точно так же, у 21
респондента было по 20 партнеров, никто не сказал, что делил наркотики с 19 или 21
партнером. Все это выглядит весьма подозрительно. Было бы очень странно, если бы люди
тяготели к такому конкретному количеству партнеров, и не менее странно, если бы эти
пиковые значения просто случайно попали в выборку. Куда вероятнее то, что респонденты
давали приблизительные ответы, округляя их до ближайшего десятка.

Я называю этот феномен округлением, но когда он является результатом человеческого

фактора в процессе сбора данных, то может иметь и другое название: аккумуляция,
скопление, образование максимумов, дискретизация или предпочтение определенных чисел.
 55

Он также может принимать форму преднамеренного приближения максимальных и

минимальных пределов к наблюдаемым значениям. Например, опросы на тему заработной
платы часто включают формулировки типа «$100 000 и более», чтобы побудить ответить тех,
кого предоставление подробной информации просто оттолкнуло бы от участия в опросе. При
такой стратегии устанавливают верхний предел избыточности наряду с нижним пределом
избыточности, когда отсекают нижние значения.
Игнорирование такого усечения может привести к серьезным ошибкам. Например, средняя
заработная плата, рассчитанная на основе таких данных, может быть далека от
действительности, если вы не учли тот факт, что «$100 000 или более» может означать
намного больше, возможно, на десятки миллионов долларов. Более того, отсечение
наибольших значений и обработка их как значений интервальных, безусловно, приведет к
недооценке дисперсии данных.
Обобщение
Как правило, пытаться понять смысл большой таблицы данных, просто разглядывая ее,
занятие малопродуктивное. Чтобы облегчить задачу, нужно сначала обобщить значения.
Другими словами, мы анализируем данные, сжатые до формата сводок, который нам удобнее
воспринимать. Например, мы вычисляем средние значения и диапазоны значений, а также
более сложные статистические обобщения, такие как коэффициенты корреляции,
коэффициенты регрессии и факторные нагрузки. Однако, по определению, любое обобщение
означает жертвование деталями или, что то же самое, затемнение данных (DD-тип 9:
обобщение данных).
Если я скажу вам, что средний вес американских мужчин старше 20 лет составляет 88,8 кг,
то вы наверняка сочтете эту информацию потенциально полезной4. И действительно, можно
сравнить это значение со значениями предыдущих лет, чтобы узнать, изменяется ли средний
вес. Но вот что вы не сможете сделать, так это определить число мужчин, вес которых выше
той или иной величины. Вы не сможете сказать, является ли это среднее результатом
существования небольшого числа чрезмерно тяжелых мужчин и очень худых или же есть
много таких, у кого вес чуть выше среднего. Вы не сможете сказать, для скольких мужчин
среднее значение показывает их вес с точностью до килограмма. На эти и другие вопросы
невозможно ответить, потому что само понятие среднего исключает индивидуальные
значения, затемняя данные.
Из этого мы можем сделать несколько выводов. Один из них состоит в том, что разные
статистические сводки, обобщая данные разными способами (например, по среднему
значению, по разбросу значений, по степени отклонения значений от среднего), не сообщают
нам всех данных. Затемняя данные, сводки могут скрывать важную информацию, и мы
всегда должны быть начеку.
Вторым важным выводом является то, что нам нужно тщательно выбирать статистические
сводки, чтобы они соответствовали вопросу, который мы хотим задать. Средний доход,
рассчитанный как среднее арифметическое, в небольшой компании из десяти сотрудников,
девять из которых зарабатывают в год по $10 000, а один — $10 млн составляет более $1
млн. Такая информация будет вводить в заблуждение, например, того, кто претендует на
работу в этой компании. По этой причине доходы и благосостояние часто рассчитываются не
как средняя, а как медианная величина, когда половина зарплат ниже, а половина выше этого
значения. Еще лучше дать информацию о распределении доходов, включая статистику по
числу тех, кто зарабатывает всего $10 000 в год или максимальный размер дохода.
Человеческий фактор
Округление, которое мы обсуждали ранее в этой главе, нельзя отнести к ошибкам в прямом
смысле этого слова. Речь шла о приближении, которое скрывает детали, хотя и довольно
 56

непредсказуемым образом (например, не все значения артериального давления округлялись

так, чтобы в конце был ноль). Но человеческий фактор может привести к возникновению
более серьезных темных данных.

В 2015 г. Алекс Розетто и Люк Паркин, студенты второго курса Нортумбрийского

университета в Великобритании, приняли участие в исследовании по изучению влияния
кофеина на учебу. Однако вкравшаяся «ошибка данных» привела к тому, что вместо дозы
кофеина, втрое превышавшей его содержание в стандартной порции кофе, каждый получил
по 300-кратной дозе, или около 30 г. (Я взял выражение «ошибка данных» в кавычки, дабы
подчеркнуть, что проблема была вовсе не в данных, а в человеке, который записывал
цифры.) О возможной цене этой ошибки говорит тот факт, что смертельная доза кофеина для
человека начинается от 18 г. Неудивительно, что Алекс и Люк провели несколько дней в
отделении интенсивной терапии, где им удаляли кофеин из крови с помощью процедуры
диализа.
Причиной передозировки стала довольно распространенная ошибка: десятичный знак был
поставлен в неправильном месте, поэтому данные исказили предписание.
Довольно распространенная ошибка? Через два дня после своего 19-летия ирландец Карл
Смит получил €19 636 вместо ожидаемых €196,36. К сожалению, он поддался искушению,
тут же начал тратить их, и даже 17 судебных прецедентов не смогли помочь в его случае —
молодой человек был отправлен в тюрьму. Рабочий в Северном Йоркшире Стивен Берк
должен был получить £446,60, но вместо этого его банковский счет из-за «своевольной»
запятой пополнился более чем на £40 000. Он также не смог устоять перед соблазном,
потратил £28 000 и получил условное тюремное заключение. (Печальные примеры хотя бы
дают хороший урок: если вы обнаружите, что ваш банковский счет внезапно раздулся, не
тратьте эти деньги!)
В декабре 2013 г. городской совет Амстердама выплатил стандартные жилищные пособия
почти 10 000 получателям. Однако все, что должно было быть центами, внезапно оказалось
евро, поскольку на этот раз запятая уехала на две позиции вправо. Эта оплошность обошлась
городу в €188 млн. В 2005 г. трейдер Lehman Brothers по ошибке заплатил за сделку $300
млн вместо $3 млн. В отчете о ценах на лекарства, опубликованном в газете The Times
(Лондон) от 26 мая 2018 г., упоминалась аптека в графстве Шропшир, где покупатель
заплатил £6030 за лекарство, которое должно было стоить £60,30, и еще одна, в Гринвиче,
где болеутоляющие средства стоимостью £74,50 обошлись кому-то в £74505.

В качестве примера обратной ошибки в пользу клиента можно вспомнить авиакомпанию

Alitalia Airlines, которая в 2006 г. намеревалась предложить билеты бизнес-класса на рейс
Торонто — Кипр за $3900,00, но из-за невнимательного обращения с запятой билеты были
проданы по цене $39,00 за место, что привело к убытку в $7,2 млн.
Все вышесказанное было следствием обычной невнимательности. По крайне мере я так
надеюсь. Но иной раз уповать на случайность не приходится, как, например, в истории с
лордом Рэндольфом Черчиллем, отцом знаменитого британского премьер-министра
Уинстона Черчилля, который однажды, увидев колонку цифр с десятичными дробями,
ничуть не смущаясь заявил, что он «никогда не мог разобрать эти чертовы запятые». Все бы
ничего, но на тот момент он занимал должность канцлера британского казначейства, что
эквивалентно министру финансов, а это уже, согласитесь, повод для некоторого
беспокойства.
Неправильная постановка десятичного знака относится к типу ошибок ввода данных,
который иногда называют эффектом «неуклюжего пальца». Из бессчетного множества
разнообразных проявлений этого эффекта можно вспомнить инцидент, когда
 57

инвестиционная компания Mizuho Securities в 2005 г. потеряла более $300 млн, предложив
610 000 акций J-com по 1 иене за штуку вместо продажи одной акции за 610 000 иен. Или
случай в апреле 2018 г., когда около 2000 сотрудников Samsung Securities должны были
получить дивиденды в размере $0,93 на акцию, что составляло около 2 млрд южнокорейских
вон. К сожалению, вместо этого было выпущено 2 млрд акций, что более чем в 30 раз
превышало общее количество акций компании и обошлось ей почти в $105 млрд.
Когда происходят подобные ошибки, их стараются исправить как можно скорее, но часто
реагируют недостаточно быстро. В случае с Samsung Securities потребовалось 37 минут,
чтобы разобраться с оплошностью, но к этому времени 16 сотрудников компании успели
воспользоваться возможностью и продали 5 млн свалившихся на них акций. Стоимость
акций Samsung Securities рухнула почти на 12% и на момент написания этих строк все еще
была на 10% ниже предыдущих значений, так что компания потеряла еще и на рыночной
стоимости около $300 млн.
Если ошибка ценой $105 млрд кажется вам недостаточно серьезной, то можно припомнить
инцидент на Токийской фондовой бирже, случившийся в 2014 г. Вместо того, чтобы
провести сделку с акциями Toyota на сумму 1,96 млрд иен, брокер случайно ввел это число в
поле количества акций и в результате сумма сделки выросла до $617 млрд. Не правда ли,
довольно легко допустить такую ошибку? Мне и самому случалось вводить данные не в те
поля, правда, не с такими последствиями. К счастью, в последнем примере заявку успели
отменить до того, как она была исполнена.
Человеческий фактор выражается и в трансформации чисел, когда цифры вводятся в
неправильном порядке (например, 89 вместо 98), или одна цифра по ошибке вводится вместо
другой (например, 7 вместо 2), или когда значения повторяются из-за слишком долгого
нажатия на клавишу (например, 222) и т.д.
Подобные искажения — это просто оплошности, но, к сожалению, люди совершают такие
ошибки сплошь и рядом. Например, путают единицы измерения, как в случае с космическим
аппаратом Mars Climate Orbiter в 1998 г., который разрушился в атмосфере Марса из-за
слишком низкого прохождения над его поверхностью по причине того, что в программном
обеспечении британские единицы измерения силы не были преобразованы в международную
систему единиц СИ; или как в случае с рейсом 143 Air Canada, который разбился в 1983 г.
из-за того, что топливо при заправке измеряли в фунтах вместо килограммов.
Другой тип ошибки, связанной с человеческим фактором, повлиял на исход миссии NASA
Genesis. Космический зонд успешно взял образцы частиц солнечного ветра с лунной орбиты
и доставил их обратно, но на последней стадии полета, во время посадки в Юте, он потерпел
крушение. Причина: неверные данные от акселерометров зонда, которые были установлены
задом наперед, так что аппарат ускорялся, приближаясь к поверхности Земли, вместо того,
чтобы замедляться.

Менее очевидная проблема заключается в том, что пригодность данных может со временем
снижаться. Это происходит не потому, что данные портятся, подобно гниющим фруктам, а в
силу того, что мир вокруг нас меняется. Вы думаете, например, что на ваш сберегательный
счет по-прежнему начисляют 3% в год, но при обращении в банк испытываете легкий шок,
обнаружив, что ставка была снижена без всякого уведомления. Данные, относящиеся к
людям, особенно подвержены устареванию (DD-тип 7: данные, меняющиеся со временем) по
той простой причине, что меняются сами люди.
Что еще хуже (и в следующих главах мы это подробно рассмотрим), данные могут
искажаться людьми преднамеренно. Исследование, проведенное Бюро переписи населения
США в 1986 г., показало, что 3–5% счетчиков причастны в той или иной форме к
 58

фальсификации данных, потому что слишком ленивы для настоящей работы по их сбору6.
Американский статистик Уильям Крускал утверждал, что «достаточно проницательный
человек, обладающий здравым смыслом и склонностью к цифрам, может взять почти любой
структурированный и существенный набор данных или статистический сборник и менее чем
за час обнаружить в нем странные числа»7. Медиааналитик Тони Твайман сформулировал
закон, получивший известность как Закон Тваймана, который гласит, что любые численные
данные, которые выглядят интригующе или как-то выделяются, обычно неверны8. Более
того, ввиду гигантского количества ежедневно регистрируемых чисел следует ожидать, что
какие-то из них будут введены неправильно. Например, в 2014 г. каждый день в мире
совершалось около 35 млрд финансовых транзакций, и с тех пор это число только
увеличилось. В своей книге «Принцип невероятности» (The Improbability Principle) я
подробно рассматриваю проблему ошибочных записей при таком большом количестве цифр.
Специалисты в области глубинного анализа данных, которые занимаются поиском
любопытных или полезных аномалий в больших наборах данных, называют следующие
причины возникновения необычных структур в таких наборах (в порядке убывания их
важности):

 проблема на уровне самих данных (возможно, они были повреждены или искажены в
процессе сбора, или частично отсутствуют);
 аномалии обусловлены случайными колебаниями (иначе говоря, речь идет о
единичных значениях, которые не несут в себе существенной информации);
 структуры уже известны (как, например, в случае открытия того факта, что люди
часто покупают сыр и крекеры вместе);

 структуры не представляют интереса (если, например, обнаружено, что около

половины женатых людей в Великобритании — женщины).
Пока все эти факторы не исключены, необычная структура не может называться реальной,
интересной или потенциально ценной. Для нас же важно то, что большинство аномалий в
этой области, кажущихся на первый взгляд открытиями, — не что иное, как иллюзии,
вызванные проблемами на уровне данных.
Учитывая вышесказанное, неудивительно, что, по подсчетам IBM, «низкое качество данных
обходится экономике США примерно в $3,1 трлн в год»9. Однако верна ли эта оценка?

Во-первых, все зависит от того, что именно она включает в себя: входит ли в оценку
стоимость выявления проблем с данными, исправления допущенных ошибок, а также их
последствий? Во-вторых, в контексте ВВП США, который составляет около $20 трлн, сумма
$3,1 трлн кажется неоправданно большой, и у меня возникает вопрос, не является ли сама эта
оценка «данными низкого качества»?
Недостатки приборов
Влияние человеческого фактора огромно, но не только люди допускают ошибки: порой из
строя выходят измерительные приборы, что тоже влечет за собой скрытые проблемы с
темными данными. По крайней мере если неисправность прибора не обнаружить сразу, то он
какое-то время будет регистрировать нулевые или просто неверные значения. Помните эти
драматичные моменты в фильмах, когда сигнал на кардиомониторе обрывается и мы видим
недвусмысленную прямую, сопровождаемую жутким писком? Так вот, точно такую же
картинку можно получить, если сенсоры просто свалятся с пациента.
Один из моих аспирантов работал над проектом по исследованию влияния неблагоприятных
погодных условий, таких как сильные ветра и ливни, на телекоммуникационные сети. Он
 59

собрал данные из подробных отчетов об авариях в сетях и их ремонте, а также из

метеосводок (фактически связывая наборы данных, как это описано в следующем разделе).
Будучи толковым студентом, прежде чем приступить к анализу, он внимательно изучил сами
данные, отобразил их графически и так и этак, выискивая аномальные значения, и в
результате заметил нечто очень странное. Необработанные цифры показывали, что часто
ровно в полночь на сотовые вышки обрушивались ураганные порывы ветра. Это выглядело
тем более таинственно, что никто почему-то о них не мог вспомнить. И действительно,
записи Метеорологической службы подтверждали, что ничего подобного вроде бы не
происходило.

У зловещей загадки оказался забавный ответ. Копая глубже, аспирант обнаружил, что в
полночь установленные на вышках анемометры, измеряющие скорость ветра, автоматически
перезагружались. И иногда в этот момент они выдавали сигнал сильного порыва ветра, что,
конечно, не имело отношения к действительности. Если бы мой ученик не понимал
необходимости тщательно проверять данные, их анализ привел бы к абсурдным выводам.
Но, к счастью, он заметил проблему и смог ее решить.
Неисправность приборов может обойтись очень дорого. В 2008 г. бомбардировщик ВВС
США B-2 Spirit потерпел крушение на Гуаме из-за неверных данных, переданных
намокшими датчиками. Экипаж полагал, что самолет набрал необходимую для взлета
скорость 140 узлов, тогда как на деле она была на 10 узлов меньше.

В предыдущем разделе мы рассмотрели случаи, когда данные произвольно отсекаются

границами диапазона значений. Но часто такой эффект возникает из-за самой конструкции
измерительных приборов.
Например, напольные весы имеют верхнее предельное значение, которое они могут
отобразить. Все, кто тяжелее этого максимума, будут знать, что их вес превышает его,
однако точное значение будет скрыто в области темных данных. Хотя эта ситуация и
напоминает верхний предел избыточности, рассмотренный нами ранее, она не является
результатом преднамеренного выбора исследователей и имеет собственное название —
эффект потолка. Аналогичным образом в других контекстах существует нижний предел
значений, ниже которого все данные будут регистрироваться как меньшие или равные
минимальному порогу измерительного прибора. По вполне понятным причинам эта
ситуация называется эффектом пола. Например, температура ниже точки замерзания ртути
не может быть зарегистрирована с помощью ртутного термометра. Эффекты потолка и пола
приводят к появлению темных данных DD-тип 1: данные, о которых мы знаем, что они
отсутствуют, поскольку факт существования значений нам известен, в отличие от самих
значений, о которых мы знаем только то, что они выше или ниже некоторого предела.
Поэтому эти данные относятся еще и к DD-типу 10: ошибки измерения и неопределенность.

Эффекты потолка и пола могут проявляться довольно неожиданно. Например, по

приблизительным оценкам, во Вселенной около 1024 звезд — полностью это число выглядит
как единица с 24 нулями. Но только около 5000 звезд видны невооруженным глазом с Земли,
а поскольку сама планета закрывает от наблюдателя половину небесного свода, в любой ее
точке мы можем видеть лишь половину этих звезд. Это означает, что большинство данных,
относящихся к астрономическим объектам, были темными до изобретения телескопа:
яркость этих объектов лежала ниже уровня чувствительности человеческого глаза. Таким
образом, любые выводы о природе Вселенной, основанные на анализе нескольких тысяч
видимых звезд, могут быть очень обманчивыми.
Около 1609 г. Галилей начал исследовать небосвод с помощью своего телескопа с примерно
30-кратным увеличением и обнаружил существование звезд, о которых раньше никто не
подозревал. С тех пор развитие технологий сообщало нам все больше информации о
 60

Вселенной. Тем не менее основная проблема до сих пор заключается в том, что чем более
удалены астрономические объекты, тем ниже их яркость и, соответственно, вероятность
обнаружения. Неспособность как-то исправить эту ситуацию стала причиной смещения
Малмквиста, названного в честь шведского астронома Гуннара Малмквиста, который открыл
этот эффект в 1920-х гг. Смещение Малмквиста проявляется, например, в том, что хотя и
звезды, и галактики имеют одинаковый предел яркости, при котором могут быть
обнаружены, но звезды с большей вероятностью превысят этот порог обнаружения и станут
видимыми, поскольку представляют собой более концентрированные источники света.
Игнорирование этого характерного для темных данных эффекта искажает наше понимание
структуры Вселенной.
Все более мощные телескопы, как наглядный пример технологического прогресса, буквально
раздвигают границы познаваемого мира, а если говорить языком этой книги, то высвечивают
данные, скрытые доселе во мраке. В других областях этой цели служат иные инструменты.
Микроскопы и применение сканирования в медицине позволяют получить новую
информацию о человеческом теле, аэрофотоснимки рассказывают нам о древних
сооружениях на поверхности Земли, а сейсмические приборы и детекторы магнитного поля
дают возможность заглянуть в ее глубины. Эти и множество других инструментов
расширяют возможности нашего восприятия, постепенно раскрывая темные данные.
Объединение наборов данных
Отдельные наборы данных сами по себе имеют огромный потенциал для человечества, но
возможность связывания, объединения или слияния наборов данных из разных источников
создает условия для синергии. Данные одного набора в сочетании с данными другого могут
давать иные типы информации; они могут дополнять друг друга, позволяя отвечать на
вопросы, на которые ни один из наборов данных по отдельности не может дать ответа; или
способны повысить точность, например, благодаря триангуляции и условному расчету, когда
значения, отсутствующие в одном наборе данных, могут быть заполнены с использованием
другого.
Хорошо известно, что подобные методы используют эксперты в области судебной
статистики и правоохранительные органы, выявляющие мошенничества, но в
действительности сфера их применения гораздо шире. Проекты британской сети по
изучению административных данных продемонстрировали мощь такого подхода10. Этот
консорциум университетов и национальных статистических институтов четырех стран
Соединенного Королевства постарался облегчить процессы объединения и анализа
административных данных для исследований в области социологии и государственной
политики. Например, в одном из проектов были собраны данные из нескольких источников
для изучения влияния жилищных субсидий на состояние здоровья бездомных и
использование ими медицинских услуг. Другая объединенная база данных позволила
изучить влияние «топливной бедности» на здоровье граждан. Еще одна объединенная база
данных была создана, чтобы выявить параметры связи между плотностью точек продажи
алкоголя и здоровьем местного населения.
Преимущества такого подхода ярко раскрылись в проекте, который связал данные шести
социальных служб в Соединенных Штатах, чтобы получить четкую картину бездомности в
округе Лос-Анджелес, и в рамках которого была разработана программа строительства 10
000 домов для бездомных с проблемами психического здоровья стоимостью $2 млрд11.
Потенциал подобных проектов неограничен, а сами они демонстрируют возможности
современных технологий обработки данных для того, чтобы нести людям добро. Однако
связывание наборов данных и их объединение не обходятся без проблем, поскольку и здесь
темные данные создают риски. Для объединения наборов данных нужны общие
идентификаторы, чтобы записи в одном наборе можно было соотнести с записями в другом.
 61

Но часто данные регистрируются в разных форматах или оформляются в разных стилях, так
что возникают несоответствия. Почти всегда в одной базе данных можно найти записи,
имеющие отношение к людям, которых нет в другой базе данных. Дублирующие друг друга
записи еще больше усложняют ситуацию. Методы сопоставления и связывания данных для
уменьшения объема темной части уже стали важной областью исследований, и в
дальнейшем их значение будет только возрастать по мере накопления больших наборов
данных.

Итак, подведем итог. В главе 2 мы рассмотрели различные виды данных, а в двух

последующих, включая эту, — риски, связанные с темными данными, которые возникают в
процессе сбора данных. В число таких рисков входят неоднозначные определения,
отсутствующие переменные, случайные аспекты измерительных процессов, ограничения
приборов, укрупнение данных, эффект «неуклюжего пальца» и др. Но существует целый ряд
рисков, еще не рассмотренных нами. В следующей главе мы познакомимся с совершенно
другим классом источников темных данных.

Глава 5
Стратегические темные данные
Уловки, обратная связь и информационная асимметрия
Уловки
Так называемая Директива по гендерным вопросам[2], действующая на территории
Евросоюза, запрещает страховым компаниям использовать параметр половой
принадлежности в процессе принятия решений о размере страхового взноса. Иначе говоря,
она требует, чтобы пол рассматривался в качестве темных данных1. Это означает, что при
прочих равных условиях мужчины и женщины должны платить одинаковые взносы. Иначе
дела обстоят в Канаде, где в 1992 г. Верховный суд разрешил учитывать пол в моделях
оценки рисков. Это решение привело к тому, что один мужчина из Альберты, ошарашенный
суммой, которую ему придется выкладывать за страховку своего Chevrolet Cruze,
официально получил новое свидетельство о рождении, подтверждающее, что он женщина.
При этом он публично заявил следующее: «Я мужчина на 100%, но по закону теперь я —
женщина». Такое легальное сокрытие своего настоящего пола позволило ему экономить
$1100 в год.
Мошенничество, о котором пойдет речь далее, представляет собой попытку сознательно
ввести в заблуждение и путем сокрытия фактов заставить людей поверить в то, что
происходящее имеет иной смысл, чем на самом деле. В отличие от этого уловки, когда
человек переигрывает систему, основаны на использовании в своих интересах
неоднозначных и непреднамеренных аспектов. Темные данные в этом случае возникают не
из-за умышленного сокрытия, а в результате существования лазеек в устройстве самой
системы, которые можно использовать в своих интересах. Это означает, что уловки обычно
не являются незаконными: их цель состоит в том, чтобы, оставаясь в рамках правил и
манипулируя ими, получить преимущество. Уловки — это темные данные DD-тип 11:
искажения обратной связи и уловки.

В математике есть очень глубокая и мудрая теорема, названная в честь ее первооткрывателя

Курта Геделя, которая, если упростить формулировку, гласит следующее: любая достаточно
сложная система аксиом содержит утверждения, которые нельзя ни доказать, ни
опровергнуть в рамках этой системы. В жизни это означает, что даже тщательно
разработанные системы неизбежно содержат прорехи. В частности, одной из сфер, где мы
 62

регулярно наблюдаем такие прорехи, является налоговое право. Легальные схемы

минимизации налогов возникают как следствие неопределенностей или упущений в самом
налоговом законодательстве. Очевидно, что в разных юрисдикциях детали будут выглядеть
по-разному, да и законы со временем меняются, но для примера я приведу несколько
налоговых уловок, стандартных для Великобритании:

 получение займа под залог облагаемого налогом актива (например, дома) и

инвестирование его в необлагаемую налогом недвижимость, такую как лесной
участок или ферма, чтобы избежать налога на недвижимое имущество;

 покупка недвижимости через офшорную компанию, поскольку нерезиденты и

небританские компании не платят британские налоги;
 перенос штаб-квартиры компании в страну с низкой ставкой налога на прибыль,
возможно, путем слияния или приобретения фирмы в другой стране, поскольку не
существует глобального налогового органа.

Когда обнаруженные лазейки в налоговой системе начинают широко использоваться, их,

конечно, закрывают, но зачастую это приводит к усложнению системы и появлению новых
лазеек.

Так называемая агентская проблема — еще одна иллюстрация темных данных, тесно
связанных с уловками. Она возникает, когда одно лицо (агент) может принимать решения от
имени другого лица (принципала). Очевидно, что эта широко распространенная ситуация,
когда сотрудники принимают решения от имени своего работодателя, а политики действуют
от лица своих избирателей, становится проблемой, если агент заинтересован в выборе в свою
пользу, не отвечающим интересам принципала. Сотрудники начинают использовать знания и
информированность для своей выгоды в ущерб работодателю; политики отворачиваются от
избравшего их народа и начинают действовать в собственных интересах, тем самым вставая
на скользкий путь, ведущий к диктатуре.

Уловки также принимают вид регулятивного арбитража, когда в конкретных ситуациях

организация сравнивает несколько режимов регулирования (например, финансового) и
выбирает оптимальный для себя (например, путем переноса головного офиса в другую
страну). Очевидно, что организации выбирают то, что им выгодно, и даже порой изменяют
вид деятельности, чтобы иметь возможность менять регуляторов.
Закон Кэмпбелла доступно и кратко излагает, почему уловки так опасны в контексте
государственной политики. Он гласит: «Чем шире какой-либо количественный показатель
используется для принятия социальных решений, тем больше он подвержен
злоупотреблениям и тем больше искажаются социальные процессы, которые
контролируются с его помощью». Закон Гудхарта говорит нечто подобное, хотя и в более
мягкой форме: «Когда показатель становится целью экономической политики, он перестает
быть хорошим измерителем».
Возьмите, к примеру, школьные оценки — показатель академической успеваемости, широко
используемый обществом для принятия решений. Исследования ясно показывают, что с
течением времени средние оценки, выставляемые учащимся, имеют тенденцию возрастать —
происходит так называемая инфляция оценок. Исследование, проведенное в 2018 г. в школах
США Майклом Гурвицом и Джейсоном Ли, показало, что в среднем число получивших
высший балл среди тех, кто прошел SAT (стандартизированный тест для приема в высшие
учебные заведения), за последние 20 лет выросло с 39 до 47%2. Сайт http://gradeinflation.com
подробно отслеживает инфляцию оценок в колледжах и университетах США. На этом сайте,
например, вы можете узнать, что с 1983 по 2013 г. средний балл увеличился с 2,83 до 3,15 и
 63

этот рост отличается удивительной устойчивостью. Такая тенденция имеет несколько

возможных объяснений: люди становятся в целом умнее, они начинают лучше справляться с
тестами или же каким-то образом портится система и людям становится проще получать
более высокие оценки.
Эта тенденция находит отражение и в сфере высшего образования Великобритании, хотя
ситуация здесь несколько усложняется тем, что в последние годы значительно увеличилось
число студентов: процент людей в возрасте от 25 до 29 лет, имеющих диплом, вырос с 13% в
1993 г. до 41% в 2015 г.3, а всего в 2017 г. в британских университетах обучалось 2,3 млн
студентов.
Иначе говоря, чтобы понять, изменились ли стандарты, мы должны, во-первых, обратить
внимание на пропорции, а не на абсолютное число студентов, получивших тот или иной
класс[3], а во-вторых, следует ожидать, что число студентов, получивших более высокий
класс, будет сокращаться. Это ожидание основано на том, что раньше в университетах был
довольно жесткий отбор и поступали туда только самые способные студенты, которые могли
извлечь наибольшую пользу из университетского образования, поэтому резко выросшее их
число означает увеличение доли менее способных студентов, у которых меньше шансов
получить высший класс. Однако цифры говорят об обратном. В книге «Университетское
образование» (A University Education) бывший министр высшего образования
Великобритании Дэвид Уиллеттс отмечает, что в 2000 г. около 55% студентов получили
высшее образование класса 1 и 2:1, а к 2015 г. это число возросло до 74%4. По сути, мы
имеем дело не просто с увеличением вопреки ожиданиям, а с поразительно большим
увеличением.
Но что же лежит в основе инфляции оценок?
Доход университета напрямую зависит от количества обучающихся студентов, поэтому чем
больше абитуриентов, тем лучше. И каждый университет старается заинтересовать молодых
людей, чтобы они подавали заявления именно в него. Одним из таких стимулов являются
высокие шансы на рынке труда после получения диплома, что, в свою очередь,
обеспечивается высокими оценками. Поскольку британские университеты сами присуждают
степени и классы, это означает, что существует естественная причина для завышения оценок.
Именно конкуренция между организациями, оценивающими самих себя, стимулирует
инфляцию. Ситуация была бы иной, если бы в университетах ввели стандартный набор
экзаменов, а студентов оценивал единый орган: при существующей системе такие стандарты
являются темными данными. Это явление усугубляется системой рейтингов, то есть
системой оценки университетов, где учитывается количество выданных дипломов разных
классов, что позволяет абитуриентам обращаться преимущественно к тем, кто ставит более
высокие оценки.

Справедливости ради я должен добавить, что мое описание ситуации несколько упрощено и
на деле все обстоит не так мрачно. Например, существует система «внешнего экзаменатора»,
с помощью которой качество обучения и уровень степеней контролируются
представителями других университетов. Более того, университет, который последовательно
завышает оценки, может какое-то время занимать высокие места в рейтингах, но ровно до
тех пор, пока не станет общеизвестным, что многие его студенты с «хорошей» степенью
фактически имеют скудные знания. Тогда работодатели начнут искать выпускников в других
местах, а число студентов университета будет сокращаться, когда станет известно, что его
выпускники не могут найти работу.
Ситуация в школах Великобритании несколько иная. По окончании средней школы
проводятся общенациональные государственные экзамены, которые определяют, кто
перейдет в старшую школу и сможет готовиться к университетскому образованию. Однако
 64

существует несколько конкурирующих экзаменационных советов, каждый из которых

проводит свои общенациональные экзамены. Чем больше учеников сдают экзамен по
программе конкретного совета, тем больше денег он зарабатывает. И чем более высокие
оценки получает школа, тем лучше она выглядит в рейтингах. Как вы понимаете, это тоже
может стимулировать несоответствие с точки зрения завышения оценок, хотя некоторые
утверждают, что нет никаких подтверждений тому, что экзаменационные советы предлагают
экзамены разного уровня сложности.

Вдобавок школы имеют право голоса при определении того, какие экзамены будут сдавать
их ученики. Действительно, как только ученики получают допуск к государственным
экзаменам, школы могут сами определять, кто из них будет сдавать какие экзамены.
Очевидно, что, распределив по предметам наиболее способных к ним учеников, школы
могут создать искаженное представление о своей эффективности. Здесь мы имеем дело с
темными данными DD-тип 2: данные, о которых мы не знаем, что они отсутствуют. Если
эффективность организации измеряется уровнем ее успешности, то возможность выбора
условий, в которых она с наибольшей вероятностью будет выглядеть успешной, легко
приводит к формированию ложного представления. В августе 2018 г. лондонская The Times
опубликовала статью известной политической журналистки Рэйчел Сильвестр, в которой
утверждалось следующее: «Все больше школ пытаются обмануть экзаменационную систему,
чтобы повысить свой рейтинг в ущерб ученикам… В частных школах поощряют детей
отказываться от тех предметов, по которым у них не предвидятся высшие оценки, — так
школы поддерживают свой средний балл»5. Ученикам, у которых недостаточная
успеваемость, вместо того чтобы оказать помощь, могут предложить покинуть школу, чтобы
не портить статистику. Сильвестр приводит данные британского Управления по стандартам
образования, которое обнаружило, что 19 000 учеников были просто исключены из списков
учащихся незадолго до сдачи государственного экзамена GCSE, который проводится по
достижении 16 лет. Потенциальное пагубное влияние этих действий как на эффективность
самих школ, так и на судьбы учеников очевидно.
Примеры подобных уловок можно найти практически в любой сфере, где оценивается
эффективность:

 Хирурги могут достичь более высоких индивидуальных показателей, избегая

сложных случаев, в которых вероятность благоприятного исхода операций ниже. В
более общем плане, даже если исключить такой отбор, кого оперировать, а кого нет,
сами совокупности пациентов будут различаться у разных хирургов. Это означает, что
даже хирурги с одинаковыми навыками и способностями должны иметь разные
индивидуальные показатели.
 Среднее время отклика экстренных служб может быть изменено путем пересмотра
категории экстренного случая. Лондонская The Telegraph от 28 февраля 2003 г.
сообщает, что «согласно [Комиссии по вопросам укрепления здоровья] Служба
скорой медицинской помощи Западного Йоркшира NHS Trust понижала категорию
некоторых вызовов, если бригада скорой помощи, прибыв на место происшествия,
решала, что вызов не был достаточно серьезным, чтобы отнести его к категории А…
В этих случаях было также зафиксировано существенное увеличение времени,
прошедшего с момента получения звонка до момента, когда служба запустила таймер
реагирования»6.

 Как уже говорилось в главе 3, определение безработицы можно изменить, чтобы

приукрасить цифры: должен ли тот, кто выполняет разовые заказы или работает
неполный рабочий день, но ищет постоянную работу, считаться безработным?
Экстремальным примером подобных манипуляций является разница между оценкой
безработицы в конце февраля 2017 г., представленной Бюро трудовой статистики
 65

США, которая составила 4,7%, и оценкой президента Дональда Трампа, заявившего о

42%7. Последняя величина была получена путем включения в число безработных
всех лиц старше 16 лет, которые не вошли в состав трудовых ресурсов: домохозяйки,
студенты дневных отделений, пенсионеры и т.д. Прямо скажем, это не то
определение, которое обычно используют экономисты. Однако в таких случаях не
стоит говорить, что одно определение «правильное», а другое «неправильное». Они
просто разные (DD-тип 8: неверно определяемые данные) и каждое может быть
полезным для конкретных целей.
 Полиция может казаться лучше, чем она есть, переводя преступления в категорию
менее серьезных. Согласно шотландской The Herald за февраль 2014 г., «полицейские
склонны приукрашивать цифры путем занижения уровня преступности. Система
классификации противоправных действий имеет два уровня: “преступления”,
количество которых снизилось в прошлом году на 13%, и “правонарушения”, число
которых, наоборот, выросло. Всего в 2012–2013 гг. было зарегистрировано 273 053
преступления и почти вдвое больше правонарушений»8.
А еще можно искусственно повышать релевантность веб-страниц и, соответственно,
продвигать их вверх в поисковых системах — так компании увеличивают продажи, а блоги
привлекают новых читателей.
Все это примеры манипуляций с определениями, целью которых является сокрытие
чего-либо или представление в ином свете. Сюда относится замалчивание одних фактов,
которые могут негативно повлиять на организацию, если станут известны, и выпячивание
других, привлекательных, чтобы они не остались незамеченными.
Обратная связь
Хорошие результаты тестирования вдохновляют на приложение дополнительных усилий,
которые могут привести к увеличению масштабов успеха и возникновению желания еще
больше нарастить усилия. Окончательные данные вполне реальны, но они не были бы
такими, если бы их не измеряли. Хотя они и не абсолютно темные, эти данные скрывают то,
что было до того, как мы вмешались. Я говорю «вмешались», но наше вмешательство не
было попыткой изменить цифры. Мы просто старались получить истинные значения. Но
именно эта попытка и изменила цифры, дав нам значения, отличные от тех, которые мы
изначально планировали получить.

Выше приведен пример механизма обратной связи, в котором измеряемые данные

возвращаются назад, чтобы влиять и изменять свои значения. Такие механизмы встречаются
повсеместно. Вы можете обнаружить их в физических системах, например, когда микрофон
ловит звук из динамика, к которому он подключен, передает его обратно в динамик, откуда
он снова попадает в микрофон, и так по кругу, все громче и громче, пока звук не
превращается в жуткий вой. Они встречаются в биологических системах, когда, например,
при свертывании крови клетки поврежденной ткани выделяют вещество, которое активирует
тромбоциты, а они, в свою очередь, способствуют еще большему выделению
стимулирующего вещества, что приводит к активации все новых и новых тромбоцитов. Эти
механизмы встречаются и в психологии: знание того, что за вами наблюдают, может
побудить вас старательнее выполнять задание (эффект Хоторна, упомянутый в главе 2).
Особенно ярко механизмы обратной связи проявляют себя при образовании финансовых
пузырей.

Пузырем на финансовых рынках называют необоснованное значительное повышение цен на

акции (или другие виды активов), за которым следует резкое падение. Изменения цен
вызваны не повышением фундаментальной стоимости активов, а скорее жадностью и
отсутствием критического подхода к их оценке, когда ошибочно полагают, что
 66

фундаментальная стоимость действительно увеличилась. Важнейший момент заключается в

том, что, хотя фундаментальная стоимость компании и является одним из факторов,
влияющих на рыночную цену ее акций, определяет эту цену нечто совсем другое — готовы
или не готовы ее платить участники рынка. На этот счет есть прекрасная аналогия с
конкурсом красоты, приведенная выдающимся экономистом Джоном Мейнардом Кейнсом:
«…Это не тот случай, когда выбирают самых хорошеньких, полагаясь на свой вкус, и даже
не тот, когда полагаются на мнение большинства о красоте. Здесь мы встаем на третью
ступень, которая заставляет нас предвидеть мнение большинства в отношении того, каким
будет мнение большинства. А некоторые, как мне думается, применяют на практике
четвертую, пятую и более высокие ступени»9.
История изобилует примерами финансовых пузырей.
Пожалуй, самый большой из них был надут в начале XVIII в., когда французы попытались
ввести бумажные банкноты — до этого деньги чеканились из драгоценных металлов. Выпуск
банкнот сопровождался финансовым пузырем, последствия которого были настолько
драматичными, что разрушили французскую экономику и задержали введение бумажных
купюр еще на 80 лет.
Все началось в 1716 г., когда шотландский экономист Джон Ло убедил французское
правительство разрешить ему создать новый банк, Banque Générale, для выпуска бумажных
денег, обеспеченных резервами банка в золоте и серебре. Это соглашение могло оказаться
успешным, если бы не грандиозные планы Ло. На следующий год он убедил французское
правительство передать ему контроль над торговлей между Францией и ее колонией в
Северной Америке. Обширная колония протянулась на 4800 км от устья реки Миссисипи
через Арканзас, Миссури, Иллинойс, Айову, Висконсин и Миннесоту, включая части
Канады. Для финансирования своей Миссисипской компании Ло продал ее акции за
наличные и государственные облигации. Поскольку считалось, что колония богата золотом и
серебром, акции привлекли множество покупателей. Но Ло этого было недостаточно.
Следом он приобрел монополию на торговлю табаком между Францией и Африкой и скупил
компании, торгующие с Китаем и Ост-Индией. Далее Миссисипская компания купила право
чеканить французские монеты, а также право собирать большинство французских налогов на
этих территориях. Все эти мероприятия финансировались путем дополнительных выпусков
акций компании.
Рост Миссисипской компании сопровождался ростом ее акций, стоимость которых
увеличилась в 20 раз по сравнению с 1719 г. Быстрорастущие акции привлекали покупателей
— дело порой доходило до того, что для сдерживания разгоряченной толпы желающих
вложить свои деньги приходилось привлекать солдат. И, как это всегда бывает со
спекулятивными пузырями, инвестированием стали заниматься люди, которые не могут
позволить себе потерять деньги.
Для всех пузырей, буквальных и метафорических, характерно одно — рано или поздно они
лопаются.

Поворотный момент для Миссисипской компании наступил в январе 1720 г., когда
некоторые крупные инвесторы начали продавать акции, чтобы зафиксировать свою прибыль.
В таких случаях начинается все с нескольких человек, но их оказывается достаточно, чтобы
цены перестали расти или даже начали падать. Это, в свою очередь, заставляет продавать
других, которые полагают, что пик достигнут, и надеются заработать до того, как цена
упадет слишком сильно. А это, в свою очередь, приводит к еще большим продажам. В
результате цены падают, как правило, еще быстрее, чем росли.
 67

Ло приложил немалые усилия для восстановления, среди прочего ограничив размер выплат в
золоте и проведя девальвацию бумаг компании. Но к декабрю 1720 г. цена акций упала до
одной десятой от их пиковой стоимости. Ло стала преследовать толпа, и он в конце концов
бежал из Франции в Венецию, где прожил до самой смерти.
История Джона Ло и его Миссисипской компании действительно впечатляет, но, возможно,
еще более известный исторический пример — пузырь на рынке тюльпанов в Голландии.

В конце XVI в. тюльпаны были завезены в Голландию из Турции. Будучи новым видом
цветов, они и так были недешевы, но, когда появился сорт необычных разноцветных
тюльпанов (что фактически стало следствием болезни растений), цены просто взлетели.
Ограничения на поставки луковиц тюльпанов стимулировали конкуренцию, и цены на
будущие поставки начали расти. Восходящий рынок стимулировал новых участников
покупать луковицы, полагавших, что позже они смогут продать их дороже. И тогда началась
гонка. Люди доставали последние сбережения, продавали дома и поместья, чтобы купить
луковицы тюльпанов. Понятно, что эти сильно завышенные цены не отражали реальной
фундаментальной стоимости актива, а это закономерно привело к тому, что люди в какой-то
момент начали продавать подорожавший актив, стараясь заработать. Последовало
катастрофическое падение цен на луковицы тюльпанов. Многие лишились своих состояний,
а кто-то даже оказался на улице.
Эти истории похожи друг на друга — сначала ценовой бум, затем резкое падение, — и вы,
вероятно, думаете, что только очень наивный человек может влипнуть в одну из них. Но
изнутри пузыри выглядят совсем не так, как снаружи, что подтверждает история Исаака
Ньютона и пузыря Южных морей. В то самое время, когда процветала Миссисипская
компания, английское правительство предоставило Компании Южных морей монополию на
торговлю в этом регионе. Оценив преимущества монополии, инвесторы начали активно
вкладывать в акционерный капитал компании. Цены на акции резко подскочили. Исаак
Ньютон тоже купил несколько акций и продал их в начале 1720 г., получив приличную
прибыль. Но цены продолжали расти. Тогда он решил, что вышел из бумаг слишком рано, и
вернулся в ряды акционеров, вложив весь свой капитал. На этот раз цены росли недолго — в
том же 1720 г. они достигли пика и обрушились. В результате Ньютон потерял почти все
сбережения. И, как вы понимаете, если это случилось с самим Исааком Ньютоном, то может
случиться с каждым.
Звук лопающихся финансовых пузырей доносится не только из далекого прошлого. Так
называемый пузырь доткомов возник на волне интереса к высокотехнологичным компаниям
и был поддержан развитием интернета. Многие стартапы, выпуская акции в обращение,
быстро довели свою рыночную стоимость до миллиардов долларов. Как следствие этого,
акции индекса NASDAQ Composite — индикатора биржи, где торгуются эти компании, —
также выросли в 10 раз с 1990 по 2000 г. (несколько меньше, чем Миссисипская компания,
но все-таки впечатляюще). Затем, когда люди начали осознавать, что акции переоценены, что
их цена иллюзорна и не отражает действительности с точки зрения экономики, случился
крах. К октябрю 2002 г. индекс NASDAQ упал почти до одной пятой своего максимального
значения. Как и в случае с Миссисипской компанией, последствия были весьма ощутимы —
в Соединенных Штатах наступил экономический спад.

Следом за пузырем NASDAQ вскоре появился другой пузырь, обернувшийся ипотечным

кризисом в США. Одной из его причин стал интерес к недвижимости со стороны
инвесторов, успевших заработать на доткомах. В результате цены на жилье начали резко
расти. Предоставление низкокачественных кредитов, развернутое банками, и прочие
подобные вещи, однозначно свидетельствовали о пузыре, но, несмотря на это, он продолжал
надуваться до 2006 г., когда дела пошли скверно. В течение трех последующих лет средняя
 68

цена на жилье упала на треть. Этот крах, в свою очередь, привел к глобальной рецессии,
крупнейшей с 1930-х гг.
А вот самый свежий пример того, как данные искажаются обратной связью (здесь она
недвусмысленно послужила их сокрытию). В 2011 г. Англия и Уэльс запустили
онлайн-карты преступности, позволяющие пользователям видеть, какие преступления были
совершены в непосредственной близости от того или иного места. Тогдашний британский
министр внутренних дел (а затем и премьер-министр) Тереза Мэй сказала: «Я думаю, что
люди по достоинству оценят возможность увидеть, что происходит с преступностью в их
районе — не только на их улице, но и в ее окрестностях». В 2013 г. Департамент полиции
Нью-Йорка выпустил аналогичную интерактивную карту, и в настоящее время такие
системы стали обычным явлением. Их польза очевидна: людям дается возможность
принимать осознанные решения, где лучше купить или арендовать жилье, по какой улице
безопаснее пройти ночью и т.д. Конечно, как и в случае с любыми большими базами данных,
эти карты не идеальны, и порой в них закрадываются ошибки. Например, одна из таких карт
сообщает нам, что на Суррей-стрит в Портсмуте (Гемпшир, Великобритания) совершено 136
преступлений, включая квартирные кражи со взломом, изнасилования и антиобщественные
выступления. Однако ее протяженность меньше 100 м, а все, что там можно увидеть, — один
паб, одна автостоянка и один многоквартирный дом10. Одно из двух: или эта улица ведет в
ад и ее нужно сторониться любой ценой, или есть какие-то искажения на уровне данных.
Но, помимо ошибок с данными, идея карт преступности чревата и менее очевидными
проблемами, связанными с темными данными и обратной связью. Это всплыло, когда
британская страховая компания Direct Line Group провела опрос и сообщила, что «10%
взрослых британцев однозначно либо с высокой вероятностью не сообщат о преступлении в
полицию, поскольку оно появится на карте преступности и может негативно повлиять на
цену сдаваемого ими в аренду жилья и его рыночную стоимость»11. Вместо того чтобы
показывать, где действительно произошли инциденты, карты показывают, в каких районах
люди готовы сообщать о них. Это совсем не одно и то же, и любой, кто принимает решения
на основе таких данных, может легко попасть в сети заблуждения.
Наконец, что касается обратной связи, одним из ключевых психологических факторов,
способствующих надуванию пузырей, является предвзятость подтверждения, с которой мы
уже сталкивались. Это когнитивное искажение заставляет нас подсознательно искать
информацию, которая доказывает нашу точку зрения, и игнорировать данные, которые ей
противоречат. В мире финансов, как и везде, людям приятно, когда они видят подтверждение
собственных выводов и решений, как планируемых, так и уже принятых.
Термин «эхо-камера» пришел из мира акустики и теперь применяется для описания
ситуаций, в которых убеждения, позиции и мнения подтверждают и усиливают сами себя в
виде петель обратной связи. В контексте социальных сетей такая обратная связь может,
например, искусственно раздувать маргинальные взгляды, что ведет к расколу и
экстремизму. Принцип прост: кто-то высказывает свое мнение, оно принимается и
повторяется другими и в конце концов возвращается к своему автору. Этот человек, не
подозревая, что имеет дело с собственным утверждением, говорит: «Вот видите, я знал это!
Другие тоже так думают!»

Процессы такого типа являются мощным фактором распространения ложных сведений,

фальшивых новостей и абсурдных теорий заговора. Часто подобный цикл бывает
случайным, когда слухи начинают множиться сами собой, но известно также, что люди
используют такой механизм и для преднамеренного распространения ложной информации.
Даже правительства вбрасывают дезинформацию, пользуясь этой схемой, чтобы
дестабилизировать политические режимы других государств или создать путаницу с целью
предотвращения скоординированных действий. Такое распространение заведомо ложной
 69

информации потенциально даже более опасно, чем сокрытие правды под пологом темных
данных.
Информационная асимметрия
Информационная асимметрия — это общий термин для ситуаций, в которых одна сторона
располагает большей информацией, чем другая (DD-тип 12: информационная асимметрия).
Иными словами, для одной из сторон какие-то данные являются темными, и это ставит ее в
невыгодное положение в переговорах или конфликтах. Давайте посмотрим на некоторые
примеры.
В статье 1970 г. с замечательным названием «Рынок “лимонов”: неопределенность качества
и рыночный механизм» лауреат Нобелевской премии экономист Джордж Акерлоф
иносказательно описал, какие тяжелые последствия может иметь информационная
асимметрия. На сленге продавцов подержанных машин «лимонами» называют автомобили
низкого качества или с дефектами. В противоположность «лимонам» качественные
автомобили именуют «персиками».
Покупатели подержанных машин не могут быть уверены в исправности выбранного
автомобиля. При прочих равных условиях их покупка может с одинаковой вероятностью
оказаться и «лимоном», и «персиком». Поэтому покупатели готовы платить только некую
среднюю цену. Но у продавцов есть преимущество — они точно знают, где «лимоны», а где
«персики», и, конечно, не хотят продавать последние за такую среднюю цену. Поэтому
«персики» они придерживают, толкая покупателям одни «лимоны». Покупатели быстро
обнаруживают подвох, и, соответственно, еще ниже опускают цены, по которым готовы
покупать, что, в свою очередь, становится для продавцов еще большим аргументом против
продажи «персиков». Возникает обратная связь, которая заставляет уйти с рынка владельцев
«персиков» и в результате снижает как цены, так и качество продаваемых автомобилей.

В худшем случае это может привести к тому, что цены пробьют дно экономической
целесообразности и рынок прекратит свое существование.
Асимметричная информация часто имеет существенное значение в военных конфликтах.
Например, если одна сторона знает о расположении чужих войск больше, чем другая, она
может получить подавляющее преимущество. Эта концепция лежит в основе стратегии сбора
данных, охватывающей широкий диапазон мер, начиная от стандартной засылки
разведчиков в тыл врага до использования дронов, спутниковых фотографий и взлома
телекоммуникаций.
То же самое относится к шпионажу, когда каждая из сторон пытается получить данные,
которые другая сторона старается сохранить в темноте, поскольку их раскрытие может
нанести огромный ущерб. В 2010 г. аналитик военной разведки США Челси (урожденная
Брэдли) Мэннинг раскрыла через WikiLeaks большое количество секретных документов, в
результате чего жизни политических диссидентов и других людей оказались под угрозой.
В некоторых сферах человеческой деятельности были введены правила, способствующие
решению проблемы информационной асимметрии, например в мире финансов. По словам
экономиста Арджана Реуринка, «чтобы упростить предоставление информации рынку и
снять проблему информационной асимметрии, финансовые регуляторы ввели требования по
раскрытию информации в качестве центрального столпа регулирования на всех развитых
финансовых рынках. Такие требования предписывают эмитентам финансовых инструментов
и поставщикам финансовых услуг раскрывать рынку и своим контрагентам всю релевантную
информацию, делать это своевременно и так, чтобы все участники рынка имели к ней
равный доступ»12. Другими словами, эти правила направлены на обеспечение прозрачности,
чтобы можно было увидеть данные, которые в противном случае оставались бы темными.
 70

В целом урок, который можно извлечь из этого раздела, сводится к следующему: постоянно
ищите информационную асимметрию и почаще задавайтесь вопросом: что он, она или они
могут знать такого, чего не знаете вы?
Неблагоприятный отбор и алгоритмы
Рич Каруана и его коллеги описали созданную ими систему на основе машинного обучения
для прогнозирования вероятности смерти пациентов, больных пневмонией. В основном
прогнозы оказывались точными, если только у пациентов вдобавок не было астмы13. В
таких случаях система предсказывала, что риск смерти от пневмонии намного ниже, чем
если бы астмы не было. Казалось, это полностью противоречит здравому смыслу: каким
образом осложнения, мешающие дыханию, могут улучшить ситуацию? За этим стояло либо
крупное научное открытие некоего биологического механизма, помогающего астме
противостоять пневмонии, либо непредвиденные темные данные, которые вводили в
заблуждение и делали выводы недостоверными.

Тщательный анализ показал, что система машинного обучения действительно имела слабые
места, а ее прогнозы были следствием темных данных. На деле пациенты с астмой в
анамнезе были подвержены особенно высокому риску, и их сразу направляли в отделение
интенсивной терапии, где они получали первоклассное лечение. И лечение это было
настолько эффективным, что снижало риск смерти от пневмонии. Система, не зная об
особом подходе к таким пациентам, видела только то, что астматики имели пониженный
риск смерти от пневмонии. Вполне естественно, что она рекомендовала сразу отправлять их
домой.
Фундаментальная проблема здесь кроется в том, что алгоритм машинного обучения не видит
всех значимых данных. И это весьма распространенная проблема, имеющая пагубные
последствия. Порой к ее возникновению приводят самые благие намерения, как это
произошло в следующих примерах.
Многие страны принимают законы против дискриминации или несправедливого обращения
с конкретными группами населения, как в случае со страхованием, который мы
рассматривали в начале этой главы. Например, в Великобритании Закон о равенстве,
принятый в 2010 г., призван «предусмотреть требования к министрам Короны и другим
лицам, принимающим стратегические решения, чтобы они при выполнении своих функций
уделяли внимание сокращению социально-экономического неравенства; противодействовали
виктимизации в конкретных обстоятельствах; требовали выполнения определенных
должностных обязанностей в рамках борьбы с дискриминацией и иными запрещенными
формами поведения; способствовали равенству возможностей…».
В законе дается определение прямой дискриминации: «Один человек (A) дискриминирует
другого человека (B), если A в силу наличия у В защищаемого законом признака относится к
B менее благосклонно, чем он относится или относился бы к другим людям». Далее закон
описывает особенности ряда признаков, запрещая относиться к конкретному человеку менее
благосклонно на основании его групповой классификации, — например, потому что он
мужчина или принадлежит к определенной расе. Затем в законе дается определение
косвенной дискриминации, которая имеет место, «если А применяет к В правила, критерии
или процедуры, являющиеся дискриминационными по отношению к защищаемому законом
признаку, присущему В».
В Соединенных Штатах действует аналогичный закон, в котором термин «неравноправие»
означает, что кого-то преднамеренно ущемляют в правах на основании имеющегося у него
признака из числа приведенных в законе. В то же время понятие «неравное воздействие»
подразумевает внешне одинаковое отношение к группам носителей признаков, но при этом
разное влияние, оказываемое на разные группы.
 71

Дискриминационные признаки могут различаться в разных странах, но незначительно и

обычно включают в себя возраст, трансгендерность, гражданский брак, беременность,
нахождение в декретном отпуске, инвалидность, изменение пола, расу (включая цвет кожи,
национальность, этническое происхождение), религию, убеждения или их отсутствие, пол и
сексуальную ориентацию. По сути, закон говорит о том, что защищаемые им признаки
должны рассматриваться как темные данные и не влиять на принимаемые решения. Давайте
разберем несколько примеров того, как именно этот закон проявляет себя в разных областях.

Мы уже видели, что кредитные скоринги в банках строятся на основе статистических

моделей, которые показывают вероятность дефолта потенциального заемщика. Эти модели
используют исторические данные, описывающие выборки клиентов и истории их платежей.
Можно ожидать, что люди, имеющие признаки, присущие проблемным клиентам, тоже
представляют для банка повышенный риск. Очевидно, что, создавая кредитные скоринги,
банки хотят видеть их максимально точными и быть уверенными в том, что если система
оценивает, например, 10% заявителей как потенциальных неплательщиков, то их
фактическое число уйдет недалеко от этих 10%. В противном случае последствия для
коммерческой деятельности могут быть катастрофическими.

Чтобы сделать систему максимально точной, разумно использовать всю доступную

информацию и не игнорировать какую-то ее часть, которая могла бы быть полезной. Здесь,
как вы уже догадались, и кроется проблема. Для повышения точности прогноза нужно
включить в расчет дискриминационные признаки, но по веским причинам закон запрещает
нам это делать — он четко говорит, что включать эти признаки в процесс принятия решений
нельзя.
Очевидно, должны быть какие-то способы обойти это ограничение. Казалось бы, если мы не
можем включить возраст в число показателей для оценки, то что мешает нам взять другой,
коррелирующий с ним показатель? Однако законодатели тоже увидели эту лазейку. В отчете
конгресса США по кредитному скорингу сказано: «Результаты, полученные с помощью
модели, созданной специально для этого исследования, позволяют предположить, что
некоторые кредитные характеристики работают в том числе как возрастной ограничитель».
Также в отчете делается акцент на то, что «в результате ограниченного числа доверенных
лиц у пожилых людей их кредитные баллы несколько ниже, чем у тех, кто моложе, и чем
было бы, не указывай эти кредитные характеристики на возраст»14.
Чтобы предотвратить скрытое использование защищенных законом признаков, регуляторы
могли бы просто запретить переменные, которые коррелируют с ними. Однако на пути у
этого решения стоят две проблемы.
Во-первых, как отмечается в отчете конгресса, «анализ показывает, что смягчение
воздействия путем исключения этих кредитных характеристик [коррелированных с
возрастом] из модели обойдется слишком дорого, поскольку кроме функции возрастного
ограничителя они играют важную прогностическую роль». Это означает, что удаление
обсуждаемых признаков из системы показателей означает принесение в жертву и абсолютно
законной полезной информации.
Во-вторых, что касается людей, существует множество признаков, так или иначе
коррелирующих друг с другом. Отказаться от прогнозной информации несложно, но в
результате мы получим систему показателей, в которой все будут классифицированы
одинаково: либо как «приемлемый» риск, либо как «неприемлемый».
Есть и другой, еще более важный момент. Если бы мы смогли отказаться, скажем, от
показателя половой принадлежности, а также от всех характеристик в модели, которые
коррелируют с ним, то прогнозы для мужчин и женщин были бы справедливы в том смысле,
 72

что мужчины и женщины получили бы одинаковые баллы по тем характеристикам, которые

были использованы до того. Однако факт заключается в том, что в целом женщины
отличаются меньшими кредитными рисками, чем мужчины: при прочих равных условиях
вероятность их дефолта ниже. Вынужденное равенство мужчин и женщин с точки зрения
данных приведет к тому, что вероятность дефолта для женщин будет беспричинно завышена,
а для мужчин, наоборот, занижена. Такое искажение отразится на размере страховых
взносов, а это уже вряд ли можно назвать справедливым.

Таким образом, все сводится к тому, что именно вы подразумеваете под словом
«справедливость».
Исследование, проведенное в США, показало, что для мужчин средний кредитный скоринг
составляет 630 из 850, тогда как для женщин он равняется 621. Такое расхождение можно
хотя бы частично объяснить различиями между группами, поскольку мужчины имеют в
среднем более высокую заработную плату, а доход — это один из факторов, включенных в
расчет оценки. Комментируя это исследование, Стью Лэнгилле, директор по стратегии Credit
Sesame, сказал: «В некотором смысле это хорошая новость, ведь исследование показывает,
что между кредитными скорингами мужчин и женщин нет большого разрыва. Но все-таки
оценка не настолько справедлива, как хотелось бы».
Кредитный скоринг не единственный случай, где возникает эта форма темных данных. В
страховании есть схожие структуры, цель которых состоит в том, чтобы построить
статистическую модель для прогнозирования вероятности событий — смерти, болезней,
автомобильных аварий и т.д. В отличие от кредитного скоринга, страховое прогнозирование
в Евросоюзе до недавнего времени могло основываться на любых данных без ограничения.
Но, как мы упоминали в начале этой главы, в 2004 г. была принята Директива ЕС по
гендерным вопросам для борьбы с дискриминацией по половому признаку. В этой директиве
говорится, что страховщики ЕС не должны включать пол в число факторов, определяющих
размеры взносов и выплат. Благодаря ей половая принадлежность оказалась вытесненной в
область темных данных, что поставило страховое прогнозирование на одну ступень с
кредитным скорингом.
Однако Директива ЕС по гендерным вопросам включала пункт о возможном отказе. Он
допускал «различия в размере надбавок и выгод отдельных лиц, когда пол является
определяющим фактором оценки риска на основе соответствующих и точных актуарных и
статистических данных». Иначе говоря, мужчинам и женщинам, идентичным по всем другим
характеристикам в статистической модели, разрешалось платить разные страховые взносы,
если данные показывали, что они имеют разные риски.
Такова одна из точек зрения на понятие «справедливость», и все было бы хорошо, если бы в
2008 г. в Конституционный суд Бельгии не был подан иск, в котором утверждалось, что
данный отказ несовместим с принципом равенства между мужчинами и женщинами.
Судебный процесс растянулся на три года, в марте 2011 г. Европейский суд постановил, что
отказ должен рассматриваться как недействительный начиная с 21 декабря 2012 г. С этого
момента требовать различные страховые взносы от мужчин и от женщин с идентичными
остальными показателями стало незаконным, даже если данные показывают, что их риски
неравноценны. Половая идентичность в этой сфере окончательно перешла в темную зону.
Например, в случае автострахования размер взноса для женщин раньше был ниже, поскольку
данные показывали, что они реже попадают в аварии. Но после внесения в закон поправок
такие различия стали неприемлемы. Это влияние хорошо иллюстрируется таблицей,
опубликованной в лондонской The Telegraph от 21 января 2013 г.15 Средний страховой взнос
для мужчин (с более высоким риском) до внесения поправки составлял £658, а после — £619.
В отличие от этого, средний взнос для женщин составлял £488, а после принятия поправки
 73

увеличился до £529. В самой рискованной возрастной группе 17–18 лет размер взноса для
мужчин сократился с £2298 до £2191, а для женщин увеличился с £1307 до £1965.
Но это еще не все. Новые страховые взносы означают, что более рискованной группе,
мужчинам, будет проще покупать страховку, и поэтому они с большей вероятностью это
сделают, в то время как менее рискованная группа, женщины, будет страховаться реже. А
это вряд ли выгодно обществу! Как мы видим, все опять зависит от конкретной
интерпретации «справедливости».
Как правило, размеры страховых взносов основаны на оценке риска наступления страхового
события, когда человек попадает в автомобильную аварию или заболевает и может
предъявить страховое требование. Прогнозирование таких рисков строится на анализе
исторических данных. Например, в случае медицинской страховки людей можно разделить
на группы на основе индивидуальных признаков (возраст, пол, индекс массы тела, история
болезни и т.д.), и данные покажут, какой сегмент каждой группы с одинаковыми
характеристиками составляют люди, имеющие конкретное заболевание. Эти данные могут
быть использованы для оценки того, с какой вероятностью человек с характеристиками,
аналогичными характеристикам каждой из групп, заболеет в будущем. А эта вероятность, в
свою очередь, будет использована при определении размера взноса для каждого в группе,
поскольку считается, что внутри группы вероятность заболеваемости у всех одинаковая.
Производить подобные расчеты — обязанность актуария.

Но давайте посмотрим, что происходит в такой группе людей с течением времени. Члены
группы будут меняться, и при этом меняться по-разному. Некоторые прибавят в весе, другие
бросят курить, третьи перестанут платить страховые взносы, четвертые просто исчезнут из
поля зрения и т.д. Риск заключается именно в том, что каждый меняется по-своему, а вместе
с этим меняется и вероятность заболеваемости: кто-то станет менее восприимчив к болезни,
а кто-то наоборот. Соответственно изменятся и вероятности предъявления страховых
требований.
Те, у кого меньше шансов заболеть, поймут, что вполне могут снизить свои страховые
взносы, заключив договор с другим страховщиком. Благодаря этому в страховом портфеле
компании начнет расти доля людей с более высоким риском. Через некоторое время
страховая компания увидит, что взносы оставшихся людей с высоким риском вряд ли
покроют стоимость их требований. Поэтому она увеличит премии. Затем цикл повторится,
образуя так называемую страховую спираль смерти, которая с каждым витком увеличивает
затраты. Помните рынок «лимонов» Джорджа Акерлофа?
Фундаментальная проблема здесь состоит в том, что расчет страховщика основывается на
среднем значении. Всем в начальной группе был присвоен одинаковый риск, хотя на деле
риски разные. При таком усредняющем подходе любые отклонения от среднего значения
можно рассматривать как темные данные (DD-тип 9: обобщение данных).

Агрегируя и обобщая данные, заменяя их средними значениями, мы сами создаем область

тьмы, и это, увы, происходит не только в теории. Давайте рассмотрим Закон о доступном
медицинском обслуживании, подписанный в 2010 г. президентом США и вошедший в
историю как Obamacare.
Один из параграфов закона предусматривал так называемый индивидуальный мандат —
требование к американцам покупать медицинскую страховку или же быть подвергнутыми
штрафу, за исключением особых обстоятельств. Это означало, что в план были включены
как здоровые люди с низким риском заболеваемости, так и те, кто нуждался в
дорогостоящем медицинском лечении. В свою очередь, это означало, что в целом пул
застрахованных людей имел меньший риск, поэтому размер взносов мог быть снижен.
 74

Однако в 2017 г. сенат США проголосовал за отмену этого мандата, иначе говоря, за то,
чтобы медицинская страховка не являлась обязательной (эти законодательные изменения
вступили в силу в 2019 г.). Как следствие, мы можем ожидать, что из программы
страхования выпадет непропорционально больше людей с низким риском, чем с высоким,
так что в среднем потребуется больше медицинских услуг и большие расходы. А это, в свою
очередь, будет означать более высокие взносы. Бюджетное управление конгресса
предсказало, что отмена индивидуального мандата заставит 13 млн человек отказаться от
страхования здоровья до 2027 г., что приведет к увеличению размера взносов на 10% в год.
Оценки разнятся, например, Standard & Poor’s называет более низкую цифру, от 3 до 5 млн
человек в течение 10-летнего периода, но в любом случае перспективы не самые радужные.
Существует и целый ряд других осложнений. Одним из них является тот факт, что
страховщики США могут отказаться от участия в программе. Это еще один возможный
источник неблагоприятного отбора, влияющий на качество данных и всю систему
страхования в целом. На момент написания книги ситуация продолжает развиваться, и во что
она выльется, пока не ясно, хотя и весьма любопытно.
В этой главе мы познакомились с тем, какие возможности дают неопределенности и
упущения в правилах, как наблюдение может влиять на процесс генерации данных, как
информационная асимметрия дает одним преимущества перед другими и как все эти аспекты
темных данных воздействуют на алгоритмы. Проблема осложняется тем, что эти аспекты
могут проявляться одновременно, как в случае со «спиралью смерти» в страховании. Но
все-таки манипулирование правилами — это одно, а намеренная подделка данных — нечто
совсем другое. И это именно то, что мы исследуем в следующей главе.

Глава 6
Умышленно затемненные данные
Мошенничество и обман
Мошенничество
Среди мошенников порой встречаются настоящие звезды. Ничто не связывало Виктора
Люстига с Эйфелевой башней, но это не помешало ему продать ее. В 1925 г. он собрал
группу торговцев металлическим ломом и сообщил, что расходы на содержание башни стали
настолько высокими, что городские власти Парижа решили продать ее на металлолом. Это
казалось вполне логичным, ведь изначально башня была построена как временное
сооружение к Парижской выставке 1889 г. Люстиг объяснил, что, естественно, такое
предприятие вызовет общественный резонанс, поэтому важно держать все в секрете, пока
сделка не будет подписана. С поддельными документами заместителя генерального
директора одного из подразделений министерства почт и телеграфа Люстиг провел для
потенциальных покупателей экскурсию по башне, после которой запросил у них
коммерческие предложения. Экскурсия позволила ему присмотреться к торговцам поближе
и выбрать одного из них, Андре Пуассона, как подходящую цель. Люстиг договорился с ним
о частной встрече, на которой намекнул о возможной взятке, чтобы из всех предложений
было принято именно его, Пуассона. Вскоре, положив в карман не только деньги,
вырученные за символ Франции, но еще и взятку, Люстиг бежал в Австрию, заодно получив
известность как «человек, продавший Эйфелеву башню».
Эта история — настоящий шедевр многослойного обмана, который скрывает истинное
положение дел (DD-тип 13: намеренно затемненные данные). Уже после описанных событий
сам Пуассон добавил к обману еще один слой, когда не смог преодолеть своего смущения и
 75

предстать перед общественностью в роли жертвы мошеннического трюка. Он так и держал

все в секрете.
Однако Люстиг не остановился на достигнутом и прославился еще больше, теперь уже
благодаря своему «печатному станку». Люстиг продемонстрировал потенциальным
покупателям машину, которая печатала стодолларовые банкноты, напечатав на их глазах
пару купюр. К тому времени, когда покупатели поняли, что банкноты были настоящими,
просто предусмотрительно засунутыми в «станок», Люстиг и $30 000, которые он получил за
машину, исчезли. Несчастные жертвы не могли пожаловаться в полицию, ведь их обманули,
продав фальшивый станок для печатания фальшивых денег. И вновь мы видим слои обмана,
каждый из которых скрывает правду.

Как показывают трюки Люстига, в основе мошенничества лежит сокрытие информации о

реально происходящем, то есть утаивание данных. Но подобные обманы часто зиждутся и на
склонностях человеческого разума делать поспешные суждения, вместо того чтобы
полагаться на тщательный анализ доказательств и данных. Нобелевский лауреат Даниэль
Канеман подробно изучил эту тенденцию и описал ее в своем бестселлере «Думай
медленно… Решай быстро»[4]. Он выделяет в человеческой психике две системы: Система 1
— быстрая, инстинктивная и меняется вместе с эмоциональным состоянием, Система 2 —
медленная, осторожная и апеллирует к логике. Система 1 позволяет нам быстро реагировать
на меняющиеся события, принимая при этом решения, на разумность которых мы можем
только надеяться. Но такие поспешные суждения часто бывают ошибочными и подвержены
различным подсознательным искажениям, подобным тем, что мы уже упоминали в главе 2.
Система 2, напротив, предполагает скрупулезное рассмотрение доказательств, фактов и
формулирование выводов только после тщательного взвешивания всех за и против. Другими
словами, Система 2 учитывает возможность того, что данные могут быть не такими, как они
представляются, и что какая-то их часть может отсутствовать.

Новый Оксфордский словарь английского языка формально определяет мошенничество как

противоправный или преступный обман с целью получения финансовой или личной выгоды.
Эта выгода не всегда выражается напрямую в деньгах — речь может идти о власти,
репутации, сексуальном интересе или террористическом акте. И, к сожалению, с
мошенничеством можно столкнуться во всех сферах человеческой деятельности. На примере
финансовых транзакций мы увидим, что его диапазон простирается от мошеннических
покупок по кредитным картам до инсайдерской торговли на финансовых рынках.
Мошенничество неразрывно связано с фальсификацией с целью сокрытия истины, чтобы
заставить нас поверить, что подделка достоверна, чего бы это ни касалось — произведений
искусства, денежных знаков, фармацевтических препаратов, потребительских товаров и
множества других вещей. Мошеннические схемы в интернете, плагиат в литературе,
нечестные выборы, в процессе которых искажаются истинные результаты голосования с
целью получить или удержать власть, — мошенники есть везде, и даже (как мы увидим это в
главе 7) в науке, где основными выгодами могут быть поднятие репутации или же
доказательство собственной правоты, даже если ее ничто не подтверждает.
Вероника Ван Власселаер и ее коллеги приводят еще одно описание мошенничества,
прилагая его к разработанному ими инструменту для выявления мошенничества в сфере
социального обеспечения. Они характеризуют его как «незаурядное, хорошо продуманное,
поэтапное, тщательно организованное и очень скрытое преступление»1. Последняя
характеристика, скрытность, еще раз подчеркивает, что природа мошенничества уходит
корнями в область темных данных: мошенники всегда пытаются скрыть свои следы, по
крайней мере на какое-то время. Барт Баэсенс и его соавторы дают такой комментарий в
книге «Анализ мошенничества» (Fraud Analytics): «Мошенники, как правило, стараются
насколько возможно слиться с окружающей средой. Такой подход сродни камуфляжу
 76

военных или мимикрии животных, например хамелеонов и палочников»2. Не только мы как

вид практикуем мошенничество. На самом деле это весьма распространенное явление в
живой природе: начиная от уже упомянутых Баэсенсом животных и заканчивая полосатыми
тиграми и крабами-декораторами, которые маскируют себя, используя окружающие
материалы, подобно тому, как зяблики камуфлируют свои гнезда. Некоторые представители
фауны придерживаются противоположной стратегии и прячутся на самом виду. Например,
кольца на теле ядовитых коралловых змей имитируют окраску другого вида, королевских
змей, которые совершенно безобидны.
В настоящее время мошенничество считается наиболее распространенным видом
преступлений. Годовой отчет за 2017 г. «Преступность в Англии и Уэльсе» сообщает: «По
последним оценкам [в Англии и Уэльсе], за год с июня 2016 г. по июнь 2017 г.
зарегистрировано 5,8 млн преступлений… Однако эти значения не включают в себя
мошенничество и компьютерные преступления… С учетом мошенничества и
противоправного использования компьютеров число зарегистрированных за год
преступлений приближается к 10,8 млн»3. Число случаев мошенничества и компьютерных
преступлений было примерно таким же, как и число всех других преступлений, вместе
взятых. Убытки от мошенничества в электронной торговле в 2007 г. составили £178 млн, а в
2016 г. эта сумма выросла уже до £308 млн (и это только выявленная часть). По результатам
метаанализа, проведенного в 2009 г. мной и моим тогдашним аспирантом Гордоном
Блантом, годовые убытки, связанные с мошенничеством на территории Великобритании,
оценивались в диапазоне от £7 млрд до £70 млрд в зависимости от того, как именно
определяется мошенничество4.

Поскольку интернет является глобальной системой, очевидно, что не только в

Великобритании наблюдается рост числа случаев мошенничества. В отчете Федеральной
торговой комиссии США, посвященном потребительским сетевым данным, говорится об
увеличении количества жалоб на мошенничество в Америке в период 2001–2014 гг.5
Тенденция, показанная на рис. 5, говорит сама за себя.

Темные данные в контексте мошенничества проявляются в двух взаимодополняющих

аспектах. Если мошенник стремится скрыть от вас реальную ситуацию (вспомните о
Люстиге и его торговцах металлоломом), то сами вы, возможно, хотите сохранить некоторые
данные (например, свои пароли) втайне от других, чтобы предотвратить мошенничество. В
этой главе мы исследуем первый из аспектов на примере нескольких из безграничного числа
сфер, где обитают мошенники. Второй аспект мы рассмотрим далее, в главе 9.
 77

Кража идентификационных данных и интернет-мошенничество

Вы наверняка видели знаменитый рисунок Питера Штайнера, опубликованный в The New
Yorker в 1993 г. и впоследствии широко разошедшийся по всему миру, где одна собака,
сидящая за компьютером, говорит другой: «В интернете никто не знает, что ты собака». Дело
в том, что Всемирная паутина дает возможность легко скрыть свою личность со всеми
вытекающими из этого факта возможностями для мошенников. Кроме того, она позволяет
выдать себя за другого человека, украв его персональные данные.
Благодаря интернету стало намного проще находить персональную информацию, которую
можно использовать, чтобы замаскироваться под кого-то другого, но этот вид
мошенничества появился задолго до интернета. Термин «кража персональных данных»
появился в 1960-х гг. Методы получения конфиденциальной личной информации,
применявшиеся до появления интернета, включали телефонные звонки (поскольку телефон
был наиболее распространенным средством связи) и «копание в мусоре», когда с целью
поиска идентифицирующей информации в мусорных баках искали выброшенные
документы, такие как старые счета и расчетные листки. С появлением глобальной сети эти
методы не ушли в небытие. Телефонное мошенничество остается обычным явлением, в том
числе злоумышленники обманом заставляют людей звонить по фальшивому банковскому
номеру и сообщать свои пароли и другую идентификационную информацию.

Еще более ранний метод кражи персональных данных — вид мошенничества, описанный в
бестселлере Фредерика Форсайта «День шакала»[5]. Эта тактика основана на добывании
свидетельства о рождении уже умершего человека, а затем использовании его для получения
других личных документов, таких как паспорт. В этом случае тот, чья личность похищена, не
испытывает проблем, но зато другие становятся жертвами гнусных целей мошенника.
Используя эту аферу, 39-летний Джеральд Даффи украл личность Эндрю Лаппина, который
погиб в дорожно-транспортном происшествии в 1972 г., когда ему было всего три года.
Даффи использовал эту ложную личность для открытия банковских счетов и получения
кредитов.
 78

Можно вспомнить и более эксцентричный пример, когда член парламента Новой Зеландии и
адвокат Дэвид Гарретт оформил паспорт на имя умершего ребенка, предварительно добыв
свидетельство о рождении. Он утверждал, что прочел об этом в книге Форсайта и просто
хотел посмотреть, возможно ли это на самом деле.
Представиться тем, кто умер, или даже тем, кого намеренно убили, было довольно
популярной стратегией кражи личности до появления интернета. Мы, наверное, должны
быть благодарны Сети за то, что она сделала такие убийства ненужными!
Кража личности ребенка особенно проблематична, поскольку она может оставаться
незамеченной в течение длительного времени, возможно, пока ребенок не вырастет. The New
York Times рассказала о случае с Габриэлем Хименесом6. Когда Габриэлю было 11 лет, он
снялся в рекламе в качестве детской модели, и его мать, подававшая за него налоговую
декларацию, обнаружила, что декларация уже подана. Оказалось, что номером социального
страхования мальчика пользовался нелегальный иммигрант. Если взглянуть на эту проблему
с другой стороны, то поддельные документы могут облегчить злоумышленникам доступ к
малолетним жертвам.
Масштабы мошенничества с личными данными были раскрыты в исследовании компании
Javelin Strategy & Research, проведенном в 2017 г. Оно показало, что в 2016 г. жертвами
мошенничества с идентификационными данными стали 6% потребителей в США, или в
общей сложности около 15 млн человек7. Институт страховой информации опубликовал
таблицу с результатами своих исследований на тему кражи личных данных в США8. В
тройку лидеров (или, точнее сказать, в тройку лузеров) с наибольшим количеством краж
личных данных в 2016 г. вошли штаты Мичиган (176 жалоб на 100 000 населения), Флорида
(167) и Делавэр (156). Самым спокойным штатом в этом отношении оказались Гавайи —
всего 55 жалоб на 100 000 населения.
Каждый год всплывают все новые виды мошенничества. Сайт компании Datashield приводит
пять «самых возмутительных» случаев кражи персональных данных9. Конечно, эта пятерка
очень условна и все зависит от критериев, с какими вы подходите к преступлениям, но
попавшие в нее случаи действительно возмутительны. Например, дело Филипа Каммингса,
который украл 33 000 логинов и паролей у своего бывшего работодателя и продал их
преступникам, похитившим благодаря этому, по некоторым оценкам, от $50 млн до $100
млн. Или дело отца двоих детей Малкольма Берда, который был арестован за хранение
кокаина и какое-то время провел в тюрьме, а затем сумел доказать полиции, что его
персональные данные были украдены и использованы для совершения преступления.
Персональные данные крадут для того, чтобы выдать себя за другого человека и как можно
дольше действовать под чужой личиной. Но бывают и исключения. Лондонская The Sunday
Times от 4 марта 2018 г. сообщила, что на сайте знакомств Zoosk есть изображения и
анкетные данные улыбающегося седовласого 58-летнего вдовца, датчанина американского
происхождения по имени Мартин. Это весьма симпатичный мужчина, определенно
привлекающий внимание женщин, ищущих партнера. Любопытно, однако, другое: Мартин
оказался поразительно похож на Кристиана, после развода разместившего свою анкету и
изображение в сервисе знакомств Elite Singles, а также на Себастьяна, пользователя
Facebook. И это сходство было не случайным. Фотографии и анкетные данные принадлежали
одному и тому же человеку — 46-летнему Стиву Бастину. Стив был счастлив в браке и даже
не помышлял об услугах службы знакомств. Кто-то приложил немало усилий, чтобы
проиллюстрировать его фотографиями свои выдуманные истории. Надо полагать, что это
сделать проще, чем пытаться создать личность с нуля. Несколько женщин попались на
удочку, по крайней мере на какое-то время, и, к сожалению, подобное происходит не так уж
редко. В газетах регулярно появляются сообщения о людях, обычно женщинах, которые,
влюбившись в мошенников, отдают им крупные суммы денег — на оплату фиктивных
 79

операций или на то, чтобы несчастный смог продержаться, пока не получит наследство (и
такое бывало!) или не состоится вымышленная сделка.
Мошенничество, связанное с идентификацией, можно рассматривать как получение и
использование персональной информации, которую вы хотите сохранить в тайне, то есть
оставить темной, по крайней мере для всех, кроме вас и того сервиса, для которого она
предназначена. Проблемы возникают именно тогда, когда эти темные данные становятся
видимыми для кого-то еще, например в результате кражи. Другими словами, темные данные
сами по себе не являются чем-то плохим. В главе 9 мы рассмотрим способы усиления
защиты своих личных данных, а пока просто скажем, что признаками мошеннической
активности в отношении вас служат расчеты по пластиковой карте за товары или услуги,
которые вы не заказывали, неожиданный выпуск кредитной карты, заявку на которую вы не
подавали, и, конечно, самый очевидный признак — пропажа денег с вашего счета.

В настоящее время банки и другие финансовые институты имеют высокоэффективные

методы выявления подозрительной активности. Но они не могут дать абсолютной гарантии,
потому что всегда остается человеческий фактор. Мой коллега был уверен, что его
новенький «Мерседес» невозможно украсть. Автомобиль был просто напичкан передовыми
противоугонными технологиями, начиная от безопасных электронных ключей и заканчивая
камерами и GPS-трекером, однако ничто из этого не помогло — машину угнали,
воспользовавшись моментом, когда он в нее садился.

В этих примерах я намеренно сфокусировался на краже персональных данных, но

интернет-мошенничество, основанное на сокрытии информации, может принимать любые
формы. Одна из них — и вы, возможно, с ней сталкивались — это мошенничество с
предоплатой.
Суть его в том, что жертва получает электронное письмо, обещающее значительную сумму
денег в обмен на содействие в совершении некой транзакции. Это содействие заключается в
уплате сбора для покрытия первичных затрат, таких как доставка или комиссионные
расходы. После этого, как правило, выясняется, что необходимы дополнительные сборы,
затем еще и еще, пока жертва не начнет подозревать, что это обман. Возможно, самым
известным из подобных преступлений является мошенническая схема «Нигерия 419»,
названная так в честь статьи нигерийского уголовного кодекса. Жертва получала
электронное письмо с просьбой помочь перевести крупную сумму денег из африканской
страны. Убытки жертв этого мошенничества в глобальном масштабе оцениваются до $3
млрд и все это благодаря сокрытию и искажению информации.
Мошенничество с личными финансами
Одно время я занимался исследованиями в сфере выявления мошенничества, в частности, в
финансовом секторе. Как-то на конференции после моего доклада о методах обнаружения
противоправных действий с кредитными картами ко мне подошел один высокопоставленный
банкир и сказал: «В моем банке нет никакого мошенничества». Поразмыслив над этими
словами, я пришел к выводу, что единственным объяснением такого утверждения должен
быть его юмористический характер. Впрочем, возможно, что это была просто часть
корпоративного имиджа, которую не стоило воспринимать буквально. Ведь если бы тот
факт, что его банк пострадал от мошенничества, получил огласку, репутации банка был бы
нанесен ущерб. Достаточно веская причина для того, чтобы замалчивать мошенничество.
Иначе говоря, скрывать данные. Конечно, существует и третье, возможно, самое тревожное
объяснение его заявлению — то, что он просто не знал о случаях мошенничества в своем
банке. Да, может быть, он искренне верил, что мошенничества в банке нет, но отсутствие
обеспокоенности в этом вопросе может означать лишь одно — отсутствие данных, а это уже
настораживает. Дело в том, что все без исключения банки так или иначе страдают от
мошеннических действий или попыток совершить их.
 80

Ключевая роль, которую темные данные играют в финансовой сфере, хорошо отражена в
определении финансового мошенничества, данном Арьяном Реуринком. По его словам, это
«действия и утверждения, посредством которых одни участники финансового рынка
дезинформируют и вводят в заблуждение других участников рынка, преднамеренно или по
неосторожности предоставляя им ложные, неполные или искаженные сведения о
финансовых продуктах и услугах или инвестиционных возможностях в нарушение закона,
будь то регулирование, нормативные акты, гражданский или уголовный кодекс»10. Хотя
Реуринк говорит о финансовых рынках, такие слова и выражения, как «дезинформировать»,
«ввести в заблуждение», «ложные» и «неполные», являются характеристиками темных
данных.
Разнообразие видов финансовых мошенничеств ограничивается лишь воображением тех, кто
намерен их совершить. Далеко не все подобные преступления основаны на сокрытии
истины. Чтобы разобраться в некоторых из них, начнем с того, что ближе каждому из нас, —
с кредитных и дебетовых карт.

Технологии оплаты пластиковыми картами постоянно развиваются. На заре существования

это были распечатки карты с физической подписью владельца. Потом их заменили системы,
в которых данные пользователя были закодированы в магнитной полосе. Затем, около
десятилетия назад, сначала в Европе, а следом и в Соединенных Штатах, стали использовать
чипы, встроенные в карты, в сочетании с персональным идентификационным номером
(ПИН-кодом), который должен быть известен только клиенту. Последним новшеством стала
бесконтактная оплата, применяемая для небольших транзакций. Эта технология использует
радиочастотную идентификацию или так называемую коммуникацию ближнего поля, что
позволяет клиентам просто поднести карту или смартфон к устройству считывания
информации. Поскольку при такой бесконтактной оплате не требуется доказывать владение
картой, ее кража означает, что деньги (пусть и небольшие суммы) могут быть списаны со
счета до того, как карта будет заблокирована, хотя количество транзакций между
подтверждениями ПИН-кодом и ограниченно.

Номера кредитных карт и ПИН-коды представляют собой данные, которые вы хотите

сохранить в темноте и сделать видимыми только для выбранных вами людей или машин.
Именно эти данные пытаются узнать мошенники. Сами карты останутся при вас, украдена
будет только информация, имеющаяся на них или используемая для совершения операций с
ними. Сочетание технологий (например, скиммеров — считывающих устройств,
подключенных к платежным терминалам) и социальной инженерии (например, обмане с
целью получения ПИН-кода) используется преступниками для доступа к нужной
информации. Понимание этих стратегий уменьшает вероятность того, что вы станете их
жертвой. Во всяком случае вы будете лучше скрывать ПИН-код при вводе и не позволите
брать ваши пластиковые карты посторонним людям.
Существуют разные виды мошенничества с кредитными картами, и актуальность каждого из
них меняется по мере появления новых технологий, предотвращающих подобные
преступления. Основная проблема заключается в том, что, хотя новые методы выявления и
предотвращения мошенничества могут ограничить число случаев, они не способны
полностью воспрепятствовать им и уж, конечно, не остановят организованную преступность.
Это означает, что внедрение инструментов для предотвращения одного вида мошенничества
может привести к распространению других видов. Кроме того, существует «эффект
перетекания», когда борьба с преступностью в одном месте ведет к ее росту в других местах.
Именно это случилось, когда чипы с подтверждением операций ПИН-кодом были внедрены
в Великобритании, а потом и в других странах Европы. Притом что число преступлений с
кредитными картами в Великобритании снизилось, оно резко выросло во Франции, так как
данные карт были попросту переправлены на континент.
 81

К наиболее распространенным видам мошенничества относятся транзакции без

предъявления карт. Как следует из названия, это транзакции, проводимые удаленно, через
интернет, по телефону или по почте, где не требуется физического наличия карты и
присутствия ее владельца. Более рискованный характер таких транзакций объясняет, почему
интернет-магазины могут инициировать расширенную процедуру безопасности, если вы
захотите отправить покупку на новый адрес. Так выглядит попытка продавца преодолеть
барьер невидимости, отделяющий покупателя.

К сожалению, независимо от того, насколько продвинутся наши технологии, сама

человеческая природа не позволит полностью искоренить мошенничество. Возможно, вы и
сами получали электронное письмо от своего друга или коллеги, который, якобы находясь за
границей, потерял все деньги и документы и теперь срочно нуждается в переводе, чтобы
вернуться домой. Или, возможно, вы становились жертвой фишинг-атаки, в ходе которой
вроде бы заслуживающее доверия электронное письмо вынуждает вас раскрыть информацию
о карте, заманивая на поддельный сайт, который выглядит точно так же, как сайт банка или
известного магазина. К сожалению, битва между мошенниками и теми, кто пытается их
остановить, во многом является гонкой вооружений, в которой с течением времени обе
стороны становятся более продвинутыми. Действительно, еще недавно попытки фишинга
через электронную почту можно было распознать по корявым фразам и орфографическим
ошибкам, но теперь эти ребята, похоже, прокачали грамотность. (Впрочем, что-то
подсказывает мне, что все эти ошибки были преднамеренными, поскольку того, кто
откликнется на такое безграмотное сообщение, легче обокрасть. Полагаю, что это само по
себе дает мошенникам возможность отбора наиболее доверчивых.)

Каждая новая технологическая волна призвана повысить, с одной стороны, удобство

пользователя, а с другой — его безопасность, но порой эти стремления входят в конфликт.
Например, переход от магнитной полосы к встроенному чипу разочаровал некоторых
пользователей, которые особо ценили время, поскольку замедлил скорость транзакций.
Сделайте услугу слишком обременительной, и потенциальный клиент уйдет в другое место.
Пароли, двухфакторная идентификация, биометрические данные, такие как распознавание
отпечатков пальцев, радужной оболочки и голоса, — все это способы сохранить ваши
данные в темноте, скрыть их от потенциальных мошенников. Но в то же время это
неизбежно усложняет процесс использования счета. Преодолев все вышеперечисленные
барьеры на пути к своим деньгам, в завершение владелец счета может получить еще и звонок
из банка, если его активность будет сочтена подозрительной. Конечно, это не лишено смысла
и придает уверенность в том, что банк действительно печется о вашей безопасности, но
наступает момент, когда такая забота начинает утомлять клиента.
Мошенничество на финансовых рынках и инсайдерская торговля
В 2011 г. Квеку Адоболи, финансовый трейдер из Ганы, работая в команде трейдеров Global
Synthetic Equities, британского офиса швейцарского банка UBS, провел ряд забалансовых
сделок, которые привели к потере около $2,3 млрд. Это был самый большой
несанкционированный торговый убыток в истории Великобритании, но отнюдь не самый
большой в мировой истории. В 1990-х гг. корпорация Sumitomo из-за несанкционированных
действий своего главного трейдера медью Ясуо Хаманака потеряла $2,6 млрд. И подобных
потерь в истории было не так уж мало, хотя и не все они случились из-за темных данных и
преступных намерений. В начале 2000-х гг. Говард Хублер III совершил абсолютно
законную, но очень рискованную сделку с низкокачественными ипотечными кредитами, в
результате чего Morgan Stanley потерял около $9 млрд. В самой природе вероятности и риска
заложена возможность краха, хотя, что касается Хублера, он действительно скрывал
информацию и вводил в заблуждение своих коллег, утверждая, что финансовые позиции
безопасны.
 82

Очевидно, что намерения некоторых трейдеров могут быть с самого начала

мошенническими, но все же это скорее исключение. Зачастую трейдеры просто совершают
сделки с превышением лимитов, что обусловлено самой культурой их организации,
поощряющей зарабатывать как можно больше. Затем, когда появляются потери, вместо того,
чтобы признать это и поскорее избавиться от убыточных позиций, они, наоборот,
увеличивают их в надежде, что все будет хорошо и никто не обнаружит нарушения. Риски
накапливаются, психологическое давление все возрастает, и трейдеры начинают совершать
уже откровенно мошеннические сделки, откуда дорога уже только вниз. В качестве примера
можно привести действия Ника Лисона, который в одиночку обрушил британский
инвестиционный банк Barings с 200-летней историей, нанеся ему своей мошеннической
торговой деятельностью убыток в $1 млрд.

Все эти разговоры о миллиардах могут привести к потере чувствительности в отношении

таких абсолютных величин, что нашло отражение в расхожей фразе, часто ошибочно
приписываемой сенатору Иллинойса Эверетту Дирксену: «Миллиард здесь, миллиард там, и
вот уже речь идет о реально больших деньгах». Давайте посмотрим, что такое $1 млрд. По
данным Бюро переписи населения, средний личный доход в США в 2016 г. составил $31 099.
Таким образом, убыток Morgan Stanley в $9 млрд равен годовому доходу почти 300 000
человек.
Выражение «инсайдерская торговля» относится к использованию конфиденциальной
информации с целью получения несправедливых преимуществ в ходе торговли ценными
бумагами на бирже. «Конфиденциальная» применительно к информации означает, что она
неизвестна широкой публике, поэтому является темными данными. Это асимметричная
информация (DD-тип 12: информационная асимметрия) в том смысле, что она известна
только одной стороне транзакции, о чем мы уже говорили в главе 5.
Несложно понять, что обнаружение инсайдерской торговли — дело весьма непростое.
Главная хитрость заключается в том, чтобы выявлять необычные модели поведения, когда,
например, одним лицом совершается несколько подозрительно своевременных сделок
накануне публичных заявлений.
Одна из самых скандальных историй с инсайдерской торговлей связана с трейдером
Айвеном Боэски. В 1975 г. он основал Ivan F. Boesky & Company, занимающуюся
спекуляциями на корпоративных поглощениях. Боэски был чрезвычайно успешен, заработал
за 10 лет около $200 млн и даже попал на обложку журнала Time. Но после того, как он
успешно предсказал большинство крупных сделок 1980-х гг., им заинтересовалась Комиссия
по ценным бумагам и биржам (SEC). Сделки Боэски поражали своей своевременностью:
почти всегда он покупал акций ровно перед тем, как их стоимость резко возрастала в ответ
на поглощение. Оказалось, что причина была вовсе не в его пророческих способностях и
даже не в превосходном алгоритме прогнозирования, а в том, что он банально подкупал
сотрудников инвестиционных банков, чтобы те сливали ему информацию о предстоящих
поглощениях. Боэски использовал данные, которым полагалось быть скрытыми, в результате
чего был оштрафован на $100 млн и отправлен в тюрьму. Позже он стал прототипом Гордона
Гекко — персонажа фильма «Уолл-стрит», известного своей знаменитой речью о том, что
«жадность — это хорошо».

Конечно, не все мошенники-инсайдеры могут похвастать такими суммами, как Боэски.

Австралиец Рене Ривкин принял решение о покупке 50 000 акций Qantas после
конфиденциальной беседы с Джерри Макгоуэном, председателем Impulse Airlines, в ходе
которой он узнал о предстоящем слиянии Qantas с Impulse. В итоге трейдер получил
прибыль всего $2665, но это не стало смягчающим обстоятельством и не помогло ему
избежать обвинения в инсайдерской торговле и девяти месяцев тюремного заключения. В
 83

2005 г. он покончил жизнь самоубийством. Позднее расследование показало, что, несмотря

на запрет заниматься биржевой торговлей, Ривкин продолжал это делать тайно.
Оба описанных преступления произошли до так называемой революции больших данных и
появления науки о данных, поэтому властям часто приходилось полагаться на сообщения
информаторов, сотрудников бирж и регулирующих органов других стран. Но сегодня, в мире
больших данных, современные алгоритмы машинного обучения и искусственный интеллект
вносят неоценимый вклад в обнаружение подозрительной или скрытой активности. В 2010 г.
в SEC США был создан Центр анализа и обнаружения, которому поручено анализировать
миллиарды торговых операций для выявления необычного поведения в ходе торгов.
Деятельность этого центра уже привела к нескольким судебным процессам. Например, на
основе его данных в сентябре 2015 г. SEC обвинила двух юристов и бухгалтера в
приобретении акций фармацевтической компании Pharmasset из Нью-Джерси после того, как
один из членов совета директоров передал им конфиденциальную информацию о
переговорах по продаже компании. Обвиняемым удалось замять это дело, но ценой почти
полумиллиона долларов11.
Инсайдерская торговля основывается на некотором тайном знании, недоступном остальным.
Еще более распространенным проявлением такой информационной асимметрии является
поддельная отчетность. Сокрытие истинного положения дел в компании путем утаивания
данных и искажения информации в отчетах, вероятно, является самым частым
использованием темных данных в мире финансового мошенничества. Сюда относятся и
мнимая информация о реальных или потенциальных инвестициях, и сокрытие ненадлежащих
транзакций, чтобы ввести в заблуждение инвесторов или регулирующие органы, и
завышение показателей доходности, и прочие виды лжи.
За примерами далеко ходить не придется. Возьмем хотя бы одно из самых крупных
корпоративных банкротств, произошедшее в 2001 г. (На тот момент оно было самым
крупным, пока через год не случился крах WorldCom.) Речь идет о компании Enron,
созданной в 1985 г. путем слияния Houston Natural Gas и InterNorth, главой которой стал
Кеннет Лей. Enron была одной из крупнейших в мире компаний в энергетической,
коммуникационной и целлюлозно-бумажной отраслях с доходами, превышающими $100
млрд. Сложная структура компании позволила двум ее директорам — операционному,
Джеффри Скиллингу, и финансовому, Эндрю Фастоу, — использовать лазейки в
бухгалтерской отчетности и подставные фирмы, чтобы Enron смогла избежать финансового
риска, по существу скрывая долг в миллиарды долларов от совета директоров. Но в 2001 г.
журнал Fortune опубликовал статью, в которой утверждалось, что заявленный доход Enron
не соответствует действительности и непонятно, чем может быть оправдана стоимость акций
компании, превышающая ее реальную прибыль в 55 раз. Постепенно проблемы нарастали
как снежный ком, а вишенкой на торте стали беспричинные оскорбления, которыми
Скиллинг осыпал журналиста во время интервью. В итоге ему пришлось подать в отставку,
сославшись сперва на личные причины, но затем признав, что это было вызвано 50%-ным
падением цены акций компании.

15 августа 2001 г. анонимным письмом Шеррон Уоткинс, вице-президент по

корпоративному развитию, предупредил Кеннета Лея о сомнительной практике
бухгалтерского учета, сообщив, что он «сильно обеспокоен грядущей волной бухгалтерских
скандалов». Это утверждение оказалось пророческим. Компания отчаянно боролась, но
доверие инвесторов катастрофически таяло, в том числе в результате нападок СМИ и
непрозрачности ее операций. Цена акций Enron упала с $90,75 в середине 2000 г. до $1 к
ноябрю 2001 г (что повлекло за собой еще и иск акционеров на сумму $40 млрд). В конце
концов, после тяжелой битвы, которую вел Лей, кредитный рейтинг Enron был понижен до
статуса «мусорный», и компания объявила о банкротстве.
 84

Казалось бы, такие события должны привести к усилению регулирования, чтобы сделать
методы работы компаний прозрачнее. К сожалению, судя по всему, это не так. Статья в
журнале The Economist за 2014 г. так описывает ситуацию: «Если бухгалтерские скандалы
больше не доминируют в заголовках, как это было в 2001–2002 гг., когда развалились Enron
и WorldCom, то это вовсе не потому, что они исчезли, а потому, что стали рутиной»12. Далее
в статье приводится целый ряд примеров: испанский банк Bankia, исказивший свое
финансовое положение при выходе на открытый рынок в 2011 г.; японская компания
Olympus, скрывшая миллиарды долларов убытков; банкротство Colonial Bank в 2008 г.;
индийская технологическая компания Satyam, приписавшая более $1 млрд на своих счетах.
Подобные случаи можно встретить в компаниях по всему миру, и их куда больше, когда речь
идет не о многомиллиардных мошенничествах. Подумайте, если какие-то массовые
инциденты перестали попадать в заголовки, говорит ли это о сокращении их количества?
Страховое мошенничество
Большинство из нас никогда не сталкивается напрямую с отмыванием денег или
корпоративным мошенничеством, но есть одна сфера, которая так или иначе затрагивает
каждого и где финансовое мошенничество процветает. Речь идет о страховании. Страховое
мошенничество подобно древнеримскому богу Янусу — оно двулико. С одной стороны, это
мошеннические действия клиентов в отношении компаний, с другой — обман
страховщиками клиентов. И то и другое по своей сути является сокрытием информации,
разница лишь в том, кто от кого ее скрывает. И то и другое может быть как спланированным
действием, так и просто спонтанным проявлением беспринципности. Эти виды
мошенничества называют соответственно «преднамеренным» и «непреднамеренным».
Один из способов обмана клиентов — страховые взносы по несуществующим полисам, о
фиктивности которых невозможно узнать до наступления страхового случая, а это может не
произойти никогда. В более масштабном варианте этого мошенничества клиентам продают
полисы несуществующих компаний. Очевидно, что подобные аферы с темными данными
требуют хорошей организации и вряд ли могут быть непреднамеренными. Излишне также
говорить, что Сеть представляет собой идеальную среду для проведения таких операций.
«Накрутка» — еще одна популярная мошенническая стратегия изымания денег у клиентов,
которая требует довольно сложной организации. Она представляет собой серию избыточных
сделок или транзакций, каждая из которых сопровождается взиманием комиссии. В
страховании это может выглядеть как цепочка посредников. Каждая транзакция в
отдельности не вызывает вопросов, и лишь когда становится видна вся картина, всплывает
факт мошенничества. Такие схемы особенно сложны для обнаружения, в какой бы сфере они
ни применялись, ведь каждое их звено совершает абсолютно законные действия.
Однажды крупный потребительский банк нанял меня в качестве консультанта для
разработки инструментов обнаружения мошеннических сетей в системе ипотечных заявок:
если несколько игроков работают рука об руку, чтобы манипулировать ценами, такое
мошенничество распознать непросто. (Хотя тому, кто в этот момент испытает искушение, я
должен сказать, что современные методы сбора и анализа данных для выявления подобных
трюков становятся все более сложными и заметно повышают его риски!)

Более распространено мошенничество в обратном направлении, когда клиенты пытаются

украсть деньги у страховых компаний. Часто страхователь, чтобы снизить размер взносов,
искажает существенные факты, такие как история страховых требований, реальное
состояние здоровья или тюнинг страхуемого автомобиля. Простейший пример —
страхование недвижимости на сумму, превышающую ее стоимость, и последующий ее
поджог. Очевидно, что такие мошенничества требуют детального планирования или по
крайней мере должны быть хорошо продуманы.
 85

В качестве экстремальных примеров можно привести случаи, когда люди имитируют

собственную или чужую смерть, чтобы выдвинуть мошеннические требования по договору
страхования жизни. Элизабет Гринвуд, написавшая на эту тему книгу, утверждает, что
каждый год подобные мошенничества исчисляются сотнями13. Зачастую для этого люди
отправляются в те страны, где легче получить фиктивное свидетельство о смерти. Например,
Хосе Лантигуа из Джексонвилля, штат Флорида, попытался решить свои финансовые
проблемы, получив по договорам страхования жизни $6,6 млн после того, как якобы умер в
Венесуэле14. «Посмертно» его арестовали в Северной Каролине, где он жил под другим
именем. Или случай с матерью и сыном из Великобритании, которые пытались добиться
выплаты страховки в размере £140 000, заявив, что мать погибла в дорожно-транспортном
происшествии во время отпуска в Занзибаре15. Мать переехала в Канаду, но страховые
инспекторы выследили ее, поскольку не смогли найти никаких записей о смерти в
министерстве иностранных дел и по делам Содружества.

Конечно, фальсификация собственной смерти имеет недостаток — вы действительно

должны исчезнуть. Как говорит Гринвуд, вопрос состоит в том, сможете ли вы расстаться со
всеми и всем в вашей жизни и обрести новую идентичность.

Существуют легкие версии такого рода мошенничеств, например, когда люди подают иск за
испорченный пищевым отравлением отпуск. Суммы при этом могут быть немалыми. Пол
Робертс и Дебора Бритон из Ливерпуля затребовали £20 000 после совместной поездки в
Испанию. Однако в социальных сетях Бритон написала, что это были «две недели солнца,
смеха, веселья и слез. Мы встретились со всеми нашими прекрасными друзьями, которые
сделали наши дни просто потрясающими. Фантастический отпуск закончен, мы вернулись
домой, но сердцем я все еще там». Если вдруг встретите кого-то вроде Деборы Бритон,
отведите его в сторонку и тихонько намекните, что главный секрет сохранения данных в
темноте заключается в том, чтобы… сохранять их в темноте. Социальные сети
действительно помогают выявлять подобные аферы и судить о здравомыслии тех, кто
пытается совершить мошенничество, или по крайней мере тех, кто был пойман (ведь более
искушенных и так и не пойманных мошенников может быть даже больше). В нашем примере
и Робертс, и Бритон угодили в тюрьму.

Одной из стратегий, которая привлекла внимание британской общественности в последние

годы, стало тщательно спланированное требование компенсации за травму, якобы
полученную в результате автомобильной аварии. Такие подстроенные аварии на жаргоне
называют «крэш-за-кэш». Иногда сразу несколько пассажиров или даже фантомных
пассажиров подают иски о травмах. Особенно популярна в этом отношении травма шейного
отдела позвоночника, поскольку сфальсифицировать ее несложно, а средние выплаты
варьируют от £1500 до £3000. По словам Тома Гардинера из Aviva Insurance, в 2005–2011 гг.
число дорожно-транспортных происшествий упало на 30%, а число требований в результате
шейных травм возросло на 65%, что, безусловно, вызывает подозрения16.
Фиктивные дорожно-транспортные происшествия происходят не только в Великобритании.
В 1993 г. следователи по борьбе с мошенничеством в Нью-Джерси сами организовали
десяток таких фальшивых автобусных аварий, при этом все «пассажиры» были, по сути,
агентами под прикрытием17. Это может показаться довольно странным, пока вы не увидите
видеозаписи с места инсценировок. На одной из них 17 человек (!) успевают сесть в автобус
после «аварии» до прибытия полиции, чтобы впоследствии сообщить о полученных травмах.
Позже список соучастников пополнился несколькими врачами, выставившими счета за
осмотр и лечение, которые никогда не проводили. Всего в результате этой операции было
выдвинуто более 100 обвинений. Конечно, можно по-разному относиться к такой
провокации, но согласитесь, что все это не в самом радужном свете выставляет
человеческую природу!
 86

Такие попытки непреднамеренного мошенничества, когда люди пытаются воспользоваться

ситуацией, не имея отношения к инциденту, не ограничиваются дорожно-транспортными
происшествиями. Мошеннические требования, выдвинутые после урагана «Катрина»,
случившегося в 2005 г., оцениваются сегодня примерно в $6 млрд18. А после разлива нефти
в результате аварии на буровой платформе BP Deepwater Horizon в Мексиканском заливе в
2010 г. более 100 человек оказались в тюрьме за мошеннические претензии к компании. По
сообщению Financial Times, «в 2013 г. BP оценивала свои выплаты по мошенническим
требованиям в $100 млн в неделю»19.
Кроме перечисленных существует и множество других видов страхового мошенничества. В
2016 г. общая сумма выявленных фальшивых страховых требований в Великобритании
составила £1,3 млрд (порядка 125 000 претензий)20. Согласно данным ФБР, мошенничество,
не связанное с медицинским страхованием, обходится США почти в $40 млрд в год. (Такая
большая разница между показателями двух стран, даже с учетом размеров населения, скорее
всего, объясняется использованием разных определений, а вовсе не степенью честности
граждан!)
В какой бы сфере ни происходило мошенничество, будь то банковские операции,
страхование или что-то другое, существует единый принцип, согласно которому стоимость
предотвращения мошенничества не должна быть больше убытков от него. Нет смысла
тратить миллиард на то, чтобы не допустить потери одного доллара. В то же время
существуют элементарные меры, которые способны предотвратить большую часть
мошеннических действий, и они должны быть приняты. Например, при составлении
финансовой отчетности проводится сверка, чтобы убедиться, что остаток на счете
подтверждает размер списанных средств и деньги нигде не теряются. Это основной способ
убедиться, что перед вами все данные и вы, скорее всего, поступаете именно так со своим
банковским счетом, сравнивая записи о расходах с ежемесячной выпиской (если нет, то
настоятельно рекомендую вам делать это). Хотя расхождения могут иногда возникать из-за
задержек, но, как правило, они являются признаком мошенничества. Также в бухгалтерском
учете используется метод двойной записи, когда каждая транзакция отражается минимум на
двух бухгалтерских счетах, что обеспечивает общий баланс и прозрачность. Этот метод
появился в Италии еще в XV в.: книга Лука Пачоли «Все об арифметике, геометрии и
пропорциях» (Summa de arithmetica, geometria, proportioni et proportionalita), изданная в 1494
г., считается первой публикацией, где он был описан.
Что касается страхового мошенничества, то признаки возможных скрытых данных включают
в себя подачу большого числа требований, определенные закономерности в поданных
претензиях, подозрительное спокойствие заявителя после подачи крупного страхового иска,
рукописные квитанции об утере или краже товаров, увеличение страховой суммы
непосредственно перед подачей требования, а также медицинские страховые иски сезонных
работников. Эти признаки характерны лишь для страхования, и знание о них вряд ли
пригодится в процессе обнаружения других видов мошенничества. Для этой цели нужен
более общий уровень DD-типов темных данных. Как показано в главе 10, они касаются не
столько конкретных случаев, сколько описывают характеристики темных данных более
общего порядка.
И прочее
Отмывание денег — это процесс, с помощью которого незаконно полученные доходы
очищаются от информации о своем происхождении. Источниками таких доходов могут быть
противоправные действия: торговля наркотиками, людьми, незаконные азартные игры,
вымогательство, мошенничество с налогами и др. Преступления требуют заметания следов,
или, говоря другими словами, скрытия данных. В отчете PricewaterhouseCoopers за 2016 г.
 87

указывается, что всего в мире ежегодно осуществляется операций по отмыванию денег на

сумму от $1 трлн до $2 трлн21. Это составляет от 2 до 5% мирового ВВП.
Процесс отмывания включает три этапа:
 «Размещение» — введение денежных средств в финансовую систему.
 «Запутывание следов» — проведение сложных финансовых операций для маскировки
незаконного источника средств.
 «Интеграция» — оборачивание средств законными способами, чтобы смешать их со
средствами из законных источников.

Для первых двух этапов, особенно для первого, характерно использование темных данных.
Поскольку внезапное появление большой суммы на счете без внятного объяснения ее
происхождения является подозрительным, правила противодействия отмыванию денег
требуют сообщать регуляторам о крупных транзакциях. По этой причине отмыватели денег
обычно разбивают крупные суммы на несколько небольших, например менее $10 000, если
таков лимит регулятора. Практика дробления суммы на маленькие транши, чтобы оставаться
невидимым для регулирующих радаров, на банковском жаргоне называется смурфингом — в
честь маленьких персонажей всемирно известного комикса.
Предприятия, которые получают значительную часть своего дохода на законных основаниях,
могут использоваться для ввода незаконно полученных средств в систему путем простого
добавления последних к первым под видом того, что все они были получены законным
путем. Легче всего это делать с помощью предприятий сферы услуг: ресторанов, казино,
баров и автомоек. Переход от наличных денег к электронным транзакциям затрудняет это,
делая платежи видимыми и отслеживаемыми.
Азартные игры — еще одна популярная сфера для размещения. Даже если шансы на
выигрыш для отдельно взятой ставки невелики, при большом количестве ставок
определенный процент их выигрывает, а выигрыши могут быть уже задекларированы в
качестве законного дохода. Неизбежный процент потерь на проигрышах можно
рассматривать как стоимость отмывания денег.
Темные данные также лежат в основе инвестиционного мошенничества, которое известно
как схема Понци, или пирамида. Чарльз Понци наживался с ее помощью в 1920-х гг., но сама
схема стара как мир. По крайней мере она подробно описана Чарльзом Диккенсом в романах
«Мартин Чезлвит» и «Крошка Доррит». Такие схемы обещают инвесторам большую
прибыль, но на самом деле инвестированные деньги вообще никуда не вкладываются. Под
видом выплачиваемой прибыли небольшой процент более поздних инвестиций возвращается
более ранним инвесторам. В какой-то момент такая схема неизбежно рушится, когда
заканчиваются новые инвесторы или когда существующие пытаются вернуть свои деньги,
например из-за ухудшения экономических условий. Это срывает покровы с реальности и
обнажает истинную природу такой «инвестиционной» компании. Мошенничество Мэдоффа,
упомянутое в главе 1, как раз строилось по схеме Понци, которая развалилась в 2008 г., когда
в результате финансового кризиса многие инвесторы попытались вернуть свои инвестиции и
вдруг обнаружили, что они испарились. Предотвращению таких схем способствует
прозрачность и, в частности, правила, требующие, чтобы инвесторы могли видеть, что
делают с их деньгами.
Мы уже рассматривали инсайдерскую торговлю, а теперь давайте познакомимся с более
общей формой этого мошенничества — инсайдерским хищением. Труднообнаружимые
инсайдерские хищения заключаются в том, что сотрудники, имея доступ к счетам,
откачивают деньги для собственных нужд. Зачастую это люди, которые не могут
 88

противостоять искушению, контролируя большие суммы. Обычно все начинается, когда

такой сотрудник попадает в затруднительное финансовое положение и решает втайне взять
«в долг» из подконтрольных ему чужих средств, искренне намереваясь вернуть взятую
сумму, как только ситуация нормализуется. Но дела, как правило, не торопятся идти в гору,
и объем хищений нарастает, пока все не заканчивается тюремной камерой.

Иногда, впрочем, инсайдерские хищения могут осуществляться с размахом и длиться

годами, особенно если речь идет об организованной преступности. Мне попался один очень
тщательно спланированный и довольно печальный случай такого рода. Небольшой фонд
поддержал студента, не имевшего собственных средств, и финансировал его обучение, а
также предоставил ему стипендию. После получения диплома фонд помог ему найти работу
в банке. Трудолюбивый и честный молодой человек работал, пока не получил должность,
позволявшую ему контролировать значительные суммы. Тогда представитель фонда связался
с ним и попросил перевести большую сумму денег на именной счет, что выглядело как
вполне законная транзакция. Фонд, равно как и деньги, тут же словно растворился в воздухе,
оставив несчастную жертву расхлебывать заваренную им кашу.
Можно бесконечно перечислять виды финансового мошенничества, замешенного на темных
данных, и конкретные формы, которые он может принимать. Помимо уже рассмотренных,
сюда входит уклонение от уплаты налогов путем сокрытия декларируемых доходов (в
отличие от законных способов уклонения от уплаты налогов, о которых мы говорили в главе
5), а также мошенничество с ценными бумагами, когда по завышенным ценам инвесторам
«впаривают макулатуру».

Все эти виды мошенничества объединяет одно — сокрытие информации. Такое

многообразие требует столь же разнообразных решений по выявлению мошеннических
действий. Они варьируют от обычной тщательной проверки регистрационных записей до
сложных статистических методов, от моделирования типичного поведения клиентов с
помощью машинного обучения и интеллектуального анализа данных до специальных
программных фильтров, которые обнаруживают определенные виды транзакций со сложной
структурой. Что касается темных данных, мораль очевидна: если что-то выглядит слишком
хорошо, чтобы быть правдой, вероятно, с этим «что-то» не все в порядке. Скорее всего, оно
призвано скрыть какую-то правду.

Глава 7
Наука и темные данные
Природа познания
Сущность науки
Наука занята выяснением природы вещей и того, как они работают. Она проливает свет на
то, что находится в темноте. Но темные данные лежат в основе самой науки, причем в очень
конкретном смысле. Наука становится таковой, если к ней применим критерий Поппера (в
честь Карла Поппера), или фальсифицируемость. Основная идея заключается в том, что вы
выдвигаете некое потенциальное объяснение изучаемого явления (теорию, догадку или
гипотезу), а затем проверяете его, наблюдая, насколько прогнозируемые вашим объяснением
последствия соответствуют тому, что происходит на самом деле. Если перевести на язык
этой книги, то для подтверждения или опровержения нашей теории, мы должны сопоставить
данные, которые она прогнозирует, с полученными экспериментальными данными. Если
прогнозные данные не соответствуют действительности, то теория заменяется на другую,
модифицируется или расширяется, пока не станет не только успешно подтверждать
прошлое, но и предсказывать будущее. В некотором смысле это пример DD-типа 15:
 89

экстраполяция за пределы ваших данных. Разница в том, что такая экстраполяция является
преднамеренной и осуществляется с целью тестирования теории.
До победы научной революции (да и после нее, хотя это не всегда признается) успехи
познания сдерживались (как правило, подсознательным) нежеланием собирать данные,
которые могли бы опровергнуть теорию, — такова уже упоминавшаяся выше предвзятость
подтверждения. Проще говоря, развитию науки препятствовало нежелание сделать темные
данные видимыми. В конце концов, если у вас имеется солидная теория, которой уже
несколько веков, зачем искать данные, которые противоречат ей? Вспомнить хотя бы
миазматическую теорию, господствовавшую в Европе, Индии и Китае с древнейших времен
вплоть до XIX в., которая гласила, что эпидемии вызваны ядовитыми парами гниющей
материи.
Вот мой любимый исторический пример того, как обнаружили подобную проблему.
Философ Фрэнсис Бэкон писал: «Человеческое понимание, единожды утвердившись во
мнении… начинает выискивать все, что согласуется с ним и подтверждает его. И хотя на
другой чаше весов фактов может быть куда больше, тем не менее оно либо просто
пренебрегает ими, выражая свое презрение, либо отклоняет их каким-то иным способом».
Бэкон проиллюстрировал опасность игнорирования данных на примере человека, который
проповедовал, подтверждая свои слова изображениями людей, спасшихся после
кораблекрушения благодаря молитве. Бэкон спросил его, где портреты людей, которые,
несмотря на свои молитвы, все же утонули?
Классическим примером сбора данных для проверки теории являются наблюдения сэра
Артура Эддингтона и Фрэнка Дайсона, целью которых было подтвердить или опровергнуть
общую теорию относительности Эйнштейна. Теория предсказывала, что траектория
световых лучей будет изгибаться при прохождении света вблизи массивных объектов.
Идеальным массивным объектом для наблюдений могло бы стать Солнце, поскольку
кривизну светового потока легко обнаружить благодаря видимому смещению положений
звезд, чьи лучи на пути к Земле проходят вблизи нашего светила. Но дело в том, что Солнце
своим излучением перебивает свет других звезд, за исключением тех случаев, когда его
закрывает Луна. По этой причине в 1919 г. сэр Артур Эддингтон возглавил экспедицию на
Принсипи, остров у западного побережья Африки, а Фрэнк Дайсон — в Бразилию, чтобы из
разных точек наблюдать солнечное затмение, происходившее 29 мая. Их фотографии и
измерения видимых положений звезд во время затмения подтвердили предсказания общей
теории относительности. Это показало, что ньютоновская механика является упрощением и
приближением по сравнению с новой теорией Эйнштейна, которая дает лучшее описание
реальности. Свет воссиял не только в буквальном, но и в метафорическом смысле!
Это описание того, как работает наука, позволяет понять одну очень важную вещь: никогда
нельзя быть уверенным, что вы обнаружили «реальный» механизм явления. Наука дает
объяснения, каждое из которых становится все более точным по мере углубления познания,
но всегда остается возможность опровержения любого из этих объяснений новыми
экспериментальными данными (хотя чем больше экспериментальных данных будет
предсказано новой теорией, тем сложнее это сделать). Такая вероятностная природа теорий,
допускающая их изменение по мере поступления новых данных, — это то, что отличает
науку, например, от религии, которая никак не связана с доказательствами. Поэтому имейте
в виду, что, когда для удобства я буду называть ту или иную научную теорию истинной или
верной, это не значит, что новые данные не смогут ее изменить.
Проще говоря, наука — это процесс. В частности, она не является набором известных
фактов, хотя для простоты, особенно при обучении, научный процесс зачастую подают
именно так. Например, в школе периодическую таблицу элементов и законы Ньютона
преподают как некий незыблемый факт, а вовсе не как результат тщательной проверки идей
 90

посредством наблюдений. Дети, конечно, должны понимать окружающий мир, но,

возможно, мы совершаем здесь досадное упущение: научное образование в наших школах
должно стать естественной колыбелью критического мышления, давая детям наряду с
констатацией фактов инструмент, который позволит им в будущем лучше оценивать любую
информацию.

Идея фальсифицируемости, то есть вывода следствий из теории и последующего

сопоставления их с фактическими данными, уходит своими корнями в далекое прошлое.
Убежденность людей в том, что тяжелые объекты падают быстрее, чем легкие, была
наглядно опровергнута предположительно Галилеем, который, бросая шары разной массы с
Пизанской башни, показал, что они падают на землю одновременно.

Точно так же идея плоской Земли на первый взгляд соответствует фактам. По крайней мере,
совершая путешествие, вы не чувствуете, что двигаетесь по изогнутой в большом масштабе
поверхности. Но чем больше накапливалось данных, тем очевиднее становилось, что все не
так просто. Одно из доказательств заключалось в том, что парусные корабли скрывались за
горизонтом, начиная с корпуса и заканчивая верхушкой мачты.
Таким образом, фундаментальный научный процесс — это проверка теорий на основе
наблюдений, результаты которых еще недавно представляли собой темные данные, когда
несоответствие между теорией и данными заставляет отказываться от теории или изменять
ее. Но необходимо понимать, что такое несоответствие может иметь и другие объяснения.
Иногда несовпадение теории и данных может означать, что не все в порядке с данными. Я
очень надеюсь, что многочисленные примеры, приведенные в этой книге, смогли убедить вас
в том, что данным всегда сопутствует риск ошибок, неточности измерений, искажений
выборки и прочих проблем. Вот почему ученые прилагают столько усилий, повышая
точность измерительных приборов и проводя сами измерения в предельно контролируемых
условиях, независимо от того, что они измеряют: массу, длину, время, межгалактические
расстояния, интеллект, мнения, благополучие, ВВП, безработицу, инфляцию или что-то еще.
Точные, надежные и заслуживающие доверия данные являются необходимым условием для
научной истины.
Критерий проверяемости — это то, что отличает науку от лженауки. Придумывать
объяснения несложно (например, «все дело в магии»), но, если они не подверглись строгому
тестированию, мы должны относиться к ним с подозрением. Кроме того, теория, готовая
объяснить любой из возможных экспериментальных результатов, тоже бесполезна — она не
имеет ничего общего с наукой. Теория гравитации, которая утверждала бы, что предметы
падают не только вниз, но и вверх, вбок, и вообще, куда придется, вряд ли была бы полезна.
Напротив, объяснение Ньютона, что массы притягиваются друг к другу и поэтому тело
падает вниз, вполне научно: его можно проверить. И после того, как верность теории
многократно подтверждается данными, она становится частью канона знаний, и мы можем с
ее помощью делать прогнозы и создавать устройства на ее основе.

Примером теории, которая обоснованно подвергается критике за свой всеобъемлющий

характер, делающий ее ненаучной и бесполезной, является психоанализ. Фредерик Крюс в
своей книге «Фрейд: Создание иллюзии» (Freud: The Making of an Illusion) наглядно
продемонстрировал, что появление психоанализа представляет собой триумф темных
данных, а именно: обобщения на основе неоправданно узкой выборки (в том числе на основе
выборки из одного человека — самого Фрейда), нежелание видеть опровергающие теорию
доказательства, неготовность признавать реальность (Крюс пишет об этом так: «Каждый
фокусник надеется, что его аудитория будет состоять именно из таких зрителей, как Фрейд»)
и отрицание очевидных фактов. Возможно, наиболее показательным является именно то, что
Фрейд никогда не признавал своей неправоты. Исследователь, не готовый признать, что его
теория может быть ошибочной, вряд ли будет соответствовать критерию
 91

фальсифицируемости и, уж конечно, не может называться ученым. Это красноречиво

доказывает и признание самого Фрейда: «На самом деле я вовсе не человек науки, не
наблюдатель, не экспериментатор и не мыслитель. По темпераменту я не кто иной, как
конкистадор, то есть авантюрист»1. Впрочем, такая оговорка не исключает того, что по
крайней мере часть проблемы связана не с фигурой Фрейда, а с теми, кто некритически
рассматривал мнение одного человека как непреложный факт.
Если бы я знал заранее…
Поскольку научный процесс заключается в проверке предположений на реальных данных,
неудивительно, что первоначальные объяснения часто оказываются ошибочными. Если бы
не это, то вся затея с познанием была бы куда проще. И хотя имена великих ученых
увековечены благодаря теориям, которые хорошо объясняли эмпирические явления, это не
означает, что те же самые ученые не выдвигали ошибочных теорий. Зачастую теория
признается ошибочной спустя какое-то время, когда обнаруживается нечто, о чем не было
известно, или, иными словами, когда появляются новые данные.
Одним из самых ярых критиков Чарльза Дарвина был сэр Уильям Томсон, который
впоследствии стал лордом Кельвином (и в честь которого названа шкала температур). Это
был один из самых выдающихся ученых своего времени, в 22 года получивший статус
профессора математики в Кембридже и похороненный в Вестминстерском аббатстве рядом с
Исааком Ньютоном (а теперь рядом с ними и Стивен Хокинг). Его предшественники
пытались вычислить возможную продолжительность существования Солнца, исходя из
предположения, что оно сжигает некое ископаемое топливо, такое как уголь, но Кельвин
понимал, что в этом случае процесс горения длился бы всего несколько тысяч лет. Поэтому
он развил гипотезу Германа фон Гельмгольца о том, что Солнце постепенно сжимается и что
гравитационная энергия, выделяемая при сжатии, преобразуется в тепло и свет. Но даже при
этих условиях Солнце не могло гореть так долго, чтобы на Земле в ходе эволюции успела
появиться жизнь. Поэтому он и утверждал, что теория эволюции Дарвина не соответствует
данным.
Однако Кельвин был неправ. В его аргументации отсутствовали важные данные, которые
стали доступны лишь позже. Это были данные, свидетельствующие о том, что в энергии
Солнца лежит не химическое горение или гравитация, а совершенно иной механизм —
термоядерный синтез.
В процессе термоядерного синтеза ядра атомов сливаются в одно более тяжелое ядро. При
этом теряется некоторая масса, что сопровождается выделением энергии. Коэффициент
преобразования таков, что крошечная масса превращается в гигантское количество
излучаемой энергии как при взрыве водородной бомбы. Топливом для реакций ядерного
синтеза являются дейтерий (атом водорода, в ядре которого есть нейтрон и протон, —
обычное ядро водорода не имеет нейтрона) и радиоактивный тритий (атом водорода,
содержащий в своем ядре два нейтрона и протон), который получают в ядерных реакторах
путем бомбардировки изотопа литий-6 нейтронами. Чтобы понять, какое количество энергии
при этом генерируется, представьте, что половина ванны воды и литий из одной
единственной батареи вашего ноутбука могут дать столько же электричества, сколько
получается при сжигании 40 т угля. Такой источник энергии мог бы разом решить
энергетические проблемы человечества и позволил бы нам отказаться от электростанций,
работающих на ископаемом топливе и загрязняющих окружающую среду: реакция
термоядерного синтеза является «чистой», поскольку не образует радиоактивных отходов. У
нас бы появился свой маленький источник солнечной энергии.
Но есть проблема: если мы хотим провести такую реакцию на Земле, то для сближения
атомов нам необходимо огромное давление и сверхвысокая температура. В настоящее время
наиболее эффективным методом получить и то и другое является размещение слоя дейтерия
 92

вокруг ядерной бомбы. Но ядерное оружие никак не назовешь удобным или практичным
методом энергоснабжения! Поэтому в мире сейчас осуществляется целый ряд крупных
исследовательских проектов, нацеленных на решение проблемы получения давления и
температур, необходимых для управляемого термоядерного синтеза, а также проблемы
удержания полученной в результате высокоэнергетической плазмы. Поскольку плазма
прожигает любой материал, она должна находиться внутри идеально настроенного
магнитного поля, которое не позволяет ей соприкасаться со стенками физического
контейнера. Хотя над такими проектами работают уже давно, еще ни разу не удалось
получить больше энергии, чем было затрачено. (По этой причине о термоядерном синтезе
иногда в шутку говорят, что до овладения им всегда остается 30 лет.)
Кельвин ошибся, потому что ничего не знал о термоядерном синтезе, но были и такие, кого
ввели в заблуждение неверные данные. В 1989 г. два физика, Мартин Флейшман и Стэнли
Понс, объявили, что им удалось осуществить холодный ядерный синтез без нагрева
исходных материалов до невероятно высоких температур, просто пропуская электрический
ток через раствор лития в оксиде дейтерия. Поскольку оксид дейтерия — одна из форм воды
(называемая также тяжелой водой), запасы которой потенциально не ограничены, это
произвело бы революцию в обществе. Заявление физиков, естественно, вызвало большой
резонанс, и лаборатории по всему миру поспешили повторить эксперимент. Некоторые из
них, как казалось, преуспели — например, лаборатории в Москве и Техасе, — но
большинство потерпело неудачу.

На лекции в Научно-исследовательском атомном центре в Харуэлле, Великобритания, через

несколько дней после сделанного для прессы заявления кто-то спросил Флейшмана,
соответствовали ли начальные установки их эксперимента контрольным условиям. В данном
случае таким контрольным условием должен был быть эксперимент с обычной водой, в
молекулах которой водород не содержит нейтрона. Неожиданно Флейшман отказался
отвечать на вопрос, и это вызвало подозрения (ну чем не темные данные?). Если не было
параллельного эксперимента с использованием обычной воды, то отсутствовали и данные,
необходимые для того, чтобы понять, какой именно механизм лежал в основе полученных
Понсом и Флейшманом результатов. Позже появились и другие критические замечания в
отношении их первоначального эксперимента, а затем и некоторые лаборатории,
предположительно повторившие его, отозвали свои результаты. В настоящее время
большинство ученых согласно с тем, что холодный синтез невозможно практически
реализовать, хотя есть и такие, кто не перестал питать надежды. В конце концов, это стало
бы новой эпохой для человечества.
Отсутствие данных также ввело в заблуждение химика Лайнуса Полинга, лауреата
Нобелевской премии по химии и Нобелевской премии мира. Будучи, возможно, одним из
величайших ученых всех времен, Полинг внес огромный вклад, расширив спектр
химических и биохимических тем и опубликовав более тысячи статей. Он был одним из
многих, кто пытался определить структуру ДНК в середине ХХ в. Изучая изображения,
полученные с помощью электронного микроскопа, он предположил, что структура, вероятно,
имеет спиральную форму. Для Полинга такое предположение не было чем-то невозможным
— за годы своей основательной и скрупулезной работы он уже не раз убедительно
доказывал, что спиральные структуры существуют у других молекул. Хотя у него не было
рентгеновских изображений или точных данных о размерах и углах связи между атомами, он
предположил, что ДНК представляет собой структуру из трех нитей. Хотя расчеты показали,
что позиции, которые он отвел атомам, не вполне соответствовали имеющимся данным,
Полинг чувствовал, что это просто вопрос выяснения деталей. Будучи хорошо
осведомленным о результатах других команд исследователей, работающих над этой
проблемой, в частности группы ученых из Кавендишской лаборатории в Кембридже,
Англия, он был полон решимости первым опубликовать свою теорию. Так, 31 декабря 1952
 93

г. Лайнус Полинг и его коллега Роберт Кори представили в журнале Proceedings of the
National Academy of Science статью «Предполагаемая структура нуклеиновых кислот».
Два других исследователя, Фрэнсис Крик и Джеймс Уотсон из Кавендишской лаборатории,
ранее уже предполагали, что структура представляет собой тройную спираль, но отвергли
эту гипотезу на основе данных, предоставленных химиком и рентгеновским
кристаллографом Розалинд Франклин. Когда Крик написал Полингу, указывая на некоторые
проблемы в модели тройной спирали, Полинг сделал именно то, что подразумевает ранее
описанный научный процесс: он попытался изменить свою теорию, чтобы соответствовать
данным. Тем временем Крик и Уотсон искали альтернативные модели, и новые данные от
Джерри Донохью, специалиста по водородным связям, позволили им найти такую
альтернативу, которая соответствовала всем данным, — ту самую двойную спираль.
Какое-то время Полинг еще сопротивлялся и не хотел признавать свою неправоту, заявляя,
что с нетерпением ждет возможности увидеть, какая из моделей окажется верной. Но когда в
апреле 1953 г. он побывал в Кембридже, изучил структуру, предложенную Криком и
Уотсоном, и посмотрел рентгеновские снимки, то мужественно признал, что его коллеги,
похоже, действительно решили проблему.
Сама природа науки такова, что даже самые способные и выдающиеся ученые могут
ошибаться, особенно если у них недостает данных. Например, лорд Кельвин, упомянутый
ранее, хотя и был блестящим ученым, сделал немало ошибочных предложений. Когда
Вильгельм Рентген объявил об открытии X-лучей, первое, что сделал лорд Кельвин, —
обвинил его в обмане. Он также заявлял, что ни воздушный шар, ни аэроплан никогда не
принесут практической пользы. А Альберт Майкельсон (тот самый, который вместе с Морли
убедительно доказал специальную теорию относительности Эйнштейна) в 1894 г., незадолго
до открытия квантовой механики и теории относительности, написал: «Кажется,
большинство основополагающих принципов [физики] твердо установлено».
Сэр Фред Хойл — еще один выдающийся ученый, который создал теорию, опровергнутую
при сравнении ее прогнозов с реальными данными. Хойл добился значительных успехов в
понимании Вселенной, в частности, в вопросе происхождения тяжелых элементов. В науке
господствовала теория о том, что элементы сформировались в самом начале существования
Вселенной, но неожиданно расчеты показали, что некоторые этапы процесса объединения
более легких элементов в более тяжелые слишком нестабильны. Хойл предложил
альтернативное объяснение: тяжелые элементы могут быть синтезированы в звездах путем
ядерного синтеза — процесса, который мы уже обсуждали выше. По словам Хойла,
синтезированные в ядрах древних звезд, эти элементы разносятся по Вселенной в результате
взрывов сверхновых. Именно так материя постепенно аккумулируется, образуя планеты,
луны и нас с вами. Эта теория выдержала испытание временем, сделав Хойла одним из
самых авторитетных британских физиков середины XX в. Но не все идеи Хойла были
настолько успешными.

После того, как данные о расстоянии между Землей и звездами показали, что Вселенная
расширяется, бельгийский физик Жорж Леметр логично предположил, что, возможно,
Вселенная возникла миллиарды лет назад как крошечная сверхплотная и горячая точка.
Поскольку понятие тестируемости является ключевым для науки, а проверить эту теорию,
похоже, не представляется возможным, она не привлекла большого внимания. Но затем
Хойл предложил альтернативу Большому взрыву Леметра (попутно и введя этот термин).
Что, если Вселенная находится в состоянии непрерывного творения и новая материя
появляется постоянно? Эта космологическая модель известна как теория стационарной
Вселенной. Существование двух конкурирующих теорий всегда стимулирует поиск данных,
поскольку хотя бы одна из них должна быть ошибочной. В этом случае постепенно
накапливались доказательства в пользу теории Большого взрыва. Но Хойл не сдавался: он
 94

продолжал разрабатывать различные варианты стационарной гипотезы, чтобы сохранить

свою теорию в игре до тех пор, пока доказательства против нее не стали очевидными.
Даже Альберту Эйнштейну доводилось выдвигать теории, которые были впоследствии
опровергнуты данными. Его общая теория относительности показала, что масса искривляет
пространство и время (именно это объясняет изгиб световых лучей, когда они проходят
рядом с массивным объектом). В то время, когда Эйнштейн создавал общую теорию
относительности, Вселенная считалась статичной. Однако поскольку вся материя
притягивает всю другую материю, то Вселенная не сможет оставаться неизменной долгое
время — она схлопнется. Чтобы преодолеть это возражение, Эйнштейн добавил в свои
уравнения понятие космологической постоянной, описывающей силу отталкивания, которая
противодействует гравитации. К сожалению, это понятие оказалось надуманным —
полученные вскоре данные показали, что Вселенная не статична, а расширяется. Говорят,
что Эйнштейн назвал введение космологической постоянной своей «самой большой
ошибкой». Но в этом случае, пожалуй, он был несправедлив к себе. В конце концов,
основываясь на данных, которые были доступны в тот момент, предположение, что
существует некая дополнительная сила, было хорошей идеей. В целом, если новые данные,
переставшие быть темными, не соответствуют теории, это не означает, что теория в момент
ее выдвижения была несостоятельной. Однако эту историю ожидал еще один поворот.
Дальнейший сбор данных привел к открытию, что Вселенная не просто расширяется, а
делает это все более быстрыми темпами. Это привело к предположению, что
космологическая постоянная или по крайней мере нечто подобное (сегодня физики
используют термин «темная энергия») должно существовать. Возможно, Эйнштейн все-таки
был прав. Кстати, в своей превосходной книге «От Дарвина до Эйнштейна»[6] астрофизик
Марио Ливио выражает сомнение, действительно ли Эйнштейн выразился именно так:
«самая большая ошибка». Ливио приписывает эту фразу физику Георгию Гамову.

Переходя от теоретической науки к медицине, мы обнаруживаем, что попытки облегчить

страдания предпринимались еще на заре человечества, когда этой цели служили растения,
минералы и магия. Тем не менее мы лишь недавно по историческим меркам начали
правильно оценивать эффективность лечения, руководствуясь познаниями в биологии,
физиологии, генетике и связанных с ними науках, лежащих в основе медицины. Поэтому
неудивительно, что некоторые методы лечения еще не получили глубокой оценки и остаются
в общей практике. Я имею в виду не такие вещи, как, например, идея о том, что у кого-то
может быть слишком много крови и он нуждается в кровопускании, или же
дискредитировавшие себя идеи, например, гомеопатия. Речь идет о некоторых методах,
которые медицинское сообщество в целом считает эффективными, но в действительности
они не подвергались тщательной оценке, например с помощью рандомизированного
контролируемого исследования, по крайней мере до недавнего времени.
Метод префронтальной лоботомии является яркой иллюстрацией. Эта нейрохирургическая
процедура широко использовалась во всем мире в течение нескольких десятилетий для
лечения психических заболеваний, включая шизофрению и биполярное расстройство. Она
заключается в разрыве соединений в префронтальной доле головного мозга. Первоначально
эта операция проводилась путем высверливания отверстия в черепе и введения этанола для
того, чтобы разрушить часть мозга, а позже для той же цели стали применять вращающуюся
проволочную петлю. Самые последние разработки позволили хирургам получать доступ к
лобным долям через глазницы. Изобретатель этой процедуры Антонио Эгас Мониш был
награжден Нобелевской премией по медицине и физиологии в 1949 г. Эта награда была
присуждена, несмотря на сомнения в эффективности процедуры: в редакционной статье 1941
г. в Journal of the American Medical Association говорится следующее: «Эту операцию нельзя
считать способной преобразовать психотическую личность в нормальную. Даже сейчас,
 95

когда мы еще мало знаем о лобных долях, имеется достаточно доказательств серьезных
нарушений, вызванных их удалением у лиц, не страдающих психотическим
расстройством»2. Процедура имела массу побочных эффектов, таких как рвота, недержание
мочи и кала, летаргия, апатия и множество других. На другой же чаше весов находилось
утверждение, что лоботомия делает спокойнее и проще жизнь семей пациентов. По этому
поводу кибернетик Норберт Винер сказал: «Позвольте мне мимоходом отметить, что
убийство [таких пациентов] еще больше облегчает их содержание»3. К счастью, частота
применения этой процедуры стала снижаться с середины прошлого века, когда были
разработаны соответствующие лекарственные препараты. В настоящее время мы гораздо
лучше понимаем мозг и любые нейрохирургические вмешательства представляют собой
точные и тщательно контролируемые операции, сопровождающиеся сложными
технологиями сканирования. Эти технологии позволяют нам видеть структуру мозга в
трехмерном изображении, по сути, вытаскивая темные данные на свет.

Более свежим примером из медицины является артроскопическая операция для лечения

остеоартрита коленного сустава. Эта широко используемая процедура обычно
рассматривается как способ облегчения болевых симптомов. Но когда Брюс Мозли и его
коллеги оценили эффективность артроскопии в рандомизированном контролируемом
исследовании, сравнивая его с плацебо, то обнаружили, что «ни одна из оперативных групп
не сообщала об уменьшении боли или улучшении функциональности больше, чем группа
плацебо»4. Слепая вера в эффективность лечения не оправдана — необходимо четко
установить последствия отказа от лечения, чтобы можно было провести сравнение.
В целом не стоит удивляться тому, что на периферии медицины до сих пор в ходу много
неэффективных методов «лечения». Например, метаанализ, недавно проведенный
Джунсоком Кимом и его коллегами, окончательно подтвердил, что «прием поливитаминов и
минералов не улучшает исход сердечно-сосудистых заболеваний у населения в целом»5. Но
людей трудно переубедить. Вместо того чтобы признать, что их убеждения могут быть
ошибочными, они начинают ставить под сомнение доказательства — еще один пример
предвзятости подтверждения. Возможно, самый убедительный пример этой предвзятости,
который мы наблюдаем прямо сейчас, касается изменения климата. В контексте же
медицины я хочу привести слова Джона Бирна: «Столкнувшись с реальностью
отрицательных результатов корректно проведенных исследований, многие естественным
образом начинают сами отрицать их. Врачи продолжают цепляться за те методы, которые им
привычны. Витамин С до сих пор продолжают прописывать при простудных заболеваниях.
То же самое касается препаратов от кашля. Многие хирурги все еще проводят
артроскопические операции коленного сустава, и этот метод имеет активных защитников.
Продажи фенофибрата, вероятно, еще долгие годы будут приносить огромные прибыли.
Быть скептиком в медицине означает следовать за доказательствами, даже если (поначалу)
вам может не нравиться то, к чему они ведут. Истинное сострадание всегда руководствуется
истиной»6. А истина, в свою очередь, познается благодаря данным.
Натыкаясь на темные данные
Иногда нам просто везет. Обычно темные данные представляют собой проблему,
требующую серьезного поиска: от нас скрыто нечто, что могло бы изменить наше понимание
и, скорее всего, повлиять на наши действия. Но иногда мы совершенно случайно натыкаемся
на темные данные, и перед нами внезапно открывается целый мир.
Классическим примером такой ситуации служит открытие космического реликтового
излучения. В 1948 г. Ральф Альфер и Роберт Херман предсказали, что Вселенная должна
буквально купаться в низкотемпературном излучении, оставшемся с раннего периода ее
развития после Большого взрыва. Шестнадцать лет спустя, в 1964 г., астрономы Арно Аллан
Пензиас и Роберт Вудро Уилсон проводили измерения с помощью микроволнового
 96

радиометра Дикке. Первоначально этот прибор был создан для тестирования спутниковой
связи, но Пензиас и Уилсон использовали его в качестве радиотелескопа. Однако они никак
не могли устранить фоновые шумы — не помогало даже охлаждение антенны. Были изучены
даже самые нелепые объяснения проблемы, например то, что шумы вызваны пометом
голубей, облюбовавших радиометр. Прибор был очищен, но помехи не исчезли. По
счастливому совпадению, Роберт Дикке, которого в тот момент как раз занимал поиск
доказательств, подтверждающих идею о том, что после Большого взрыва осталось
реликтовое излучение, посетил их лабораторию. Во время встречи с Пензиасом и Уилсоном
он догадался, что они совершенно случайно наткнулись на те самые доказательства, которые
он искал. В 1978 г. их открытие было отмечено Нобелевской премией по физике, которую
они разделили с Петром Капицей, награжденным за его работу в области физики низких
температур.
Мораль этой истории заключается в том, что, хотя большинство аномалий и сбоев в данных
являются экспериментальными ошибками или неточностями измерений, некоторые из них
могут привести к фундаментальным прорывам. Ниже приведено еще несколько интересных
примеров таких случайностей.

Когда в ходе исследования химик Б. С. Субба Рао изучил 57 препаратов и обнаружил, что
одно из них ведет себя аномальным образом, он хотел проигнорировать этот странный
результат и опубликовать результаты, полученные на остальных 56 препаратах. Его решение
имело смысл, поскольку 56 препаратов были подготовлены под тщательным контролем, в то
время как процесс подготовки 57-го отличался. Но его сотрудник, американский химик
английского происхождения Герберт Браун, почувствовал, что они должны докопаться до
сути, и продолжил исследование. Это привело Брауна к открытию химической реакции,
называемой гидроборированием, и к Нобелевской премии.
Немецкий инженер-механик и физик Уильям Рентген заметил, что пропускание тока
высокого напряжения между двумя электродами в вакуумированной стеклянной колбе
вызывало свечение платино-бариевого экрана, расположенного в трех метрах от него, хотя
колба была закрыта плотным черным картоном. Так были открыты рентгеновские лучи.
Планета Уран также была случайно обнаружена немецким астрономом Уильямом Гершелем,
когда он заметил едва видимый глазу объект, который изменил положение на фоне
неподвижных звезд.
Говорят, что Александр Флеминг открыл пенициллин, перебирая чашки Петри с колониями
бактерий Staphylococcus — он случайно заметил на одной из них плесень и обнаружил, что
на этом участке не было бактерий.
В своей основополагающей работе «Структура научных революций»[7] философ Томас Кун
пишет: «Именно это и происходит с новыми фундаментальными фактами и теориями. Они
создаются непреднамеренно в ходе игры по одному набору правил, но их восприятие требует
разработки другого набора правил. После того как они становятся элементами научного
знания, наука… никогда не остается той же самой»7. Однако будьте бдительны: все новое,
аномальное и неожиданное, хотя и может оказаться вспышкой света, озаряющей скрытые
темные данные, чаще бывает просто следствием неточности измерений или
экспериментальных сбоев, которые делают данные нерезкими и отвлекают внимание.
Темные данные и общая картина
В известной статье Джон Иоаннидис, профессор медицины и статистики в Стэнфорде,
утверждает: «Можно доказать, что большинство заявленных результатов исследований
являются ложными»8. Это смелое утверждение сделало его одним из самых цитируемых
ученых.
 97

Такая точка зрения вполне обоснованна, более того, причины для ее появления существуют
уже на протяжении десятилетий. Благодаря тому, что Иоаннидис привлек к этой проблеме
внимание, она получила неожиданно большой резонанс в научной и, в частности,
медицинской исследовательской литературе, вызвав широкий интерес и спровоцировав
волну опасений. И что еще более удивительно — последующие прения по этому вопросу
показали, насколько широко распространены базовые заблуждения относительно самой
природы научного процесса. Причем зачастую заблуждаются именно те, кто должен лучше
всех знать ответы на острые вопросы: «Почему наука перестала удовлетворять основному
критерию воспроизводимости?», «Нарушен ли процесс научного познания?»,
«Действительно ли наука столкнулась с кризисом воспроизводимости?».
Ниже приводятся некоторые цифры, позволяющие обосновать утверждение Иоаннидиса в
контексте различных дисциплин.

Брюс Бут, партнер венчурной компании Atlas Venture, специализирующейся в области

биологических наук, утверждает, что в соответствии с негласным правилом среди венчурных
капиталистов ранней стадии по крайней мере 50% опубликованных исследований, даже те,
которые публикуются в ведущих научных журналах, «не удается повторить с теми же
результатами в промышленных лабораториях». Как следствие этого, Atlas Venture теперь
требует независимой проверки в качестве предварительного условия для дальнейших
инвестиций9.

Опрос, проведенный журналом Nature, показал, что более 70% из 1576 респондентов
пытались воспроизвести чужую работу и не смогли этого сделать10. Конечно, не следует
принимать результаты этого опроса за чистую монету — вполне вероятно, что они искажены
темными данными. Например, те ученые, которые не смогли воспроизвести чью-либо работу
в прошлом, были более склонны отвечать на вопросы, чем те, кто преуспел в этом деле. Или,
возможно, было какое-то одно исследование с аномальными результатами, которые многие
респонденты пытались, но не смогли воспроизвести (вспомните случай с холодным ядерным
синтезом). Тем не менее даже с учетом этого их доля поразительно велика.
Гленн Бегли и Ли Эллис провели работу, нацеленную на воспроизведение результатов 53
ключевых доклинических исследований методов лечения рака. Они обнаружили, что
результаты воспроизводятся только в 6 из 53 исследований, что составляет всего 11%11.

Леонард Фридман и его коллеги приводят данные исследований, которые оценивают

количество невоспроизводимых доклинических медицинских исследований в диапазоне от
51 до 89%. Оценка стоимости финансирования исследований, результаты которых не
удалось позднее воспроизвести, показала, что они обходятся примерно в $28 млрд в год12.
Основываясь на данных такого рода, Брайан Носек из Вирджинского университета возглавил
проект «Воспроизводимость», в рамках которого была осуществлена попытка воспроизвести
100 исследований, опубликованных в 2008 г. в научной литературе по психологии13. Из 97
исследований, которые первоначально дали статистически значимые[8] результаты, команде
Носека удалось повторить только 35. Как и следовало ожидать, сам проект Носека тоже не
был бесспорным — некоторые ученые обратили внимание на серьезные недостатки его
работы, такие как намеренный выбор 100 исследований для воспроизведения. Это
справедливо говорит о том, что даже исследования темных данных могут страдать от
проблем с ними связанных. Темные данные есть везде — и это не преувеличение.
Подобные выводы, безусловно, тревожат, но мы не должны ни на мгновение забывать, что
наука — это процесс отсеивания. Многие критики, словно дети, придерживаются
идеализированного взгляда на науку, полагая эксперимент неким разовым мероприятием,
которое должно «доказать» или «опровергнуть» существование какого-либо явления. Но
 98

наука куда сложнее. И это нормально. Сама природа научных исследований указывает на то,
что они проводятся на границах известного — там, где доминирует неопределенность.
Поскольку исследователи пытаются выделить некий крошечный сигнал из шума, разумно
ожидать, что часто этот шум будет влиять на результаты, сдвигая их в неверном
направлении. В самом деле, мы могли бы пойти дальше и заявить, что, если бы не было
экспериментальных результатов, которые не прошли тест на воспроизводимость, это
означало бы, что ученые просто не выполняют свою работу. Иными словами, они
недостаточно предприимчиво и креативно раздвигают границы нашего понимания.
Смысл всего вышесказанного заключается в том, что процесс научного познания не
нарушен. Невоспроизводимость является признаком того, что наука остается наукой, что
гипотезы проверяются, а те, которые не соответствуют действительности, в итоге
отклоняются. Кроме того, мы видим, что наука действительно работает. Достаточно
взглянуть на наши успехи в понимании природы и передовые технологии, воплощенные в
материалах, машинах и медицине.

Однако, даже если научный процесс не нарушен, очевидно, чем меньше изначально
неверных выводов, тем лучше (при условии, что верные научные теории отклоняются на
раннем этапе не слишком часто). И путь к этому лежит через улучшение проектирования
исследований. Но, кроме того, существуют аспекты научной культуры, которые часто
побуждают людей идти на риск и заставляют переступать границу. Иоаннидис и многие из
тех, кто высказывался на эту тему после, обращали внимание на эти аспекты. Мы еще
вернемся к ним, но прежде проведем аналогию с космической программой США.

На заре ракетостроения, когда ракетные двигатели и системы лишь отрабатывались, границы

нашего понимания того, как они поведут себя, были намного уже, и, естественно, сбои
происходили довольно часто. Как описал Том Вулф в своей книге «Битва за космос»[9],
пессимизм ученых выражался короткой фразой: «Наши ракеты всегда взрываются». Всякий
раз при исследовании границы вы непроизвольно переступаете черту, а иногда проводите
даже до половины своего времени с той стороны, если сидите прямо на этой границе. И на
основе этих результатов (возможно, в ракетостроении их принято называть «неудачами», но
все-таки с научной точки зрения это «результаты»), благодаря тщательному проектированию
вы пытаетесь попасть на «правильную сторону» в будущем, чтобы ваши ракеты не
взорвались, а ваши научные выводы оказались верными. Но сама природа исследования
означает, что вы рискуете. Это риск, на который приходится идти, чтобы узнать, где
проходит граница.
Итак, какие аспекты научной культуры могут подтолкнуть исследователей к тому, чтобы
оказаться не с той стороны границы, то есть к ложным утверждениям и невоспроизводимым
результатам?

Понятие «предвзятость публикаций» описывает тот факт, что опубликованная научная

литература не является достоверным представлением всей проводимой в науке работы. Это
означает, что большое количество научных данных не опубликовано и пылится в ящиках
столов или обрастает метафорической пылью на жестких дисках, на которые никто не
заглядывает. Эти скрытые результаты являются не просто случайным выбором, они
становятся таковыми из-за действия нескольких сил (DD-тип 3: выборочные факты). Одна из
таких сил — склонность журналов отдавать предпочтение удивительным результатам и
новшествам. Эксперимент, который привел к неожиданному результату, с большей
вероятностью вызовет интерес, чем тот, о котором скажут: «Да, это именно то, что я
ожидал».
Этот эффект «пылящихся файлов» привел к появлению «Журнала незначимых отклонений»
(The Journal of Non-Significant Differences). В статистике «значимость» — чисто технический
 99

термин, и мы о нем еще будем говорить подробнее. Пока же вкратце: значимым результатом
является тот, который вряд ли будет получен, если тестируемая гипотеза верна. Поэтому,
если он все же получен, это заставляет усомниться в истинности гипотезы. И наоборот,
незначимый результат — это тот, который подтверждает гипотезу, тот, о котором и говорят:
«Да, это именно то, что я ожидал». «Журнал незначимых отклонений» публикует только те
исследования, которые дают незначимые результаты, с целью донести «до понимания тот
факт, что исследования не должны быть обязательно значимыми, чтобы обеспечить ценными
сведениями процесс познания»14. (Между прочим, существует еще и «Журнал
невоспроизводимых результатов» (The Journal of Irreproducible Results), основанный в 1955
г., но это журнал научного юмора — не перепутайте их!15)
Почему же предпочтение оригинального и необычного может приводить к
невоспроизводимым результатам? Да, экстремальные, нестандартные или аномальные
значения могут возникать в силу истинности некоего явления: возможно, этот препарат
действительно намного эффективнее, чем другие, или этот сплав действительно химически
менее активен, чем ожидалось. Но такие значения чаще возникают по причине случайных
колебаний. Случайное совпадение исходных условий (примеси в препарате или сплаве,
участники психологического эксперимента, подверженные погодному влиянию) или простая
ошибка измерения могут привести к неожиданно высоким или низким значениям. В конце
концов, как мы успели убедиться, никакие измерения не являются абсолютно точными и
никогда две экспериментальные установки или образцы не будут полностью идентичными.

Из этого следует, что маловероятно, чтобы такая же случайная конфигурация или ошибка
измерения повторилась при воспроизведении эксперимента. В среднем, как мы уже видели в
главе 3, когда исследовали возврат к среднему значению, следует ожидать, что последующие
репликации приведут к значениям, которые будут менее экстремальными. Нас не должно
удивлять, если аномальный результат исчезнет, и мы должны ожидать, что «заявленные
результаты исследований окажутся ложными», как выразился Иоаннидис. С точки зрения
этой книги необычно экстремальные значения возникают из-за определенного вида темных
данных — ошибки измерения, которая искажает базовые значения.
Склонность редакторов научных журналов публиковать только будоражащие воображение
результаты — лишь конечное звено цепи. За ним скрывается тот факт, что авторы сегодня
стараются не писать статей, которые, по их мнению, имеют слабые шансы быть принятыми к
публикации, а это уже имеет довольно неожиданные последствия.
Особый престиж исследованиям придают публикации в авторитетных журналах, таких как
Nature или Science, имеющих значительный коэффициент влиятельности, или
импакт-фактор. Это показатель, основанный на количестве цитирований журнальных статей,
то есть характеризующий степень уделенного им внимания. Исследователи с большей
вероятностью предоставят престижным журналам впечатляющие «прорывные» результаты,
чем результаты более скромные, но не менее важные просто потому, что понимают их
предпочтения (DD-тип 4: самоотбор). Это, в свою очередь, означает, что журналы, как
правило, выделяют и публикуют наиболее захватывающие достижения из предложенных к
публикации, что еще выше поднимает и без того высокий престиж впечатляющих
результатов (DD-тип 11: искажения обратной связи и уловки). Но такие выдающиеся
результаты будут, скорее всего, невоспроизводимы по причине возврата к среднему
значению, о чем мы уже говорили. Кроме того, подобная ситуация провоцирует некоторых
исследователей подгонять результаты своей работы, чтобы увеличить шансы на публикацию
в журналах с высоким импакт-фактором (как мы увидим позже, зачастую честный выбор
значений от выбора мошеннического отделяет очень тонкая грань). Вследствие этого, более
престижные журналы, скорее всего, будут публиковать менее достоверные результаты.
 100

Как ни странно, но информация, публикуемая в ведущих научных журналах, с меньшей

вероятностью оказывается истинной. Однако, похоже, именно к такому выводу сегодня
приходят авторы. Так, Феррик Фанг и его коллеги сообщают, что ими «была обнаружена
значимая корреляция между импакт-фактором журнала и частотой отзыва научных статей
из-за допущенных ошибок, намеренного искажения результатов или подозрений на это»16.

Ирония заключается в том, что следует избегать публиковаться в источниках, которые

имеют высокий уровень ложных результатов. Иначе говоря, сторониться наиболее
престижных журналов?.. Да, все это крайне запутанно! Но не стоит забывать, что
причинно-следственные связи порой бывает довольно сложно установить. Чем влиятельнее
журнал, тем по определению шире круг его читателей, а значит, публикуемые в нем статьи
подвергаются более тщательному анализу, который подразумевает, что сомнительные
выводы с высокой вероятностью будут обнаружены, даже если их уровень не выше, чем в
других журналах.
Частичное решение проблемы состоит в том, чтобы публикации новых результатов
основывались на более чем одном исследовании, то есть независимые воспроизведения
должны проводиться до момента публикации (вспомним «негласное правило» Брюса Бута).
Так уже делается, например в фармацевтическом секторе, где лекарства, представленные на
одобрение регулирующими органами, должны иметь подтверждение нескольких
клинических испытаний. Но в других контекстах, особенно в академических
исследовательских кругах, приоритет публикаций является ключевым показателем
эффективности, и исследователи не хотят рисковать, давая другим возможность застолбить
открытие (вспомните стремление Лайнуса Полинга опубликовать свою статью о структуре
нуклеиновых кислот). Они предпочитают поскорее объявить об открытии, которое может
стать крупным прорывом, даже если существует риск признания его ошибочным.
Стремление сделать эффектное открытие привело к практике препарирования данных
бесконечным множеством методов и реконфигурирования наборов данных до тех пор, пока
не будет найдено что-то существенное. Например, сравнивая две группы пациентов, мы
можем измерить 100 характеристик каждого пациента, а затем сравнить средние значения
двух групп по каждой из них. Было бы удивительно, если бы при этом не обнаружилось хотя
бы несколько существенных отличий между группами — исключительно из-за случайных
ошибок измерения. Такую манипуляцию иногда называют p-хакингом. Этот любопытный
термин пришел из статистики и описывает явление, с которым стоит разобраться.
Для начала нужно признать тот факт, что если мы изучаем данные (особенно большие
наборы данных) многочисленными и отличающимися друг от друга методами, то, по сути,
это говорит о нашей убежденности в том, что необычные закономерности могут случайно
выявляться даже тогда, когда реальные данные не имеют таких взаимосвязей. Например,
если задействовано много переменных, то какие-то их пары в конечном наборе данных могут
иметь высокую корреляцию, даже если реальные базовые значения никак не коррелируют,
— просто в силу случайности или ошибок измерения. Применительно к исследованиям, в
которые вовлечено много объектов (например, людей), это означает, в частности, наличие
небольших групп, которые так же случайно будут удивительно похожи друг на друга по тем
или иным признакам.

Для наглядности представим, что мы случайным образом сгенерировали строку из 1000

цифр. Вот первые 30 из них:
678941996454663584958839614115.
После этого мы можем начать поиск, например, последовательных 10 вхождений в нее одной
и той же цифры. Если это ничего не даст, можно попытаться найти последовательность из
 101

девяти цифр, идущих по порядку (123456789). Затем, в случае неудачи, мы можем заняться
поиском последовательности чередующихся цифр (например, 2323232323). Если и эта затея
не удастся… В итоге, если продолжать в том же духе достаточно долго, мы обязательно
найдем в наших данных некоторую повторяющуюся структуру. Но вот проблема: эта
структура, эта аномалия не будет иметь ничего общего с реальной закономерностью. Если
повторить этот эксперимент и сгенерировать еще одну тысячу цифр в случайном порядке, то
нет никаких оснований предполагать, что мы найдем среди них такую же необычную
конфигурацию. Открытия не состоится — оно не будет воспроизводимым.
Экономист Рональд Коуз вкратце описал эту ситуацию, заявив, что, если пытать данные
достаточно долго, они непременно признаются. Но, как известно, признания, полученные с
помощью пыток, далеко не всегда отражают истину. В нашем примере цифры были
сгенерированы случайным образом и в структурах, которые мы можем в них обнаружить,
нет никакого скрытого смысла.
Концепция p-хакинга формализует эту ситуацию. Начнем с того, что фундаментальным
инструментом в научных исследованиях является проверка значимости. Это формальная
статистическая процедура для проверки гипотез. Она начинается с расчета сводной
статистики для нашей выборки. Например, мы можем обобщить выборку, используя среднее
значение, медиану или дисперсию, в зависимости от того, какой аспект данных нам
интересен. Теперь, если мы возьмем другую выборку, вполне вероятно, что ее сводная
статистика будет иметь другие значения. Таким образом, если взять множество выборок,
можно получить распределение статистических значений. Статистические методы
позволяют рассчитать форму этого распределения, если допустить, что наша гипотеза верна.
Затем, сравнивая фактические наблюдаемые значения сводной статистики с этим
распределением, мы можем увидеть, как часто нам следует ожидать экстремальных значений
в случае, если гипотеза верна. Вероятность получить для данной модели распределения
значений такое же или более экстремальное значение статистики по сравнению с ранее
наблюдаемым называется p-значением проверки. Очень низкое p-значение, скажем, равное
1%, будет означать, что если наша гипотеза верна, то мы должны получить выборку с такими
же или более экстремальными значениями лишь в 1 из 100 случаев. Это говорит о том, что
либо наша гипотеза верна и произошло маловероятное событие, либо гипотеза ошибочна.
Для удобства p-значения сравнивают с обычными пороговыми значениями. Если наш анализ
дает p-значение, не превышающее порогового значения, то говорят, что результат является
статистически значимым для этого порогового уровня. Так, если мы выбрали порог 5%,
тогда p-значения той же величины или меньше позволят нам утверждать, что результат
значим на уровне 5%.
Приведу пример. Допустим, я выдвигаю предположение, что некая монета абсолютно
честная, то есть вероятность выпадения решки всякий раз, когда я подбрасываю ее, будет
равна 50%. Чтобы проверить это, я должен много раз подбросить монету и посмотреть, какая
доля исходов придется на решку. Предположив, что монета честная, я бы ожидал, что это
будет около половины всех бросков, но совсем не обязательно орлы и решки выпадут
совершенно одинаковое число раз. Напротив, я бы как раз ожидал некоторого
незначительного отклонения от 50%, но не слишком большого, и уж тем более не
экстремального. Проверка значимости сообщит нам вероятность (при условии, что монета
честная), с которой мы можем наблюдать отклонение равное или превышающее отклонение,
полученное в ходе эксперимента. Очевидно, что если маловероятные экстремальные
результаты все-таки получены, то имеет смысл усомниться в истинности выдвинутой
гипотезы. Например, шанс того, что при подбрасывании честной монеты решка выпадет 90
или более раз из 100, астрономически мал (этот шанс и представляет собой p-значение).
 102

Поэтому, если такое все же произошло и монета 90 раз из 100 упала решкой вверх, мы
должны заподозрить, что она нечестная.
Между прочим, смысл p-значения часто понимается абсолютно неверно. Принято думать о
нем как о показателе вероятности того, что гипотеза верна. Это не так. Гипотеза либо верна,
либо ошибочна, а p-значение просто показывает вероятность получения определенных
экстремальных результатов в первом случае, то есть когда гипотеза верна.

Итак, мы разобрались с «р-значением», но что означает «p», если к нему добавить «хакинг»?
Этот термин появился благодаря пагубной практике проводить бесконечное множество
проверок значимости без учета их количества. Почему это становится проблемой, понять
несложно. Предположим, что мы проверяем 100 никак не связанных между собой гипотез,
каждая из которых верна, но нам это неизвестно. Далее предположим, что мы рассматриваем
p-значение на уровне 2% для любой из этих 100 гипотез как достаточно низкое, чтобы
отнестись к ней с сомнением. Для каждой взятой в отдельности проверки значимости это
вполне разумно, поскольку означает, что вероятность ложных подозрений в отношении этой
единственной гипотезы, если она верна, составляет всего 2%. Но в случае, если вы проводите
для каждой из 100 гипотез 100 проверок с уровнем p-значения 2%, получается, что
вероятность возникновения сомнений по крайней мере для одной из них составит 87%.
Скорее всего, вы решите, что хотя бы одна из гипотез является ошибочной, даже если все
они будут верны. Вспомните о достаточно долгих пытках данных! Если вы скрываете тот
факт, что провели 100 проверок, по сути, превращая их в темные данные (DD-тип 2: данные,
о которых мы не знаем, что они отсутствуют), то ваши выводы могут быть очень
обманчивыми.
Такая грубая ошибка допускается в научной литературе раз за разом. Рандомизированное
исследование, проведенное в 1987 г. на материале четырех ведущих медицинских журналов,
показало, что «74% всех испытаний имели по меньшей мере одно сравнение, отклонившее
верную гипотезу, а 60% имели по меньшей мере одно сравнение, подтвердившее
ошибочную, что явилось негативным следствием статистической проблемы множественных
сравнений. Ни в одном из испытаний, в которых были обнаружены нарушения, не
рассматривалось потенциальное влияние проблемы множественных сравнений на сделанные
выводы». Под «негативным следствием… множественных сравнений» авторы
подразумевают, что в исследованиях не учитывалась многочисленность статистических
тестов, поэтому ложноположительные результаты были весьма вероятными. Хотелось бы
надеяться, что эта проблема уже осталась в прошлом, однако по опыту могу сказать, что она
до сих пор недостаточно осознается17.
Давайте обратимся к классической статье по этой проблеме, написанной Крейгом Беннеттом
и его коллегами, которая гораздо интереснее, чем можно ожидать судя по названию:
«Нейронные корреляции межвидового восприятия, полученные после смерти атлантического
лосося: аргумент в пользу коррекции множественных сравнений»18. Статья основана на
результатах МРТ-сканирования мозга мертвого лосося, которому «показали серию
фотографий, изображающих людей в различных ситуациях и… попросили определить, какие
эмоции они испытывают». Вероятно, вы и без экспериментальных данных уже сделали свой
вывод о реакции мозга мертвого лосося на показ фотографий. Но дело в том, что результат
МРТ-сканирования представляет собой примерно 130 000 элементов объемного
изображения, которые по аналогии с двумерными пикселями называют вокселями. И каждый
из этих вокселей имеет небольшой шанс показать электрическую активность сканируемого
материала исключительно в силу случайных фоновых шумов оборудования, а вовсе не
потому, что клетки мозга мертвого лосося действительно реагируют. И хотя отдельно взятый
воксель имеет лишь крошечный шанс дать ложный сигнал, вероятность его появления резко
возрастает с учетом большого количества самих вокселей. Суммируйте огромное число
 103

крошечных шансов, и вот уже один, а то и более вокселей показывают электрическую

активность, создавая впечатление, что некоторые нейроны мозга лосося активизируются,
даже если сам лосось мертв. И действительно, Беннетт и его коллеги обнаружили несколько
вокселей, подающих явные сигналы. В результате они пришли к такому выводу: «Либо мы
наткнулись на поразительное открытие на стыке ихтиологии и посмертных когнитивных
функций, либо что-то не так с нашим статистическим подходом. Можем ли мы заключить из
этих данных, что лосось выразил свое мнение, отвечая на поставленный вопрос? Конечно,
нет. Контролируя когнитивные способности субъекта, в данном случае мы полностью
исключили эту возможность».

Статья Беннетта получила Шнобелевскую премию в 2012 г. Эта награда присуждается за

«достижения, которые сначала заставляют людей рассмеяться, а затем — задуматься».
На эту тему есть анекдот. Экспериментатор A говорит экспериментатору Б, что у него
большие проблемы с воспроизведением результатов, полученных Б. «Неудивительно, —
отвечает тот, — ведь я тоже не смог получить их первые 100 раз, когда проводил
эксперимент».
Серхио Делла Сала и Роберто Кубелли19 приводят случай, который может стать еще одним
примером p-хакинга: Рэндел Суонсон и его коллеги сообщили о поражении мозга у
американских дипломатов в Гаване якобы в результате воздействия «неизвестного источника
энергии, повлиявшего на слуховые и сенсорные процессы»20. Суонсон и его команда
пришли к выводу, что «эти люди, по-видимому, получили обширные повреждения клеток
мозга, не вызванные травмой головы».
Но как они проверили свое предположение? Таблица, приложенная к статье Суонсона,
описывает 37 результатов нейропсихологического теста, а в сноске к ней указано: «Жирный
шрифт означает ненормальность, или менее 40-го процентиля». Кажется, это подразумевает,
что любой, кто наберет менее 40-го процентиля распределения в любом тесте, может быть
классифицирован как «ненормальный». Естественно, Делла Сала и Кубелли тоже
интерпретировали это так. Но если бы все 37 тестов были идеально коррелированы (то есть
все дали одинаковый результат для любого выбранного человека), это означало бы, что
только 60% населения получат оценку выше 40-го процентиля во всех тестах и,
следовательно, будут классифицированы как нормальные. В то же время если бы результаты
тестов не имели никакой корреляции между собой, то простой расчет показывает, что даже
одного человека из 100 млн нельзя было классифицировать как нормального во всех тестах.
На первый взгляд кажется, что Суонсон с коллегами сделали все возможное, чтобы доказать
наличие повреждения мозга по меньшей мере у некоторых людей. Как отмечают Делла Сала
и Кубелли, было бы правильнее применить существенно более строгий критерий
ненормальности, скажем, 5% вместо 40%, однако ключевая проблема заключается в другом
— в том, чтобы баллы ниже порогового значения в любом из 37 тестов в принципе не
означали отклонения от нормы.

Кстати, замечу: все это совсем не означает, что вышеозначенные лица не страдали
нарушениями функций мозга. Просто заключение о таких нарушениях почти наверняка
можно сделать даже для группы здоровых людей.

Тем не менее иногда нам действительно требуется оценить широкий ряд аспектов набора
данных. Например, в клиническом исследовании мы могли бы измерить 100 характеристик
пациентов, сравнивая две группы, и попытаться узнать, отличаются ли они по какой-либо из
них. (Действительно, если организуется дорогостоящее исследование, то имеет смысл
измерить как можно больше вещей.)
 104

К счастью, существуют инструменты для решения проблемы p-хакинга и снижения риска

получения ложных и невоспроизводимых результатов при проведении множественных
проверок гипотез. Первый такой метод появился в 1930-х гг. и был назван поправкой
Бонферрони. Это способ корректировки p-значения каждой отдельно взятой проверки с
учетом количества проведенных проверок. В частности, если мы добиваемся, чтобы у
каждой из 100 проверок p-значение было на уровне 0,1% (то есть шанс ошибочно отвергнуть
истинную гипотезу равен 1 из 1000) вместо 2%, то вероятность по крайней мере одного
выявления значимости — если все гипотезы верны — составит всего 10%, а не 87%, как это
было в примере выше. Проще говоря, если все 100 гипотез верны, то теперь существует
лишь 10%-ная вероятность того, что хотя бы одна из них будет отклонена как ложная. Это
уже куда более приемлемо.

За последние три десятилетия был разработан целый ряд существенно более действенных
инструментов решения проблемы множественных проверок. Многие из них являются
расширенными и усовершенствованными вариантами метода Бонферрони, например
контроль последовательности, в которой проводятся испытания. Но особенный прогресс в
этом вопросе произошел благодаря работе Йоава Бенджамини и Йосефа Хохберга. Они
переключили внимание с p-значения (то есть вероятности сделать неверный вывод, если
гипотеза верна) на так называемую частоту ложных открытий. Это ожидаемая доля ошибок
среди гипотез, помеченных как ложные. По всей видимости, такой подход эффективнее: он
показывает, с какой вероятностью мы допускаем ошибку, когда признаем, что гипотеза
неверна.
Помимо p-хакинга существует и другая, более фундаментальная причина неспособности
воспроизвести результаты — потенциальные различия в условиях эксперимента. Отчеты об
экспериментах, приведенные в научной литературе, традиционно должны быть краткими:
этого требует стоимость публикации одной страницы в научных журналах (хотя сегодня, в
эпоху интернета, такое ограничение уже не является необходимым), поэтому статьи редко
описывают процедуры исследований в мельчайших деталях. К тому же, как мы уже
говорили, сами исследования находятся на границе известного, и незначительные изменения
условий эксперимента могут оказать большое влияние на его результаты.

Еще одной причиной ошибочных результатов является пагубная практика, получившая

название HARKing, по первым буквам выражения «Hypothesizing After the Result is Known»,
или выдвижение гипотез, когда известны результаты проверки.
HARKing имеет место, когда гипотеза проверяется на тех же данных, с помощью которых
была выдвинута. Если вы исследовали набор данных и обнаружили в нем нечто, что
подтолкнуло вас к идее, некорректно использовать тот же набор данных для проверки ее
истинности. Очевидно, что те же самые данные будут вызывать сомнения в гипотезе с очень
низкой вероятностью! Например, если я заметил, что средний вес 1000 песчинок, взятых с
одного пляжа, больше, чем средний вес 1000 песчинок, взятых с другого пляжа, я, конечно,
могу предположить, что в целом песчинки на первом пляже более тяжелые, чем на втором,
но я вряд ли смогу проверить свое предположение на тех же самых песчинках, поскольку
они, естественно, его подтвердят. Идея должна проверяться на новом, независимом от
первого наборе данных. Нам нужно собрать такие данные, которые еще не анализировались,
то есть являющиеся темными данными в контексте гипотезы.
Обратите внимание, что просеивать, изучать и анализировать данные в поиске интересных
свойств вполне нормально. Такие изыскания являются важным и, более того,
фундаментальным методом выдвижения гипотез, генерирования идей и обнаружения
скрытых ранее явлений. Однако те же самые данные нельзя использовать повторно, чтобы
проверить, верны ли ваши идеи.
 105

HARKing можно устранить, если требовать от исследователей публикации гипотез перед

этапом сбора данных. Некоторые научные журналы уже предпринимают шаги в этом
направлении, гарантируя публикацию статьи независимо от того, какие будут получены
результаты, при условии, что гипотеза сформулирована заранее, а дизайн исследования и
методология соответствуют строгим стандартам.
Сокрытие фактов
Как вы уже поняли, наука, по сути, является самокорректирующимся процессом. Он
базируется на сравнении прогнозов с полученными данными, вследствие чего предложенная
теория, противоречащая фактам, рано или поздно отклоняется или изменяется. Обратной
стороной такого подхода является то, что теории, которые в итоге оказываются неверными,
часто какое-то время подтверждаются данными, пока не будут отклонены в процессе
уточнения истины.
Мы уже упоминали одну очевидную причину такого ложного подтверждения — когда что-то
не так с исходными данными. Возможно, наблюдения были недостаточно точными, чтобы
отвергнуть теорию, или были искажены и содержали ошибки, а может быть, они просто
были неполными. Эта книга изобилует примерами разнообразных путей появления темных
данных, но иногда тень на плетень наводят умышленно, а искажения и ошибки оказываются
результатом мошеннических действий.
Неудивительно, что мошенничество процветает в сфере финансов и коммерции — выгоды
здесь очевидны, в чем мы уже успели убедиться в предыдущих главах. Но научные
исследования, как правило, представляют собой не самый короткий путь к обогащению.
Достаточно вспомнить растиражированный образ ученого — человека слегка не от мира
сего, который занят исключительно познанием истины, не интересуется бытовыми
вопросами и, разумеется, носит белоснежный халат. К сожалению, реальность выглядит
несколько иначе. Ученые тоже люди, они руководствуются теми же мотивами и желаниями,
что и все остальные. Деньги, власть, признание и уважение коллег так же важны для ученых,
как и для людей других профессий. И точно так же, как и другими, учеными порой
овладевают жадность, гордыня и зависть.

Однако между финансами и наукой есть одно ключевое различие: финансовые

мошенничества могут и не быть обнаружены, а вот неверные научные утверждения в
конечном счете опровергаются. Все дело в самокорректирующейся природе науки. Так какой
смысл публиковать заведомо ложные открытия, авторы которых рано или поздно будут
выведены на чистую воду?

Один из возможных ответов на этот вопрос состоит в том, что теория может и впрямь
оказаться верной. Люди строят необоснованные догадки, и иногда они оказываются
удачными, хотя такой подход никак не назовешь разумной стратегией для успешной научной
карьеры. Другой ответ заключается в том, что мошенническая теория может оставаться
неопровергнутой не только при жизни ее создателя, но и на протяжении целых столетий.
Такая возможность выглядит соблазнительно для того, кто настолько убежден в правоте
своей теории, что готов подгонять или фальсифицировать данные в надежде скрыть обман.
Некоторые из величайших ученых подозревались в махинациях со своими данными, в том
числе Роберт Милликен, Луи Пастер, Джон Далтон, Грегор Мендель, Галилей и даже сам
Ньютон. Далее мы рассмотрим дело Милликена, поскольку его записные книжки с данными
сохранились и мы можем сопоставить с ними выдвинутые против него обвинения. В других
же случаях точных данных нет, поэтому установлением истины должна заняться судебная
статистика.
Особенно интересно здесь то, что люди, перечисленные выше, справедливо считаются
сегодня великими учеными, в том числе и потому, что дальнейшие исследования и
 106

многочисленные повторения подтверждают их выводы. Будь это не так, на их трудах

осталось бы клеймо недостоверности, а сами они были бы отправлены на свалку истории.
Похоже, в этом есть какая-то несправедливость!

Даже если выясняется, что теория, основанная на мошеннических данных, ошибочна, само
мошенничество при этом может и не вскрыться. Природа науки подразумевает
существование множества несостоятельных теорий, которые первоначально соответствуют
данным и лишь позже начинают сыпаться. Однако если нет причин для пересмотра данных,
на которых была основана теория (при условии, что они все еще доступны), то ее провал, как
правило, списывают на неточность измерений, случайные колебания или какой-нибудь иной
недостаток, но ни в коем случае не на мошенничество.

Однако иногда такие случаи все же обнаруживаются, и даже спустя много лет после самого
события блестящая карьера может в одночасье рухнуть. Большинство мошенников от науки
действуют по одной схеме — они начинают с небольшого обмана, а затем, воодушевленные
успехом, увеличивают его масштаб. Так происходит до тех пор, пока кто-нибудь не начнет с
пристрастием анализировать их настоящие — и прошлые — эксперименты и данные. И
вскоре здание, построенное на обмане, рушится.
Сэр Сирил Берт был выдающимся психологом: в 1968 г. он стал первым неамериканским
лауреатом престижной премии Эдварда Ли Торндайка, присуждаемой Американской
психологической ассоциацией. Но вскоре после его смерти в 1971 г. возникли подозрения в
отношении его работы по наследственности интеллекта, когда Леон Камин отметил, что
некоторые коэффициенты корреляции Берта (указывающие, насколько схожие значения
могут принимать две переменные) из разных экспериментов, были одинаковыми с
точностью до трех знаков после запятой. Вероятность такого совпадения ничтожна.
Несколько авторитетных ученых согласились с тем, что Берт совершил мошенничество,
другие же указывали на то, что были исследователи, получившие аналогичные значения
коэффициентов корреляции. Артур Дженсен, например, утверждал, что «никто, имеющий
опыт в статистике, а Берт был чрезвычайно опытен, не станет регистрировать значение
корреляции 0,77 три раза подряд, если захочет подделать данные»21. Это интересный
аргумент. По сути, он говорит о том, что любой, кто планирует совершить научное
мошенничество, должен сделать свое намерение очевидным, поскольку тогда никто не
поверит, что он может быть настолько глупым. Я очень сомневаюсь, что такой довод можно
назвать серьезным. Важно еще и то, что это обвинение в мошенничестве было основано в
том числе на факте уничтожения улик: все записи Берта были им сожжены, поэтому никто
не мог проверить коэффициенты или убедиться в существовании данных, на которых они
были получены.
Первые шаги по этой скользкой дорожке обычно выглядят как нечто само собой
разумеющееся. Дело в том, что на каком-то этапе исследований каждый ученый принимает
субъективные решения о том, какие данные являются приемлемыми, а какие следует
отклонять. В конце концов, если вы заметили, что участник контрольной группы,
взвешиваясь, не снял тулуп, а участница была на высоких каблуках, когда измеряли рост,
ничто не мешает вам со спокойной совестью исключить эти данные из анализа. Но что, если
вы обнаружили неисправность весов, а значит, и усомнились в точности предыдущих
измерений или вы не можете вспомнить, все ли участники контрольной группы снимали
обувь при измерении роста? Означают ли эти подозрения, что вы должны отклонить все
собранные данные? В подобных случаях разные исследователи могут принимать разные
решения.
О возможностях мошенничества в науке известно довольно давно. В разделе 3 главы 6 своей
классической книги «Размышления об упадке науки в Англии и о некоторых его причинах»
(Reflections on the decline of science in England), вышедшей в 1830 г., Чарльз Бэббидж,
 107

изобретатель первой вычислительной аналитической машины, «отец» современного

компьютера, сказал: «Научные исследования более других вещей открыты для набегов
симулянтов; и я чувствую, что заслужу благодарность всех, кто действительно ценит истину,
заявив вслух о некоторых методах обмана, применяемых недостойными претендентами на
научные заслуги, поскольку одно лишь предание огласке их уловок может отпугнуть
будущих преступников… Есть несколько видов жульничества, практикуемого в науке,
которые известны в основном посвященным и которые вполне возможно вразумительно
донести до всеобщего понимания. Их можно классифицировать как розыгрыш, подделка,
приукрашивание и фабрикация»22. Все перечисленное Бэббиджем представляет собой
разные способы сделать данные темными, поэтому рассмотрим каждый из них более
подробно.
Розыгрыши
Розыгрыш, или мистификация, — это подделка данных (DD-тип 14: фальшивые и
синтетические данные, в роли которых, как мы увидим, могут выступать даже реальные
объекты, такие как окаменелости, кости или даже целые животные) с целью создать
впечатление, что существует нечто, чего на самом деле нет, но с намерением открыть истину
до того, как люди будут введены в заблуждение. Можно сказать, что это форма
научно-практической шутки.
Зачастую розыгрыши устраивают, чтобы высмеять излишнее высокомерие и пафосность.
Например, Иоганн Варфоломей Адам Берингер, декан медицинского факультета
Вюрцбургского университета в начале XVIII в., был известен тем, что собирал окаменелости.
В какой-то момент его коллекция стала пополняться окаменелостями весьма необычных
животных и растений, затем экспонатами с изображением звезд и планет, а позже он
обнаружил камень с выбитым именем Иеговы. Декан так впечатлился своими удачными
находками, что даже издал о них книгу. Он был убежден, что следы долота на некоторых
камнях были оставлены самим Богом. (Самое время вспомнить о предвзятости
подтверждения!)

В один прекрасный день шутники, которыми оказались университетские коллеги Берингера

Игнац Родерик, профессор географии и математики, и Иоганн Георг фон Экхарт, тайный
советник и университетский библиотекарь, решили, что их шутка зашла слишком далеко.
Они признались Берингеру, что сами изготовили эти экспонаты и подбросили их на гору, где
он обычно проводил свои изыскания, чтобы немного сбить с него спесь и высокомерие. Но
Берингер не поверил им. Вместо этого он решил, что коллеги пытаются отнять у него славу
первооткрывателя. И только после того, как нашел камень с выбитым на нем собственным
именем, профессор осознал происходящее. В результате был инициирован судебный
процесс, и Родерик с Экхартом поплатились за шутку своей карьерой.
В другом подобном примере, но с куда меньшими для всех последствиями, двое мальчишек
однажды попытались подшутить над Чарльзом Дарвином, прикрепив голову жука, крылья
бабочки и лапки кузнечика к телу сороконожки, попросили его идентифицировать этого
монстра. Создатель теории эволюции внимательно осмотрел существо и после долгой паузы
задал всего один вопрос: «Скажите-ка, а оно надувалось, когда вы его ловили?» — «Да, сэр,
еще как надувалось!» — «Ну, тогда это надувательство», — вынес свой вердикт Дарвин.
Измышляя данные, мистификаторы скрывают то, как выглядят реальные данные. Однако в
более свежем примере розыгрыша, уже ставшего классикой, мистификатор вообще опустил
этап сбора и анализа данных и сразу перешел к публикации статьи. Чтобы проверить
интеллектуальную строгость постмодернистского журнала Social Text, физик Алан Сокал
представил к публикации абсолютно бессмысленную статью под названием «Нарушая
границы: на пути к трансформативной герменевтике квантовой гравитации»23. Social Text —
это журнал, который по его собственному определению «охватывает широкий спектр
 108

социальных и культурных явлений, а также применение новейших методов интерпретации

мира в целом»24. Статья была принята и опубликована без какого бы то ни было
рецензирования, и тогда Сокал во всем признался. Поскольку подобные мистификации
высмеивают того, на кого направлены, они могут быть крайне неприятными (как в случае с
Берингером). Однако, если розыгрыш вскрывает обман или нарушения логики, он может
быть очень полезен. «Многие исследователи в области гуманитарных и социальных наук
написали Сокалу… и выразили ему благодарность за то, что он сделал»25.

Существует современный вариант розыгрыша Сокала, который заслуживает упоминания.

Речь идет о платных журнальных публикациях. Сеть оказала большое влияние на саму
систему научных публикаций. В прошлом исследователи и библиотеки покупали подписки,
и эти подписки составляли основу бизнес-моделей журналов. Однако интернет позволил
людям загружать свои документы на сайты бесплатно, поэтому потребовалась другая
бизнес-модель. Система находится в состоянии постоянного изменения, но в одной из
получивших распространение моделей автор сам оплачивает публикацию статьи, после чего
к ней открывается бесплатный доступ всем потенциальным читателям. К сожалению,
побочным эффектом такой модели стало то, что появились «журналы», которые за плату
публикуют все что угодно, независимо от достоверности содержания. Была целая череда
мистификаций, когда люди по примеру Сокала преднамеренно представляли для публикации
бессмысленные документы, чтобы в случае их принятия разоблачить и высмеять журнал.
Особенно примечателен случай, когда Джон Бохэннон под псевдонимом Окоррафу Кобанге
из несуществующего Медицинского института Ваззее представил версии своей статьи в 304
журнала26. Вот что пишет Бохэннон об этой мистификации: «Любой рецензент, имеющий
знания по химии на уровне средней школы и способный понимать основные данные, должен
был сразу выявить недостатки статьи. Эксперименты, на которых она основана, совершенно
несостоятельны, поэтому результаты просто не имеют смысла». Однако «более половины
журналов приняли к публикации статью, так и не заметив ее фатальных изъянов».
Из множества других подобных розыгрышей можно привести потрясающий пример со
статьей Дэвида Мазьера и Эдди Колера, первоначально представленной на конференции, а
затем принятой журналом (в котором, видимо, даже не слышали о рецензентах)27. Вся
статья представляла собой повторение одной и той же фразы: «Уберите меня из этого
долбаного списка рассылки». Какое название было у этой информативной статьи, вы
сможете догадаться сами — это не должно стать для вас темными данными.
Стоит отметить, что такие попытки продемонстрировать поверхностность некоторых
журналов порой наталкиваются на серьезные препятствия. Во время работы над этой книгой
доцент факультета философии Портлендского университета Питер Богоссян столкнулся с
трудностями после того, как стал соавтором серии статей, семь из которых были приняты к
публикации. С помощью этих статей их авторы пытались высмеять уровень образованности
издателей и «посмотреть, действительно ли использование тем, которые мы назвали
“исследованиями недовольства”, то есть отражающих политические тренды, позволяет
превращать предрассудки и мнения во что-то, что уже рассматривается как знание». На
сегодняшний момент в его защиту выступили такие известные ученые, как Ричард Докинз и
Стивен Пинкер28.
Подделки
Подделка похожа на мистификацию, за исключением того, что она не подразумевает
самораскрытия. Злоумышленники и в этом случае скрывают реальные данные, затемняя их и
заменяя поддельными. «Бордюрство», о котором мы говорили в главе 2, служит типичным
примером подделки данных в процессе опросов и переписей.
 109

Если говорить о науке, то одна из самых известных подделок получила свое название в честь
небольшого городка Пилтдауна. В 1912 г. адвокат и археолог-любитель Чарльз Доусон
написал своему другу Артуру Смиту Вудворду, который в то время был хранителем отдела
геологии Музея естественной истории в Лондоне, и сообщил, что в гравийных пластах возле
Пилтдауна в Восточном Сассексе нашел фрагмент черепа древнего человека. Вместе они
продолжили исследование, в ходе которого Доусон обнаружил фрагмент нижней челюсти
вместе с зубами. Объединив два фрагмента и завершив воссоздание черепа с помощью
пластилина, они предположили, что нашли не что иное, как образец отсутствующей
эволюционной связи между человекообразными обезьянами и людьми.

Находка вызвала большой резонанс и значительную полемику. Были те, кто предположил,
что две кости не принадлежат одному и тому же существу. Зоолог Мартин Хинтон,
убежденный, что это был трюк, зашел так далеко, что попытался раскрыть предполагаемых
мошенников. Хинтон выпилил зуб обезьяны таким образом, чтобы он вписывался в
пластилиновую реконструкцию Вудворда и подбросил его в гравийные пласты возле
Пилтдауна.
Как он и планировал, поддельный зуб был обнаружен. Однако вместо того, чтобы
разоблачить Доусона, находку восприняли как еще одно доказательство его правоты. Решив
не сдаваться, Хинтон взял кость, принадлежавшую вымершему виду слонов, с помощью
резца придал ей форму крикетной биты и вновь закопал в Пилтдауне. Но и это не помогло —
Доусон и Вудворд опубликовали научную статью в Geological Magazine, где упомянули о
новой находке: «В прошлом сезоне мы потратили много времени на изучение гравия в
Пилтдауне, за пределами ранее детально изученной области… однако находок было
немного… Мы не обнаружили никаких человеческих останков. Но большой кусок кости,
явно обработанной человеком, компенсирует наше разочарование и в силу своей
необычности заслуживает особого описания».

Иногда кажется, что люди действительно рады любой возможности обмануться.

Классически продемонстрировав пример предвзятости подтверждения, Доусон и Вудворд
дали своей находке такой комментарий: «Это костное орудие было найдено примерно в футе
от поверхности земли в темном верхнем слое почвы… После смывания почва не оставила ни
малейшего следа на образце, который оказался покрыт налипшей на него твердой
бледно-желтой песчаной глиной, очень похожей на кремневую породу в нижнем слое гравия.
Таким образом, кость не могла лежать в земле в течение длительного времени, и почти
наверняка можно предположить, что она оказалась там по вине рабочих, которые вместе с
другими бесполезными предметами выбросили ее, когда добывали гравий из соседнего
шурфа»29.
Статья, в которой был подробно описан артефакт и изложены гипотезы о его
происхождении, вызвала бурное обсуждение, в частности, следующие комментарии:
 «Мистер Г. Ф. Лоуренс сказал, что форма орудия напоминает дубину»,
 «Мистер У. Дейл сказал, что следы от инструментов на кости были похожи на следы,
оставленные на другой имеющейся у него кости, обнаруженной в торфе во время
раскопок дока в Саутгемптоне рядом с камнем-молотом эпохи неолита»,
 «Мистер Реджинальд Смит сказал, что… авторов можно поздравить с постановкой
новой и интересной проблемы, которая в конечном счете требует оригинального
решения» (А ведь так и есть!),
 110

 «Мистер Ф. П. Меннелл сказал, что… ему показалось очень примечательным, что

такое примитивное существо, как эоантроп, могло в принципе создавать и
использовать инструменты».

Пилтдаунский человек (он же эоантроп), безусловно, является одной из самых успешных

научных подделок — лишь спустя 40 с лишним лет было окончательно установлено, что
находка представляет собой комбинацию челюсти орангутанга, зубов шимпанзе и фрагмента
человеческого черепа. Чем-то это творение напоминает монстра из другого розыгрыша,
устроенного детьми Чарльзу Дарвину. В результате подозрение пало в основном на Доусона.
И это неудивительно: по словам археолога Майлза Рассела, некоторые предметы из частной
коллекции Доусона также оказались подделками30.

Археологические и палеонтологические подделки не оказывают прямого влияния на жизнь и

здоровье людей. Но вот подделка исследователя Джона Дарси вполне могла бы. Дарси
работал главным врачом Мемориальной больницы Грэйди, крупнейшей больнице штата
Джорджия, а затем переехал в Гарвард, где ему в 1981 г. предложили должность
преподавателя. Но в том же году было инициировано расследование после того, как у
некоторых коллег Дарси возникли подозрения в достоверности результатов его
лабораторных исследований. После тщательного разбирательства правительственная
организация Национальные институты здравоохранения пришла к выводу, что он
сфабриковал данные экспериментов, которые фактически не проводил. И то верно: куда
проще взять цифры из головы, чем прилагать усилия и делать всю эту разочаровывающую и
трудоемкую работу!

К сожалению, таких примеров немало. Кардиолог Боб Слуцкий получал превосходные

отзывы о своих выдающихся исследованиях, пока они не стали расползаться по швам. В
конце концов комитет Калифорнийского университета в Сан-Диего пришел к выводу, что
Слуцкий искажал и фальсифицировал данные31. Исследователь Джон Субдо публиковал
статьи по онкологии в ведущих медицинских журналах, пока не выяснилось, что данные по
900 пациентам, описанных им в журнале The Lancet, были полностью поддельными.
Управление по обеспечению добросовестности в исследованиях США пришло к выводу, что
исследователь рака доктор Анил Потти совершил ряд неправомерных действий, включая
использование ложных данных. В частности, он утверждал, что 6 из 33 пациентов
положительно отреагировали на препарат дазатиниб, в то время как в контрольной группе
было зарегистрировано только четыре пациента, ни один из которых не отреагировал
положительно.
В 2017 г. министерство науки и техники Китая признало 486 исследователей виновными в
подделках — случай выдающийся по числу вовлеченных людей32. Правда, речь идет не о
подделке исходных данных или результатов экспериментов, а о найме продажных
рецензентов, давших положительные комментарии их статьям, представленным к
публикации, и даже о комментариях, написанных несуществующими рецензентами.

Продолжать этот список можно до бесконечности. Если вы хотите изучить больше

примеров, то можете обратиться к ресурсу Управления по обеспечению добросовестности в
исследованиях США, которое следит за достоверностью проводимых исследований в
области здравоохранения и информирует о подобных случаях33. Но подделки сегодня, как и
раньше, возникают не только в медицинских исследованиях. Так, физик Ян Хендрик Шон
выдавал один и тот же набор данных за несколько разных, якобы полученных в результате
различных экспериментов, а голландский социальный психолог Дидерик Стапель
фальсифицировал данные во многих своих исследованиях, в результате чего 58 его работ
были отозваны.
 111

В основе научных подделок лежит убеждение, что проще и дешевле измыслить данные,
которые гарантированно будут соответствовать вашей теории, чем собирать их и рисковать
тем, что они могут не подтвердить теорию. Но на деле оказывается, что выдумать данные,
которые выглядят реалистично, не так-то просто.
Причина в том, что реальные данные всегда подвержены влиянию случайных аспектов.
Самое точное измерение массы, заряда или давления в физическом эксперименте, как
правило, все равно даст случайный разброс значений из-за флуктуаций исходных условий, и
остается только надеяться, что полученные данные будут распределены вокруг истинного
значения того, что измеряется. Измерение роста людей в популяции дает распределение
значений, потому что рост — это индивидуальная характеристика. Количество и вес семян,
произведенных растениями одного вида, будут для каждого растения свои по той же
причине. Поэтому, если мы хотим подделать данные так, чтобы они выглядели реально, мы
должны учесть этот случайный разброс.
Однако люди сами по себе, без дополнительных технических средств, не очень хорошо
справляются с этой задачей. Мы не способны выдумывать данные, которые бы выглядели
убедительно случайными, то есть не имели внутренних закономерностей. Если вы попросите
разных людей сгенерировать случайным образом достаточно большой числовой ряд, то
увидите, что, как правило, в нем будет слишком мало сгруппированных одинаковых цифр
(например, 333 и 77), слишком часто будут встречаться восходящие или нисходящие серии
(например, 654 и 4567), слишком навязчиво будут повторяться числовые последовательности
и другие типы закономерностей. Например, Берни Мэдофф, о котором мы говорили в главе
1, как выяснилось после его разоблачения, куда ни попадя вставлял парные восьмерки и
шестерки, начиная от финансовой отчетности и заканчивая фальшивыми результатами игры
в гольф.
Естественно, все зависит от степени изощренности мошенника. Тот, кто хорошо знаком со
статистикой, будет в курсе того, чем ложные данные могут отличаться от реальных, и
постарается учесть эти аспекты. В качестве альтернативы простому измышлению люди
могут копировать данные из другого источника или даже не просто копировать, а добавлять
к ним небольшие случайные возмущения. Все это заставляет задуматься: не легче ли
провести реальный эксперимент, чем прилагать столько усилий для создания убедительной
фальшивки?
Приукрашивание
Приукрашивание — корректировка данных с целью их лучшего соответствия теории.
Бэббидж охарактеризовал этот процесс как «отрезание маленьких кусочков тут и там от
наблюдений, которые слишком далеко отстоят от средних значений, и приклеивание их к
тем, которые находятся слишком близко». При этом стратегическое среднее значение может
быть оставлено без изменений, а диапазон значений сужен, что заставит неопределенность
измерений казаться меньше, чем она есть на самом деле.
В статистике существуют надежные методы, которые делают нечто подобное и при
определенных обстоятельствах защищают от избыточного влияния, которое необычно
высокие или низкие (а значит, возможно, ложные) значения могут оказать на результаты.
Один из таких методов, винсоризация (в честь статистика Чарльза Уинсора), заключается в
замене экстремальных значений другими, находящимися на определенном удалении от
среднего. Например, значения, лежащие за пределами двух стандартных отклонений, могут
считаться недостоверными и заменяться значениями на уровне двух стандартных
отклонений. Среднее значение полученных в результате данных будет менее изменчиво, чем
среднее значение исходных данных, поэтому ваша аудитория должна обязательно знать, что
данные были изменены. Если вы не сообщите об этом, то замаскируете правду. И обратите
 112

внимание, что этот технический прием не подразумевает приклеивания обрезанных

«кусочков» данных к другим значениям!
В предельной версии приукрашивания фрагменты данных перемещаются или копируются
целыми партиями из одной части большого набора данных в другую. Как и при банальном
выдумывании данных, такие «оптовые поставки» могут сэкономить массу усилий! Я видел,
как это делалось с числовыми данными в случаях предполагаемого мошенничества, которые
мне довелось изучать, но все-таки чаще такой подход используют при работе с
фотографиями, когда хотят, чтобы на них отображалось нечто иное.

Я также неоднократно видел, как серьезным приукрашиванием занимаются и на более

высоком уровне. Работы, представленные в авторитетные научные журналы, проходят
процедуру рецензирования, в ходе которой они рассылаются нескольким независимым
исследователям для оценки точности представленных результатов, правильности проведения
исследования и важности его публикации. Если рецензент указывает на какие-то недостатки
в исследовании, то авторы в ответ порой вносят в статью поправки, добавляющие
двусмысленности, чтобы другие рецензенты (да и читатели) не смогли обнаружить ошибок,
после чего отправляют статью в другой журнал.
Например, достоверность статистического теста или процедуры моделирования может
основываться на допущениях, которые при проверке данных оказываются сомнительными,
что делает потенциально недействительными и сами выводы. Однажды в качестве
рецензента я наткнулся на статью, в которой приводились средние и медианные значения
выборки данных. Их соотношение вызвало у меня подозрение, что распределение было
искажено, а это уже делало недействительным статистический анализ, приводимый далее в
исследовании. Когда я выразил свои сомнения в отчете, то вместо того, чтобы провести
повторный анализ, который мог бы исправить эту ситуацию (или, возможно, изменить
выводы), авторы просто удалили упоминание о медиане, прежде чем представить статью в
другой журнал. К их большому огорчению, редакторы второго журнала отправили статью
тому же рецензенту!
Фабрикация
Смысл фабрикации в том, чтобы данные выглядели более точными и достоверными, чем они
есть на самом деле. Это достигается путем сбора как можно большего количества данных и
последующего выбора из них наиболее согласующихся с теорией. Бэббидж говорит об этом
так: «Если будет сделана сотня наблюдений, то фабрикатору должно очень сильно не
повезти, чтобы он не смог выбрать из них 15–20, которые можно было бы использовать».
Такая стратегия во многом напоминает уже рассмотренный нами p-хакинг.
Один из самых известных случаев предполагаемой фабрикации был связан с именем
нобелевского лауреата Роберта Милликена. Однако после тщательного расследования
выяснилось, что все обстояло не так, как казалось поначалу: темные данные, конечно,
присутствовали, но они не были умышленно состряпанными.
Роберт Милликен получил Нобелевскую премию по физике в 1923 г., в том числе за
измерение заряда электрона. Вначале он работал с группой аспирантов, но позже в одиночку
провел ряд экспериментов, связанных с уравновешиванием скорости падения заряженных
капелек масла силой, создаваемой электрическим полем. Измеряя конечную скорость капли,
он определял, когда сила тяжести была уравновешена вязкостью воздуха, что позволило
вычислить радиус капли. Дальнейшие измерения скорости при включении электрического
поля позволили Милликену определить заряд на капле. Благодаря множеству повторений
эксперимента он смог вычислить наименьший существующий электрический заряд — заряд
электрона.
 113

Для нас важным является то, что в своей статье 1911 г., опубликованной в журнале Physical
Review, Милликен заявил: «Это единственные капли такого размера, которые наблюдались
при указанных условиях, так что они представляют собой регулярные наблюдения, а не
выборку… Следует также отметить, что это не выбранная группа капель, а именно все капли,
на которых в течение 60 последовательных дней проводился эксперимент. За это время
аппарат несколько раз демонтировался и устанавливался заново»34. Это утверждение
кажется предельно ясным: оно говорит нам о том, что исключена любая возможность
искажения, возникающего при выборе данных, сознательном или неосознанном (DD-тип 3:
выборочные факты), а следовательно, темных данных такого типа здесь нет.

И это было бы так, если бы проверка его тетрадей не показала, что на самом деле приведены
не все данные. (Если вам интересно, цифровую копию тетради можно найти по адресу:
http://caltechln.library.caltech.edu/8/.) В то время как в статье сообщалось о результатах
измерений на 58 каплях, его тетради утверждали, что таких измерений было 175, а это уже
похоже на явный случай фабрикации, а возможно, и мошенничества. По крайней мере
именно так это расценили Уильям Брод и Николас Уэйд — авторы книги «Предатели
истины: Мошенничество и обман в науке» (Betrayers of the Truth: Fraud and Deceit in the Halls
of Science), название которой говорит само за себя35.
Однако более глубокое изучение этого случая физиком Дэвидом Гудстейном позволяет
предположить, что манипулирование данными здесь есть лишь на первый взгляд. Из трех
факторов, влияющих на движение капель масла, только два — гравитация и электрическое
поле — были достаточно изучены. Влияние же вязкости воздуха на такие маленькие
объекты, как капли, было изучено куда меньше. С учетом этого для уверенности в
результатах Милликен должен был провести дополнительные эксперименты, которые
позволили бы ему усовершенствовать саму процедуру измерения. Эти дополнительные
измерения как раз и не были включены в статью, притом что они, похоже, подтверждали
теорию — Гудстейн приводит слова Милликена об одном из таких исключенных измерений:
«Совершенно ясно, что это лучшее из того, что я когда-либо получал!!!»36.

Выяснилось также, что были и другие причины для отказа от некоторых измерений.
Некоторые капли оказались слишком маленькими, поэтому были сильно подвержены
броуновскому движению; другие — слишком большими, поэтому они падали чересчур
быстро и их измерения могли быть неточными. Милликен просто доверился своему чутью и
не стал учитывать такие измерения. Мы уже говорили о том, что подобные решения рано
или поздно принимает каждый исследователь. Если кто-то толкнет лабораторный стол во
время проведения чувствительного измерения, вы, вероятно, исключите такой результат. То
же самое касается, например, попадания в приготовленный препарат непредусмотренных
условиями эксперимента веществ. Как и в любых аспектах жизни, между светом и тьмой
существует множество оттенков серого.
Кроме перечисленных Бэббиджем розыгрышей, подделок, приукрашиваний и фабрикаций
есть и другие виды научных проступков. Например, плагиат, который скрывает истинное
авторство с целью выдать чужую работу за свою, и превращает источник в темные данные.
Иногда он принимает форму дословного копирования текста или даже простого изменения
названия, имени автора статьи и повторной ее отправки на публикацию! Для выявления
подобных вещей были разработаны программные средства, которые сопоставляют
представленные материалы с уже опубликованными, поэтому сейчас прямое копирование
чужих работ стало более рискованной стратегией, чем в прошлом.
Очевидно, что репутация научной организации может пострадать в результате раскрытия
таких проступков. Это означает, что организация может попытаться их приуменьшить или
даже скрыть. Но сокрытие того, что рано или поздно становится достоянием
общественности, может быть еще более разрушительным. Обычно, при возникновении
 114

подобных ситуаций, научные организации сами создают независимые рабочие группы,

которым поручают расследование. Мне доводилось работать в нескольких таких группах.
Отзыв публикаций
Мы видели, что самокоррекция в науке осуществляется путем множественного повторения
исследований и сопоставления полученных данных с теорией. Но существуют и другие
механизмы. Если в опубликованной статье обнаружена ошибка, авторы и редакторы журнала
могут отозвать ее, признав, что она не соответствует заявленному в ней. Это необязательно
означает, что статья ошибочна — возможно, в ней просто некорректно изложены выводы, но
та же судьба ожидает статью, в которой обнаружено мошенничество или искажение фактов.

Недавнее исследование Р. Гранта Стина и его коллег, проведенное на основе базы данных
публикаций в области биологических и медицинских наук PubMed, показало, что частота
отзывов «резко выросла в последние годы», а также (и это кажется особенно тревожным),
что «с 1975 г. произошло предполагаемое 10-кратное увеличение случаев отзыва по причине
научного мошенничества»37. Но давайте посмотрим на это серьезное обвинение в
перспективе. В последние десятилетия количество журнальных статей, проиндексированных
PubMed, значительно увеличилось. С 1973 по 2011 г. в базу данных было внесено 21,2 млн
журнальных статей, из которых 890 были отозваны за мошенничество. Это всего одна из 23
799 опубликованных статей, что выглядит уже не так пугающе. Стин и соавторы отмечают,
что «с 1973 по 2011 г. включительно увеличение темпа появления новых публикаций было
больше… чем увеличение частоты отзыва работ за мошенничество… или ошибку», но при
этом добавляют, что на протяжении указанного времени отмечались периоды, когда частота
отзыва заметно возрастала. Эту проблему осложняет то, что в обязательном порядке
проводятся ретроспективные отзывы, когда редакторы пересматривают и отзывают статьи,
опубликованные довольно давно. Читателей, интересующихся отозванными статьями и
причинами этого явления, отсылаю на сайт http://retractionwatch.com. Но нужно понимать,
что отзывы, скорее всего, представляют собой лишь верхушку айсберга некачественных
научных публикаций. Несомненно, есть масса других исследований, которые следовало бы
отозвать, но их недостоверность до сих пор не обнаружена.
Кстати, из этого могут извлечь урок будущие мошенники. (По вполне понятным причинам я
сомневался, стоит ли обращать на это внимание, но решил, что будет честнее дать общую
картину и в духе этой книги не скрывать информацию.) По определению, малоизвестные
журналы попадают на глаза меньшему числу исследователей, и, поскольку вероятность
обнаружения мошенничества тем меньше, чем меньше аудитория, шансов на обнаружение
нечестных статей в малоизвестных журналах естественно меньше. Конечно, это может
повысить число публикаций нечистых на руку исследователей, однако не окажет влияния на
их индекс цитируемости, который показывает степень влияния ученого на научный процесс.
В главе 3 мы говорили о резком увеличении числа случаев диагностирования аутизма в
Соединенных Штатах после 2000 г., что, по крайней мере частично, связано с повышением
осведомленности населения об этом медицинском состоянии. Аналогичное явление может
объяснить и увеличение числа отзывов научных работ: возможно, отчасти это связано с
повышением осведомленности, а значит, бдительности редакторов, рецензентов и читателей.
То же самое, вероятно, относится и к научному мошенничеству в целом, возросший уровень
которого может быть обусловлен тем простым фактом, что люди стали более внимательны к
таким вещам. В последнее время целый ряд громких дел в сфере научного мошенничества
привлек внимание СМИ, и поэтому есть впечатление, что эта тема на слуху38.
Источник и его достоверность: кто вам такое сказал?
За последние пару лет в новостях появился особый жанр — так называемые фейк-ньюс,
которые представляют собой темные данные (DD-тип 14: фальшивые и синтетические
 115

данные). «Википедия» определяет фейк-ньюс как «тип желтой журналистики или

пропаганды, который состоит из преднамеренной дезинформации или обмана». «Желтая
журналистика» — термин, придуманный в конце XIX в. во время газетных войн между
медиамагнатами Уильямом Рэндольфом Херстом и Джозефом Пулитцером, который
означает публикацию преувеличенных и сенсационных историй. Своим названием этот
термин обязан «желтому малышу» — комическому персонажу в желтой рубахе, который
впервые появился в пулитцеровской газете New World. Херст ответил тем, что запустил
такого же «желтого малыша» гулять по страницам своего издания New York Journal.
Фейк-ньюс, как правило, оперируют словами, а не цифрами, но тем не менее они могут
классифицироваться как темные данные — вы думаете, что знаете нечто, но это не так. И в
той степени, в которой обман совершается умышленно, он является своего рода
мошенничеством.
Проблема отделения зерен от плевел, то есть правды от лжи, стояла перед человечеством с
незапамятных времен. И до сих пор у нее нет однозначного решения. Но в области данных
существует одна весьма полезная стратегия — вы должны настаивать на том, чтобы вас
информировали, откуда поступают данные, кто их собирал или кто сообщил о них. Как я
написал в своей статье на эту тему, когда вы получаете данные со стороны, задайте простой
вопрос: «Кто вам такое сказал?»39 Всегда настаивайте на том, чтобы вам раскрывали
происхождение данных. Если вы не получаете ответа на свой вопрос, делайте выводы о
вероятной достоверности информации (кроме случаев, когда существует риск для источника
информации). На практике это означает, что все газеты и сайты, все журналисты и политики
должны указывать, откуда они получили свою информацию. Это позволит в любой момент
проверить их слова — необязательно делать это, важна сама возможность. Хотя такая
стратегия не решает всех проблем с достоверностью данных и не сможет помешать
сознательному отбору информации в поддержку своей позиции, в ряде случаев она будет
полезна.

Частичное решение проблем темных данных кроется в понятии «прозрачность» — по

крайней мере решение таких проблем, которые возникают в результате мошенничества и
обмана. Идея состоит в том, что скрыть реально происходящее намного сложнее, если
информация о нем будет опубликована. Люди видят своими глазами, что происходит, и
мошенничество становится затруднительным. Это свет, который разгоняет мрак,
окутывающий темные данные. Западные демократии придают большое значение такой
открытости на разных уровнях государственного управления — даже правительствам
рекомендуется публиковать подробности своих сделок. Кодекс прозрачности местного
самоуправления Великобритании гласит: «Прозрачность — это основа подотчетности на
местном уровне и ключ к получению людьми инструментов и информации, необходимых
для того, чтобы они могли играть более важную роль в обществе. Доступность данных также
способна открыть новые рынки для местного бизнеса, волонтеров и общественных
организаций, социальных предприятий по оказанию услуг и управлению государственными
активами… Правительство считает, что все данные, находящиеся в распоряжении и под
управлением местных властей, должны быть доступны для жителей, если они не требуют
конфиденциальности»40. Далее в документе говорится: «Этот кодекс гарантирует, что
местные жители отныне могут получать доступ к данным о том… как тратятся деньги
местных бюджетов… как используются активы… как принимаются решения по вопросам,
значимым для местного населения». Например, сведения о расходных статьях управы района
Теймсайд в Большом Манчестере, превышающих £500, каждый квартал становятся
общедоступными41. Эти сведения включают в себя данные о поставщиках, названия
отделов, описания товаров или услуг, суммы, даты и пр.
Однако на уровне персональных данных тенденция развивается в обратном направлении — в
сторону защиты конфиденциальности или, с точки зрения этой книги, к затемнению
 116

отдельных данных. В русле этой тенденции 25 мая 2018 г. вступил в силу Общий регламент
ЕС по защите данных (GDPR), упомянутый в главе 2. Он налагает обязательства на
организации, которые хранят и используют персональные данные, и дает людям более
широкие права на свои данные и способы их использования. Персональные данные — это
данные, относящиеся к живому человеку, по которым он может быть идентифицирован.
GDPR требует, чтобы организации объясняли, с какой целью они собирают и используют
данные, и делали это только с однозначного и свободного согласия (или предоставляя
особые обоснования, такие как судебное требование или спасение чьей-то жизни). Люди
имеют право доступа к своим данным и право требования их исправления, удаления или
передачи другому оператору. Стоит также отметить, что такого рода юридические
требования создают значительные бюрократические препоны для предприятий, которые
обрабатывают большие объемы персональных данных.
Обратите внимание, что я использовал слово «прозрачность» в том смысле, в котором оно
обычно используется, когда люди говорят о прозрачности данных, — то есть обозначая
возможность доступа. Но сам феномен прозрачности может быть интерпретирован и
по-другому — как нечто прозрачное, что позволяет видеть сквозь себя и что, возможно, вы
даже не замечаете. Окна и линзы очков тоже прозрачны. И неприятный факт заключается в
том, что многие из наиболее эффективных мошенничеств и афер основаны именно на такой
интерпретации прозрачности, когда все происходит незаметно для вас и выглядит
достоверно, но ровно до тех пор, пока вы вдруг не замечаете какие-то несоответствия. В этом
смысле «прозрачность» имеет сходство с «темнотой», во всяком случае в том, что касается
данных.

В этой главе мы говорили о том, как распознать проблему темных данных и, возможно,
решить ее, в частности, в контексте научных исследований. Мы рассмотрели идею
сопоставления теории с данными, ошибки, допускаемые из-за их недостатка, мошенническое
использование данных, фальшивые данные, выбор экстремальных значений в наборе,
проблему направленного поиска аномалий и предположение, что «большинство научных
открытий ошибочно». Мы также познакомились с принципом проверки достоверности
источника, заключенном в простом вопросе: «Кто вам такое сказал?»

Первая часть книги была посвящена способам, которыми темные данные могут создавать
проблемы. Во второй части мы рассмотрим методы обнаружения темных данных, их учета и
узнаем то, как они могут быть использованы.

Освещение и использование темных данных

 117

Глава 8
Принцип работы с темными данными
Проливаем свет
Надежда!
Мы убедились, что темные данные могут возникать по многим причинам. Даже если мы
допускаем возможность ошибочности наших данных, то можем просто не осознавать, что
видим далеко не все. Мы также убедились, что подобное неведение чревато очень
серьезными последствиями: от финансовых крахов до гибели людей. Картина не самая
радужная.

Так что же делать? В этой главе рассматриваются способы, с помощью которых мы можем
заглянуть в тень и понять, что в ней скрыто, а также методы смягчения проблем, даже для
тех случаев, когда нет возможности точно определить, что именно пошло не так. Далее мы
познакомимся с идеями, инструментами и стратегиями, которые были разработаны
специально, чтобы помочь нам получить правильные ответы, даже когда вокруг туман
неопределенности. Основная часть главы посвящена ситуациям с отсутствием данных
(например, DD-тип 1: данные, о которых мы знаем, что они отсутствуют, DD-тип 2: данные,
о которых мы не знаем, что они отсутствуют, DD-тип 3: выборочные факты, DD-тип 4:
самоотбор), а в конце мы кратко обсудим данные, которые можно наблюдать, но которые все
равно могут вводить нас в заблуждение (например, DD-тип 10: ошибки измерения и
неопределенность, DD-тип 9: обобщение данных, DD-тип 7: данные, меняющиеся со
временем). Независимо от причины возникновения проблемы принципиальным условием ее
решения является бдительность: осознание того, что именно может пойти не так. Это
особенно актуально для ситуаций, когда сами данные не могут вам подсказать, что
произошло нечто неблагоприятное (например, DD-тип 15: экстраполяция за пределы ваших
данных, DD-тип 12: информационная асимметрия, DD-тип 8: неверно определяемые
данные). Надеюсь, что множество примеров и список DD-типов, приведенный в этой книге,
помогут вам сохранять это состояние бдительности, поскольку теперь вы знаете как
минимум некоторые вещи, за которыми нужен глаз да глаз.
Но, прежде чем мы углубимся в детали, необходимо подчеркнуть один крайне важный,
фундаментальный момент — появление темных данных указывает на небезупречность.
Понятно, что это относится к тем случаям, когда данные оказываются ошибочными, но это
применимо и к ситуациям с недостающими данными: само слово «недостающие» говорит о
том, что вы надеялись получить больше данных, но что-то пошло не так. Важно понимать,
что, хотя методы, которые мы разберем дальше, и помогают смягчить проблемы,
возникающие из-за неправильных и неполных данных, лучше всего сразу постараться, чтобы
данные были правильными и полными. Иначе говоря, необходимо сделать все возможное,
как при разработке стратегии сбора данных, так и в процессе их фактического сбора, чтобы
избежать ошибок и неполноты.
Легко сказать. А что, если это просто невозможно?
Связываем наблюдаемые и недостающие данные
Если наша стратегия сбора данных не принесла успеха и их набор оказался неполным, то
ключевым фактором в борьбе с темными данными становится понимание того, почему эти
данные отсутствуют. В частности, нам необходимо изучить взаимосвязь между имеющимися
данными и отсутствием каких-либо элементов. Если повезет, это даст некоторое
представление о том, какие значения могли бы иметь недостающие элементы, что, в свою
очередь, позволит компенсировать отсутствующие данные.
 118

В качестве отправной точки для такого подхода полезно использовать классификацию,

предложенную американским статистиком Дональдом Рубином в 1970-х гг.1 Она различает
три типа взаимосвязей между наблюдаемыми и недостающими данными. Начнем с примера.

Индекс массы тела, или ИМТ, является стандартным показателем массы тканей
человеческого организма. Он используется для классификации людей по следующим
категориям: «недостаточный вес», «нормальный вес», «избыточный вес» и «ожирение» — и
определяется как масса тела человека в килограммах, деленная на квадрат его роста в
метрах. Человек попадает в категорию «избыточный вес», если его ИМТ равен или больше
25, а если это значение равно или превышает 30 — то в категорию «ожирение». Данные
свидетельствуют о том, что по сравнению с людьми с нормальным весом люди с ожирением
имеют повышенный риск развития диабета 2-го типа, ишемической болезни сердца,
инсульта, остеоартрита, некоторых форм рака, депрессии и множества других болезней. По
этой причине и существует значительный интерес к диетам для похудения.
При изучении одной такой диеты наблюдения проводились с недельными интервалами в
течение шестимесячного периода, чтобы увидеть, улучшилась за это время ситуация и
насколько. Наблюдения включали взвешивания, измерения толщины кожных складок и
расчет ИМТ, но мы сосредоточимся на последнем показателе.
К сожалению, некоторые из участников вышли из исследования в течение этих шести
месяцев, поэтому для них нет окончательного результата. Вопрос в том, можем ли мы
игнорировать эти темные данные и просто анализировать те ряды, где есть как начальные,
так и конечные значения? В главе 2 мы рассматривали проблемы, которые влечет за собой
выпадение участников из исследования, и, учитывая, что вы дочитали книгу до этого места,
ваш ответ, скорее всего, будет отрицательным. Мы не можем просто игнорировать
выбывание участников и вот почему.
Некоторые из тех, кто сидел на диете, выпали из исследования, потому что не смогли
придерживаться разработанной программы питания — им было стыдно и они не могли
вернуться. Другие, особенно те, у кого превышение нормы не было чрезмерным,
обнаружили, что худеют слишком медленно, начали терять мотивацию и тоже выбыли.
Третьи покинули исследование по причинам, не связанным с похудением, — кто-то
переехал, сменив работу, а кто-то просто был слишком занят, чтобы посещать клинику, где
проводились измерения.
Для первой из этих трех категорий существует четкая связь между вероятностью выпадения
и ИМТ, который был бы зарегистрирован, если бы они остались в исследовании. То, что они
не придерживались программы питания, означало, что эти люди как минимум худели
намного медленнее, чем следовало, а возможно, даже набирали вес. Рубин назвал подобные
ситуации, в которых вероятность отсутствия данных связана с их значениями, которые мы
имели бы, если бы вели наблюдение, «неигнорируемо потерянными» наблюдениями (иногда
их еще называют «содержательно потерянными»). Очевидно, что с такой ситуацией
непросто справиться, потому что темные данные будут отличаться от наблюдаемых данных
тех, кто остался в исследовании.
Для второго типа выбывших, тех, кто не имел заметного избыточного веса и потерял
мотивацию, существовала связь между вероятностью их выпадения и тем, что было
измерено — начальным ИМТ. Хотя мы не знаем окончательное значение ИМТ этих людей,
ясно, что их выпадение связано с тем, что мы уже измерили. Рубин назвал это «случайно
потерянными» наблюдениями. Суть подобных ситуаций в том, что мы располагаем
признаками того, что дела идут или могут пойти не так.
 119

Наконец, третья категория состоит из людей, у которых причина выбывания не имела

отношения к исследованию. Для таких людей измерения (ни сделанные до их ухода, ни те,
которые могли бы быть проведены, останься они в группе) не имеют никакого отношения к
их выпадению. Рубин назвал эту категорию «абсолютно случайно потерянными»
наблюдениями.

Для людей, далеких от статистики, терминологию Рубина, вероятно, будет сложно

запомнить, поэтому я переименую эти три типа механизмов появления недостающих
данных.

 Я обозначу неигнорируемо потерянные наблюдения как зависимые от невидимых

данных, или UDD (Unseen Data Dependent) для краткости. Вероятность отсутствия
наблюдений в этом случае зависит от значений, которые еще неизвестны. В нашем
примере вероятность ненаблюдения окончательного значения ИМТ зависит от того,
насколько оно высокое: люди с более высокими значениями с меньшей вероятностью
захотят его измерить.
 Я обозначу случайно потерянные наблюдения как зависимые от видимых данных, или
SDD (Seen Data Dependent) для краткости. Здесь вероятность невозможности
наблюдения зависит от данных, которые уже наблюдались. В нашем примере
вероятность того, что итоговое значение ИМТ не будет наблюдаться для этой
категории, зависит от исходного значения ИМТ, при этом люди с низкими
значениями могут выпасть с большей вероятностью.
 Я обозначу абсолютно случайно потерянные наблюдения как независящие от данных,
или NDD (Not Data Dependent) для краткости. В этом случае вероятность отсутствия
наблюдения никак не зависит от данных, имеющихся или нет. В нашем примере
вероятность отсутствия итогового значения ИМТ не связана с другими значениями —
ни с теми, которые были нами уже получены, ни с теми, которые мы могли бы
получить, если бы наблюдения состоялись.

Заслуга Рубина, выделившего эти категории, становится очевидной, когда мы начинаем

задумываться о том, как скорректировать недостающие данные. Последний тип механизма
появления недостающих данных — самый простой, поэтому начнем с него.

В идеальном мире измерены были бы все — и в начале шестимесячного периода, и в конце,

но наш мир не идеален. Поэтому и возникает вопрос, на который нам нужно ответить: как
отсутствие результатов тех, кто выпал из исследования, исказит его выводы? Выпадения в
группе NDD произошли по причинам, не связанным с исследованием. Нет никаких
оснований считать, что эти выпавшие данные могли иметь нечто общее, отличающее их от
данных тех, кто остался в группе. По сути, это как если бы мы с самого начала просто взяли
меньшую выборку. В среднем эти неизмеренные значения не повлияют на результаты
анализа, поэтому мы можем смело их игнорировать. NDD — самая простая ситуация и,
вероятно, самая редкая. В этом случае темные данные вообще не имеют значения.
Но если бы все было так просто!
Второй класс Рубина — SDD — уже более коварный. Отказ этих людей от участия в
исследовании зависит от начального значения их ИМТ, уже измеренного и вполне видимого.
В частности, те, у кого это начальное значение низкое, чаще выпадают и не доходят до этапа
регистрации финального значения, тогда как те, у кого начальный ИМТ более высокий,
меньше склонны к выбыванию.
Здесь важно отметить, что такой тип отсутствия данных не искажает наблюдаемую
взаимосвязь между начальным и конечным значениями ИМТ. Для любого известного
 120

начального значения может не быть значения конечного, потому что некоторые участники
покидают исследование, но те, которые остаются в нем, будут надлежащим образом
представлять распределение окончательных значений ИМТ для людей с похожим начальным
значением. Другими словами, мы можем оценить взаимосвязь между начальными и
конечными значениями, используя только имеющиеся данные: это не исказит нашего
представления о соотношении. Затем мы можем использовать это расчетное соотношение,
чтобы, в свою очередь, дать оценки конечных значений ИМТ для любого начального
значения.
Наконец, у нас есть первый класс Рубина — случаи UDD. Эти случаи по-настоящему
сложные. Данные отсутствуют из-за значений ИМТ, которые мы могли бы узнать, но
которых, конечно, не знаем. Они не выпали случайным образом, не стали следствием других
наблюдаемых значений. Единственный способ оценить такие данные — получить
информацию откуда-то еще или предположить самому, почему именно эти значения
отсутствуют.

Вот еще один пример.

Специалист по социальной статистике Кэти Марш описала набор данных, собранных в 1980
г. путем случайной выборки, в которую вошли 200 британских супружеских пар2. Мы
используем эту выборку для оценки среднего возраста замужних женщин в Великобритании
в то время. Беглый взгляд на данные Кэти Марш показывает, что имеются недостающие
значения, а возраст некоторых жен не зафиксирован. Вопрос заключается в том, влияют ли
эти темные данные на подход к анализу и делают ли они недействительными выводы, к
которым мы можем прийти? Как и в примере с ИМТ, ответ зависит от того, по какой
причине данные отсутствуют.
Ненаблюдаемые значения возраста жен могут принадлежать категории NDD и не быть
связаны с другими значениями данных в исследовании, известными и неизвестными.
Ненаблюдаемые значения могут также принадлежать категории SDD и зависеть от других
значений, которые мы уже имеем. Предположим для упрощения, что решение жены о том,
следует ли ей называть свой возраст, зависит исключительно от возраста ее мужа, а от
значений прочих переменных не зависит. Так, жены, мужья которых старше их самих, могут
вдвое реже сообщать свой возраст, чем жены, чьи мужья младше. Предположим также, что
мы всегда знаем возраст мужа.

Наконец, ненаблюдаемые значения могут быть из категории UDD, и отсутствие возраста жен
будет зависеть от самого этого возраста. Это вполне резонно: еще не так давно в западном
мире считалось неприличным спрашивать даму о ее возрасте, а если вопрос все же задавался,
то отвечали на него крайне неохотно. Вот отрывок из рассказа «Сват» британского писателя
Саки, опубликованного в книге «Хроники Кловиса» (The Chronicles of Clovis) в 1911 г.[10]:
«Кризис наступил, — ответил Кловис, — когда она внезапно двинула теорию, что негоже ей
по ночам сидеть дома одной, и потребовала, чтобы к часу я всегда возвращался. Только
представь себе! А ведь мне восемнадцать, по крайней мере было в мой последний день
рождения».

«В твои последние два дня рождения, если уж быть математически точным».

«Ну, это не моя вина. Я не собираюсь становиться 19-летним, поскольку моей матери
должно быть 37 и не больше. Возраст все-таки влияет на внешний вид».
Эта условность может объяснить недостающие значения: возможно, пожилые женщины
были менее склонны отвечать на вопрос о возрасте.
 121

Наши действия в первом случае просты, как и сама категория NDD. Поскольку недостающие
наблюдения не связаны с какими-либо фактическими значениями данных, мы можем
игнорировать любые пары, для которых отсутствует возраст жены, и оценить средний
возраст жен в Великобритании по другим имеющимся парам. Это означает, что выборка
станет несколько меньше, чем те 200 пар, на которые мы рассчитывали, но само по себе это
не вносит каких-либо смещений или системных искажений в оценку. Конечно, если будет
отсутствовать слишком много значений и размер выборки значительно уменьшится, то
повысится недостоверность наших выводов, но это уже другой вопрос.
А что насчет категории SDD? Вероятность того, что жена скажет, сколько ей лет, зависит от
возраста ее мужа, поэтому мы можем получить искаженную выборку возрастов жен.
Например, мы можем обнаружить, что значения возрастов пожилых жен, которые, как
правило, состоят в браке с мужьями старше их, будут представлены недостаточно. Если
игнорировать такую вероятность, то мы занизим средний возраст жен.
Ситуация сама показывает нам, как справиться с проблемой. Хотя для мужей любого
конкретного возраста не все жены могут сказать, сколько им лет, те, кто сообщает это,
являются просто случайной выборкой всех жен для мужей этого возраста (напомню, мы
предположили, что их желание отвечать не зависит ни от чего другого, кроме как от возраста
мужа). Это означает, что средний возраст тех жен, которые сообщили его, можно
использовать как оценку среднего возраста всех жен для мужей этого возраста. Кроме того,
это означает, что мы можем изучать соотношения возраста мужа и возраста жены, используя
только те возрастные пары, которые у нас есть. И после того, как мы оценим эти
соотношения, можно использовать их для получения ожидаемого возраста всех жен для
мужей конкретных возрастов. Теперь не составит труда оценить общий средний возраст всех
жен: мы просто вычисляем среднее значение, используя возраст тех, кто ответил на вопрос, и
ожидаемый возраст тех, кто этого не сделал.

Наконец, данные могут относиться к категории UDD. Если отсутствие возраста жены
зависит от самого этого возраста (например, если его не указали те из жен, кто старше), то
мы снова получаем искаженную выборку возрастов. Но теперь уже нельзя игнорировать
неполные пары, как мы делали это в случаях NDD и SDD. Для мужей всех возрастов жены,
которые не сообщили свой возраст, оказываются, как правило, старше тех, кто его сообщил,
но у нас нет никакой информации о том кто из них кто. Любой анализ без учета такого
искажения может содержать серьезные ошибки. В случае с категорией UDD нам нужно
искать решение в другом месте.
Первоначально большинство исследований, посвященных тому, как справляться с
проблемой недостающих данных, проводились экономистами. Это вполне ожидаемо:
экономика является особенно сложной в данном отношении областью, поскольку люди в
экономике не просто пассивные объекты для измерения; они реагируют на само проведение
измерений и, возможно, даже отказываются от них. В частности, они могут отказываться
отвечать на вопросы в зависимости от ответов, которые предстоит дать.
Важность темных данных в экономике иллюстрируется тем фактом, что в 2000 г.
американский экономист Джеймс Хекман был удостоен Нобелевской премии «за разработку
теории и методов анализа селективных выборок», которой он занимался в 1970-х гг. Понятие
«селективные выборки» — это еще один способ показать, что у вас не хватает данных, а есть
только отдельные выборки, сделанные из имеющихся значений. Подход Хекмана известен
как «двухшаговый метод». Он заключается в том, что при обработке данных SDD сначала
создается модель, в которой намеренно отсутствуют некоторые данные, а затем она
используется для корректировки общей модели — аналогично тому, как это было в примере
с Кэти Марш. Самого Хекмана интересовали такие вещи, как продолжительность рабочего
дня и рыночная заработная плата. Пример, который он использовал, стал уже классическим:
 122

значение заработной платы, которую получает женщина, связанное с другими переменными,

но отсутствующее, если женщина увольняется (все то же самое относится и к мужчинам!).
Мы уже сталкивались с экономическими примерами, особенно из категории SDD, когда в
главе 2 рассматривали финансовые показатели. Например, индекс Dow Jones Industrial
Average представляет собой сумму цен акций 30 крупнейших публичных компаний США,
разделенную на поправочный коэффициент Доу. Но компании приходят и уходят — состав
индекса Dow Jones менялся более 50 раз с момента его запуска в 1896 г. В частности,
компании могут быть исключены из индекса, если начинают испытывать финансовые
трудности или в силу изменений в экономике. Это означает, что индекс отражает результаты
только тех компаний, которые достаточно успешны. Но признаки ухудшения результатов
или экономических изменений должны предшествовать решению об исключении компании
из индекса — это данные категории SDD.

Аналогичным образом из-за ухудшившихся результатов компании исключаются из индекса

S&P 500 — средневзвешенного индекса акций, куда входят 500 компаний с высокой
рыночной капитализацией. Решение о том, какие компании исключить, должно приниматься
на основе данных, доступных до исключения (при условии, что это не ретроспективные
данные!). Поэтому и здесь данные, описывающие исключенные компании, отсутствуют в
расчете индекса и могут быть отнесены к категории SDD.
В качестве последнего примера с финансовыми индексами давайте вспомним, как в главе 2
мы обнаружили, что ошибка выжившего затронула не только индексы Dow Jones и S&P 500,
но и индексы хедж-фондов. Например, Barclay Hedge Fund Index основан на среднем
арифметическом чистой доходности хедж-фондов, составляющих базу данных Barclay. Но
фонды, показатели которых ухудшились до такой степени, что они были закрыты, туда не
включаются. Однако, повторюсь, ухудшение показателей должно стать очевидным до того,
как фонд будет закрыт, поэтому эти данные также представляют собой категорию SDD.
Определение механизма появления недостающих данных
Классификация по категориям NDD, SDD, UDD очень полезна, поскольку для разных
механизмов возникновения недостающих данных требуются разные типы решений. Это
означает, что первым делом необходимо определить, к какой категории относится
конкретная проблема с отсутствием данных, — если мы ошибемся на этом этапе, наши
выводы могут быть неверными. В примере с определением возраста жен мы могли бы
сделать неверный вывод, если бы сочли, что вероятность отсутствия значения возраста не
зависит ни от возраста самой жены, ни от возраста ее мужа. Аналогичным образом если бы
мы полагали, что недостающие данные принадлежат категории SDD, но при этом ошибочно
думали, что решение жены назвать свой возраст зависит исключительно от возраста ее мужа,
то вновь попали бы в западню неверных выводов. Это вполне естественно, ведь любой
анализ включает в себя предположения о том, как возникли данные, и если эти
предположения ошибочны, то и выводы, сделанные на их основе, будут такими же. Кроме
того, из этого следует, что нужно быть максимально уверенным в своих предположениях и
по возможности находить способы их проверки и подтверждения. Для этого существуют
различные стратегии, которые мы и рассмотрим далее.

Возможно, основной из таких стратегий является использование собственного опыта в той

области, которую описывают данные. Если вы, скажем, исследуете сферу, где люди
особенно чувствительны к сообщенным ими данным, то можете предположить, что
недостающие значения принадлежат категории UDD. Например, в исследовании,
касающемся употребления кокаина, недостающие данные с большей вероятностью будут из
категории UDD, чем в исследовании на тему использования общественного транспорта.
 123

В целом можно заключить, что другие исследования на ту же тему или исследования из

смежных областей способны пролить свет на причину отсутствия данных. Гарвардский
статистик Сяо-Ли Мэн элегантно использовал этот подход, чтобы получить количественную
оценку влияния недостающих данных на сделанные выводы3. Он разложил степень точности
оценки на части, одной из которых была корреляция между отсутствием значения и
величиной этого значения. Затем он показал, как в некоторых случаях эта корреляция может
быть получена из других источников данных, описывающих сходные проблемы.

Более активная стратегия выяснения причин появления недостающих данных — попытаться

собрать некоторые из них. Подробно мы рассмотрим этот метод в следующем разделе.
Иногда для этой цели могут использоваться статистические тесты. Например, мы могли бы
разделить мужей на две группы в зависимости от того, указали их жены свой возраст или
нет. Разница в моделях распределения возрастов мужей в этих двух группах позволит
предположить, что данные не входят в категорию NDD. Американский статистик Родерик
Литтл, один из ведущих экспертов в вопросе недостающих данных, разработал общий
статистический тест, чтобы определить по нескольким переменным, принадлежат ли такие
данные категории NDD4. Также есть статистические тесты, позволяющие увидеть, относятся
ли данные к категории SDD, но эти тесты чувствительны к предположениям, заложенным в
моделях. Это означает, что если ваша базовая модель интерпретации данных неверна, то и
выводы будут ошибочными. Опять же, удивляться тут нечему.

Мы убедились, что определение механизма появления недостающих данных, а также той

степени, в которой данные отсутствуют по причине своих возможных значений, важно для
предотвращения ложных результатов. В некоторых случаях бывает сразу понятно, какой
именно механизм задействован, но иногда одновременно действуют два или три механизма.
Три разных процесса не являются взаимоисключающими, и то, что некоторые из
недостающих данных относятся к категории NDD, не означает, что другие данные не могут
отсутствовать по причинам, свойственным категории UDD. Несмотря на это, если мы
сможем классифицировать отсутствующие значения, то тем самым встанем на путь
преодоления проблемы недостающих данных.
Вооружившись классификацией по трем категориям (UDD/SDD/NDD), мы можем
приступить к изучению практических методов работы с темными данными. В следующем
разделе мы начнем знакомство с ними с самых простых — и потому не всегда эффективных
— методов.
Работа с имеющимися данными
Определение механизма появления недостающих данных дает нам мощное средство
решения проблемы. Но оно требует довольно глубокого понимания, поэтому часто
используются более простые методы, в том числе и широкодоступные в пакетах
статистических программ. К сожалению, «более простые» и «широкодоступные»
необязательно означает «эффективные». Давайте рассмотрим некоторые из этих методов и
то, как они соотносятся с классификацией UDD/SDD/NDD.
В табл. 6 показана небольшая выборка, иллюстрирующая данные, собранные на начальном
этапе исследования диет для похудения. Аббревиатура «Н/Д» означает, что значения ячеек
недоступны, поскольку не были зарегистрированы.
Анализ полных наблюдений
Во-первых, мы можем использовать только заполненные без пропусков строки таблицы, то
есть такие, которые содержат наблюдения для всех характеристик. Это имеет смысл, если мы
полагаем, что темные данные принадлежат категории NDD, и по понятным причинам такой
метод часто называют анализом полных наблюдений. Однако если вы внимательно
 124

посмотрите на табл. 6, то сразу заметите в чем состоит проблема: даже если темные данные
действительно относятся к категории NDD, во всех строках таблицы отсутствует хотя бы
одно значение. Если исключить из анализа неполные строки, то у нас вообще не останется
данных!

Конечно, это исключительный и, надо признать, искусственный пример, но даже в менее

экстремальных случаях такой подход может означать резкое уменьшение размера выборки.
Если со спокойной совестью можно делать выводы на основе 1000 наблюдений, то 20
наблюдений из этой тысячи вряд ли можно считать основанием для тех же выводов. Даже
если бы данные принадлежали категории NDD и 20 полных наблюдений должным образом
представляли генеральную совокупность, дисперсия, возникающая из-за столь малого
размера выборки, могла бы заставить нас сомневаться в точности любых выводов.
И, конечно, надо отметить, что если темные данные не принадлежали категории NDD, то
даже небольшое уменьшение размера выборки может означать, что мы остались с
искаженным набором данных на руках.
Использование всех доступных данных
Вторая столь же нехитрая стратегия — использовать все имеющиеся у нас данные.
Например, у нас есть семь строк, содержащих значения возраста, поэтому можно вычислить
средний возраст, используя только эти семь значений. Это приемлемо, если недостающие
значения возраста не имеют общих признаков, отличающих их от имеющихся данных, то
есть если они относятся к категории NDD. Но, если недостающие значения отличаются от
собранных, мы можем сделать неправильный вывод. Например, если в табл. 6 эти значения
будут указывать на больший возраст, то такой подход приведет к занижению среднего
возраста.
Есть еще одно осложнение, которым чреват этот метод. В разных строках отсутствуют
значения для разных признаков: где-то это возраст, где-то — рост, масса тела и пол. Это
говорит о том, что, используя для анализа все доступные данные, мы получим оценки
среднего возраста, роста и тела, основанные на данных разных людей. Если предположить,
что, как правило, отсутствуют значения массы тела для тех, кто страдает ее избытком, а
значения роста — для низкорослых, то такой подход может создать неправильное
впечатление, что население состоит в основном из высоких и тощих людей. Более того, он
даже может привести к противоречиям. Например, при изучении связи между парами
переменных можно обнаружить, что корреляция возраст / масса тела и корреляция
 125

возраст/рост подразумевают корреляцию масса тела/рост, противоречащую прямому

вычислению на основе данных о массе тела и росте. Это вызвало бы как минимум
недоумение.
Модели недостающих значений
Третья стратегия — группировать записи в соответствии с недостающими характеристиками.
Например, мы могли бы проанализировать тех, у кого отсутствуют значения массы тела,
отдельно от тех, у кого эти значения есть. В табл. 6 присутствуют пять моделей
недостающих значений: случаи, когда отсутствует только масса тела, только возраст,
одновременно масса тела и возраст, только пол и только рост. Очевидно, когда размер
выборки ограничен 12 наблюдениями, имеется не так много записей, содержащих каждую из
моделей (3, 2, 1, 2 и 2 соответственно), но с более крупными выборками мы можем
анализировать случаи по каждой модели отдельно. Такой подход применим к любому из
трех механизмов появления недостающих данных, но его минус в том, что довольно сложно
из выводов, сделанных таким образом, собрать какую-то полезную сводку. Более того, в
больших наборах данных, где много измеряемых переменных, может быть огромное число
моделей недостающих значений!
Применять этот метод лучше всего в тех случаях, когда значения отсутствуют потому, что их
попросту не существует. На примере опроса из главы 2 можно сказать, что это имело бы
смысл, если бы значение дохода супруга отсутствовало по причине отсутствия самого
супруга. В этом случае мы будем иметь дело с двумя типами респондентов: теми, у которых
был супруг (и имелось значение), и теми, у кого супруга не было. Однако все это становится
бесполезным, если значение дохода супруга отсутствует потому, что кто-то отказался или
забыл его сообщить.

Этот пример также показывает важность использования разных кодов для разных категорий
недостающих значений. Аббревиатура «Н/Д» может скрывать под собой любые категории
темных данных, и тот факт, что эти данные просто неизвестны, никак не помогает нам
использовать их классификацию.
Настойчивость и золотая выборка
В предыдущих главах мы наблюдали несколько ситуаций, когда отсутствовали данные для
значительной части населения. Причины могли быть разными: люди отказывались отвечать
на вопросы; скрининг выявил, что, вероятно, они не страдают от исследуемой болезни;
процесс связывания данных плохо соответствовал используемым базам данных и т.д. Если
бы те, кто не предоставил данные, могли быть идентифицированы — например, потому что
они удовлетворяли определенным критериям или просто имелся список на основе структуры
выборки, показывающий, кто ответил, а кто нет, — тогда стало бы применимой простая
стратегия изучения всех (или некоторых) с недостающими данными. Если это сделать
хорошо, то проблема может быть решена, независимо от того, какой механизм
возникновения недостающих данных был задействован.
На самом деле эта стратегия широко используется при проведении опросов. Она
подразумевает согласованные усилия для установления связи с неответившими
респондентами. Если речь идет, скажем, о телефонном опросе, то на основании нескольких
повторных звонков респонденту можно моделировать взаимосвязь между его
характеристиками и числом этих попыток. Затем эту взаимосвязь можно использовать для
корректировки результатов, чтобы учесть тех, кого так и не удалось опросить.

Стратегия использования дополнительных данных может принимать очень разные облики.

Вот еще один пример, рассмотренный нами ранее.
 126

В главе 2 мы уже познакомились с темными данными в сфере банковского обслуживания

физических лиц, с которой мы сталкиваемся почти ежедневно. Вы сами убедились,
насколько сложно оказалось построить модели, включавшие бы всех потенциальных
заявителей на получение кредита, поскольку имеющиеся данные, как правило, представляли
собой искаженную выборку. Например, мы никогда не узнаем, каким был бы исход
(погашение/непогашение) для тех, кто подал заявку, но кому кредит предоставлен не был. В
розничном банковском обслуживании существует такое понятие, как «анализ отклоненных
заявок», которое описывает стратегии, позволяющие сделать выводы о том, какими были бы
исходы для этих людей. Такие стратегии противопоставляют «получивших отказ» и
«прокредитованных». (В сфере розничного кредитования терминология вообще не
отличается особым тактом, достаточно вспомнить «низкокачественных заявителей» или те
же «лимоны».) Анализ отклоненных заявок — частный случай более общей стратегии
борьбы с недостающими значениями, называемой вменением, которую мы обсудим позже в
этой главе.
Нам могут потребоваться выводы из этих ненаблюдаемых исходов по разным причинам.
Одна из них состоит в том, чтобы проверить, насколько хорошо работает наш метод отбора,
например, не отклоняет ли он кандидатов, которые не допустили бы дефолта. Другая
причина — улучшение моделей прогнозирования вероятных исходов для новых кандидатов.
В конце концов, если наши модели основаны лишь на той части населения, которой ранее
уже были предоставлены кредиты, то они могут оказаться ошибочными применительно ко
всей совокупности заявителей. Эта проблема была описана в главе 1.
Чтобы решить проблему неизвестных исходов для тех, кто не получил кредиты, в одном
банке, с которым я работал, было введено такое понятие как «золотая выборка». Это была
выборка людей, которые должны были получить отказ, поскольку не соответствовали
критериям банка для получения кредита. Предполагалось, что они несут высокие риски
неплатежей и могут обойтись банку очень дорого (отчего и были названы «золотые»), но тем
не менее банк одобрял небольшую случайную выборку из их числа ради той информации,
которую мог получить, предоставив кредит. Эта стратегия позволила банку
усовершенствовать модель выявления тех, кто, вероятно, допустит дефолт, и принимать
более верные решения, кому выдавать кредиты.
К сожалению, не всегда можно увеличить выборку, чтобы восполнить недостающие части
генеральной совокупности, но иногда мы можем получить представление о том, как должна
выглядеть общая структура распределения по аналогии (скажем, сопоставить распределение
по возрасту групп населения в похожих странах) или на основе теоретических аргументов
(например, структура распределения срока службы электрических лампочек, исходя из
физических принципов, на которых они работают). В таких ситуациях если мы знаем
критерии выбора, то можем использовать наблюдаемую часть распределения, чтобы
рассчитать общее распределение и, как следствие, его свойства, например, среднее значение.
Следующий раздел иллюстрирует эту важную мысль.
Выход за пределы данных: что, если ты умрешь первым?
Нас часто интересует, сколько времени пройдет, прежде чем произойдет то или иное
событие. Например, вам наверняка бывает любопытно, как долго вы будете трудиться на
нынешнем месте работы, сколько продлится чей-нибудь брак или как скоро двигатель
вашего автомобиля выйдет из строя. В хирургии бывает необходимо снизить артериальное
давление пациента с помощью гипотензивного препарата, но при этом врачи знают, что
после операции артериальное давление должно нормализоваться как можно скорее.
Следовательно, важно понимать, сколько времени займет операция и получится ли вернуть
артериальное давление к нормальному уровню сразу по ее завершении. В более общем
плане, что касается здравоохранения, нас могут интересовать такие вещи, как
 127

продолжительность жизни конкретного пациента, время, спустя которое болезнь может

возобновиться, или срок, после которого конкретный орган может перестать
функционировать.

Проблемы такого типа относятся к анализу выживания. Они имеют давнюю историю,
особенно в области медицины и в сфере страхования, где с ними работают актуарии, строя
таблицы продолжительности жизни определенных групп людей и анализируя
потенциальный срок службы производственных объектов.
Сложность оценки вероятного времени выживания иллюстрируется на примере пациентов с
раком простаты третьей стадии. Эта стадия означает, что имеются свидетельства
проникновения раковой опухоли в близлежащие ткани. Чтобы определить, какой из двух
методов лечения более эффективно продлевает жизнь, пациентов случайным образом
распределяют по двум группам, после чего сравнивают средние интервалы выживания в
каждой из них. Однако непременно будут пациенты, которые проживут еще довольно долго
— возможно, десятилетия. Это хорошая новость для них, но мы не можем ждать столько
времени, чтобы узнать, какой из методов лучше. Таким образом, исследование, скорее всего,
будет прекращено до того, как умрут все пациенты. Это означает, что мы не будем знать
интервалы выживания тех пациентов, которые остались живы после прекращения
исследования, — так появляются недостающие данные. Кроме того, пациенты, умершие в
ходе наблюдений, могут умереть по какой-то другой причине. Данные о том, как долго они
прожили бы до наступления смерти от рака, также отсутствуют. И, как вы уже можете
предположить, есть и третья категория темных данных, связанная с теми, кто выйдет из
исследования по причинам с ним не связанным.
Очевидно, что если просто проигнорировать пациентов, реальное время выживания которых
нам неизвестно, то мы попадем в ловушку ошибочных выводов. Например, предположим,
что один из методов лечения был эффективным настолько, что все, кроме пары пациентов,
выжили и продолжили жить после окончания исследования. В этом случае если бы мы
игнорировали всех, кроме двух умерших пациентов, то сильно бы недооценили
эффективность лечения.
Однако, хотя мы не будем знать продолжительность жизни пациентов, оставшихся в живых
после завершения исследования, а также тех, кто умер по другим причинам или добровольно
выбыл, нам будет известен тот момент, когда они перестали наблюдаться. Такие временные
интервалы называются «цензурированные», они показывают, что период времени между
моментом, когда пациенты вошли в исследование и когда они должны были умереть от рака
простаты, больше, чем период времени, в течение которого они находились под
наблюдением.
В 1958 г. в Journal of the American Statistical Association была опубликована интересная
статья, в которой Эдвард Каплан и Пол Мейер показали, как оценить вероятность выживания
людей за пределами временного интервала, то есть когда время выживания некоторых из них
будет больше, чем время наблюдения 5. Значимость этой статьи иллюстрируется в докладе
Георга Дворского, где, в частности, приводится тот факт, что статья Каплана–Мейера
занимает 11-е место в рейтинге наиболее цитируемых научных статей всех времен6.
Учитывая, что общее число научных статей превышает 50 млн можно сказать, что это
немалое достижение.

Иногда нам нужно выйти за рамки простой оценки вероятности выживания людей дольше
какого-то периода. Например, когда мы оцениваем средний интервал выживания.
Распределения интервалов выживания, как правило, имеют положительное смещение. Это
означает, что более длительные интервалы по сравнению со средним значением выживания
встречаются реже, чем более короткие, то есть может быть много коротких интервалов и
 128

лишь небольшая горстка длинных. Статистики описывают такое распределение как

«длинный хвост». Учитывая, что несколько наибольших значений при положительном
смещении распределения могут быть намного больше, чем основная масса значений, их
отсутствие в анализе способно сильно повлиять на оценку среднего значения. Представьте
себе, например, расчет среднедушевого дохода в Соединенных Штатах, исключив из него
Билла Гейтса и других миллиардеров. Результат получится намного ниже. Что касается
времени выживания, это может означать исключение тех пациентов, которые прожили
дольше всех, что, несомненно, существенно исказит любые выводы.
Так что же делать с этой проблемой?
О расширении выборки, на этот раз включающей выбывших из исследования до наступления
смерти от рака простаты, не может быть и речи. Мы не сможем, например, включить в
выборку тех, кто умер от других причин, чтобы увидеть, через какое время они умерли бы от
рака простаты (и снова контрфактуальность!).
Вместо этого нам приходится прибегать к другим методам моделирования распределения
тех, за кем мы не можем наблюдать. Обычно предполагают, что общее распределение
времени имеет уже известную нам форму. Это предположение может основываться на
прошлом опыте и наблюдениях за другими заболеваниями. Для придания наглядности
можно привести одно распространенное предположение, которое состоит в том, что
интервалы выживания имеют экспоненциальное распределение. Для такого типа
положительно смещенных распределений характерно множество маленьких значений и
несколько исключительно больших. Выбор конкретной модели этого типа может быть
сделан на основе времени наблюдения выживания, а также того факта, что цензурированные
интервалы должны быть больше наблюдаемых.
Хотя этот подход приемлем для многих случаев, мы не должны забывать, что в его основе
лежит предположение о соответствии экспоненциальному распределению. Поэтому, как и
всегда, если предположение сделано неверно, выводы будут искаженными.

Анализ выживания сочетает в себе интервалы выживания тех, чья смерть от изучаемой
причины наступила в процессе наблюдений, и очевидный факт, что интервалы выживания
остальных были дольше, чем этот процесс. Если бы мы могли оценить интервалы выживания
этих остальных, то смогли бы суммировать все интервалы — и наблюдаемые, и оценочные.
Это подводит нас к самому общему методу борьбы с недостающими данными — вменению.
Ему и посвящен следующий раздел.
Выход за пределы данных: вменение
Пытаясь найти решение проблемы недостающих данных, вполне естественно в какой-то
момент прийти к мысли, что можно взять да и заполнить пропуски некими заменителями.
Такая стратегия называется вменением. После того, как мы вменяем недостающие значения,
данные становятся полными и уже нет смысла беспокоиться о пустых ячейках — можно
проводить анализ любым удобным способом. Например, после того как в табл. 6 будут
вставлены значения отсутствующих возрастов, мы сможем легко вычислить средний возраст
всех 10 человек в выборке. Однако этот метод подозрительно напоминает выдумывание
данных, и, если мы не хотим быть обвиненными в мошенничестве, нужно тщательно
продумать, как именно это делать. Более того, одно дело, если ненаблюдаемые значения
принадлежат к категории NDD, и совсем другое, если они относятся к SDD или, что еще
хуже, к UDD. Если недостающие значения принадлежат категории SDD, мы можем связать
вмененные значения с теми или иными аспектами наблюдаемых данных. Но если
недостающие значения относятся к категории UDD, то имеющиеся данные не смогут
подсказать нам, какими должны быть вмененные значения, и непонятно, как в этом случае
избежать неверных результатов.
 129

Одна из причин того, что вменение недостающих значений зачастую упрощает анализ,
заключается в самой природе многих статистических методов — они основаны на балансе и
симметрии данных. Приведу пример. Однажды я консультировал производителя
пластиковых автозапчастей, изготовленных методом литья под давлением, который хотел
знать, какая комбинация трех факторов — температуры, давления и времени в пресс-форме
— будет оптимальной и позволит получить продукт наилучшего качества. Исследованию
подлежали два значения температуры, два значения давления и два — времени. (На самом
деле этих значений было больше, но здесь я для упрощения возьму по два на каждый фактор
и обозначу их как «высокое» и «низкое».) Когда для трех факторов существует по два
значения, то в общей сложности мы имеем восемь комбинаций: все три фактора на высоких
значениях; первые два на высоком, третий — на низком и т.д. Было выполнено несколько
производственных циклов в каждой из этих восьми комбинаций, и каждый
производственный цикл давал готовую деталь, качество которой можно было оценить. В
подобных экспериментах, если одинаковое количество деталей создается при каждой
комбинации трех факторов, то для получения результатов могут использоваться удобные
математические формулы. Но анализ становится сложнее, если в результате разных
комбинаций получено разное количество деталей. В частности, если изначально
экспериментальный дизайн был ориентирован на то, чтобы получить хорошо
сбалансированное число наблюдений, одинаковое для каждой комбинации факторов, но
некоторые значения выпали (например, по причине отключения электропитания, что
помешало осуществить ряд запусков в ходе производственного процесса), то данные
становятся несбалансированными. Это может значительно затянуть анализ и потребовать
сложных расчетов. Поэтому неудивительно, что идея вменения недостающих значений с
целью восстановления баланса данных выглядит очень привлекательно.
Вменение значений полезно, но совершенно очевидно, что если мы повторим анализ с
другими вмененными значениями, то получим и другие результаты (где-то здесь бродит
призрак выдумывания данных). Поскольку наша мотивация для подстановки значений
заключается в том, чтобы упростить вычисления и постараться не искажать результаты,
можно попытаться найти такие подставные значения, чтобы простой анализ, основанный на
сбалансированных полных данных, давал те же результаты, что и сложные вычисления с
использованием неполных данных.
Идея заманчива, и в некоторых ситуациях она действительно реализуема, но вам не кажется,
что она напоминает замкнутый круг? Как найти эти столь необходимые нам подставные
значения, которые не повлияют на результаты, если не произвести перед этим сложные
вычисления? Мы вернемся к этому вопросу позже, когда убедимся, что попытка ответить на
него может привести нас к глубокому пониманию того, какие процессы на самом деле
происходят в данных. Однако сначала мы подробнее рассмотрим основные подходы к
вменению.
Среднее вменение
Одним из самых распространенных подходов является подстановка на место недостающих
значений среднего значения, рассчитанного на основе всех имеющихся. Так, мы могли бы
заменить три неизвестных значения возраста в табл. 6 на среднее значение семи известных
возрастов. Действительно, эта нехитрая стратегия легкодоступна во многих программных
пакетах для анализа данных. Но, без сомнения, вы уже приобрели определенный скептицизм
в отношении простых стратегий, когда дело касается темных данных, и наверняка пытаетесь
понять, что может быть не так с этим подходом. Одну из возможных проблем мы уже
обсуждали: если недостающие значения имеют системные отличия от зарегистрированных,
то их замена средним значением может ввести нас в заблуждение. Например, если три
человека, чей возраст отсутствует, старше, чем остальные семь, будет не слишком хорошей
идеей заменить их возраст средним возрастом этих семи. Таким образом, среднее вменение
 130

может быть приемлемым, когда отсутствующие данные принадлежат категории NDD, но в

остальных случаях оно только усложнит нашу задачу.
К сожалению, со средним вменением связана и другая проблема. Как правило маловероятно,
чтобы все недостающие значения, будь они измерены, оказались идентичными. Это
означает, что подстановка одного и того же значения на место всех недостающих делает
«полные данные» искусственно однородными. Например, проделай мы это для возраста в
табл. 6, и дисперсия (мера того, насколько сильно отличаются друг от друга значения)
полной выборки по возрасту будет, скорее всего, меньше фактической, когда все возрасты
наблюдаются реально.
Перенос вперед данных последнего наблюдения
Недостающие значения в табл. 6, по-видимому, не имеют какой-либо закономерности и
отсутствуют случайным образом. В отличие от этого, как мы уже успели убедиться, часто
обнаруживается, что люди с течением времени выпадают из исследования, так что каждое
такое наблюдение ограничено временем выпадения, после которого все более поздние
значения отсутствуют. Хорошей иллюстрацией этого служит рис. 4 в главе 2.

Когда возникает такая модель выпадения, мы можем использовать конкретный метод

вменения, называемый «перенос вперед данных последнего наблюдения» (LOCF), суть
которого отражена в его названии: пропущенное значение для пациента заменяется
последним из зарегистрированных. Такой метод подразумевает, что измеряемые параметры
не меняются за время, прошедшее с момента последнего измерения до момента
возникновения недостающего значения. Это довольно смелое предположение (с учетом того,
что «смелость» иногда служит эвфемизмом для «безрассудства»). И, конечно, встает вопрос
о целесообразности такого подхода — ведь, как правило, сама причина повторения
наблюдений заключается в том, что мы ожидаем изменений параметров с течением времени.

Неудивительно, что метод LOCF активно подвергается критике.

 «Если бы существовал приз за самую неподходящую аналитическую технику при
исследовании деменции, то последнее наблюдение, перенесенное вперед было бы вне
конкуренции»7.
 «Вся аналитика на базе LOCF имеет сомнительную достоверность, если не сказать,
что она явно ложная (может казаться истинной, но фактически является ложной)…
LOCF не следует использовать ни в каком анализе»8.
 «Как LOCF, так и подстановка среднего значения ложно увеличивает заявленную
точность оценок, поскольку не учитывает неопределенность недостающих данных и
обычно дает искаженные результаты»9.
 «Использование LOCF нарушает статистические принципы, и подобные допущения
могут быть оправданными лишь изредка»10.
Такие комментарии обоснованно вызывают сомнения по поводу использования LOCF.
Прогнозирование на основе других переменных
До сих пор мы рассматривали такие несложные методы вменения — среднее значение от
наблюдаемых, предыдущее значение для того же объекта или пациента, — что с ними
справился бы и ребенок. Однако моделирование взаимосвязи между переменной с
недостающим значением и другими переменными, а затем прогнозирование этого
недостающего значения на основе значений наблюдаемых уже более сложная стратегия.
Модель базируется на анализе полных наблюдений, где все значения присутствуют. Мы уже
сталкивались с этой идеей, когда давали определение для категории SDD.
 131

Например, в табл. 6 есть четыре строки, в которых присутствуют и значение возраста, и

значение массы тела. Четыре соответствующие точки показаны на графике (рис. 6). Мы
могли бы использовать их для построения простой статистической модели, связывающей
возраст и массу тела. Прямая линия на рисунке является подходящей моделью,
демонстрирующей, что для этих данных более высокие значения возраста связаны с
меньшими значениями массы. (Замечу, что не стоит строить модели на выборках размером
всего в четыре точки в реальной жизни!) Теперь мы можем использовать эту модель для
прогнозирования недостающих значений массы при наличии значений возраста. Например,
человеку, описанному в восьмой строке таблицы, 41 год, но значение массы тела для него
неизвестно. Линия, которая служит нам моделью, подсказывает, что это значение может
составлять около 91 кг.

Можно сказать, что это расширение идеи простого добавления среднего значения
наблюдаемых данных с применением более сложной статистической модели, которая
использует преимущества другой информации, доступной в таблице. Поскольку
задействованы значения возраста, а не только массы тела, стратегия может дать лучшие
результаты, чем простое использование среднего. В частности, ее применение
целесообразно, если недостающие значения массы тела принадлежат категории SDD, а
вероятность их отсутствия зависит только от возраста. Но если недостающие данные
относятся к категории UDD, такая модель нам не поможет. Тем не менее нужно отметить,
что эта стратегия моделирования и прогнозирования содержит в себе зачатки одной очень
продуктивной идеи, к которой мы вернемся позже.
«Горячая колода»
Еще один простой метод вменения, основанный на наблюдаемых значениях, известен под
общим названием «горячая колода». Чтобы найти замену отсутствующему значению в
неполной записи, требуется сопоставить ее с другими записями, в которых значения
 132

имеются. Затем из наиболее подходящих записей случайным образом выбирают одну,

значение которой подставляют на место отсутствующего элемента. Например, в табл. 6
неизвестен рост первой женщины. Сравнивая эту строку с другими, мы находим две сходных
с ней в том, что они соответствуют женщинам в возрасте 41 и 31 года, что довольно близко к
38 годам — возрасту женщины с неизвестным ростом. После этого мы случайным образом
выбираем одну строку, чтобы взять из нее значение роста и подставить в ячейку «Н/Д» для
38-летней женщины. Рост одной женщины составляет 165 см, а другой — 160 см. Если мы
выберем, например, 41-летнюю, то вмененное значение будет 165 см.
Этот метод получил свое название в те дни, когда данные хранились на перфокартах, и в
прошлом применялся довольно широко. Его привлекательность заключается в простоте, он
не требует сложной статистики — всего лишь оценку степени сходства между записями.
Однако все зависит от того, как именно вы определяете «сходство». Какие другие
переменные вы собираетесь использовать, оценивая сходство? Как вы объединяете их для
получения общего показателя? И следует ли считать одни переменные более важными и
имеющими больший вес, чем другие?
Множественное вменение
Мы уже видели, что одна из очевидных проблем метода вменения состоит в том, что
повторный анализ с использованием различных вмененных значений будет давать разные
результаты. Но что если мы можем воспользоваться этим?

Каждый вариант дополненного набора данных представляет собой их вероятную

конфигурацию, которая могла бы наблюдаться в реальности. Сводная статистика,
рассчитанная на основе такого дополненного набора, также является вероятностным
вариантом этой статистики, которая могла быть получена, если бы данные были полными с
самого начала. Это означает, что если мы повторим вменение несколько раз, используя
разные вмененные значения, то получим распределение значений суммарной статистики, по
одному для каждого вероятного полного набора данных. Мы можем оценить различные
параметры такого распределения, например неопределенность или дисперсию суммарной
статистики. То есть вместо того, чтобы просто получить единственный «наилучший»
вариант оценки, мы получаем показатель вероятности того или иного значения.
Эту стратегию повторных вменений принято называть множественным вменением. На
сегодня это широко используемый инструмент для решения проблем с отсутствующими
данными.
Итерация
Мы познакомились с простыми методами подстановки значений на место недостающих и с
более сложными, которые задействуют наблюдаемые переменные, чтобы оценить
отсутствующее значение. Идея использования предполагаемой взаимосвязи между
наблюдаемыми значениями и недостающими для прогнозирования последних приводит к
продуктивной итеративной идее, основанной на принципе максимального правдоподобия.

Для любого определенного набора данных и любой предложенной статистической модели

механизма их происхождения мы можем рассчитать вероятность возникновения такого
набора данных в соответствии с этой моделью. Принцип максимального правдоподобия
гласит, что из двух статистических моделей мы должны предпочесть ту, для которой
вероятность генерации этих данных выше. В более общем смысле, если у нас есть несколько,
много или даже бесконечное число возможных объяснений происхождения набора данных,
согласно принципу максимального правдоподобия мы должны выбрать то, которое с
наибольшей вероятностью их породило. Итеративный подход — это метод нахождения
такой модели, когда отсутствующие данные принадлежат категориям NDD или SDD.
 133

Мы начинаем с подстановки значений на место недостающих, причем получить их можем

как угодно, вплоть до случайных предположений. Затем на основе дополненного таким
образом набора данных — где присутствуют и наблюдаемые значения, и вмененные — мы
оцениваем соотношения переменных, используя принцип максимального правдоподобия.
Далее мы берем эти оценочные соотношения и получаем новые замены для пропущенных
значений. Затем мы снова используем дополненные данные с новыми вмененными
значениями, чтобы сделать следующий виток оценки взаимосвязей, и т.д., цикл за циклом.
При соблюдении определенных общих условий значения замещения меняются с каждым
циклом все меньше и меньше, и наконец мы приходим к окончательным оценочным
соотношениям переменных — тем, которые и представляют модель максимального
правдоподобия.

Эти повторяющиеся циклы — выбор значений для пропущенных элементов и последующее

использование дополненных данных для получения оценок взаимосвязей между
переменными, что, в свою очередь, дает новые замещающие значения для пропущенных
элементов, — являются продуктивной идеей, которую в разной форме выдвигали многие
ученые. Три статистика — Артур Демпстер, Нэн Лэрд и Дональд Рубин, с последним из
которых мы уже встречались, — в своей основополагающей статье 1977 г. обобщили
варианты этой идеи, продемонстрировали их общность и придали им более абстрактную
форму, допускающую широкое применение в различных ситуациях. Они назвали свой метод
EM-алгоритмом, или алгоритмом максимизации ожиданий. Он включает в себя два шага в
каждом цикле: первый шаг — вычисление ожидаемого значения для каждого пропущенного
элемента, и второй — оценка соотношений переменных с использованием дополненного
набора данных. Второй шаг в каждом цикле называется максимизацией, потому что он
максимизирует вероятность.

На самом деле Демпстер, Лэрд и Рубин показали, что нет необходимости заходить так
далеко, чтобы найти отсутствующим значениям замену. Все, что необходимо, это
смоделировать распределение, из которого, вероятно, пришли недостающие значения. Мы
столкнулись с этой концепцией, когда рассматривали анализ выживания. Напомню: мы не
пытались оценить интервалы выживания тех, кто остался жив после окончания периода
наблюдения, а просто использовали вероятность того, что они будут жить дольше, чем этот
период.

EM-алгоритм активизирует эту концепцию. После того, как Демпстер и его коллеги
представили абстрактное описание двухэтапного циклического алгоритма, стало очевидно,
что фундаментально эта идея уже возникла повсюду и проявлялась порой весьма
неожиданно. Кроме того, алгоритм был расширен и дополнен различными методами,
например, были разработаны модификации, которые требуют меньшего числа итераций
«ожидание — максимизация» до момента, когда заменители пропущенных значений (и
соотношения переменных) перестанут изменяться, то есть до того, как процесс приблизится
к наилучшей (в смысле максимального правдоподобия) модели.
Абстрактное представление EM-алгоритма также помогло лучшему пониманию проблемы в
целом. В главе 1 я упомянул, что любые неизвестные характеристики генеральной
совокупности могут рассматриваться как недостающие значения и, следовательно, как
темные данные. Это очень плодотворная идея. Такими базовыми характеристиками могут
быть и какие-то простые значения (например, средний рост населения), и значения
комплексные, включая множественные ненаблюдаемые латентные переменные, которые
связаны сложным образом. Классическим примером является траектория движущегося
объекта, когда мы не можем наблюдать его точное положение в каждый момент времени, а
имеем лишь значения, искаженные ошибкой измерения. Во многих случаях лежащие в
основе темные данные являются не просто тем, что не наблюдалось — они по своей сути
 134

ненаблюдаемы. Это скрытые, или латентные, переменные (отсюда модели с латентными

переменными). Но ненаблюдаемость не означает, что на такие данные нельзя пролить свет
— собственно, в этом и состоит основная цель статистических методов. Применение
статистических инструментов к данным, сгенерированным в реальности, может кое-что
поведать об этой реальности: данные начинают излучать свет и освещают все вокруг.

В этом разделе мы разобрали то, как можно анализировать данные и получить представление
о процессах, которые их генерируют, даже если имеются темные данные. Мы рассмотрели
целый ряд общих методов: от самых простых способов работы с доступными данными и
исключения неполных записей до многообразных методов вменения, которые призваны
определить, какими были бы недостающие данные, если бы были измерены. Мы также
рассмотрели важную классификацию, описывающую структуру отсутствующих данных, —
связаны ли они и как именно с данными, которые наблюдались. Эта классификация состоит
из трех категорий — NDD, SDD и UDD — и помогает более глубокому пониманию вопросов
борьбы с темными данными. В следующей главе мы изменим тактику и вместо того, чтобы
бороться, посмотрим, как можно использовать темные данные. В частности, мы для начала
оглянемся назад и посмотрим на некоторые идеи с новой точки зрения. Но прежде скажем
несколько слов о данных, которые мы можем видеть, но которые являются обманчивыми.
Неправильное число!
До сих пор в этой главе мы имели дело с недостающими данными. Но мы уже знаем, что
данные могут являться темными и по другим причинам, например DD-тип 10: ошибки
измерения и неопределенность, DD-тип 9: обобщение данных и DD-тип 7: данные,
меняющиеся со временем. Рассмотрение этих типов позволит нам более широко взглянуть на
проблему темных данных и поможет исследовать три основных шага в работе с ними, а
именно: предотвращение, обнаружение и исправление.
Предотвращение
Ошибки в данных предотвращаются, во-первых, благодаря пониманию того, какие именно
ошибки бывают, и, во-вторых, путем создания систем, которые препятствуют их
возникновению на этапе сбора данных. Что касается понимания, то оно приходит с опытом
— вы или сами совершаете ошибки, или, что куда приятнее, учитесь, глядя, как их
совершают другие. (Однажды я услышал, как кто-то из увольнявшихся из компании сказал
менеджеру: «Спасибо, что предоставили мне так много возможностей учиться на чужих
ошибках».)
Итак, если мы вводим данные непосредственно в базу данных, то по мере их ввода можно
осуществлять несложные проверки. Например, если речь идет о дате рождения, то для
машины не составит труда проверить, является ли она допустимой. Бдительность не бывает
излишней. Я слышал об одном случае, когда набор данных имел странный пик по датам
рождения, приходившийся на 11 ноября 1911 г. Как выяснилось, дату рождения требовалось
вводить шестью цифрами в формате день/месяц/год и программисты были в курсе, что люди
иногда вводят 00/00/00, если не хотят указывать свой день рождения. Поэтому они
запрограммировали форму сбора данных таким образом, что, если кто-то вводил шесть
нулей, машина отклоняла дату и требовала повторить попытку. Но программисты не учли
одного: в этот момент те, кто особенно не хотел «светить» свой день рождения, делали
простейшую вещь, которая первой приходит в голову — они вбивали последовательность из
шести единиц, что принималось базой данных и выглядело как 11 ноября 1911 г.
Дублирование данных может быть использовано в качестве общей стратегии
предотвращения ошибок. Оно подразумевает ввод данных или по крайней мере какой-то их
части более чем одним способом. Распространенным методом, особенно при проведении
клинических испытаний, является система двойного ввода данных, когда значения
 135

переносятся (например, из бумажных форм сбора данных в компьютер) двумя людьми

независимо. Вероятность того, что они совершат одну и ту же ошибку в одном и том же
месте, ничтожно мала.

Еще можно вводить не только последовательности чисел, но и их суммы. Компьютер

складывает введенные числа и сравнивает результат с заявленной суммой. Несовпадение
сумм будет означать, что допущена ошибка в одном или нескольких введенных числах (за
исключением очень редких случаев, когда две ошибки взаимно компенсируют друг друга).
Существуют разные версии этой идеи «контрольной суммы», в том числе и очень мудреные.
Обнаружение
Пример с 11 ноября 1911 г. и использование контрольных сумм для предотвращения ошибок
граничат со следующим этапом — обнаружением ошибок. Ошибки в данных могут быть
обнаружены, потому что эти данные не согласуются с аналогичными или ожидаемыми
данными. Значение 3 м 2 см в базе данных роста людей немедленно вызовет подозрения —
нам не известен ни один человек с подобным ростом. Возможно, это ошибка ввода данных и
истинное значение — 2 м 3 см (хотя предполагать недостаточно и следует обратиться к
источнику данных, если, конечно, есть такая возможность).
Ошибки также могут быть обнаружены при наличии логических несоответствий. Если
заявленное количество детей в семье не соответствует числу их возрастов в анкете, значит,
что-то не так. Несоответствия могут быть не только логическими, но и статистическими.
Рост 1,5 м и вес 150 кг, указанные для одного человека, могут вызвать подозрение в ошибке,
хотя по отдельности рост 1,5 м и вес 150 кг встречаются не так уж редко.
Более сложный пример статистического обнаружения странностей встречается в
распределении Бенфорда. Первое описание этого распределения (иногда его называют
законом Бенфорда), по-видимому, было сделано в 1881 г. американским астрономом
Саймоном Ньюкомом. В своей работе он использовал логарифмические таблицы — до
появления компьютеров с их помощью перемножали большие числа. Ньюком обратил
внимание на тот факт, что первые страницы логарифмических таблиц всегда были
замусолены больше, чем последующие. Закон был повторно открыт почти 60 лет спустя
физиком Фрэнком Бенфордом, который провел обширное исследование, показавшее, что
частое использование более ранних значений по сравнению с более поздними характерно для
очень разных числовых таблиц.
Так в чем же состоит закон Бенфорда?
Во-первых, мы должны определить самую значимую цифру числа. Как правило, это первая
цифра: наиболее значимой для числа 1965 является цифра 1, а для 6 009 518 432 — цифра 6.
В наборе чисел можно ожидать, что наиболее значимые цифры будут встречаться с тем же
распределением, что и цифры от 1 до 9. Иначе говоря, вы можете ожидать, что каждая цифра
от 1 до 9 будет первой цифрой числа для одной девятой всех чисел набора. Но, что
любопытно, во многих полученных наборах чисел цифры от 1 до 9 встречаются в качестве
наиболее значимых в разных пропорциях: 1 встречается примерно в 30% случаев, 2 — в 18%
и т.д. по убывающей, вплоть до 9, которая служит наиболее значимой цифрой всего для 5%
чисел в наборе. Закон Бенфорда посредством точной математической формулы как раз и
описывает это распределение.

Существуют веские математические причины, по которым может возникнуть это странно

противоречащее нашей интуиции явление, но мы не будем вдаваться в них на страницах этой
книги11. Для нас важно отметить, что если данные отклоняются от распределения Бенфорда,
то это повод проверить, не закралась ли какая-то ошибка. Марк Нигрини, эксперт в области
судебной бухгалтерии, разработал инструменты на основе распределения Бенфорда для
 136

обнаружения мошенничества в финансовой и бухгалтерской отчетностях. И здесь есть один

важный для нас момент. Инструменты для выявления странного поведения данных,
возникающего вследствие ошибок, могут быть использованы и для поиска странностей,
когда реальные цифры намеренно скрываются, то есть для выявления мошенничества. В
главе 6 я упомянул, что правила борьбы с отмыванием денег требуют от регулирующих
органов сообщать о выплатах в размере $10 000 или более. Преступники пытаются
преодолеть это ограничение, разделяя общую сумму перевода на множество транзакций с
чуть меньшим, чем пороговое, значением. Но превышение стандартной доли переводов,
сумма которых начинается с цифры 9 (например, $9999), будет отображаться как отклонение
от распределения Бенфорда.
Я довольно долго работал с розничными банками, разрабатывая инструменты для выявления
потенциальных случаев мошенничества со счетами кредитных карт. Многие из этих
инструментов основаны именно на поиске странных значений, которые вполне могут быть
ошибками, но порой указывают на мошеннические действия.

Есть еще одно важное замечание по поводу обнаружения ошибок: вы никогда не можете
быть уверены, что обнаружили их все. К сожалению, истина заключается в том, что наличие
ошибок (иногда) может быть доказано, а вот их отсутствие — нет. Хотя данные могут
становиться ошибочными неограниченным количеством способов, число способов,
которыми их можно проверить, всегда конечно. Тем не менее к этой ситуации, несомненно
применим принцип Парето, и мы можем утверждать, что большинство ошибок будет
обнаружено с относительно небольшими усилиями. Однако здесь действует и другой закон
— закон убывающей отдачи. Если вы обнаружите 50% ошибок, приложив определенные
усилия, то точно такие же усилия, приложенные вновь, смогут обнаружить 50%, но уже от
оставшихся ошибок. Такое убывание результата будет сопровождать каждый цикл и
означает, что вы никогда не сможете выявить все ошибки.
Исправление
Третий этап в борьбе с темными данными, после предотвращения и обнаружения ошибок, —
это их исправление. После того, как вы заметили неверное значение, нужно понять, каким
оно должно быть. Методы исправления ошибок — если, конечно, исправление вообще
возможно — зависят от того, что вам известно об ожидаемых значениях, и от общего
понимания возникающих ошибок. Примеры с неуместными десятичными разделителями в
главе 4 иллюстрируют то, как наше общее понимание данных и опыт прошлых ошибок
подсказывают, каким должно быть истинное значение. Аналогичный пример: если в таблице
зарегистрировано значение скорости велосипедиста 240 км/ч, притом что все другие
значения лежат в диапазоне между 8 км/ч и 32 км/ч, логично предположить, что затесался
лишний ноль и истинное значение составляет 24 км/ч. Однако не стоит сразу вносить
исправления, предположив истину, — необходимо всесторонне проверить свое
предположение. Прежде чем исправлять ошибку в последнем примере, нелишне будет
узнать, что в сентябре 2018 г. чемпионка мира по велоспорту Дениз Мюллер-Коренек
установила рекорд скорости на велосипеде, разогнав его до 296 км/ч. Если не вернуться к
исходному источнику или не повторить измерение, мы не сможем быть уверены в том, какое
значение должно быть на месте предполагаемого ошибочного, даже если сам факт ошибки
не вызывает сомнений.
Последнее общее замечание на тему ошибок в данных, которое я хотел бы сделать, связано с
новыми удивительными мирами данных и их пониманием, которые нам открыли и
продолжают открывать компьютерные вычисления. Сегодня собираются, хранятся и
обрабатываются немыслимые еще недавно, поистине колоссальные массивы данных. Эти
базы данных открывают огромные возможности. Но не стоит забывать, что применение
компьютеров также подразумевает и некоторую фундаментальную непрозрачность. Хотя
 137

они позволяют нам разглядеть в данных то, что мы никогда бы не обнаружили

невооруженным глазом, в то же время компьютеры действуют как посредник между нами и
данными. Компьютеры могут скрывать от нас какие-то аспекты данных.

Глава 9
Полезные темные данные
Переосмысление вопроса
Сокрытие данных
Может показаться, что темные данные — это сплошные проблемы и недостатки. Да,
ключевым посланием этой книги является призыв к осторожности. Но есть методы, с
помощью которых мы можем использовать темные данные в собственных интересах, при
условии, что хорошо понимаем свои действия и соблюдаем должную осмотрительность.
Другими словами, существуют методы, с помощью которых мы можем оседлать нашу
темную лошадку — направить неопределенность, присущую темным данным, против них же
самих, что позволит достичь лучшего понимания, делать более точные прогнозы, повысить
эффективность действий в различных областях и даже просто экономить деньги. Все это
становится возможным, если стратегически игнорировать часть данных и намеренно уводить
их в тень.

Исследование этой идеи мы начнем с того, что переформулируем некоторые уже знакомые
нам статистические идеи. Другими словами, мы посмотрим на них под новым углом, с точки
зрения активного сокрытия информации или данных. В начале главы мы по-новому взглянем
на те идеи, с которыми уже сталкивались в предыдущих главах, а затем познакомимся с
некоторыми новыми перспективными идеями, способными сделать статистические методы
работы с темными данными более совершенными.
Хорошую иллюстрацию нестандартного подхода к темным данным дает формирование
выборки из ограниченной совокупности. В главе 2 мы рассматривали методы создания
выборки для опроса и затрагивали тему недополученных ответов, но даже несмотря на это
опросы представляют собой один из наиболее популярных и простых способов обратить
темные данные себе на пользу. Обычно, когда говорят об опросах, то имеют в виду
использование значений (случайного) подмножества всех членов определенной группы
населения. Но альтернативный подход может состоять в том, чтобы формировать выборку,
специально предназначенную для помещения ее в область темных данных. В конце концов,
формирование 10%-ной выборки для последующего анализа эквивалентно формированию
90%-ной игнорируемой выборки. Идея заключается в том, что всякий раз при работе с
выборкой мы можем думать о ней либо как о выборе данных для исследования, либо как об
игнорировании оставшейся части совокупности и превращении ее в темные данные.

Обратите внимание, что случайный выбор (или по крайней мере «вероятностная выборка»)
здесь имеет решающее значение. Выбор любым другим способом может привести к
проблемам, уже описанным в этой книге. Использование случайного выбора означает, что
недостающие значения относятся к категориям NDD или SDD, а в главе 8 вы смогли
убедиться, что с этими типами темных данных можно справиться.
Сокрытие данных от самих себя: рандомизированные
контролируемые исследования
Формирование выборки для анализа и, следовательно, выборки для отбраковки — самый
простой пример использования темных данных. Другое их применение —
рандомизированное контролируемое исследование, которое мы тоже уже обсуждали в главе
 138

2. Предположим, что мы хотим определить, является ли предлагаемый новый метод лечения

некоего заболевания лучше стандартного. Мы уже знаем, что основная стратегия состоит в
том, чтобы случайным образом назначать каждому пациенту одно из двух лечений и
сравнивать средние значения результатов в каждой группе.
Случайное назначение методов лечения служит гарантом беспристрастности. Оно выводит
процесс распределения из сферы нашего выбора, делая его непрозрачным, не подверженным
манипуляциям и влиянию предубеждений, как преднамеренных, так и неосознанных. Это
качество случайности давно и по достоинству оценено. Как сказано в Библии: «Жребий
прекращает споры и решает между сильными» (Притчи 18:18).
Идея случайного распределения пациентов по группам лечения имеет большой потенциал.
По сути, она означает, что мы можем быть с высокой вероятностью уверены в том, что
любые измеренные различия между группами связаны именно с лечением, а не с какими-то
другими факторами. Другими словами, случайное распределение разрушает
причинно-следственные связи: оно позволяет утверждать, что любые зарегистрированные
различия вряд ли будут иметь отношение к различиям, существовавшим между людьми до
исследования. Разрыв некоторых причинно-следственных связей означает, что различные
исходы должны объясняться не возрастом, полом или другими, присущими людям
факторами, а разными методами лечения, которое они получали.
Но, быть может, простого случайного распределения недостаточно? Если исследователи
будут знать, к какой группе принадлежат какие пациенты, то даже при случайном
распределении у них может возникнуть соблазн манипулировать данными, в том числе и
неосознанный. Они могут по-человечески пожалеть пациентов, получающих неактивное
плацебо, и начать больше заботиться о них. Или более строго интерпретировать критерии
для исключения из исследования пациента с побочными эффектами, если будут знать, что он
получает какое-то конкретное лечение.
Этого риска можно избежать, если скрыть идентичность групп, к которым относятся
пациенты, так, чтобы ни пациенты, ни лечащие врачи не знали, кто какое лечение получает.
Такое сокрытие групповых меток называется слепым, поскольку делает их невидимыми в
буквальном смысле.
Например, при сравнительном испытании двух лекарств каждому из них можно присвоить
разные коды, при этом врачи не должны знать, какому лекарству какой код соответствует.
Если снабдить лекарства одинаковой упаковкой, так, чтобы внешне она отличалась только
нанесенным на нее кодом, врачи не смогут узнать, какое лечение они применяли, и потому
будут лишены возможности сознательно или подсознательно относиться более внимательно
к пациентам, получающим конкретное лекарство. То же самое относится и к специалистам
по анализу данных, которые могут видеть код, соотносящий конкретного пациента с
конкретным лечением, но не дающий информации, какое именно лечение маркировано тем
или иным кодом.
Код, определяющий лечение для каждого пациента, должен раскрываться только после
завершения исследования и анализа данных, и лишь тогда станет понятно, какой метод
лечения более эффективен. (Всегда следует предусматривать возможность для раскрытия
кода на тот случай, если в ходе исследования у пациентов возникнут серьезные побочные
эффекты.)
Что могло бы быть
Итак, фундаментальная идея, лежащая в основе рандомизированных клинических
исследований, заключается в использовании темных данных при распределении людей по
группам. Это позволяет нам исследовать контрфактуальность того, что могло бы произойти.
 139

Альтернативной стратегией исследования того, что могло бы произойти, является

симуляция. При симуляции мы создаем модель механизма, системы или процесса и
генерируем в этой модели синтетические данные, чтобы посмотреть, как механизм, система
или процесс поведут себя в различных условиях, а возможно, и в разное время. Данные,
которые мы генерируем, не являются темными в смысле отсутствия значений. Но их можно
отнести к темным данным в другом смысле: их значения не наблюдались, но могли бы
наблюдаться при других обстоятельствах. К таким данным относятся, например, доход
супруга того, кто не состоит в браке, время смерти от рака у неизлечимого ракового
больного, который умер от чего-то другого, или случайная ошибка измерения, принимающая
разные значения.
Симуляция является чрезвычайно мощным инструментом, который в настоящее время
используется во множестве областей: от финансовых систем и политики в сфере ядерного
вооружения до влияния на экологию и исследований человеческого поведения. Некоторые
философы науки даже описывают симуляцию как новый метод научного познания. Но
знакомство с предметом мы начнем, как обычно, с пары простых примеров.
В своей книге «Голый хирург» (The Naked Surgeon) Самер Нашеф описывает пример
симуляции в области медицины. Провести исследование Нашефа подтолкнул случай
Гарольда Шипмана — самого плодовитого серийного убийцы Великобритании всех времен.
Шипман был семейным врачом, осужденным за убийство 15 своих пациентов, но, как
полагают, за 25-летнюю практику он убил более 250 человек. Нашеф захотел узнать, может
ли что-нибудь подобное произойти в больницах Государственной службы здравоохранения,
находящихся под пристальным наблюдением всевозможных структур. Чтобы проверить эту
идею, он взял реальную отчетность двух своих коллег и случайным образом подставил
вместо некоторых успешных результатов лечения неудачные. При этом он увеличил
скорость, с которой пациенты как бы умирали, приблизив ее к средней скорости смерти
жертв Шипмана. Иначе говоря, он генерировал темные данные, чтобы показать, что могло
бы произойти, если бы такой человек, как Шипман, находился на свободе и работал в
больнице Государственной службы здравоохранения. Исследование Нашефа наглядно
демонстрирует силу симуляции: «Результаты эксперимента можно назвать выдающимися…
Гарольд Шипман оставался незамеченным в течение 25 лет… В нашем эксперименте доктор
Джон, условный злодей и анестезиолог, был обнаружен через 10 месяцев, а его коллега
доктор Стив, хирург, и того быстрее — в течение восьми месяцев».
Возможно, вам знакомо применение симуляции в таких программных продуктах, как
симуляторы полета. Они используются для обучения пилотов, чтобы те могли отрабатывать
действия в экстремальных и непредвиденных ситуациях без риска падения реального
самолета. Эти искусственно созданные условия точно так же представляют собой данные,
которые могли бы возникнуть.
Чтобы лучше понять саму идею симуляции, давайте рассмотрим ее с точки зрения
математики, а точнее, поведения подброшенной монеты.
Используя элементарную статистику, я могу вычислить вероятность того, что честная
монета, подброшенная 10 раз, упадет орлом вверх менее пяти раз: она будет равняться
вероятности того, что орел выпадет четыре раза, плюс вероятность того, что он выпадет три
раза… и так до вероятности, что орел вообще не выпадет ни разу. Эта общая суммарная
вероятность составит 0,377. И все бы хорошо, но для выполнения таких вычислений
требуется знать основы биномиального распределения. Однако существует альтернативный
способ оценки требуемой вероятности. Мы могли бы подбросить монету 10 раз и
подсчитать, сколько раз выпал орел. Правда, одного такого цикла будет явно недостаточно
— орел просто выпадет либо больше пяти раз, либо меньше, но это никак не поможет нам
узнать вероятность того, что орел выпадет менее пяти раз. Нам потребуется повторить цикл
 140

подбрасывания монеты множество раз, чтобы увидеть, какая доля этих циклов дает
выпадение менее пяти орлов. Чем больше раз мы повторим цикл, тем более точную оценку
мы получим — закон больших чисел, упомянутый в главе 2, прямо говорит об этом. Но
такой процесс вскоре может стать довольно утомительным, поэтому вместо того, чтобы
тратить свою жизнь на столь бессмысленное занятие, лучше запустить компьютерную
симуляцию, в которой случайным образом будут генерироваться 10 значений, каждое из
которых равно либо 0, либо 1 (это наши орлы и решки) с вероятностью «выпадения» 1/2.
Проделав это снова, и снова, и снова…, мы сможем узнать, какова вероятность выпадения
менее пяти орлов.

Я запускал эту симуляцию миллион раз. Доля тех из них, в которых орел выпал менее пяти
раз, составляла 0,376, что недалеко от истинного значения вероятности. И обратите
внимание на слово «миллион» — симуляция как метод стала по-настоящему возможной
лишь с появлением современных компьютеров.
Это, конечно, простейший пример — во-первых, я мог запустить симуляцию на своем
ноутбуке, а во-вторых, я знал правильный ответ. Но есть куда более сложные симуляции,
например погоды и климата, созданные на основе обширных наборов данных и с
применением самых мощных на сегодняшний день компьютеров. В этих симуляциях
используются чрезвычайно сложные модели взаимосвязанных процессов, влияющих на
климат: атмосферных потоков, океанских течений, солнечного излучения, биологических
систем, вулканической активности, загрязнения окружающей среды и прочих воздействий.
Реактивный характер таких систем означает, что им присущи специфические проблемы:
толкните мяч, и он покатится от вас в направлении приложения силы, но «толкните»
сложную систему, и она среагирует неожиданным, а зачастую просто непредсказуемым
образом. Понятие хаоса в научном смысле, как, например, в теории хаоса, хорошо
соотносится с фундаментальной непредсказуемостью метеорологических систем. Уравнения,
описывающие такую сложность, часто не могут быть решены в принципе — получить четкие
ответы мешает содержащаяся в них неопределенность. В этом случае на помощь приходит
симуляция, которая, многократно генерируя данные из моделей, показывает, как могут вести
себя погода и климат. Результаты этих симуляций дают нам представление о диапазоне
возможного поведения систем, например о том, как часто будут возникать экстремальные
явления, такие как наводнения, ураганы и засухи. Каждый прогон такой симуляции
позволяет получить данные, которые могли бы возникнуть, но которые мы на самом деле не
наблюдали, и потому они являются темными.

В экономике и финансах используется тот же подход. Современные экономические модели

по понятным причинам довольно сложны. Общество состоит из миллионов людей, которые
взаимодействуют друг с другом, перемещаются каждый по своему маршруту, организованы
в самые разные социальные структуры и подвергаются воздействию внешних сил.
Написание и решение математических уравнений, которые позволили бы увидеть, как такие
системы должны меняться с течением времени, весьма проблематично. Симуляции на основе
сгенерированных данных, которые только могли бы возникнуть, позволяют нам исследовать,
как общество будет развиваться в тех или иных условиях, как люди будут реагировать на
глобальные изменения, такие как введение торговых тарифов, войны, неблагоприятные
погодные условия и т.д.
Более утонченное применение метод симуляции находит в современном анализе данных. В
частности, так называемая байесовская статистика, описанная далее в этой главе, часто
приводит к очень сложным и трудноразрешимым математическим уравнениям. Поиск
решения таких уравнений затруднен или попросту невозможен, но на основе симуляции
были разработаны альтернативные методы. Так же, как в примере с прогнозированием
климата, мы берем уравнения в качестве модели и генерируем данные, которые могли бы
 141

возникнуть, если бы эта модель была верной. Затем мы точно так же повторяем это раз за
разом, чтобы сгенерировать множественные наборы данных, каждый из которых мог бы
возникнуть в реальности. После этого мы суммируем множественные наборы данных, что
позволяет вычислять средние значения, диапазоны вариаций или любую другую
описательную статистику, которая нам нужна. По сути, мы видим то, какими
характеристиками могут обладать результаты и какова вероятность их появления. Методы
симуляции превратили байесовскую статистику из интересной теоретической идеи в
практический и очень полезный инструмент, который лег в основу машинного обучения и
искусственного интеллекта.

Однако важно помнить, что по определению симулированные данные поступают из

гипотетической модели. Они являются темными данными (DD-тип 14: фальшивые и
синтетические данные), которые возникают не в результате реального процесса. Очевидно,
что если модель неверна, если она плохо отображает реальность, то мы рискуем получить
искаженное представление о том, что могло бы произойти. Здесь работает то же правило, что
и везде: если у вас нет глубокого понимания вопроса, вы легко можете сбиться с пути.
Репликация данных
Из этой книги вы уже знаете, как часто мы хотим оценить то, чего не было, или то, что не
можем наблюдать непосредственно. Например, мы пытаемся диагностировать заболевание,
основываясь исключительно на симптомах; или прогнозировать число пассажиров
нью-йоркского метро в следующем году, исходя из того, сколько человек совершило поездку
в этом; или понять, на что будет походить национальная экономика через десятилетие; или
предсказать, какой потенциальный заемщик допустит дефолт по кредиту, какой студент
преуспеет на курсе, какой соискатель будет более эффективно выполнять работу.
Общей особенностью этих ситуаций является то, что в нашем распоряжении есть данные,
описывающие ряд предыдущих случаев (людей, у которых были заболевания,
пассажиропоток прошлых лет или поведение реальных заемщиков). И для каждого из этих
случаев мы знаем исход (какое именно заболевание, сколько пассажиров, количество
дефолтов), а также описательные характеристики (симптомы, повторяющиеся маршруты,
информация из формы заявки). Мы можем использовать эти исторические данные для
моделирования взаимосвязи между описательными характеристиками и исходом. Такая
модель позволит прогнозировать исходы для других случаев исключительно на основе их
описательных характеристик.

Эта базовая структура — совокупность прошлых наблюдений, дающая нам и

характеристики, и исходы, которую мы используем для построения модели, связывающей
характеристики с результатом, чтобы в дальнейшем предсказывать новые исходы —
распространена повсеместно. Подобные модели часто называют прогностическими, хотя
«прогноз», возвращаясь к нашим примерам, может быть связан с неизвестным диагнозом, а
вовсе не обязательно с будущим пассажиропотоком. Будучи исключительно популярными,
прогностические модели стали предметом огромного числа исследований. На сегодня
разработано множество методов построения таких моделей с широким спектром
специфических свойств, и можно выбрать наилучший, соответствующий конкретной задаче.

Но какое отношение все это имеет к темным данным? Мы проиллюстрируем это на очень
простом примере и базовом прогностическом методе. Задача: спрогнозировать доход, исходя
только из одной переменной — возраста. Чтобы построить возможную модель, мы соберем
данные о парах значений «возраст/доход» на основе выборки. Самым простым методом
будет прогнозирование дохода нового человека, возраст которого нам известен, используя
значение дохода других людей того же возраста. Так, если мы хотим предсказать доход
кого-то в возрасте 26 лет и в нашей выборке есть один человек такого возраста, то в
простейшем случае мы используем его доход в качестве нашего прогноза. Если же в нашей
 142

выборке есть и другие 26-летние, мы используем данные каждого из них, чтобы рассчитать
средний доход. В более общем смысле средние значения обеспечат лучший прогноз,
поскольку они менее подвержены случайным колебаниям. Это означает, что было бы
разумно включить также доходы 25-летних и 27-летних, поскольку они, вероятно, будут
близки к доходам 26-летних, а их включение увеличит размер выборки. Аналогичным
образом мы могли бы включить тех, кому 24 года и 28 лет и т.д., но при этом придавать
меньший вес их значениям по мере удаления от 26. Эта стратегия позволила бы нам сделать
прогноз, даже если в выборке нет ни одного человека в возрасте 26 лет.
Чтобы понять, как это связано с темными данными, давайте посмотрим на то же
исследование под другим углом. Стараясь спрогнозировать доход человека в возрасте 26 лет,
по сути, мы создаем новый набор данных путем случайной репликации значений в
существующей выборке. Мы делаем много копий 26-летних, чуть меньше копий тех, кому 25
и 27 лет, еще меньше — тех, кому 24 и 28, и т.д. Как будто у нас изначально была гораздо
более широкая выборка, основную часть которой мы по какой-то причине просто не видели.
Усреднение доходов по всем реплицированным даст соответствующую оценку доходов
людей в возрасте 26 лет.

Этот пример нагляден, но в реальной жизни обычно все несколько сложнее. Как правило,
вместо одной описательной характеристики, такой как возраст в нашем примере, мы будем
иметь дело с несколькими или даже с множеством характеристик. Например, мы можем
охарактеризовать пациентов по их возрасту, росту, весу, полу, систолическому и
диастолическому артериальному давлению, пульсу в состоянии покоя, а также по ряду
симптомов и результатов медицинских тестов, чтобы оценить вероятность выздоровления
нового пациента с определенным набором значений. Как и в предыдущем примере мы
создадим новый набор данных, реплицирующий людей таким образом, что у нас будет
больше копий тех, кто имеет характеристики, очень схожие с характеристиками
интересующего нас человека, и чем меньше будет это сходство, тем меньше будет и число
копий. Люди, которые полностью отличаются по всем характеристикам от нашего пациента,
могут не воспроизводиться вовсе. После того, как собраны все реплицированные данные, мы
просто вычисляем долю тех, кто выздоровел, и принимаем это значение за предполагаемую
вероятность выздоровления.
Эта базовая идея стратегической репликации данных в случаях, когда требуется получить
намного больший и, соответственно, более релевантный набор данных, используется и иным
образом. В целях упрощения мы рассмотрим алгоритмы машинного обучения для
распределения объектов по классам, как в предыдущем диагностическом примере или как в
случае вопроса о том, может ли подавший заявку на ипотеку допустить дефолт по платежам
(то есть принадлежать одному из двух классов: «да» или «нет»). Но теперь мы рассмотрим
идеи, которые используются для повышения эффективности таких алгоритмов.
Как правило, алгоритмы для создания подобных диагностических классификаций могут
ошибаться: симптомы часто бывают неоднозначными, а у молодого кандидата на ипотеку
может быть очень короткая история финансовых транзакций. Один из способов улучшить
такой алгоритм состоит в том, чтобы изучить случаи, которые он ранее неверно
классифицировал, и посмотреть, сможем ли мы каким-то образом изменить или
скорректировать его, чтобы прогнозы стали точнее. Метод, который позволяет сделать это,
— создание искусственных данных по следующей схеме. Мы начинаем с определения
пациентов или кандидатов, по которым был сделан неправильный прогноз, и добавляем к
данным дополнительные копии этих случаев, возможно, огромное число дополнительных
копий. Теперь, когда мы настроим параметры нашей модели для классификации этого
расширенного набора данных, она будет вынуждена уделять больше внимания случаям, в
которых ранее ошибалась. Чтобы лучше понять это, представьте себе экстремальную
 143

ситуацию, в которой ранее неверно классифицированный случай был реплицирован 99 раз и

теперь существует 100 абсолютно идентичных его копий. Ранее наша классификация
выдавала только один ошибочный случай, что было незначительным, но теперь этих случаев
стало в 100 раз больше. Эффективность метода классификации значительно улучшится, если
у нас получится настроить его так, чтобы он мог теперь правильно оценивать этот случай (и
его 99 копий).
Иначе говоря, изменение алгоритма путем применения его к этому новому набору данных —
(где исходные данные дополнены большим количеством ошибочно классифицированных
копий — позволяет получить новую версию алгоритма, которая будет точнее
классифицировать те данные, где ранее допускалась ошибка. Идея состоит в том, чтобы
создавать искусственные данные, смещающие «внимание» алгоритма в нужном
направлении. Или, по-другому, использовать данные, которые могли бы быть.

Процедура, основанная на этой идее, называется бустингом, или усилением. Когда-то она
была революционной, но сегодня широко используется в машинном обучении. На момент
написания книги версии алгоритмов бустинга являются лидерами в соревнованиях по
машинному обучению, проводимых такими организациями, как Kaggle (например, особенно
хорошо показывает себя версия алгоритма, называемая экстремальный градиентный
бустинг.)
В то время как бустинг сосредоточен на тех случаях, которые ранее были неверно
классифицированы и требуют дополнительного внимания, для определения точности оценок
был разработан другой подход к использованию искусственных наборов данных. Речь идет о
методе бутстреппинга, изобретенном американским статистиком Брэдом Эфроном. (Надо
признать, статистики и специалисты по машинному обучению неплохо поднаторели в
придумывании ярких имен, раскрывающих суть концепций.)
Бутстреппинг работает следующим образом. Часто нашей целью является составление
общего сводного отчета по некоторой совокупности чисел (скажем, нам может
потребоваться среднее значение), но иногда невозможно определить каждое отдельно взятое
число. Например, нам нужно узнать средний возраст людей в стране, но людей в стране
слишком много, чтобы мы могли опросить их всех. Как мы уже видели ранее, часто само
понятие всеохватывающего измерения бессмысленно — мы не можем, к примеру,
многократно измерять массу добываемой руды, так как смысл ее добычи в переработке.
Решение заключается в том, чтобы сформировать выборку — просто спросить некоторых
людей об их возрасте или взвесить несколько партий добытой руды, — а затем использовать
среднее значение этой выборки в качестве нашей оценки.
Средние показатели выборки безусловно полезны — они дают нам общее представление о
значении, но было бы неразумным ожидать, что они окажутся абсолютно точными. В конце
концов, если мы возьмем другую выборку данных, то, вероятно, получим иной результат.
Можно, конечно, ожидать, что он не будет слишком отличаться от первого, но рассчитывать
на их идентичность не стоит. Это означает, что кроме среднего значения хотелось бы
получить оценку степени его точности. Хотелось бы знать, насколько велик разброс средних
значений, которые мы получим, сформировав разные выборки, и насколько далеки от
истинного значения наши средние показатели выборки.
Чтобы найти показатель дисперсии для средних значений, достаточно использовать
несложную статистическую теорию. Однако для других описаний и сводок данных это будет
куда сложнее, особенно если наши вычисления выходят далеко за рамки простого
определения среднего. Но и здесь синтетические темные данные могут снова прийти нам на
помощь.
 144

Если бы мы могли сформировать много выборок (например, как в случае с десятикратным

подбрасыванием монеты), проблемы бы не возникло: мы бы просто сделали это, привели
нашу модель в соответствие с каждой выборкой и посмотрели бы, насколько различаются
результаты. Но, к сожалению, у нас есть только одна выборка.
Идея Брэда Эфрона заключалась в том, чтобы принять единственную имеющуюся у нас
выборку за всю совокупность. Затем, продолжая идею извлечения выборки из совокупности,
мы могли бы извлечь подвыборку из нашей выборки (каждая подвыборка должна иметь тот
же размер, что и исходная выборка, благодаря многократному включению в нее каждого
значения). Фактически точно так же, как мы могли бы извлечь много выборок из
генеральной совокупности, мы можем извлечь много подвыборок из одной имеющейся у нас
выборки. Принципиальная разница состоит в том, что мы действительно можем
сформировать такие подвыборки. К каждой из них можно применить соответствующую
модель, например оценить среднее значение, а затем посмотреть, насколько сильно
различаются эти значения. Базовая идея состоит в том, чтобы смоделировать взаимосвязь
между всей совокупностью и фактической имеющейся выборкой с помощью вычисления
отношений между выборкой и подвыборкой. Это как если бы мы создавали искусственные
копии выборки, раскрывая большое количество данных, которые до сих пор было скрыто.
Понятие «бутстреппинг» означает переход от выборки к подвыборке точно так же, как мы
перемещаемся от генеральной совокупности к выборке.
Из этих примеров становится очевидной одна вещь: использование искусственных данных
для облегчения прогнозирования — задача весьма трудоемкая. Создание копий соседних
значений, репликация случаев ошибочной классификации, формирование нескольких
(зачастую сотен и более) подвыборок данных исключают несерьезный подход. Или как
минимум возможность проделать все это вручную. К счастью, мы живем в мире
компьютеров. Они просто созданы для проведения повторяющихся вычислений за доли
секунды. Вспомните миллион циклов, в каждом из которых было 10 бросков монеты.
Методы создания темных данных для использования их в наших интересах, описанные
здесь, во многом являются детищем компьютерного века. Выше я употребил слово
«революционный» — это не преувеличение.
Мнимые данные: байесовское априорное распределение
При рассмотрении симулирования мы предполагали, что правильно понимаем базовую
структуру, процесс и механизм возникновения данных. Такая уверенность часто
неоправданна. Мы можем иметь некоторое представление о процессе, но нам должно очень
повезти, чтобы действительно знать все в деталях. Как минимум нам сложно быть
уверенными в точных значениях чисел, характеризующих структуру.
Например, я мог бы предположить, что рост британских мужчин соответствует так
называемому нормальному распределению, при этом большинство из них имеют средний
рост и лишь немногие отличаются очень высоким или очень низким ростом. Однако такое
предположение не дает понимания, каков именно этот средний показатель. Я могу быть
уверен в том, что он меньше 1,85 м, более уверен в том, что он меньше 1,9 м, еще более
уверен в том, что он меньше 1,95 м и абсолютно уверен в том, что средний рост меньше 2 м.
Точно так же я могу быть уверен в том, что это значение больше 1,7 м, чуть более уверен,
что оно больше 1,65 м, и абсолютно уверен, что оно превосходит 1,5 м. То, что я описываю
здесь, — это распределение моих представлений о вероятном значении среднего роста; оно
показывает, насколько я убежден, что средний рост находится в том или ином диапазоне.

Сложно сказать, откуда именно взялось такое распределение. Скорее всего, это сочетание
опыта личных встреч с людьми разного роста, расплывчатых сведений из исследований на
эту тему, о которых я некогда читал, смутных воспоминаний о том, что кто-то когда-то
говорил мне об этом. В любом случае это эквивалентно некоему набору данных, которые я
 145

не могу зафиксировать, по крайней мере полностью, и установить их значения. Проще

говоря, эти данные — темные.
Учитывая фундаментальную субъективность и неопределенность причин наших
представлений о среднем росте населения, вполне понятна неуверенность, которая может у
нас возникнуть в отношении того, стоит ли что-то утверждать или принимать решения на
основании собственного мнения по этому вопросу. Вместо этого следует собрать данные,
чтобы добиться большей объективности. И это именно то, для чего нужен байесовский
подход к статистике. В соответствии с ним следует взять наши первоначальные мнения о
возможных значениях среднего роста, называемые априорными убеждениями, а затем
корректировать их по мере поступления новых реальных данных, что приводит к появлению
апостериорных убеждений. Мы могли бы, например, измерить рост 100 случайно выбранных
британцев, а затем использовать эти 100 значений, чтобы скорректировать или обновить
наше первоначальное представление о среднем росте населения. Результатом будет новое
распределение возможных значений среднего роста, которое будет представлять собой
смещение первоначального распределения наших мнений в сторону наблюдаемых
фактических значений. Если взять действительно большую выборку, то ее вес в определении
среднего значения будет настолько велик, что влияние нашего первоначального
представления окажется ничтожным. Этот процесс обновления или корректировки
выполняется с использованием фундаментальной теоремы Байеса. С нашей точки зрения,
теорема Байеса объединяет ненаблюдаемые темные данные с реально наблюдаемыми, чтобы
получить новое распределение мнений о вероятном среднем росте. (Ладно, так и быть,
скажу: Национальная статистическая служба Великобритании сообщает, что средний рост
британских мужчин 1,75 м.)
Вот другой пример. Ученые пытались определить скорость света еще в XVII в.: в 1638 г.
Галилей установил, что она по меньшей мере в 10 раз превышает скорость звука; в 1728 г.
Джеймс Брэдли назвал значение 301 000 км/с, а в 1862 г. Леон Фуко скорректировал его до
299 796 км/с. Мы можем суммировать эти и другие оценки, чтобы получить распределение
мнений относительно возможных значений. Подробные результаты экспериментов могут
быть утеряны — стать темными данными, но распределение мнений будет содержать
соответствующую информацию. В конце XIX в. канадский астроном и математик Саймон
Ньюком (тот самый, с которым мы уже встречались, говоря о распределении Бенфорда)
провел дальнейшие эксперименты. В 1891 г. он опубликовал свои измерения, сделанные
между 24 июля 1882 г. и 5 сентября 1882 г., в альманахе Astronomical Papers, издаваемом
Американским офисом Морского альманаха1. Подробные измерения Ньюкома стали
доступны для объединения с темными данными, скрытыми в распределении мнений на
основе более ранних экспериментов, что улучшило это распределение. К слову сказать, на
сегодняшний день наиболее точная оценка скорости света, которую мы имеем, составляет
299 792,458 км/с в вакууме.
Байесовская статистика играет чрезвычайно важную роль — это одна из двух (или по другой
версии трех) основных школ статистического анализа.
Частная жизнь и защита конфиденциальности
До этого момента мы старались взглянуть на существующие статистические процедуры и
принципы работы с наблюдаемыми данными с точки зрения темных данных. Такая смена
перспективы нередко приводит к новому пониманию. Но есть и другие способы
использования темных данных. На самом деле, как мы сейчас увидим, сокрытие данных
является центральным элементом эффективного функционирования современного общества:
многие из наших обычных повседневных действий были бы просто невозможны без
сокрытия данных.
 146

В главах 6 и 7 мы говорили о том, как мошенники скрывают информацию. Их цель —

создать искаженное впечатление о происходящем: заставить вас поверить, что вам будет
выгодна транзакция, тогда как на самом деле вы на ней потеряете, или скрыть правду о
результатах эксперимента. Шпионы делают то же самое. Их настоящая цель, личность и,
конечно же, реальное поведение скрыты от государств и корпораций. Шпионы не хотят,
чтобы противник узнал об их замыслах, поэтому они стараются скрыть свою деятельность. В
то же время шпионы пытаются добыть и передать своему руководству данные, которые
противная сторона пытается сохранить в секрете. Но у всего есть обратная сторона и более
высокий уровень осмысления, а уж тем более у шпионажа. Так, утечка определенных данных
может быть выгодна государству, чтобы противник узнал ответы на свои вопросы и
успокоился. В этот момент на сцене появляются двойные и тройные агенты, и наступает
полная неразбериха, что от кого скрыто. Все моментально становится очень сложным!
Но мошенники и шпионы не единственные, кто все время что-нибудь да скрывает.
Подумайте: возможно, вы сами не заинтересованы в том, чтобы ваша медицинская или
финансовая история стала достоянием общественности. Вас может смутить, если некоторые
аспекты вашей жизни станут общеизвестными. В этом суть частной жизни, и статья 12
Всеобщей декларации прав человека не зря начинается следующими словами: «Никто не
может подвергаться произвольному вмешательству в его личную и семейную жизнь…»
Есть разные определения частной жизни. Это и право на уединение, и право на защиту от
вмешательства государства, и возможность избирательно раскрывать себя миру. Все эти
определения прекрасны, но они носят слишком общий характер, ведь конфиденциальность и
сокрытие данных — вещи вполне конкретные. Вы используете секретные пароли для защиты
своего банковского счета, учетных записей в социальных сетях, доступа к телефону,
ноутбуку и т.д. Это означает как минимум две вещи: во-первых, ваши данные защищены от
тех, от кого вы сами хотите их защитить, и, во-вторых, крайне важно уметь создать хороший
пароль.
Вы не поверите, но даже сейчас многие используют в качестве паролей по умолчанию такие
последовательности, как password, 123456 и admin. (Самое время вспомнить анекдот с
бородой про человека, который изменил все свои пароли на «неверный», чтобы система,
когда он забудет их, сама подсказала: «Пароль неверный».) Это часто предустановленные на
устройствах пароли, которые, по сути, являются тестовыми и должны прекращать свое
существование после продажи носителя. Хакеры обычно начинают с просмотра именно этих
паролей по умолчанию. Более общая базовая стратегия взлома паролей состоит в том, чтобы
просто попробовать миллиарды различных комбинаций символов, что при наличии мощного
компьютера может быть выполнено со скоростью полмиллиона комбинаций в секунду (здесь
становится понятным, что прогон миллиона симуляций подбрасывания монеты занял у меня
считаные секунды). Если у хакера есть хоть какая-то информация о вашем пароле (например,
что он состоит только из цифр), то это значительно ускоряет поиск. Вот почему
рекомендуется использовать в пароле буквы в обоих регистрах, а также цифры и
специальные символы. Это значительно увеличивает словарь символов и создает намного
больше возможных вариантов, которые хакер должен испробовать. 10 возможных цифр и
пароль длиной восемь символов создают 108 вариантов, или 100 млн возможных паролей.
Тестирование их со скоростью полмиллиона в секунду означает, что пароль может быть
взломан максимум за 200 секунд, или три с небольшим минуты. В то же время, используя 10
цифр, 26 букв английского алфавита в обоих регистрах, а также, скажем, 12 специальных
символов, вы увеличиваете число возможных паролей длиной восемь символов до 748, что
составляет около 9 × 1014. При скорости полмиллиона комбинаций в секунду на их
прохождение потребуется около 28,5 млн лет. Можно спокойно вздохнуть!
 147

Шпионаж и пароли тесно связаны с секретными кодами и криптографией. Это инструменты

для обмена информацией между двумя людьми, которые не позволяют посторонним
понимать ее и оставляют их в неведении. На самом деле шифрование используется не только
в сфере шпионажа. Например, коммерческие организации часто обмениваются
конфиденциальной информацией, банки должны точно знать, что никто не перехватит их
сообщения и не перенаправит транзакции, да и вы сами должны быть уверены, что ваша
электронная корреспонденция будет прочитана только целевыми получателями и никто не
сможет взломать систему обмена информацией.
Криптография, или наука шифрования, стала передовой математической дисциплиной. Ее
современные методы часто основаны на шифровании с открытым ключом. Это элегантное
математическое решение, в котором используются два числовых ключа, один из которых
позволяет людям шифровать сообщения, а другой — расшифровывать их. Первый ключ
может быть обнародован, поэтому закодировать сообщение может любой, а вот второй
остается в секрете, и только тот, кто имеет к нему доступ, может декодировать сообщения.

Общественные, социальные и этические проблемы, связанные с криптографией, могут быть

очень серьезными. С одной стороны, шифрование обеспечивает безопасность законных
транзакций, но с другой — оно используется и для защиты незаконных транзакций
криминального или террористического характера. Apple Inc. получила ряд запросов от судов
США с требованием раскрыть информацию на заблокированных iPhone. В одном случае
ФБР попросило Apple разблокировать телефон, принадлежащий одному из преступников,
устроивших теракт в Сан-Бернардино, штат Калифорния, в декабре 2015 г., в результате
которого погибли 14 человек. Но такой запрос ставит нас перед серьезной проблемой: в
какой степени личная конфиденциальность должна быть священной. В этом конкретном
случае Apple отказалась выполнять запрос, было назначено слушание, но до того, как оно
состоялось, ФБР нашло некое третье лицо, которое имело доступ к телефону и
разблокировало его. Запрос был отозван, но история о конфиденциальности, секретности и
доступе к темным данным на мобильных телефонах далека от своего завершения.

Национальные статистические службы являются государственными органами, которые

собирают и сопоставляют данные по всему населению страны, а затем анализируют с целью
разработки на их основе эффективной социальной и государственной политики. Такие
органы должны хранить личные данные в секрете, допуская публикацию лишь
статистических сводок. Например, вы ожидаете, что национальная статистическая служба
вашей страны не будет разглашать размер вашей зарплаты или историю болезни, сообщая
только о распределении зарплат и количестве людей, у которых диагностированы те или
иные заболевания. Такая политика может привести к деликатным проблемам
конфиденциальности. В частности, если выдается информация об относительно небольшой
группе людей, возможно, окажется несложным идентифицировать лиц в этой группе.
Например, публикация информации о мужчинах в возрасте от 50 до 55 лет с указанием
почтового индекса, в зоне которого они проживают, может существенно сузить поиск. В
самом худшем случае может быть всего один человек, который отвечает всем условиям,
определяющим группу.
Из-за этих и подобных им деликатных вопросов национальные статистические службы и
другие органы государственной власти разработали инструменты для сохранения данных в
темноте, чтобы можно было распространять информацию о населении без нанесения ущерба
конфиденциальности отдельно взятого человека. Например, если перекрестная
классификация критериев выдает небольшой список людей (скажем, тех, кто живет в
определенном городе и зарабатывает более £1 млн в год), то эту ячейку перекрестной
классификации можно объединить с соседними ячейками (с теми, кто живет в близлежащих
городах или зарабатывает более £100 000 в год).
 148

Другая стратегия, которую используют статистические службы для сокрытия данных,

состоит в их искажении случайным образом. Например, небольшое число, выбранное
случайным образом, может добавляться к каждому значению таблицы так, чтобы ее можно
было опубликовать без разглашения точных чисел, но сохранить общую картину.
Существуют способы сохранения требуемых аспектов (например, общих средних значений,
распределений чисел в разных группах) точными, хотя все составляющие совокупность
числа изменяются.

Третья стратегия — моделирование распределения и характеристик истинных данных с

последующим использованием модели для генерации синтетических данных с теми же
свойствами, подобно тому, как это происходит при симуляции. Например, мы можем
рассчитать средний возраст и разброс по возрастам в популяции, а также общую структуру
распределения по возрасту, а затем сгенерировать искусственные данные, которые имеют
точно такую же структуру среднего, разброса и распределения. Таким образом, реальные
данные полностью заменяются, но (до определенного момента) сводки, сгенерированные из
синтетических данных, совпадают с реальными.
Данные можно также анонимизировать. Это означает, что информация, которая служит для
идентификации людей, уничтожается. Например, из записей удаляются имена, адреса и
номера социального страхования. Недостатком анонимизации является то, что потенциал
повторной идентификации, позволяющей установить, кому принадлежит конкретная запись,
начисто теряется. Так, в записях клинических испытаний анонимность может быть
сохранена путем удаления имен и адресов, но если позднее обнаруживается, что некоторые
пациенты подвергаются серьезному риску, то возникает необходимость вновь
идентифицировать их. Кроме того, для многих организаций ведение записей, позволяющих
идентифицировать людей, имеет решающее значение для деятельности.
В таких случаях можно использовать так называемую псевдонимизацию. Вместо того, чтобы
просто уничтожать идентифицирующую информацию, ее заменяют кодом. Например, имена
могут быть заменены случайно выбранным целым числом (замена имени Джеймс Бонд на
число 007 не будет случайной, а вот имени Дэвид Хэнд на число 665347 — вполне). Если
где-то хранится файл, который сопоставляет идентификаторы с кодами, то в случае
необходимости всегда может быть найдена личность носителя кода.
Формальные определения анонимизации, используемые статистическими службами, обычно
содержат пункт, в котором говорится, что процесс анонимизации должен «защищать людей
от повторной идентификации любыми разумными средствами». Выражение «разумные
средства» возникает здесь оттого, что идеальная анонимность редко может быть
гарантирована, поскольку одни наборы данных могут быть связаны с другими. В главе 3 мы
уже видели, что связывание наборов данных имеет огромный потенциал для улучшения
жизни людей. Например, связь моделей закупки продуктов питания с данными о здоровье
даст ценную для профилактики болезней информацию. Связывание данных о школьном
образовании с данными по занятости и доходам из налоговых органов предоставит
чрезвычайно полезную информацию для разработки государственной политики. Подобное
связывание наборов данных не является чем-то гипотетическим, оно уже проводится
широким кругом организаций по всему миру. Но подобные проекты могут быть успешными
только в том случае, если люди, данные которых включены в базы данных, будут уверены,
что их частная жизнь и конфиденциальность не нарушены. Британская сеть исследования
административных данных (ADRN) преодолела риски конфиденциальности, используя
метод «доверенной третьей стороны» для связывания данных. Этот метод означает, что ни
один конкретный владелец данных не имеет ни идентификаторов, ни связанных данных2.
Для двух наборов данных система работает следующим образом:
 149

 Каждый менеджер баз данных создает уникальные идентификаторы для каждой

записи в своем наборе данных.
 Эти идентификаторы и связанная с ними идентифицирующая информация (например,
имена) отправляются «доверенной третьей стороне» по защищенным ссылкам, каждая
из которых соответствует конкретному идентификатору.
 Для каждой записи создается связывающий идентификатор.
 Файлы, содержащие связывающий идентификатор и уникальные идентификаторы для
каждой записи, отправляются обратно владельцам базы данных.
 Владельцы базы данных добавляют связывающий идентификатор к записям в своем
наборе данных.

 Наконец, каждый владелец базы данных извлекает идентификационную информацию

(например, имена) и отправляет записи и их связывающие идентификаторы
исследователю, который может связывать наборы данных, используя связывающий
идентификатор, не зная самих идентификационных данных.
Этот процесс кажется несколько сложным, но на деле он очень эффективен для сокрытия
идентификаторов при связывании записей из двух наборов данных. Хотя такие проекты по
связыванию данных могут быть чрезвычайно ценными для общества, они всегда несут риски
нежелательной идентификации, которые могут быть значительно увеличены, если данные
будут связаны с внешними наборами данных. (Это было невозможно в случае ADRN,
поскольку весь анализ проводился в защищенных средах без доступа к другим источникам
данных.) Эта дилемма хорошо иллюстрируется одним известным случаем.
В 1997 г. Комиссия по страхованию штата Массачусетс (GIC) опубликовала больничные
данные для исследователей, чтобы они могли разработать улучшенные стратегии
здравоохранения. Тогдашний губернатор Массачусетса Уильям Уэлд заверил жителей штата
в том, что их конфиденциальность защищена, заявив, что GIC удалила личные
идентификаторы из данных.

Возможность связывания данных, однако, не была рассмотрена. Латания Суини была в то

время аспирантом в Массачусетском технологическом институте, где занималась
«вычислительным контролем идентификации» — отраслью информатики, связанной с
инструментами и методами сохранения данных в темноте. Суини задалась вопросом,
возможно ли, вопреки утверждению Уэлда, идентифицировать людей по данным GIC. В
частности, она решила поискать данные самого Уэлда. Общеизвестно, что Уэлд живет в
Кеймбридже, штат Массачусетс, в котором всего семь почтовых индексов и 54 000 жителей.
Суини сопоставила эту информацию с данными в избирательном бюллетене, которые можно
было купить всего за $20. Затем, используя другую общедоступную информацию об Уэлде
— дату его рождения, пол и т.д., она смогла сопоставить ее с больничными записями и таким
образом идентифицировать медицинскую запись Уэлда. В довершение всего Суини послала
ему копии найденных записей.
Конечно, в этом деле присутствует фактор уникальности. Любой набор данных может
включать данные известных лиц, которые в некотором смысле являются аномальными и
допускают простую идентификацию, но это не означает, что большинство людей могут быть
так же легко идентифицированы. В нашем примере Уэлд был публичной фигурой, и о нем
было много чего известно. Кроме того, его повторная идентификация зависела от точности
информации в избирательном бюллетене. Дэниел Барт-Джонс детально изучил этот случай и
показал его исключительность3. Тем не менее это событие вызвало определенную тревогу на
 150

правительственном уровне и недавние изменения в законодательстве затруднили такую

повторную идентификацию.
Другой известный случай касается данных веб-поиска, открыто опубликованных на портале
поставщиком онлайн-услуг AOL в 2006 г. Чтобы сохранить анонимность, AOL удалил
IP-адреса и никнеймы пользователей, осуществлявших поисковые запросы, заменяя их все
тем же случайно выбранным идентификатором. В данном случае анонимность была
взломана не аспирантом, а двумя журналистами, которые быстро сопоставили
идентификатор 4417749 с Тельмой Арнольд, вдовой, проживающей в Лилберне, штат
Джорджия. Журналисты сделали это, сузив поиск благодаря информации, содержавшейся в
ее поисковых запросах: она искала медицинские недуги людей с фамилией Арнольд,
информацию о собаках и т.д.
Еще один печально известный случай — так называемый «приз от Netflix» — произошел в
2006 г. База данных Netflix содержала сравнительные рейтинги предпочтений фильмов для
полумиллиона подписчиков сервиса. Компанией был объявлен конкурс с призовым фондом
в размере $1 млн за разработку алгоритма, который бы на 10% точнее существующего
рекомендовал фильмы подписчикам. Вся личная информация, как и положено, была удалена,
а идентификаторы заменены случайными кодами. На этот раз защиту взломали два
исследователя из Техасского университета, Арвинд Нараянан и Виталий Шматиков. Вот их
заявление: «Мы показываем, что злоумышленник, который знает хоть что-то об отдельном
подписчике, может легко идентифицировать запись этого подписчика в наборе данных.
Используя базу данных фильмов в интернете (IMDb) в качестве источника базовых знаний,
мы успешно определили записи известных пользователей Netflix, выявив их очевидные
политические предпочтения и другую конфиденциальную информацию»4.

Все вышеизложенное — это случаи, произошедшие относительно давно. В результате их

были приняты законы, направленные на то, чтобы сделать наборы данных более
безопасными и наказывать за попытки взломать анонимность. Но печальная правда
заключается в том, что данные должны быть либо абсолютно темными и, следовательно,
бесполезными, либо иметь для доступа хотя бы минимальную щель, через которую всегда
может просочиться свет.
Сбор данных в темноте
Как мы видим, данные, идентифицирующие людей, можно анонимизировать в случаях,
когда одни наборы данных связываются с другими, но есть возможность пойти еще дальше.
Можно делать данные темными по мере их сбора и использования в расчетах, чтобы их
вообще никто никогда не видел, но они по-прежнему были бы доступными для анализа.
Ниже приведены некоторые из способов, которыми это можно сделать.

Прежде всего это рандомизированный ответ — хорошо известная стратегия сбора

конфиденциальной личной информации, такой как данные, касающиеся сексуального или
нечестного поведения. Для примера предположим, что мы хотим знать, какая часть
населения хотя бы раз в жизни совершала кражу. Прямой вопрос на эту тему в лучшем
случае приведет к искаженным ответам, поскольку очевидно, что люди склонны лгать и
отрицать. Вместо этого мы просим каждого человека подбросить монету, которую видит
только он. Люди проинструктированы, что, если выпадает орел, они должны правдиво
ответить «да» или «нет» на вопрос «Совершали ли вы когда-нибудь кражу?», а если
выпадает решка, то они должны просто ответить «да». Теперь для любого человека
положительный ответ означает, что мы не будем знать, украл ли он что-то на самом деле или
это монета упала решкой вверх. Но мы узнаем нечто большее. Поскольку вероятность того,
что выпадет орел, равна 1/2, мы будем знать, что общее число ответивших «нет» — только
половина тех, кто действительно ничего не крал. Так что удвоение этого числа скажет нам о
 151

том, сколько человек действительно не совершали краж. Вычитая это значение из общего
числа, мы узнаем число тех, кому доводилось красть.
Дэвид Хью-Джонс из Университета Восточной Англии в Великобритании использовал
вариант этой идеи, чтобы исследовать честность в 15 странах5. Он просил людей подбросить
монетку (сам не зная результата), суля вознаграждение $5, если выпадет орел. Если бы все
сказали правду, можно было бы ожидать, что около половины людей сообщат, что выпал
орел. Если доля утверждающих это больше половины, то, значит, люди лгут — и именно это
Хью-Джонс использовал в качестве меры честности.

Стратегия рандомизированного ответа — способ скрывать данные по мере их сбора. Есть

также способы скрывать данные во время расчетов. Защищенное многостороннее
вычисление — это способ сбора информации в группе, при котором никто из ее участников
не имеет доступа к чужим данным. Вот простейший пример. Предположим, мы хотим узнать
среднюю зарплату в группе проживающих рядом людей, но все они очень чувствительны к
раскрытию информации о своем заработке. В этом случае я прошу каждого из них разбить
его зарплату на два числа, a и b, так, чтобы их сумма равнялась зарплате. Таким образом, тот,
кто зарабатывает £20 000, может разделить их на £19 000 и £1000, или на £10 351 и £9649,
или на £2 и £19 998, или даже на £30 000 и –£10 000. Совершенно не важно, как именно люди
разделят свою зарплату. Они могут использовать и положительные, и отрицательные числа,
главное, чтобы выполнялось условие — эти числа должны складываться в зарплату. Затем
все части a отправляются кому-то, кто складывает их и получает общее значение A. Все
части b отправляются кому-то другому (важно, чтобы это был другой человек), который
также складывает их, чтобы получить значение B. Последний шаг — просто сложить A и B и
разделить на число человек, чтобы получить среднее значение. Обратите внимание, что на
протяжении этого процесса никто не знает значений чужих зарплат. Даже те люди, которые
складывают одни части, понятия не имеют, что представляют собой другие части.

Защищенное многостороннее вычисление обеспечивает суммирования данных по популяции

без какой-либо идентификации отдельных ее членов при работе со значениями в масштабе
всей популяции или отдельной выборки. Но на самом деле можно пойти еще дальше.
Гомоморфное вычисление позволяет шифровать данные, затемнять их и предоставлять кому
бы то ни было для анализа, с тем чтобы он получил зашифрованный результат, не зная, что
означают данные и результат. В этом случае вы — единственный, кто знает, как
расшифровать значения данных и результат. История этого метода началась примерно с 2009
г., когда была опубликована статья Крейга Джентри из исследовательского центра IBM
Watson, но сама идея родом из 1970-х гг.6 Далее приведен несложный и выдуманный
пример, иллюстрирующий эту идею: в реальных приложениях используются куда более
сложные методы.
Предположим, мы хотим рассчитать средний возраст членов некоего тайного общества, но
вот беда: у нас нет даже калькулятора. Поэтому мы просим кого-нибудь со стороны, у кого
он есть, сделать за нас расчеты, однако не хотим, чтобы этот человек видел значения
возрастов (общество все-таки тайное). Чтобы сделать это, мы начинаем с «шифрования»
возрастов, добавляя разные случайно выбранные числа к каждому из них. При этом мы
вычисляем среднее значение всех случайных добавленных чисел. Теперь можно отправлять
нашу шифровку — суммы исходных и случайных чисел — человеку, который взялся
выполнить калькуляцию. Он складывает зашифрованные числа и отправляет нам их средние
значения. Несложно догадаться, что если мы вычтем среднее значение случайных чисел из
общего среднего, то получим средний возраст членов тайного общества.
Понятно, что это очень упрощенный пример, и, как правило, требуется сделать нечто более
сложное, чем найти среднее значение.
 152

Теперь мы знаем, что данные могут быть собраны, не будучи увиденными теми, кто их
собирает, и то, что данные можно анализировать так, чтобы осуществляющие анализ не
понимали, что именно они анализируют. В более общем смысле эта глава переворачивает
концепцию темных данных с ног на голову. Обычно темные данные являются источником
проблем — они скрывают от нас то, что мы хотим знать, и могут привести к искаженным
выводам и недопониманию. Но из этой главы мы узнали о методах, которые делают
сокрытие данных чрезвычайно полезным и, как следствие, ведут к более точным оценкам,
улучшают процесс принятия решений и даже защищают от преступников.

Глава 10
Классификация темных данных
Путь в лабиринте
Систематика темных данных
Мы рассмотрели массу примеров темных данных, причины и последствия их появления, а
также методы решения вызванных ими проблем. Однако ситуации часто бывают
запутанными, поскольку данные могут быть темными по нескольким причинам
одновременно. Вот пример.
При правительстве Великобритании существует исследовательская команда по
поведенческому анализу. СМИ окрестили ее «отдел подталкиваний». Дело в том, что эта
команда ищет небольшие стратегически реализуемые изменения в государственной
политике (подталкивания), которые могут оказать большое влияние на поведение граждан.
Вот что сказано в недавнем докладе команды: «В ряде документов и статей в прессе
отмечается, что официальная статистика показывает значительное снижение потребления
пищи с точки зрения калорий в Великобритании за последние 40 лет. В то же время мы
наблюдаем увеличение средней массы населения за этот период. Каким образом наш вес
увеличился, если мы стали меньше есть?.. Один из ответов заключается в том, что уровень
физической активности населения снизился, соответственно снизился и расход калорий»1.

Это объяснение кажется возможным, хотя и довольно неожиданно. Его смысл в том, что,
хотя британцы стали меньше есть, они сократили физическую нагрузку, а это привело к
увеличению веса. Тем не менее в отчете сделан вывод, что такое объяснение
неправдоподобно, поскольку «заявленный уровень потребления пищи с точки зрения
калорий слишком низок, чтобы поддерживать наш текущий вес, даже если уровень
физической активности минимален». В докладе также говорится, что «по оценкам,
количество потребляемых калорий находится ниже рекомендуемой суточной нормы,
составляющей 2500 килокалорий для мужчин и 2000 килокалорий для женщин (имеющих
нормальный вес)». Команда предположила, что проблема заключается в темных данных.

Показатели закупки продуктов питания рассчитываются на основе данных Опроса о

стоимости жизни и питания (LCFS). Потребление калорий оценивается по данным
Национального опроса о диетах, питании и здоровье (NDN-SHS), проводимого в Англии. В
отчете «отдела подталкивания» говорится, что эти опросы недооценивают показатели
закупки продуктов питания и потребления калорий. Что касается LCFS, то доклад ссылается
на «исследования, [которые] показали, что доля экономической активности, не охваченная
LCFS, увеличилась с 2% в 1992 г. почти до 16% в 2008 г.». Когда команда скорректировала
результаты LCFS, чтобы учесть этот фактор, она обнаружила, что потребление продуктов
питания на самом деле увеличивалось с 1990-х гг. Показатели NDN-SHS были
скорректированы с использованием так называемого метода двойной маркировки воды,
который является «золотым стандартом измерения расхода энергии». Эта корректировка
 153

показала, что «в целом мы потребляем на 30–50% больше калорий, чем указано в

официальной статистике».
Все вышесказанное выглядит как классический пример присутствия темных данных.
Потребление калорий не снизилось — просто все выглядело так из-за недостающих или
ложных данных. В докладе было предложено пять причин такого занижения показателей,
включающих различные DD-типы:

 рост уровня ожирения (поскольку люди с ожирением с большей вероятностью

занижают данные о своем потреблении — DD-тип 11: искажения обратной связи и
уловки);
 рост желания похудеть (так как это связано с занижением значений при опросе —
DD-тип 11: искажения обратной связи и уловки);

 увеличение объема перекусов и приема пищи вне дома (DD-тип 2: данные, о которых
мы не знаем, что они отсутствуют);
 снижение частоты ответа при опросах (DD-тип 1: данные, о которых мы знаем, что
они отсутствуют, DD-4: самоотбор);
 рост расхождения между справочными данными, используемыми для расчета
калорий, и истинными размерами порций и реальной калорийностью пищи (ошибка
измерения скрывает истинные значения — DD-тип 10: ошибки измерения и
неопределенность).
В отчете «отдела подталкивания» указывается несколько очевидных причин появления
темных данных, но во многих ситуациях множественность причин не так очевидна. Кроме
того, выискивать причины появления темных данных, чтобы предпринять соответствующие
шаги для преодоления рисков, часто бывает непросто.
Первым шагом должно быть осознание того, что темные данные могут присутствовать
всегда. Базовое предположение должно заключаться в том, что имеющиеся данные являются
неполными или неточными. Самое важное послание этой книги: относитесь к данным с
подозрением — по крайней мере пока не будет доказано, что они адекватны и точны.

Также необходимо уметь распознавать ситуации, особенно чреватые проблемами с темными

данными, видеть определенные признаки того, что темные данные искажают собранный
материал, и реагировать на более общие ситуации, в которых кроется опасность. В книге я
попытался облегчить вам эту задачу двумя способами.
Во-первых, это масса примеров, иллюстрирующих пути возникновения темных данных. Они
показывают конкретные ситуации, на которые следует обращать внимание. Конечно,
ситуации и контексты могут сильно отличаться от показанных в книге, но есть надежда, что
приведенные здесь примеры послужат отправной точкой.
Во-вторых, это систематика DD-типов темных данных, представленная в главе 1 и
используемая по ходу изложения. Чтобы вам было проще определять эти типы в реальных
практических ситуациях, я кратко изложил их далее с примерами для каждого.
Эти DD-типы охватывают «видовое» разнообразие темных данных, так же, как оси
координат очерчивают двумерную плоскость графика, но в отличие от осей координат мои
DD-типы не претендуют на полный охват пространства темных данных. Не стоит
сомневаться в том, что существуют случаи недостающих или искаженных данных, которые
не упомянуты в книге. К тому же постоянно появляются и будут появляться все новые типы
темных данных со своими особенностями. Так или иначе, предложенная систематизация
 154

DD-типов дает своего рода контрольный список опасностей и общих проблем, на которые
следует обращать внимание, работая с любым набором данных. И, конечно, всегда
необходимо помнить, что обнаружение одного DD-типа не исключает присутствия других.

 DD-тип 1: данные, о которых мы знаем, что они отсутствуют

Это «известные неизвестные» Рамсфелда. Они возникают, когда мы знаем, что в
данных есть пробелы, скрывающие значения, которые могли быть записаны.
Примером могут служить отсутствующие значения, как во фрагменте маркетинговых
данных в табл. 1, или отказ людей из опросного списка отвечать на вопросы частично
или полностью. В последнем случае, возможно, все, что мы знаем о респондентах, это
их идентификационные данные.
 DD-тип 2: данные, о которых мы не знаем, что они отсутствуют

Это «неизвестные неизвестные» Рамсфелда. Мы даже не знаем, что нам не хватает

каких-то данных. Примером может служить веб-опрос, для которого нет списка
возможных респондентов, поэтому мы в принципе не знаем, кто отказался его
проходить. Катастрофа космического шаттла Challenger была следствием упущения
такого рода, поскольку участники телеконференции не осознавали, что им не хватает
некоторых данных.
 DD-тип 3: выборочные факты
Плохой набор критериев отбора для включения в выборку или ошибочное
применение разумных критериев может привести к искажению выборки. В
исследуемую группу могут войти более здоровые пациенты или люди,
симпатизирующие той или иной компании. Это происходит, когда из большого числа
случаев, осознанно или нет, выбираются «лучшие», чтобы избежать разочарования в
будущем — возврат к среднему значению никто не отменял. Аналогично p-хакинг и
неспособность учесть несколько гипотез означают, что научные результаты не смогут
быть воспроизведены.
 DD-тип 4: самоотбор
Самоотбор является вариантом предыдущих данных DD-тип 3. Он проявляется, когда
людям дают право самостоятельно решать, что включать в базу данных, а что нет.
Примерами самоотбора являются отсутствующие ответы в опросах, когда
респонденты сами выбирают, отвечать им или нет, базы данных пациентов, где
пациенты могут отказаться предоставлять свои данные, и в более общем плане —
выбор услуг потребителями. Для всех этих примеров возможна ситуация, когда
недостающие данные имеют какие-то системные отличия от данных имеющихся.
 DD-тип 5: неизвестный определяющий фактор
Иногда критически важный аспект системы совершенно незаметен. Это может
привести к установлению ошибочных причинно-следственных связей, например
между увеличением продаж мороженого и засыханием травы. Понятно, что в этом
примере в причинно-следственной цепи отсутствуют данные о погоде, но нехватка
ключевого звена не всегда бывает столь очевидна. Более проблематичный пример —
парадокс Симпсона, в котором общий показатель может увеличиваться, в то время как
все составляющие его показатели уменьшаются.
 DD-тип 6: данные, которые могли бы существовать
 155

Контрфактуальные данные — это данные, которые мы бы смогли увидеть, если бы

предприняли какие-то другие действия или наблюдали бы за происходящим при
других условиях или в иных обстоятельствах. Примером может служить клиническое
испытание, в котором все пациенты получают одинаковое лечение — возможно,
потому что целью исследования является изучение сроков выздоровления, — и после
того, как пациенты вылечены, уже невозможно посмотреть, как подействовало бы на
них альтернативное лечение. Другим примером является возраст супруга того, кто
даже не женат.
 DD-тип 7: данные, меняющиеся со временем
Время может скрывать данные разными путями. Данные могут перестать
соответствовать точному описанию мира, одни факты могут перестать
регистрироваться за пределами периода наблюдений, а другие — потому что
изменилась их природа, и т.д. Примерами могут служить медицинские исследования
интервалов выживания, когда смерть пациента наступила после окончания периода
наблюдения, а также данные по населению 20-летней давности, что может иметь
сомнительную ценность для разработки текущей государственной политики.
 DD-тип 8: неверно определяемые данные

Определения могут быть противоречивыми или со временем меняться, чтобы лучше

соответствовать своему предмету и его назначению. Это может вызвать проблемы в
случае с экономическими (и другими) временными рядами, когда данные, лежащие в
их основе, могут перестать собираться. В более общем смысле, если люди по-разному
определяют понятия, они вполне могут сделать и разные выводы. Одним из примеров
является уровень преступности в Великобритании, который оценивается по
полицейским записям и по опросам потерпевших, где определения преступления
неодинаковы.
 DD-тип 9: обобщение данных
Обобщение данных по определению означает отбрасывание деталей. Если вы
сообщаете только среднее значение, то не даете никакой информации о диапазоне
данных или об асимметрии распределения. Среднее значение может скрыть тот факт,
что некоторые значения могут очень сильно от него отличаться. В то же время
обобщение может скрывать и тот факт, что все значения идентичны.
 DD-тип 10: ошибки измерения и неопределенность

Ошибки измерения приводят к неопределенности истинного значения. Это легче

всего понять, представив ситуацию, в которой диапазон погрешности измерения
равен или больше, чем диапазон базовых истинных значений, — в этом случае
наблюдаемое значение может сильно отличаться от истинного. Округление и
нагромождение, верхний и нижний пределы избыточности и прочие эффекты вносят
неопределенность в данные, скрывая их точные значения. Другой причиной
неопределенности и неточности является связь данных, при которой
идентифицирующая информация может храниться в разных формах, что приводит к
ошибкам сопоставления.

 DD-тип 11: искажения обратной связи и уловки

Этот тип данных возникает, когда собранные значения начинают влиять на исходный
процесс — как в случае раздувания оценок и пузырей на рынках акций. Это означает,
 156

что данные искаженно представляют базовую реальность и, возможно, с течением

времени все больше отдаляются от нее.
 DD-тип 12: информационная асимметрия
Информационная асимметрия возникает, когда разные наборы данных хранятся у
разных людей, и когда кто-то знает то, чего не знают другие. В качестве примера
можно привести инсайдерскую торговлю, рынок «лимонов» Акерлофа и
международную напряженность, вызванную ограниченной информацией о
возможностях других государств.
 DD-тип 13: намеренно затемненные данные

Эти случаи предумышленного отбора определенных фактов являются особенно

проблематичными. Они наблюдаются, когда люди намеренно скрывают данные или
манипулируют ими с целью обмана или введения в заблуждение. Мы видели, что
такое мошенничество может возникать в очень разных контекстах и отношениях.
 DD-тип 14: фальшивые и синтетические данные
Когда данные создаются искусственно, они могут вводить в заблуждение, как и в
случае мошенничества. Однако существует метод симуляции, когда генерируются
искусственные наборы данных, которые могли возникнуть в результате изучаемого
процесса, а также другие методы, использующие репликацию данных, например
методы бутстреппинга, бустинга и сглаживания. Современные статистические
инструменты широко используют такие идеи, но некачественная репликация может
привести к ошибочным выводам.
 DD-тип 15: экстраполяция за пределы ваших данных

Наборы данных всегда конечны. Это означает, что они имеют максимальное и
минимальное значения, за пределами которых лежит неизвестность. Заявление о
возможных значениях выше максимума или ниже минимума в наборе данных требует
выдвижения предположений или получения информации из какого-то другого
источника. Опасность, которую несет этот тип темных данных, мы рассмотрели на
примере катастрофы шаттла Challenger, запуск которого произошел при температуре
окружающей среды ниже диапазона температур предыдущих запусков.
Подведение итогов
Я не погрешу против истины, если скажу, что в последние столетия бурному развитию
цивилизации сопутствует прогресс науки о данных. В конце концов, слово «данные» почти
синонимично слову «факты», а именно на фактах базируется технический прогресс и
просвещение, которые за последние века привели к росту экономики и развитию общества.
Если основой современного промышленного развития является ископаемое топливо, то
данные сегодня — это «новая нефть». Так же, как это было некогда с нефтью, те, кто может
эффективно контролировать данные и манипулировать ими, делают сегодня огромные
состояния. Но еще более важным в этой аналогии является то, что подобно нефти данные
необходимо очищать и предварительно обрабатывать, чтобы сделать их полезными. Борьба с
загрязнением информации темными данными является примером такой очистки.
Однако аналогия с нефтью имеет и свои слабые стороны. В отличие от цены на нефть,
одинаковой для всех, ценность данных зависит от того, что конкретно вы хотите знать. Более
того, в отличие от нефти, данные могут быть проданы или переданы без смены собственника
— по своей природе они могут копироваться и воспроизводиться неограниченное число раз.
 157

И, конечно, данные могут быть темными: то, чего у вас нет, может существенно ограничить
то, что у вас есть. Помимо прочего, с данными связаны такие вопросы, как
неприкосновенность частной жизни и конфиденциальность, которые просто не имеют
аналогий в мире нефти. Данные представляют собой нечто большее, чем просто новый
товар. Именно поэтому правительства прилагают столько усилий для решения этических
вопросов, связанных с управлением данными.
В значительной степени революция данных была связана с данными наблюдений. В главе 2
мы познакомились с этим видом данных, описывающих естественную эволюцию процессов
без явного вмешательства человека, и, как было показано, данные наблюдений особенно
уязвимы для рисков, которые несут темные данные. Данные наблюдений контрастируют с
экспериментальными данными, подразумевающими, что параметры воздействующих
факторов контролируются. Кроме того, огромные объемы данных наблюдений генерируются
автоматическими системами сбора информации и являются побочным эффектом различных
административных операций.

Классическим примером того, какие идеи можно извлечь из данных нового типа, служит
проект «Миллиард цен». Альберто Кавалло и Роберто Ригобон из Школы менеджмента
Слоуна извлекли огромное количество онлайн-цен из интернета и использовали их для
построения индексов инфляции. На основе этого открытого источника данных они показали,
что уровень цен и динамика инфляции в Бразилии, Чили, Колумбии и Венесуэле примерно
совпадают. Кроме того, они обнаружили «в Аргентине большое необъяснимое расхождение
между уровнями инфляции по онлайн-ценам и по официальной статистике»2. Простого
объяснения этого несоответствия не было. Кавалло заключил: «Результаты для Аргентины
подтверждают подозрение, что правительство манипулирует официальной статистикой по
инфляции. Это единственная страна, где онлайн-инфляция с течением времени значительно
отклоняется от официальных оценок».

Кавалло и его коллеги полностью отказались от традиционной процедуры сбора данных для
расчета индексов инфляции. Из главы 3 вам известно, что она предполагает работу групп
исследователей, посещающих магазины и собирающих данные с ценников на полках. Это не
только дорого, но и медленно. В отличие от классического подхода, проект «Миллиард цен»
позволяет обновлять индекс инфляции ежедневно.
Бесспорно, это огромный успех в сфере больших данных. Но даже здесь все может оказаться
не столь радужным, как выглядит на первый взгляд. В частности, Кавалло и Ригобон
говорят: «Мы… фокусируемся в основном на крупных многоканальных розничных сетях и
не берем в расчет магазины, торгующие только онлайн (такие, как Amazon.com)»3. Они
отмечают, что онлайн-цены охватывают гораздо меньший набор ритейлеров и категорий
продуктов, чем традиционный подход к ценовым индексам, и указывают на необходимость
выбора, с каких именно сайтов брать данные, а это прямой путь к появлению темных данных
в виде множества небольших онлайн-магазинов. Более того, онлайн-цены являются всего
лишь ценами и не показывают объемы продаж.
Дело не в том, что все это — непреодолимые препятствия. Понимая их, мы можем работать
над их преодолением. Но проблема темных данных все равно останется, поскольку само
понятие инфляции, используемое в рамках проекта «Миллиард цен», несколько отличается
от традиционных определений.

Существуют и другие, возможно, более серьезные проблемы, связанные с сетевыми

данными. Например, алгоритм поиска Google постоянно обновляется, становясь все более
эффективным, но детали этих изменений остаются непрозрачными для всех, кроме
разработчиков. Например, к последним изменениям относятся введение показателя качества
веб-страницы при ранжировании, понижение рейтинга сайтов, которые считаются
 158

манипулятивными, обработка запросов на естественном языке для лучшего понимания их

цели, повышение рейтинга страниц, оптимизированных для мобильных устройств, и
идентификация сайтов, нарушающих правила Google. Все эти изменения кажутся разумными
и полезными, но дело в том, что они постоянно меняют природу собираемых данных; проще
говоря, затруднительно сравнивать данные, собранные до и после изменения (DD-тип 7:
данные, меняющиеся со временем). В частности, показатели экономического и социального
благополучия могут меняться не потому, что изменилась базовая реальность, а потому, что
изменились собираемые данные об этой реальности — так называемый сдвиг показателей.
Именно темные данные лежат в основе этих изменений.

Мы имели возможность убедиться, что целая череда успешных историй основана на

связывании наборов данных, их комбинировании, дублировании и объединении данных из
разных источников. Потенциальная мощь таких методов несомненна, поскольку разные
источники, вероятно, содержат разную информацию о тех или иных аспектах изучаемого
предмета. Чаще всего этим предметом оказываются люди, и очевидно, что такие проекты
могут быть чрезвычайно полезны, например для укрепления здоровья граждан и повышения
благополучия общества. Но риски темных данных при связывании баз остаются всегда.
Генеральные совокупности в базах данных часто не совпадают полностью (одна может
включать какие-то случаи, другая нет), а во время сопоставления могут возникнуть
несоответствия в силу различных способов хранения данных (является ли Джон Смит тем же
человеком, что и Джон В. Смит или Дж. В. Смит?). Не говоря уже о дубликатах записей.

Эта книга в первую очередь о том, как темные данные водят за нос людей (а во вторую —
что людям с этим делать). Но проблема несколько шире: темные данные могут вводить в
заблуждение не только людей, но и машины. По мере того, как машинное обучение и
искусственный интеллект становятся все более распространенными, следует ожидать, что
будет появляться все больше сообщений о том, как темные данные обманули машину или
даже привели к ее аварии. В области машинного обучения и компьютерного зрения
существует концепция, которую иногда называют «Умный Ганс». Вот поучительная история
ее появления.
Умным Гансом звали коня, принадлежавшего школьному учителю арифметики Вильгельму
фон Остену. Умный Ганс был настолько умным, что умел складывать, вычитать, умножать и
делить числа, определять время и даже читать и понимать по-немецки. Фон Остен задавал
Гансу вопрос (письменно или устно), и, поскольку Ганс не мог ни говорить, ни писать
(видимо, для него это было не так умно), он отвечал, постукивая копытом нужное
количество раз.
В 1907 г. этот феномен исследовал биолог и психолог Оскар Пфунгст. По его выводу, хотя
никаких уловок со стороны хозяина не предпринималось, сказать, что Ганс производит
вычисления, было нельзя. Смышленый конь улавливал подсознательные сигналы своего
хозяина, который и производил вычисления. Интересно, что сам фон Остен не отдавал себе
отчета в том, что подает какие-то сигналы. В этом есть определенное сходство с рассказами
игроков в покер.

Для нас важно, что Умный Ганс на самом деле не отвечал на те вопросы, на которые, как
полагали зрители, он отвечает. То же самое может случиться и с машинами: их анализ,
классификация, решения могут основываться на непредвиденных аспектах входных данных,
в том числе на таких, о которых вы даже не подозреваете. В некоторых случаях «едва
различимые незначительные отклонения для правильно классифицированного входного
изображения [могут означать], что оно перестает классифицироваться правильным
образом»4. Используя эту слабость автоматических алгоритмов, исследователи из
Университета Карнеги–Меллона разработали фигурную оправу для очков, которая для нас
выглядит привычно, но при этом начисто сбивает с толку искусственный интеллект и не
 159

позволяет ему определить носителя очков5. К сожалению, исследователи обнаружили, что

путаница не ограничивается конкретным алгоритмом нейронной сети, а представляет собой
общую проблему для этого класса алгоритмов. Очевидно, что машины видят вещи
совершенно иначе, чем мы, и также ясно, что их видение — это не то, что нас интересует.
Пути возникновения темных данных неисчислимы, как вы смогли убедиться, прочитав эту
книгу. Они могут появляться и случайно, и преднамеренно: иногда люди пытаются скрыть
правду, представляя вещи так, как им выгодно. Выявить это помогает бдительность, а также
весьма полезная стратегия — взгляд под другим углом. Пищу можно охарактеризовать как
«обезжиренную на 90%», и это звучит соблазнительно, но если на упаковке будет написано
«жирность 10%», то это уже не так аппетитно. Аналогичным образом выбор лекарства или
образа жизни может быть описан как снижение риска заражения каким-либо заболеванием
вдвое. Но если цифры показывают, что сокращение вдвое уменьшило риск с 2 до 1%, то вам
это будет уже не так интересно: оба значения можно считать несущественными. Этот
пример, возможно, станет еще ярче, если пролить свет на темные данные, содержащиеся в
нем, перевернув их: повышение шансов избежать болезни с 98 до 99% вряд ли привлечет
хоть одного покупателя, если речь идет о лекарстве.

Наиболее очевидным источником темных данных является будущее. Несмотря на заявления

различных провидцев, ясновидящих и пророков, будущее — это территория неизвестного,
где неожиданные события всегда могут вмешаться и сбить вас с пути, по которому вы
намеревались идти. Бессчетное число разорений в сфере бизнеса служит тому
доказательством. Хедж-фонд Long Term Capital Management (LTCM) уже испытывал
сложности, когда на него внезапно обрушился российский дефолт по облигациям в
национальной валюте в 1998 г. Потенциальный коллапс LTCM с возможной цепной
реакцией, которая бы вызвала огромные убытки в финансовой сфере, стал причиной
масштабной операции по его спасению. Точно так же Swissair, ранее считавшаяся очень
надежной компанией, начала «агрессивную стратегию заимствований и поглощений» в
конце 1990-х гг., пока теракты 2001 г. в Нью-Йорке не обрушили ее рыночную стоимость,
что не позволило компании справиться с долговой нагрузкой.
Последний в этой книге пример можно назвать демонстрацией эффекта темных данных в
буквальном смысле. В конце 1970-х — начале 1980-х гг. произошла так называемая война
форматов видеозаписи между Betamax от Sony и VHS от JVC. В принципе, Betamax был
превосходной технологией, с лучшим разрешением и более качественным изображением, но
победил VHS. Техническое превосходство Betamax не смогло перевесить его большую
стоимость и ограничение времени записи одним часом. Кассеты же VHS позволяли делать
двухчасовые записи. Проблема заключалась в том, что голливудские фильмы, как правило,
длились более одного часа, а это означало, что часть важных данных невозможно было
записать. Sony отреагировала на эту проблему, разработав свою технологию увеличения
времени записи, но к тому времени, когда она стала доступна, формат VHS уже завоевал
рынок.
Мы входим в дивный новый мир. Возможности, которые открываются перед нами благодаря
углублению понимания и созданию надежных прогнозов на основе данных, ограничены
исключительно нашим воображением. Однако мы должны действовать осторожно. Каждый
шаг на этом пути чреват опасностями. Как я отметил в начале этой книги, мы не знаем и не
можем знать всего о данных, которые анализируем, о том, как они были собраны или откуда
поступили. И что еще хуже, мы не знаем, что чего-то не знаем. Поскольку то, чего мы не
знаем, может быть критически важным, один неосторожный шаг способен сделать наши
представления неверными, а прогнозы — ошибочными со всеми вытекающими
последствиями для здоровья, финансов и благополучия в целом. Энтузиазм в отношении
науки о данных полностью оправдан, но его следует сдерживать разумной осторожностью.
 160

Единственное решение состоит в том, чтобы осознать риски и неукоснительно проявлять

бдительность.
Помните старый анекдот про пьяного, который искал ночью свои ключи под фонарем не
потому, что потерял их там, а потому, что это было единственное освещенное место? То же
самое часто происходит в отношении темных данных. Исследователи, аналитики и все, кто
пытается извлечь какой-то смысл из данных, похожи на этого пьяного, если ограничивают
себя имеющимися данными. Не понимая, как именно возникли данные и что именно может
отсутствовать, вы сами ставите себя в положение того, кто ищет только там, где светло, а
вовсе не там, где могут быть ответы. Но концепция темных данных выходит за рамки
простого представления о незарегистрированных данных. Она также выходит далеко за
пределы различий между известными неизвестными и неизвестными неизвестными. Да, все
это темные данные, но также к ним относятся и данные, которые, возможно, никогда не
могли существовать, или данные, которые мы намеренно фальсифицировали. Концепция
темных данных переворачивает традиционный взгляд на вещи и ведет к углублению
понимания явлений, встраивая наблюдаемые данные в более широкий контекст, частью
которого и является.

Я очень надеюсь, что примеры, собранные мной в этой книге, дадут вам начальное
представление о рисках, которые несут темные данные, и о том, что, где и какими методами
нужно искать, а затем исправлять. Я также надеюсь, что вы сумеете найти свои способы
расширить маленькое пятно света от фонаря и осветить окрестности. И еще я надеюсь, что
книга поможет вам распознавать ситуации, когда имеет смысл самому стратегически
отбросить тень, чтобы прийти через это к новому пониманию нашего мира.

Примечания
Глава 1. Темные данные
1. https://blog.uvahealth.com/2019/01/30/measles-outbreaks/, accessed 16 April 2019.
2. http://outbreaknewstoday.com/measles-outbreak-ukraine-21000-cases-2019/, accessed 16 April
2019.
3.
https://www.theglobeandmail.com/canada/article-canada-could-see-large-amount-of-measles-outbre
aks-health-experts/, accessed 16 April 2019.
4. E. M. Mirkes, T. J. Coats, J. Levesley, and A. N. Gorban, “Handling missing data in large
healthcare dataset: A case study of unknown trauma outcomes.” Computers in Biology and
Medicine 75 (2016): 203-16.
5. https://www.livescience.com/24380-hurricane-sandy-status-data.html.

6. D. Rumsfeld, Department of Defense News Briefing, 12 February 2002.

7. http://archive.defense.gov/Transcripts/Transcript.aspx?TranscriptID=2636, accessed 31 July
2018.
8. https://er.jsc.nasa.gov/seh/explode.html.

9. https://xkcd.com/552/; отчет комиссии Роджерса см.

https://forum.nasaspaceflight.com/index.php?topic=8535.0.
 161

10. R. Pattinson, Arctic Ale: History by the Glass, issue 66 (July 2102),
https://www.beeradvocate.com/articles/6920/arctic-ale/, accessed 31 July 2018.
Глава 2. Обнаружение темных данных
1. D. J. Hand, F. Daly, A. D. Lunn, K. J. McConway, and E. Ostrowski, A Handbook of Small Data
Sets (London: Chapman and Hall, 1994).
2. D. J. Hand, “Statistical challenges of administrative and transaction data (with discussion),”
Journal of the Royal Statistical Society, Series A181 (2018): 555-605.

3. https://www.quora.com/How-many-credit-and-debit-card-transactions-are-there-every-year,
accessed 24 August 2018.
4. M. E. Kho, M. Duffett, D. J. Willison, D. J. Cook, and M. C. Brouwers, “Written informed
consent and selection bias in observational studies using medical records: Systematic review,” BMJ
(Clinical Research Ed.) 338 (2009): b866.
5. S. Dilley and G. Greenwood, “Abandoned 999 calls to police more than double,” 19 September
2017, http://www.bbc.co.uk/news/uk-41173745, accessed 10 December 2017.
6. M. Johnston, The Online Photographer, 17 February 2017,
http://theonlinephotographer.typepad.com/the_online_photographer/2017/02/i-find-this-a-particular
ly-poignant-picture-its-preserved-in-the-george-grantham-bain-collection-at-the-library-of-congres.
html, accessed 28 December 2017.

7. A. L. Barrett and B. R. Brodeski, “Survivorship bias and improper measurement: How the mutual
fund industry inflates actively managed fund performance” (Rock-ford, IL: Savant Capital
Management, Inc., March 2006), https://www.etf.com/docs/sbiasstudy.pdf, accessed 28 December
2017.
8. T. Schlanger and C. B. Philips. “The mutual fund graveyard: An analysis of dead funds,” The
Vanguard Group, January 2013.
9. https://xkcd.com/1827/.
10. Knowledge Extraction Based on Evolutionary Learning,
http://sci2s.ugr.es/keel/dataset.php?cod=163, accessed 22 September 2019.
11. M. C. Bryson, “The Literary Digest poll: Making of a statistical myth,” The American
Statistician 30 (1976): 184-5.

12. http://www.applied-survey-methods.com/nonresp.html, accessed 4 November 2018.

13. Office for National Statistics:
https://www.ons.gov.uk/employmentandlabourmarket/peopleinwork/employmentandemployeetypes
/methodologies/labourforcesurveyperformanceandqualitymonitoringreports/labourforcesurveyperfo
rmanceandqualitymonitoringreportjulytoseptember2017.
14. R. Tourangeau and T. J. Plewes, eds., Nonresponse in Social Surveys: A Research Agenda
(Washington, DC: National Academies Press, 2013).
15. J. Leenheer and A. C. Scherpenzeel, “Does it pay off to include non-internet households in an
internet panel?” International Journal of Internet Science 8 (2013), 17-29.
16. Tourangeau and Plewes, Nonresponse in Social Surveys.
17. H. Wainer, “Curbstoning IQ and the 2000 presidential election,” Chance 17 (2004): 43-46.
 162

18. I. Chalmers, E. Dukan, S. Podolsky, and G. D. Smith, “The advent of fair treatment allocation
schedules in clinical trials during the 19th and early 20th centuries,” Journal of the Royal Society of
Medicine 105 (2012): 221-7.

19. J. B. Van Helmont, Ortus Medicinae, The Dawn of Medicine (Amsterdam: Apud Ludovicum
Elzevirium, 1648), http://www.jameslindlibrary.org/van-helmont-jb-1648/, accessed 15 June 2018.
20. W. W. Busse, P. Chervinsky, J. Condemi, W. R. Lumry, T. L. Petty, S. Rennard, and R. G.
Townley, “Budesonide delivered by Turbuhaler is effective in a dose-dependent fashion when used
in the treatment of adult patients with chronic asthma,” Journal of Allergy and Clinical Immunology
101 (1998): 457-63; J. R. Carpenter and M. Kenward, “Missing data in randomised controlled trials:
A practical guide,” November 21, 2007,
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.468.9391&rep=rep1&type=pdf, accessed
7 May 2018.
21. P. K. Robins, “A comparison of the labor supply findings from the four negative income tax
experiments,” Journal of Human Resources 20 (1985): 567-82.
22. A. Leigh, Randomistas: How Radical Researchers Are Changing Our World (New Haven, CT:
Yale University Press, 2018).

23. P. Quinton, “The impact of information about crime and policing on public perceptions,”
National Policing Improvement Agency, January 2011,
http://whatworks.college.police.uk/Research/Documents/Full_Report_-_Crime_and_Policing_Infor
mation.pdf, accessed 17 June 2018.
24. J. E. Berecochea and D. R. Jaman, (1983) Time Served in Prison and Parole Outcome: An
Experimental Study: Report Number 2, Research Division, California Department of Corrections.
25. G.C.S. Smith and J. Pell, “Parachute use to prevent death and major trauma related to
gravitational challenge: Systematic review of randomised controlled trials,” British Medical Journal
327 (2003): 1459-61.
26. The Washington Post, “Test of ‘dynamic pricing’ angers Amazon customers,” October 7, 2000,
http://www.citi.columbia.edu/B8210/read10/Amazon%20Dynamic%20Pricing%20Angers%20Cust
omers.pdf, accessed 19 June 2018.
27. BBC, “Facebook admits failings over emotion manipulation study,” BBC News, 3 October
2014, https://www.bbc.co.uk/news/technology-29475019, accessed 19 June 2018.
Глава 3. Определения и темные данные
1. http://www.bbc.co.uk/news/uk-politics-eu-referendum-35959949.
2. Цифры по иммиграции:
https://www.ons.gov.uk/peoplepopulationandcommunity/populationandmigration/internationalmigr
ation/articles/noteonthedifferencebetweennationalinsurancenumberregistrationsandtheestimateoflon
gterminternationalmigration/2016, accessed 2 January 2018.
3. Office for National Statistics: “Crime in England and Wales: Year ending June 2017,”
https://www.ons.gov.uk/peoplepopulationandcommunity/crimeandjustice/bulletins/crimeinenglanda
ndwales/june2017#quality-and-methodology, accessed 4 January 2018.
4. J. Wright, “The real reasons autism rates are up in the U.S.” Scientific American, March 3, 2017,
https://www.scientificamerican.com/article/the-real-reasons-autism-rates-are-up-in-the-u-s/,
accessed 3 July 2018.
 163

5. N. Mukadam, G. Livingston, K. Rantell, and S. Rickman, “Diagnostic rates and treatment of

dementia before and after launch of a national dementia policy: An observational study using
English national databases. BMJ Open 4, no. 1 (January 2014),
http://bmjopen.bmj.com/content/bmjopen/4/1/e004119.full.pdf, accessed 3 July 2018.
6. https://www.ons.gov.uk/businessindustryandtrade/retailindustry/timeseries/j4mc/drsi.
7. https://www.census.gov/retail/mrts/www/data/pdf/ec_current.pdf.
8. Titanic Disaster: Official Casualty Figures, 1997, http://www.anesi.com/titanic.htm, accessed 2
October 2018.
9. A. Agresti, Categorical Data Analysis, 2d ed. (New York: Wiley, 2002), 48-51.
10. W. S. Robinson, “Ecological correlations and the behavior of individuals,” American
Sociological Review 15 (1950): 351-7.
11. G. Gigerenzer, Risk Savvy: How to Make Good Decisions (London: Penguin Books, 2014),
202.

12. W. J. Krzanowski, Principles of Multivariate Analysis, rev. ed. (Oxford: Oxford University
Press, 2000), 144.
Глава 4. Непреднамеренные темные данные
1. S. de Lusignan, J. Belsey, N. Hague, and B. Dzregah, “End-digit preference in blood pressure
recordings of patients with ischaemic heart disease in primary care,” Journal of Human
Hypertension 18 (2004): 261-5.

2. L. E. Ramsay et al., “Guidelines for management of hypertension: Report of the third working
party of the British Hypertension Society,” Journal of Human Hypertension 13 (1999): 569-92.
3. J. M. Roberts Jr. and D. D. Brewer, “Measures and tests of heaping in discrete quantitative
distributions,” Journal of Applied Statistics 28 (2001): 887-96.
4. https://www.healthline.com/health/mens-health/average-weight-for-men.
5. B. Kenber, P. Morgan-Bentley, and L. Goddard, “Drug prices: NHS wastes £30m a year paying
too much for unlicensed drugs, Times (London), 26 May 2018,
https://www.thetimes.co.uk/article/drug-prices-nhs-wastes-30m-a-year-paying-too-much-for-unlice
nsed-drugs-kv9kr5m8p?shareToken=0e41d3bbd6525068746b7db8f9852a24, accessed 26 May
2018.
6. H. Wainer, “Curbstoning IQ and the 2000 presidential election,” Chance 17 (2004): 43-46.
7. W. Kruskal, “Statistics in society: Problems unsolved and unformulated,” Journal of the
American Statistical Association, 76, (1981): 505-15.
8. Я не смог найти ясного происхождения этого закона. В своем президентском обращении
1979 г. к Королевскому статистическому обществу Клаус Мозер (“Statistics and public policy,”
Journal of the Royal Statistical Society, Series A143 (1980): 1-32) говорит, что он был
разработан Центральным статистическим управлением Великобритании. Эндрю Эренберг
цитирует его как Закон Тваймана без указания источника (“The teaching of statistics:
Corrections and comments,” Journal of the Royal Statistical Society, Series A138 (1975): 543-45).
9. T. C. Redman, “Bad data costs the U.S. $3 trillion per year,” Harvard Business Review, 22
September 2016, https://hbr.org/2016/09/bad-data-costs-the-u-s-3-trillion-per-year, accessed 17
August 2018.
 164

10. ADRN, https://adrn.ac.uk/.

11. https://adrn.ac.uk/media/174470/homlessness.pdf, accessed 24 August 2018.

Глава 5. Стратегические темные данные
1. https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:32004L0113, accessed 18
February 2019.

2. M. Hurwitz and J. Lee, Grade Inflation and the Role of Standardized Testing (Baltimore, MD:
Johns Hopkins University Press, forthcoming).
3. R. Blundell, D. A. Green, and W. Jin, “Big historical increase in numbers did not reduce
graduates’ relative wages,” Institute for Fiscal Studies, 18 August 2016,
https://www.ifs.org.uk/publications/8426, accessed 23 November 2018.
4. D. Willetts, A University Education (Oxford: Oxford University Press, 2017).

5. R. Sylvester, “Schools are cheating with their GCSE results,” The Times (London) — 21 August
2018,
https://www.thetimes.co.uk/article/schools-are-cheating-with-their-gcse-results-q83s909k6?shareTo
ken=0ce9828e6183e9b37a1454f8f588eaa7, accessed 23 August 2018.
6. “Ambulance service ‘lied over response rates,’” The Telegraph (London), 28 February 2003,
http://www.telegraph.co.uk/news/1423338/Ambulance-service-lied-over-response-rates.html,
downloaded on 6 October 2018.
7.
https://sites.psu.edu/gershcivicissue/2017/03/15/unemployment-and-how-to-manipulate-with-statisti
cs/, accessed 6 October 2018.

8.
https://www.heraldscotland.com/news/13147231.Former_police_officers_crime_figures_are_being
_massaged_to_look_better_/.

9. J. M. Keynes, General Theory of Employment Interest and Money (New York: Harcourt, Brace,
1936).
10. BBC, 1 February 2011, https://www.bbc.co.uk/news/uk-12330078, accessed 18 August 2018.

11. Direct Line Group, 2014,

https://www.directlinegroup.com/media/news/brand/2014/11-07-2014b.aspx, accessed 11 April
2014.

12. A. Reurink, “Financial fraud: A literature review,” MPlfG Discussion Paper 16/5 (Cologne:
Max Planck Institute for the Study of Societies, 2016).
13. R. Caruana, Y. Lou, J. Gehrke, P. Koch, M. Sturm, and N. Elhahad, “Intelligible models for
healthcare: predicting pneumonia risk and hospital 30-day readmission,” Proceedings of the 21st
ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’15,
Sydney, Australia, 10-13 August 2015, pp. 1721-30.
14. Board of Governors of the Federal Reserve System, Report to the Congress on Credit Scoring
and Its Effects on the Availability and Affordability of Credit, August 2007,
https://www.federalreserve.gov/boarddocs/RptCongress/creditscore/creditscore.pdf, accessed 18
August 2018.
 165

15. E. Wall, “How car insurance costs have changed,” The Telegraph (London), 21 January 2013,
http://www.telegraph.co.uk/finance/personalfinance/insurance/motorinsurance/9815330/How-car-in
surance-costs-have-changed-EU-gender-impact.html, accessed 19 August 2018.
Глава 6. Умышленно затемненные данные
1. V. Van Vlasselaer, T. Eliassi-Rad, L. Akoglu, M. Snoeck, and B. Baesens, “Gotcha!
Network-based fraud detection for social security fraud,” Management Science 63(14 July 2016):
3090-3110.
2. B. Baesens, V. van Vlasselaer, and W. Verbet, Fraud Analytics: Using Descriptive, Predictive,
and Social Network Techniques: A Guide to Data Science for Fraud Detection (Hoboken, NJ:
Wiley, 2105), 19.
3. “Crime in England and Wales: Year Ending June 2017,”
https://www.ons.gov.uk/peoplepopulationandcommunity/crimeandjustice/bulletins/crimeinenglanda
ndwales/june2017, accessed 31 December 2017.
4. D. J. Hand and G. Blunt, “Estimating the iceberg: How much fraud is there in the UK?” Journal
of Financial Transformation 25, part 1(2009): 19-29,
http://www.capco.com/?q=content/journal-detail&sid=1094.
5. Rates of fraud, identity theft and scams across the 50 states: FTC data,” Journalist’s Resource, 4
March 2015,
https://journalistsresource.org/studies/government/criminal-justice/united-states-rates-fraud-identity
-theft-federal-trade-commission, accessed 19 August 2018.
6. B. Whitaker, “Never too young to have your identity stolen,” The New York Times, 27 July
2007, http://www.nytimes.com/2007/07/21/business/21idtheft.html, accessed 3 February 2018.

7. Javelin, 1 February 2017, https://www.javelinstrategy.com/coverage-area/2017-identity-fraud,

accessed 3 February 2018.
8. III, “Facts + Statistics: Identity theft and cybercrime,” 2016,
https://www.iii.org/fact-statistic/facts-statistics-identity-theft-and-cybercrime#, accessed 3 February
2018.

9. DataShield, 14 March 2013,

http://datashieldcorp.com/2013/03/14/5-worst-cases-of-identity-theft-ever/, accessed 3 February
2018.

10. A. Reurink; Chapter 5, Note 12.

11. https://www.sec.gov/news/pressrelease/2015-213.html, accessed 30 September 2018.
12. “Accounting scandals: The dozy watchdogs,” Economist, 11 December 2014,
https://www.economist.com/news/briefing/21635978-some-13-years-after-enron-auditors-still-cant-
stop-managers-cooking-books-time-some, accessed 7 April 2018.
13. E. Greenwood, Playing Dead: A Journey through the World of Death Fraud (New York: Simon
and Schuster, 2017).
14. CBS This Morning, “Playing a risky game: People who fake death for big money,”
https://www.cbsnews.com/news/playing-a-risky-game-people-who-fake-death-for-big-money/,
accessed 6 April 2018.
 166

15. M. Evans, “British woman who ‘faked death in Zanzibar in £140k insurance fraud bid’ arrested
along with teenage son,” The Telegraph (London), 15 February 2017,
https://www.telegraph.co.uk/news/2017/02/15/british-woman-faked-death-zanzibar-140k-insurance
-fraud-bid/, accessed 6 April 2018.
16. S. Hickey, “Insurance cheats discover social media is the real pain in the neck,” The Guardian
(London), 18 July 2016,
https://www.theguardian.com/money/2016/jul/18/insurance-cheats-social-media-whiplash-false-clai
mants, accessed 4 April 2018.

17. P. Kerr, “‘Ghost Riders’ are target of an insurance sting,” The New York Times, 18 August
1993, https://www.nytimes.com/1993/08/18/us/ghost-riders-are-target-of-an-insurance-sting.html,
accessed 6 April 2018.
18. FBI (N.A.), “Insurance Fraud,” https://www.fbi.gov/stats-services/publications/insurance-fraud,
accessed 6 April 2018.

19. E. Crooks, “More than 100 jailed for fake BP oil spill claims,” Financial Times (London), 15
January 2017, https://www.ft.com/content/6428c082-db1c-11e6-9d7c-be108f1c1dce, accessed 6
April 2018.

20. ABI, “The con’s not on — Insurers thwart 2,400 fraudulent insurance claims valued at £25
million every week,” Association of British Insurers, 7 July 2017,
https://www.abi.org.uk/news/news-articles/2017/07/the-cons-not-on-insurers-thwart-2400-fraudule
nt-insurance-claims-valued-at-25-million-every-week/, accessed 4 April 2018.
21. “PwC Global Economic Crime Survey: 2016; Adjusting the lens on economic crime,” 18
February 2016,
https://www.pwc.com/gx/en/economic-crime-survey/pdf/GlobalEconomicCrimeSurvey2016.pdf,
accessed 8 April 2018.
Глава 7. Наука и темные данные
1. J. M. Masson, ed., The Complete Letters of Sigmund Freud to Wilhelm Fliess (Cambridge, MA:
Belknap Press, 1985), 398.
2. “Frontal lobotomy,” Journal of the American Medical Association 117 (16 August 1941):
534-35.

3. N. Weiner, Cybernetics (Cambridge, MA: MIT Press, 1948).

4. J. B. Moseley et al., “A controlled trial of arthroscopic surgery for osteoarthritis of the knee,”
New England Journal of Medicine 347, no. 2 (2002): 81-88.
5. J. Kim et al., Association of multivitamin and mineral supplementation and risk of cardiovascular
disease: A systematic review and meta-analysis. Circulation: Cardio-vascular Quality and
Outcomes11 (July 2018), http://circoutcomes.ahajournals.org/content/11/7/e004224, accessed 14
July 2018.
6. J. Byrne, MD, “Medical practices not supported by science,” Skeptical Medicine,
https://sites.google.com/site/skepticalmedicine/medical-practices-unsupported-by-science, accessed
14 July 2018.
7. T. Kuhn, The Structure of Scientific Revolutions, 2d ed. (Chicago: University of Chicago Press,
1970), 52.
 167

8. J.P.A. Ioannidis, “Why most published research findings are false,” PLOS Medicine 2, no. 8
(2005): 696-701.
9. L. Osherovich, “Hedging against academic risk,” Science-Business eXchange, 14 April 2011,
https://www.gwern.net/docs/statistics/bias/2011, accessed 12 July 2018.

10. M. Baker, “1,500 scientists lift the lid on reproducibility,” Nature 533 (July 2016): 452-54,
https://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970, accessed 12
July 2018.
11. C. G. Begley and L. M. Ellis, “Raise standards for preclinical cancer research,”
Nature-Comment 483 (March 2012): 531-33.

12. L. P. Freedman, I. M. Cockburn, and T. S. Simcoe, “The economics of reproducibility in

preclinical research,” PLOS Biology, 9 June 2015,
http://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002165, accessed 12 July
2018.
13. B. Nosek et al., “Estimating the reproducibility of psychological science,” Science 349, no.
6251 (August 2015): 943-52.
14. https://cirt.gcu.edu/research/publication_presentation/gcujournals/nonsignificant.
15. http://jir.com/index.html.
16. F. C. Fang, R. G. Steen, and A. Casadevall, “Misconduct accounts for the majority of retracted
scientific publications,” PNAS 109 (October 2012): 17028-33.

17. D. G. Smith, J. Clemens, W. Crede, M. Harvey, and E. J. Gracely, “Impact of multiple

comparisons in randomized clinical trials,” American Journal of Medicine 83 (September 1987):
545-50.
18. C. M. Bennett, A. A. Baird, M. B. Miller, and G. L. Wolford, “Neural correlates of interspecies
perspective taking in the post-mortem Atlantic Salmon: An argument for proper multiple
comparisons correction,” Journal of Serendipitous and Unexpected Results 1, no. 1 (2009): 1-5,
http://docplayer.net/5469627-Journal-of-serendipitous-and-unexpected-results.html, accessed 16
August 2018.
19. S. Della Sala and R. Cubelli, “Alleged ‘sonic attack’ supported by poor neuro-psychology,”
Cortex 103 (2018): 387-88.
20. R. L. Swanson et al., “Neurological manifestations among U. S. Government personnel
reporting directional audible and sensory phenomena in Havana, Cuba,” JAMA 319 (20 March
2018): 1125-33.
21. F. Miele, Intelligence, Race, and Genetics: Conversations with Arthur R. Jensen (Oxford:
Westview Press, 2002), 99-103.

22. C. Babbage, Reflections on the Decline of Science in England, and on Some of Its Causes
(London: B. Fellowes, 1830).
23. A. D. Sokal, “Transgressing the boundaries: Toward a transformative hermeneutics of quantum
gravity,” Social Text 46/47 (Spring/Summer 1996): 217-52.
24. https://read.dukeupress.edu/social-text, accessed 23 January 2019.
 168

25. A. Sokal and J. Bricmont, Intellectual Imposters: Postmodern Philosophers’ Abuse of Science
(London: Profile Books, 1998).
26. http://science.sciencemag.org/content/342/6154/60/tab-pdf.
27. http://www.scs.stanford.edu/~dm/home/papers/remove.pdf.
28.
https://j4mb.org.uk/2019/01/09/peter-boghossian-professor-faces-sack-over-hoax-that-fooled-acade
mic-journals/.

29. C. Dawson and A. Smith Woodward, “On a bone implement from Piltdown (Sussex),”
Geological Magazine Decade 6, no. 2 (1915): 1-5,
http://www.boneandstone.com/articles_classics/dawson_04.pdf, accessed 7 July 2018.

30. M. Russell (2003) Piltdown Man: The Secret Life of Charles Dawson (Stroud, UK: Tempus,
2003); M. Russell, The Piltdown Man Hoax: Case Closed (Stroud, UK: The History Press, 2012).
31. J. Scott, “At UC San Diego: Unraveling a research fraud case,” Los Angeles Times, 30 April
1987, http://articles.latimes.com/1987-04-30/news/mn-2837_1_uc-san-diego, accessed 4 July 2018.
32. B. Grant, “Peer-review fraud scheme uncovered in China,” Scientist, 31 July 2017,
https://www.the-scientist.com/the-nutshell/peer-review-fraud-scheme-uncovered-in-china-31152,
accessed 4 July 2018.
33. https://ori.hhs.gov/about-ori, accessed 14 October 2018.
34. R. A. Millikan, “On the elementary electric charge and the Avogrado constant,” Physical
Review 2, no. 2 (August 1913): 109-43.
35. W. Broad and N. Wade, Betrayers of the Truth: Fraud and Deceit in the Halls of Science (New
York: Touchstone, 1982).

36. D. Goodstein, “In defense of Robert Andrews Millikan,” American Scientist 89, no. 1
(January-February 2001): 54-60.
37. R. G. Steen, A. Casadevall, and F. C. Fang, “Why has the number of scientific retractions
increased?” PLOS ONE 8, no. 7 (8 July 2013),
http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0068397, accessed 9 July 2018.
38. D. J. Hand, “Deception and dishonesty with data: Fraud in science,” Significance 4, no.1
(2007): 22-25; D. J. Hand, Information Generation: How Data Rule Our World (London: Oneworld
Publications, 2007); H. F. Judson, The Great Betrayal: Fraud in Science (Orlando, FL: Harcourt,
2004).
39. D. J. Hand, “Who told you that?: Data provenance, false facts, and separating the liars from the
truth-tellers,” Significance (August 2018): 8-9.

40. LGTC (2015),

https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/4
08386/150227_PUBLICATION_Final_LGTC_2015.pdf, accessed 17 April 2018.
41. Tameside, https://www.tameside.gov.uk/Legal/Transparency-in-Local-Government, accessed
17 April 2018.
Глава 8. Принцип работы с темными данными
 169

1. См., например: D. Rubin, “Inference and missing data,” Biometrika, 63, no. 3 (December 1976):
581-92.
2. C. Marsh, Exploring Data (Cambridge: Cambridge University Press, 1988).
3. X.-L. Meng, “Statistical paradises and paradoxes in big data (I): Law of large populations, big
data paradox, and the 2016 U.S. presidential election,” Annals of Applied Statistics 12 (June 2018):
685-726.
4. R.J.A. Little, “A test of missing completely at random for multivariate data with missing values,”
Journal of the American Statistical Association 83, no. 404 (December 1988): 1198-1202.
5. E. L. Kaplan and P. Meier, “Nonparametric estimation from incomplete observations,” Journal of
the American Statistical Association 53, no. 282 (June 1958): 457-81.

6. G. Dvorsky, “What are the most cited research papers of all time?” 30 October 2014,
https://io9.gizmodo.com/what-are-the-most-cited-research-papers-of-all-time-1652707091,
accessed 22 April 2018.
7. F. J. Molnar, B. Hutton, and D. Fergusson, “Does analysis using ‘last observation carried
forward’ introduce bias in dementia research?” Canadian Medical Association Journal 179 no. 8
(October 2008):751-53.
8. J. M. Lachin, “Fallacies of last observation carried forward,” Clinical Trials 13, no. 2 (April
2016): 161-68.

9. A. Karahalios, L. Baglietto, J. B. Carlin, D. R. English, and J. A. Simpson, “A review of the

reporting and handling of missing data in cohort studies with repeated assessment of exposure
measures,” BMC Medical Research Methodology 12 (11 July 2012): 96,
https://bmcmedresmethodol.biomedcentral.com/track/pdf/10.1186/1471-2288-12-96.
10. S.J.W. Shoop, “Should we ban the use of ‘last observation carried forward’ analysis in
epidemiological studies?” SM Journal of Public Health and Epidemiology 1, no. 1 (June 2015):
1004.
11. S. J. Miller, ed., Benford’s Law: Theory and Applications (Princeton, NJ: Princeton University
Press, 2015).
Глава 9. Полезные темные данные
1. S. Newcomb “Measures of the velocity of light made under the direction of the Secretary of the
Navy during the years 1880-1882,” Astronomical Papers 2 (1891): 107-230 (Washington, DC: U. S.
Nautical Almanac Office).

2. ADRN, https://adrn.ac.uk/.
3. D. Barth-Jones D. “The ‘reidentification’ of Governor William Weld’s medical information: A
critical re-examination of health data identification risks and privacy protections, then and now,” 3
September 2015, https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2076397, accessed 24 June
2018.
4. A. Narayanan and V. Shmatikov, “How to break the anonymity of the Netflix Prize dataset,” 22
November 2007, https://arxiv.org/abs/cs/0610105, accessed 25 March 2018; A. Narayanan and V.
Shmatikov V. (2008) Robust deanonymization of large sparse datasets (how to break the anonymity
of the Netflix Prize dataset), 5 February 2008, https://arxiv.org/pdf/cs/0610105.pdf, accessed 24
June 2018.
 170

5. D. Hugh-Jones, “Honesty and beliefs about honesty in 15 countries,” 29 October 2015,

https://www.uea.ac.uk/documents/3154295/7054672/Honesty+paper/41fecf09-235e-45c1-afc2-b87
2ea0ac882, accessed 26 June 2018.

6. C. Gentry, “Computing arbitrary functions of encrypted data,” Communications of the ACM, 53,
no. 3 (March 2010): 97-105.
Глава 10. Классификация темных данных
1.
https://www.behaviouralinsights.co.uk/wp-content/uploads/2016/08/16-07-12-Counting-Calories-Fi
nal.pdf, accessed 27 October 2018.

2. A. Cavallo, “Online and official price indexes: Measuring Argentina’s inflation,” Journal of
Monetary Economics 60, no. 2 (2013): 152-65.
3. A. Cavallo and R. Rigobon, “The billion prices project: Using online prices for measurement and
research,” Journal of Economic Perspectives 30, no. 2 (Spring 2016): 151-78.
4. C. Szegedy et al., “Intriguing properties of neural networks,” https://arxiv.org/pdf/1312.6199.pdf,
19 February 2014, accessed 23 August 2008.
5. M. Sharif, S. Bhagavatula, L. Bauer, and M. K. Reiter, “Accessorize to a crime: Real and stealthy
attacks on state-of-the-art face recognition,” October 2016,
https://www.cs.cmu.edu/~sbhagava/papers/face-rec-ccs16.pdf, accessed 23 August 2018.

[1] В действительности оказалось, что победившая заявка была шуткой и участник торгов не
собирался платить. Но даже при этом Вудул мог рассчитывать на приличную прибыль:
частный коллекционер из Шотландии недавно продал с аукциона бутылку из экспедиции
1875 г. за £3300, что равняется примерно $4300.
[2] В отличие от «регламентирования», которое имеет юридическую силу и становится
нормативными актами одновременно во всех странах —членах ЕС, «директива» требует
достижения результатов без указания на то, как именно это сделать. — Здесь и далее прим.
авт.
[3] В британских университетах существует система присуждаемых классов (1, 2:1, 2:2 и 3 в
порядке убывания престижности), которые показывают способности студента, его личный
вклад и успеваемость за годы учебы.
[4] Канеман Д. Думай медленно… Решай быстро. — М.: АСТ, 2013.
[5] Форсайт Ф. День шакала. — М.: Прогресс, 1990.

[6] Ливио М. От Дарвина до Эйнштейна: Величайшие ошибки гениальных ученых, которые

изменили наше понимание жизни и вселенной. — М.: АСТ, 2015.
[7] Кун Т. Структура научных революций. — М.: АСТ, 2015.
[8] Технический статистический термин, который мы определим далее в этой книге.

[9] Вулф Т. Битва за космос. — М.: Амфора, 2006.

[10] В этом рассказе главный герой берет на себя роль свата и подбирает достойного жениха
собственной матери. — Прим. пер.
171