Академический Документы
Профессиональный Документы
Культура Документы
http://arxiv.org/ftp/arxiv/papers/0810/0810.5515.pdf
Некоторые риски имеют исключительно высокие ставки. Например, всемирная
пандемия или столкновение с астероидом могу убить более миллиарда людей. К счастью,
научные вычисления часто дают очень низкие оценки вероятности таких катастроф. В
этой статье мы хотим отметить, что есть важные новые методологические проблемы,
которые возникают при оценке рисков глобальных катастроф, и мы сосредотачиваемся на
проблеме оценки вероятностей. Когда эксперт даёт калькуляцию вероятности некоторого
исхода, в действительности он даёт вероятность этого исхода при условии, что его
доказательство является безупречным. Однако его доказательство может быть ложным по
ряду причин, таких как ошибки в используемой теории или ошибки в вычислениях. Если
оценка вероятности, даваемая неким доказательством, уменьшается за счёт того шанса,
что само доказательство содержит ошибки, то тогда эта оценка находится под
подозрением. Мы рассмотрим эту идею формально, объясняя попутно, чем она отличается
от подобных неопределённостей модели и неопределённости параметров. Используя
оценки рисков Большого Адронного Коллайдера в качестве тестового примера, мы
покажем, насколько серьёзна может быть эта проблема, когда речь идёт о рисках
глобальной катастрофы и как наилучшим образом ее решать.
1. Введение
1
Эксперты дают оценку вероятности в 1 к миллиарду (Near-Earth Object
Science Definition Team 2003)
касается всех вероятностных оценок, мы покажем, как это становится
особенно важно после некого порогового уровня. Чтобы продолжать, нам
следует кое-что узнать о надёжности доказательства. Обычно при анализе
рисков это делается через анализ различий между неопределённостью
модели и неопределённостью параметров. Мы постараемся доказать, что эта
дихотомия не очень хорошо подходит для оценки надёжности теорий,
которые входят в оценку рисков. Более того, эта дихотомия не учитывает
неосознанно сделанные ошибки. Вместо этого в третьем разделе мы
предлагаем трёхуровневую классификацию различий между теорией
доказательства, моделью и вычислениями.
Объясняя это разделение более детально, мы проиллюстрируем его
историческими примерами ошибок во всех трёх областях. Мы покажем, как
при конкретной оценке рисков можно использовать предложенное разделение
теория-модель-калькуляция, чтобы вычислить надёжность данного
доказательства и, таким образом, увеличить надёжность вероятностной
оценки редких событий. Недавно возникли опасения, что
высокоэнергетичные эксперименты в области физики элементарных частиц
на таких установках как RHIC (Коллайдер тяжёлых релятивистских ионов) и
на Большом адронном коллайдере в ЦЕРН, в Женеве, могут угрожать
человечеству. Если эти риски реальны, эти эксперименты представляют
угрозу человечеству, которую можно избежать, просто не проводя эти
эксперименты. В 4 разделе мы применим методы, разработанные в этой
статье, к нынешним дебатам о безопасности экспериментов в области физики
высоких энергий. Мы рассмотрим опубликованные отчёты по безопасности в
свете наших находок и дадим рекомендации по безопасности для будущих
исследований. В последнем разделе мы вернёмся к главной проблеме оценки
низковероятных рисков. Мы хотим подчеркнуть, что результаты этой статьи
не должны интерпретироваться как антиинтеллектуализм, но как аргументы в
пользу того, чтобы сделать заполненную шумом и ошибками природу
научных и технических исследований предметом интеллектуального
размышления, особенно в тех случаях, когда вероятности очень малы и
ставки очень велики.
2. Оценка вероятностей
X = катастрофа происходит,
A = доказательство истинно.
(1) P(X)=P(X|A)P(A)+P(X|-A)P(-A) .
2
Научные аргументы также иногда являются ошибочными по причинам сознательного
мошенничества, однако мы не будем рассматривать это конкретный риск в данной
статье.
3
Доказательство может принимать в расчет возможность, что некое суб-
доказательство является ложным. Например, оно может предложить два
альтернативных суб-доказательства, чтобы доказать одну и ту же точку
зрения. Мы одобрительно относимся к такой практике и подробнее
рассматриваем ее в разделе 4. Однако ни одно доказательство не может
принимать в расчёт вероятность того, что оно является ложным – это
потребует ещё одного более высокоуровневого доказательства.
Квадрат слева представляет пространство возможностей, подобное
описанному в научном отчёте, где чёрная область соответствует тому, что
катастрофа случилась, а белая область – что не случилась. На вертикальной
оси обозначены вероятности того, что событие случилось, и что не
случилось. В этом представлении игнорируется возможность того, что
рассуждение неверно. Чтобы учесть эту возможность, мы можем обозначить
её на квадрате справа. Белая и чёрная область сократились пропорционально
вероятности того, что доказательство верно, а новая серая область
представляет вероятность того, что доказательство неверно. Теперь
горизонтальная ось также ортонормированна и показывает вероятность того,
что доказательство неверно.
Чтобы продолжить наш пример, предположим, что доказательство,
приведённое в отчёте, выглядит очень надёжным, и наша наилучшая оценка
вероятности того, что в нём содержится ошибка составляет 1 к 1000 (P(-
A)=10**-3). Другое неизвестный член в уравнении 1, а именно P(X|-A), в
общем случае гораздо труднее определить, но давайте предположим, что в
нашем примере мы считаем, что крайне маловероятно, что событие
произойдёт, даже если доказательство неверно, и мы тоже считаем эту
вероятность как 1 к 1000. Уравнение (1) говорит нам, что в этом случае
вероятность катастрофы будет в этом случае чуть более одной миллионной –
и эта оценка в тысячу раз больше, чем та, которую даёт сам этот отчёт. Это
отражает тот факт, что если катастрофа действительно случится, то гораздо
вероятнее, что это произойдёт из-за ошибки в отчёте, чем в результате того,
что один случай на миллиард будет иметь место.
Ошибочные доказательства нередки. Один возможный способ оценить
число больших ошибок в научных статьях – это посмотреть на ту долю их,
которые были формально отозваны после публикации. Хотя некоторые
отзывы статей связаны с неэтичным поведением, большинство связано с
непреднамеренными ошибками4. Используя базу данных MEDLINE5 (Cokol,
Iossifov et al. 2007) обнаружили приблизительную частоту отзывов в
4
Между 1982 и 2002 62% все отзывов статей было связано с непреднамеренными
ошибками, а не с нарушениями научной этики. (Nath, Marcus et al. 2006).
5
Очень обширная база данных статей по биомедицинским исследованиям по более
чем 5 000 журналов.
6.3*10**-5, но если использовать статистическую модель для оценки частоты
отзывов статей, то результат будет между 0.001 и 0.01, если все журналы
будут проверены с той же степенью тщательности, как те, которые находятся
на высшем уровне. Из этого следует, что P(-A) > 0.001, что делает наши
предыдущие оценки весьма оптимистичными. Мы также должны отметить,
что доказательство легко может содержать ошибки, даже если статья не была
формально отозвана. Отзывы статей происходят только тогда, когда ошибки
не тривиальны и незамедлительно становятся очевидны научному
сообществу. Таким образом частота отзывов даёт нижнюю границу частоты
серьёзных ошибок. Конечно, мы должны помнить, что в различных областях
науки могут быть различные частоты отзывов статей и различные частоты
ошибок. Например, фундаментальная наука может быть в меньшей степени
подвержена ошибкам, чем более прикладные области.
Важно отметить особую связь между данным анализом и рисками с
высокими ставками и низкой вероятностью. Хотя данный анализ может быть
применим к любым рискам, он наиболее полезен в данной категории. Только
если P(X|A) очень мало, то серая область начинает играть относительно
большую роль. Если P(X|A) умеренно велико, то тогда малый вклад
вероятности ошибки имеет небольшое значение в оценке вероятности,
например, определяя разницу между 10% и 10,001%, а не разницу между
0,001% and 0,002%. Ставки должны быть также очень велики, чтобы имел
смысл дополнительный анализ рисков, при том, что изменение вероятности
очень невелико в абсолютных терминах. Если ещё одна миллионная шанса
смерти миллиарда людей определённо стоит дальнейшего рассмотрения, то
дополнительная миллионная доля шанса пожара в доме этого не стоит.
Возможно следующее возражение нашему подходу, на том основании,
что мы только показали, что неопределённость становится больше, чем это
считалось раньше, но не вероятность события становится больше, чем это
оценивалось ранее: дополнительная неопределённость может как увеличить,
так и уменьшить вероятность события. При применении нашего подхода к
произвольным случаям, это возражение будет работать, однако в этой статье
мы специально обращаемся к случаям, в которых вероятность P(X|A) крайне
мала, так что любое значение P(X|-A) было бы выше и, таким образом,
двигало бы суммарную оценку вероятности вверх. Эта ситуация
симметрична в отношении экстремально высоких значений P(X|A), где
повышение неопределённости доказательства приведёт к уменьшению
оценки вероятности, и эта симметрия нарушается только нашей
концентрацией на очень маловероятных событиях.
Другое возможное возражение состоит в том, что поскольку всегда
есть ненулевая вероятность того, что доказательство содержит ошибки, то
ситуация является безнадёжной: любое новое доказательство не сможет
полностью убрать серую зону. Верно, что серую область никогда не удастся
убрать, однако если новое доказательство (А2) является независимым от
предыдущего доказательства (А1), то тогда серая область уменьшится, то
есть P(-A1,-A2)<P(-A1). Это может привести к значительному прогрессу.
Небольшая оставшаяся серая область может быть приемлема, если P(X|-A)P(-
A), согласно оценкам, является достаточно малым в сравнении с уровнем
ставок.
Явно/Неявно
Теория
7
Дополнительные теории и модели могут быть намеренно использованы
чтобы понизить вероятность ошибки в доказательстве, и в главе 4 мы
увидим, как это было сделано для оценок безопасности БАК.
Доказательство Модель Широта
Детализированность
Вычисления
(1) P(X)=P(X|A)P(A)+P(X|-A)P(-A)
5. Заключение
References
Bloch, J. (2006). "Extra, Extra - Read All About It: Nearly All Binary
Searches and M e r g e s o r t s a r e B r o k e n . " f r o m
http://googleresearch.blogspot.com/2006/06/extra-extra-read-all-about-
itnearly.html.
Burchfield, J. D. (1975). Lord Kelvin and the Age of the Earth. New York,
Science History Publications.
Calogero, F. (2000). "Might a laboratory experiment destroy planet earth?"
Interdisciplinary Science Reviews 25(3): 191-202.
Cartwright, N. (1999). Dappled World: A Study of the Boundaries of
Science. Cambridge, Cambridge University Press.
Cokol, M., I. Iossifov, et al. (2007). "How many scientific papers should be
retracted?" Embo Reports 8(5): 422-423.
Dar, A., A. De Rujula, et al. (1999). "Will relativistic heavy-ion colliders
destroy our planet?" Physics Letters B 470(1-4): 142-148.
Dimopoulos, S. and G. Landsberg (2001). "Black holes at the large hadron
collider." Physical Review Letters 8716(16): art. no.-161602.
ESA (1996). ARIANE 5 Flight 501 Failure: Report by the Inquiry Board.
García-Berthou, E. and C. Alcaraz (2004). "Incongruence between test
statistics and P values in medical papers." BMC Medical Research Methodology
4(13).
Gartler, S. M. (2006). "The chromosome number in humans: a brief
history." Nature Reviews Genetics 7(8): 655-U1.
Giddings, S. B. and M. M. Mangano. (2008). "Astrophysical implications
of hypothetical stable TeV-scale black holes." arXiv:0806.3381
Giere, R. N. (1999). Science without Laws. Chicago, University of Chicago
Press.
Hansson, S. O. (1996). "Decision making under great uncertainty."
Philosophy of the Social Sciences 26: 369-386.
Hempel, C. G. (1950). "Problems and Changes in the Empiricist Criterion
of Meaning." /Rev. Intern. de Philos 11(41): 41-63.
Hillerbrand, R. C. and M. Ghil (2008). "Anthropogenic climate change:
Scientific uncertainties and moral dilemmas." Physica D 237: 2132-2138.
Hut, P. and M. J. Rees (1983). "How Stable Is Our Vacuum." Nature
302(5908): 508-509.
Jaffe, R. L., W. Busza, et al. (2000). "Review of speculative "disaster
scenarios" at RHIC." Reviews of Modern Physics 72(4): 1125-1140.
Jeng, M. (2006). "A selected history of expectation bias in physics." Am. J.
Phys. 74(7): 578-583.
Kent, A. (2004). "A critical look at risk assessments for global
catastrophes." Risk Analysis 24(1): 157-168.
Lineweaver, C. H., Y. Fenner, et al. (2004). "The Galactic habitable zone
and the age distribution of complex life in the Milky Way." Science 303(5654): 59-
62.
Miller, G. (2006). "A Scientist’s Nightmare: Software Problem Leads to
Five Retractions." Science 314: 1856-1857.
Morawetz, K. and R. Walke (2003). "Consequences of coarse-grained
Vlasov equations." Physica a-Statistical Mechanics and Its Applications 330(3-4):
469-495.
Morrison, M. C. (1998). "Modelling nature: Between physics and the
physical world."Philosophia Naturalis 35: 65-85.
NASA (1999). Mars Climate Orbiter Mishap Investigation Board Phase I
Report.
Nath, S. B., S. C. Marcus, et al. (2006). "Retractions in the research
literature:misconduct or mistakes?" Medical Journal of Australia 185(3): 152-154.
Nicely, T. R. (2008). "Pentium FDIV Flaw FAQ." From
http://www.trnicely.net/pentbug/pentbug.html.
Nuclear Weapon Archive. (2006). "Operat ion Cas t le. " from
http://nuclearweaponarchive.org/Usa/Tests/Castle.html.
Panko, R. R. (1998). "What We Know About Spreadsheet Errors." Journal
of End UserComputing 10(2): 15-21.
Popper, K. (1959). The logic of Scientific Discovery, Harper & Row.
Posner, R. A. (2004). Catastrophe: Risk and Response. Oxford, Oxford
UniversityPress.
Prot, S., J. E. Fontan, et al. (2005). "Drug administration errors and their
determinants in pediatric in-patients." International Journal for Quality in Health
Care. 17(5): 381-389.
Reichenbach, H. (1938). Experience and prediction. Chicago, University of
Chicago Press.
Stubbs, J., C. Haw, et al. (2006). "Prescription errors in psychiatry - a
multi-centre study." Journal of Psychopharmacology 20(4): 553-561.
Suppes, P. (1957). Introduction to Logic.
Tegmark, M. and N. Bostrom (2005). "Is a doomsday catastrophe likely?"
Nature 438(7069): 754-754.
Turner, M. S. and F. Wilczek (1982). "Is Our Vacuum Metastable." Nature
298(5875): 635-636.
Walsh, K. E., C. P. Landrigan, et al. (2008). "Effect of computer order entry
on prevention of serious medication errors in hospitalized children." Pediatrics
121(3): E421-E427.
Witten, E. (1984). "Cosmic Separation of Phases." Physical Review D
30(2): 272-285.
Yudkowsky, E. (2008). Cognitive biases potentially affecting judgement of
global risks. Global Catastrophic Risks. N. Bostrom and M. M. Cirkovic. Oxford,
Oxford University Press.