Вы находитесь на странице: 1из 30

ИЗВЕСТИЯ АКАДЕМИИ НАУК СССР

BULLETIN DE L'ACADEMIE DES SCIENCES DE L'URSS


Серия математическая б ( 1 9 4 2 ) , з—32 Serie mathematique

А . Н. КОЛМОГОРОВ

ОПРЕДЕЛЕНИЕ ЦЕНТРА РАССЕИВАНИЯ И МЕРЫ ТОЧНОСТИ


ПО ОГРАНИЧЕННОМУ ЧИСЛУ НАБЛЮДЕНИЙ
Настоящая статья обязана своим появлением двум обстоятельствам:
1° Предполагая в нескольких дальнейших статьях опубликовать
изложение своих точек зрения и исследований по вопросу теоретико-
вероятностного обоснования математической статистики, автор считает
целесообразным предпослать этим статьям детальный критический раз­
бор существующих методов, проведенный на материале какой-либо
достаточно простой классической задачи математической статистики.
Для этого было вполне естественно остановиться на задаче оценки пара­
метров Гауссовского закона распределения по данным п независимых
наблюдений.
2° К автору обратились с просьбой дать свое заключение по пово­
ду разногласий, имеющихся среди артиллеристов, относительно приемов
10 n 12
оценки меры точности по опытным данным (см., например, t ]» [ ]> L l).
В связи с рассмотрением этих разногласий автору стала ясной жела­
тельность познакомить артиллеристов с результатами Student'а и Фишера,
относящимися к малым выборкам. Этими запросами и определился
окончательно конкретный материал настоящей статьи.
Из сказанного ясно, что статья претендует по преимуществу лишь
на методологический интерес. Новыми с фактической стороны автору
представляются в ней определение исчерпывающей статистики и исчер­
пывающей системы статистик в § 2 и уточнения остаточных членов
в предельных теоремах в § 4.
Необходимость критического сопоставления различных подходов
к разбираемым задачам привела неизбежно к тому, что статья получи­
лась довольно объемистой по сравнению с элементарностью разбираемых
в ней вопросов.

Введение
Допустим, что случайные величины

независимы и подчинены каждая Гауссовскому закону распределения


с общим им всем центром рассеивания а и мерой точности /г. Как из­
вестно, в этом случае тг-мерный закон распределения величин x опре­ i

деляется следующей плотностью вероятности:


1(х ,х ,
г 2 .. .,x \a,h)
n
2
= ~~ exp{-h S*), (1)
и А. Н. К О Л М О Г О Р О В

где
п
S'-^ix-af. (2)

Иногда, вместо формулы (1), удобно пользоваться равносильной ей


формулой
n
h — 2 2 2
f (х , # , . . ., х \ a, h) = —^ex^[ — h Sl — nh (x — a) ]^
1 2 п (3)
• 2

где положено
п

х = ^ х ь (4)
i=l
п
2
^ = 2(^-^) - (5)
Во всех курсах теории вероятностей для артиллеристов рассматри­
ваются следующие три задачи:
I. Предполагая h известным, оценить приближенно по наблюденным
значениям х х , ..., х величину а.
1У 2 п

II. Предполагая а известным, оценить приближенно по наблюден­


ным значениям # # , . . . , х величину h.
1? 2 п

III. Определить приближенно по результатам наблюдений


обе величины а и h.
Практически дело идет при этом о следующем:
a) Требуется указать такие функции а и h от известных в данной
задаче величин (т. е. от ж х , ..., х и /г в первой задаче, от х х , ..., х
19 2 п 1У 2 п

и а во второй задаче и только от # ж , . . . , # в третьей задаче), 17 2 п

которые наиболее рационально было бы принять за п р и б л и ж е н н ы е


з н а ч е н и я оцениваемых величин.
b) Требуется оценить среднюю точность, достигаемую при пользо­
вании приближенными а и h.
c) Иногда требуется, кроме того, указать такие функции а'\ а",
In' и Ы' от известных в данной задаче величин, чтобы, без опасности
слишком часто приходить к ошибочным выводам, можно было утвер­
ждать, что
а' < а < а"
и, соответственно,

При последней постановке вопроса а' и а" называются д о в е р и ­


т е л ь н ы м и г р а н и ц а м и для величины а, а /г' и Л" — доверитель­
ными границами для величины h.

§ 1. Классический метод
Классический метод решения поставленных задач опирается на
допущение, что до наблюдения значений х х , .. ., х подлежащие оценке 19 2 п

величины (а —в первой задаче, h — во второй задаче и а и Л —в третьей


О П Р Е Д Е Л Е Н И Е ЦЕНТРА РАССЕИВАНИЯ И МЕРЫ ТОЧНОСТИ 5

задаче) подчинены некоторому «априорному» закону распределения


вероятностей. Предполагая этот априорный закон распределения извест­
ным, можно вычислить условный («апостериорный») закон распределения
оцениваемых величин при условии, что результаты наблюдения х 1У

х ,...,х
2 п известны. Для простоты мы ограничимся случаем, когда
априорные законы распределения непрерывны и заданы соответствую­
щими плотностями вероятности.
В первой задаче, применяя теорему Байеса, получим такое выра­
жение условной плотности вероятности для величины а при заданных
значениях х х , .. ., х :
17 2 п

Ъ Ыъ, х„ . . . i l 0= 1 _«PH*(£zMfiW_ , (6)


9 2
^ exp [— nh - (а — х) ] ср (a) da х

— со

где <р (а) — безусловная (априорная) плотность вероятности для вели­


г

чины а до наблюдений.
Во второй и третьей задаче соответствующие формулы таковы:
,7 ч 2 2
А"' ехр (— h S ) <р (h)
ср 2 (h s ж 1 5 ж , ...,
2 х) = —
п ^ 2
, (7)
n
k exp(—h"$*)v (h)dh 2

I*„*„ ...,x ) = _ : "Pi-^-»^-'rjfi ^ ,


ss
n + c o r № ( 8 )
2 2
exp [— h?S\ — nh (a — x) ] v (a, h) ah da 3

где <р (й) и v (a, h)— соответствующие безусловные плотности вероят­


2 3

ности.
Формулы (6) — (8) непригодны для непосредственного практического
применения не только в силу их сложности, но, главным образом,
из-за того, что входящие в эти формулы априорные плотности вероятностей
нам обычно неизвестны.
Следует, кроме того, ясно представлять себе, что само допущение
о с у щ е с т в о в а н и и какого-либо определенного априорного распре­
деления вероятностей для величин а и h может быть оправдано только
в применении к тем или иным отдельным, достаточно ограниченным
классам случаев. Например, вполне осмысленно говорить о распределе­
нии вероятностей для меры точности при стрельбе из винтовки в таких-то
1
определенных условиях для стрелка, вызванного наудачу из данного
2
полка ; но бессмысленно было бы говорить об априорном распределении
вероятностей для меры точности при стрельбе вообще (в любых усло­
виях и из любого оружия прошлых и будущих времен).

1
Т. е. с одинаковой вероятностью быть вызванным для каждого стрелка.
2
Каково будет это распределение, зависит от многих обстоятельств. Например,
если полк состоит из стрелков двух различных призывов, то распределение может
оказаться двухвершинным и т. д .
6 А. Н . К О Л М О Г О Р О В

§ 2. Исчерпывающие статистики и системы статистик


В этом параграфе мы примем, что априорные плотности вероятности
ср (а), Ф (h) и 9 (а, h) существуют. Из этого чистого допущения о суще­
г 2 3

ствовании априорных плотностей вероятности нельзя получить практи­


чески полезных оценок величин а и h н о можно извлечь некоторые 1

достаточно поучительные следствия общего характера.


В случае первой задачи формула (6) показывает, что условная
плотность вероятности <? (а \ х , х , . . ., х ) полностью определяется апри­
1 л 2 п

орной плотностью o (а), мерой точности /г, которая здесь предполагается


t

заданной заранее, и средним значением х наблюденных значений


х х , . . ., х . Следовательно, каково бы ни было априорное распре­
1У 2 п

деление вероятностей величины а, в случае известной меры точности


h все то новое, что вносят в оценку величины а результаты наблю­
дения # х , # , . . . , х , заключено в одной единственной величине
2 п

х. Говорят поэтому, что в условиях первой задачи х является и с ч е р ­


п ы в а ю щ е й с т а т и с т и к о й для величины а.
3
Общее определение исчерпывающей статистики (sufficient statistic
по-английски) может быть сформулировано так:
Пусть наблюдаемые величины х , х , ...,х имеют закон распреде­ х 2 п

ления вероятностей, зависящий от параметров 8 , 8 , . . ., 8 , значения Х 2 S

которых нам неизвестны. Любую функцию


У. fall ^ 2 ? • • • 5 %п)
4
от наблюдаемых величин будем называть с т а т и с т и к о й . Статистика
у называется исчерпывающей для параметра 6j, если условное распре­
деление вероятностей параметра 8^ при известных х , х , ...,х пол­ г 2 п

ностью определяется априорным распределением вероятностей парамет­


ров 0 6 , . .., 8 и значением статистики / .
1? 2 S

Формула (7) показывает, что во второй задаче S является исчерпы­


вающей статистикой для меры точности h.
Определение исчерпывающей статистики обобщается следующим
образом: система функций
У.1 fal ? * * • 1 %п)

Х%fa14 X
f> " • • 1
х
п)

X
Xm fait %2-> * * * : ix)

называется и с ч е р п ы в а ю щ е й с и с т е м о й с т а т и с т и к для си­


с т е м ы п а р а ме тр о в 6 8 , ..., b (где к < s т. е. система 6 6 , ..., 6 17 2 k 1 17 2 fc

образует, вообще говоря, лишь часть полной системы параметров


Ь 8 , . . . , 6 ) , если условное /с-мерное распределение вероятностей для
17 2 S

параметров 6 6 , . .., Ь при известных ж х , . .., х полностью опре-


17 2 к 17 г п

3 2 3
Понятие это введено в другой форме Фишером. См. по этому поводу [*], [ ] и [ ] .
4
Статистика может зависеть от каких-либо параметров, значения которых
предполагаются известными (например, от Л в первой задаче, или от а во второй
задаче). Существенно лишь, чтобы она не зависела от параметров 0 0 , . . ., 15 2

предполагаемых в данной задаче неизвестными.


О П Р Е Д Е Л Е Н И Е ЦЕНТРА РАССЕИВАНИЯ И МЕРЫ ТОЧНОСТИ

деляется априорным законом распределения параметров 6 6 , 1? 2 . . . , 6 ,

и значениями статистик у , у , .. ., у . г 2 т

Формула (8) показывает, что в третьей задаче величины х и S l

образуют исчерпывающую систему статистик для системы параметров


а и h. Для каждого из этих параметров в отдельности система (х,
5
очевидно, также является исчерпывающей .
Полученные выше результаты, следуя Фишеру, можно кратко резю­
мировать так: вся информация*, заключающаяся в результатах наблюде­
ний х х . . ., х относительно величин а и /г, определяется в первой
1? 21 п

задаче значением величины ж , во второй задаче величины S, а в третьей


задаче— двух величин х и S , x

В соответствии с этим следует считать, что поиски наиболее совер­


шенных методов оценки величин а и h в принятых нами предположе­
ниях можно ограничить кругом методов, использующих наблюдаемые
значения х х ...,х только в форме вычисления по ним значений
±1 21 п

х — в первой задаче, S — во второй задаче и х и S — в третьей задаче. Y

Например, можно не рассматривать оценку центра рассеивания а


по медиане результатов наблюдений, или по среднему из крайних ре­
зультатов наблюдений
j ^max J ^min

Интерес подобных методов может заключаться только в их большей


7
простоте .
5
Заметим, что одна величина х у ж е не является в третьей задаче исчерпы­
вающей статистикой для параметра а. В самом деле, условная плотность вероят­
ности для а при заданных x х. , . . ., х выражается формулой
v 2 п

-j-oo
n 2
^ k exp [— №S\ — nh (a — xf\ <p (a, h) dh
8

Ф (a I x x„ . . ., x ) - —° -
l9 n + —
1 2 2
^ ^ h e x p [— h S — nh* (а — х)*] <? (a, h) dh da
3

- oo 0
Легко обнаружить, что <p (a \ x x , . . ., x ) не определяется однозначно по <р (a, h)
lf 2 n 3

и х, а зависит еще существенно от S . Можно было бы показать, что вообще среди ±

непрерывных функций у; х , . . х ) не существует такой, которая была бы


2 п

в условиях третьей задачи исчерпывающей статистикой для центра рассеивания а.


То же самое относится в условиях третьей задачи и к мере точности h.
Для простоты вычислений мы предположили, что априорные распределения
вероятностей для а и h непрерывны и заданы при помощи плотности вероятностей.
Однако все выводы относительно исчерпывающих статистик в первой и во второй
задаче и исчерпывающей системы статистик в третьей задаче сохраняют свою силу
и без этого ограничения.
в
В другом месте я предполагаю дать точное определение термина «инфор­
мация», соответствующее принятому Фишером словоупотреблению.
7
Все это в предположении Гауссовского закона распределения для величин x h

которое мы приняли с самого начала. Если отказаться от этого допущения, то поло­


жение вещей изменится.
Чтобы пояснить это обстоятельство, рассмотрим следующий пример. Б у д е м
считать случайные величины х х , . . ., х независимыми и имеющими каждая рав-
и 2 п
8 А. Н. КОЛМОГОРОВ

В частности, при поисках наиболее рационального вида функций


а, /?, а\ я", /г' и /г" (см. о них введение к этой статье) естественна
ограничиться в первой задаче функциями а, а' и а", зависящими
только от х и /г, во второй задаче— функциями h, h' и h"', зависящими
только от 5 и а, в третьей задаче — функциями а, /г, а' я", /г' и /г",
зависящими только от ж и S - x

Вывод этот, вполне соответствующий общепринятому мнению практи­


ков, в частности, артиллеристов , можно было бы обосновать и другими
способами, совсем не зависящими от допущения о существовании априор­
ных распределений вероятностей для а и 7г.

§ 3. Гипотеза постоянной априорной плотности


вероятности и ее критика

Во многих руководствах, предназначенных для артиллеристов,


принимается, что в формулах (6) —(8) можно считать априорные плот­
ности вероятности, постоянными, т. е. положить
<р (а) = const,
х ср (h) = const,
2 9 = (а, h) = const.
3

Строго говоря, это допущение не только произвольно, но и заведома


ошибочно, так как оно противоречит вытекающим из основных прин­
ципов теории вероятностей требованиям
-f оо 4-оэ +оо -f оо

^ у (а)йа = 1,
1 ^ <p (A)dA=l, 2 ^ ^ <p (e, h)dhda = l.
3

-оо 0 -оо О

В некоторых случаях, однако, постоянство априорных плотностей:


вероятности может приближенно сохраняться в пределах достаточно

номерное распределение вероятностей на отрезке —- ' а+ - j • Тогда п-мерная


плотность вероятности для величин будет такова:
I 1
f (x х , . . ., х | а) == 1, если х
v 2 — ~<а< п тлх х т[п + ->
1 1
/ (х , х , . . ., х j а) --= 0,
г г п если а< х тйх —- или а > x mhl + - .
Обозначая через © (а) априорную плотность вероятности для а, получим, п о
теореме Байеса, такое выражение условной плотности вероятности для а при изве­
стных Ху_ X%i • . ., Xft.
ч

х
тт "Т* 2
С 1 а х
1
ср (а ; х , Хо, . . ., ж ) = з (а): \ ю(а) da, если #
х и m a x —^< < т\п + 2 '
1

1 1
о (а | я ж , . . 1? 2 s ) = 0,
w если а< s m a x —- или а > : r m i n + -•
Очевидно, что здесь исчерпывающей для параметра а будет система двух ста­
тистик # и # i . В качестве приближенного значения для а в этом случае вполне
т а х m n

естественно принять величину


x
J ^max 4~ min .

Можно было бы показать, что разность а — d будет здесь, как правило, значительно
меньше при больших п, чем разность а — х.
О П Р Е Д Е Л Е Н И Е Ц Е Н Т Р А РАССЕИВАНИЯ И МЕРЫ ТОЧНОСТИ

большой области изменения аргументов а и А. В этих случаях можно


надеяться, что формулы, получающиеся из (6) — (8) при замене функций
и
9i> ? 2 ?з постоянными, окажутся приближенно правильными. В § 4
мы увидим, что на такой результат можно рассчитывать при достаточна
большом числе наблюдений а в случае первой задачи и при малом
и, если среднее квадратическое отклонение
9
° = -А- (>
достаточно мало по сравнению с a priori допустимой областью изменения
центра рассеивания а.
Заменяя в формулах (6)—-(8) функции ср . ср и ср постоянными, 19 2 3

получаем
2 2

2 (а \ х,
г х,
9 . . . , х)
п ==3~^1- exp [ — nh (а — х) ], (10)
у 1Z

<? {h\x„x„
t •••^,)= /5Г 1Л *"e*p(-W), (И)

Тз (а,ЙК,:г , 2 .. п
ж ) = - | 1 ^ ^ . Л е х р [ - А ^ - л А » (а-ж)*].
п (12)

Для первой задачи формула (10) приводит к выводу, что условное


распределение а при заданных х , # , ., я будет гауссовским с цент­ х 2 п

ром рассеивания х и мерой точности ] / n h . Результат этот вполне


удовлетворяет своей простотой. Установлен он, однако, как было отме­
чено, лишь на основе несостоятельного допущения
cp (а) — const. r

В § 4 мы увидим, что при некоторых достаточно естественных допу­


щениях он может быть оправдан в качестве приближенного.
Формулы (11) и (12) получены также из несостоятельных допущений
ср (/г) = const, ср (я, /г) = const.
2 3

Действительно, солидное их обоснование возможно лишь в форме пре­


дельной теоремы, устанавливающей, что при некоторых естественных
допущениях и при достаточно большом числе наблюдений п формулы
(11) и (12) приближенно правильны. Однако, в § 4 мы увидим, что
при тех же допущениях для больших значений п формулы (11) и (12)
могут быть с хорошим приближением заменены значительно более
простыми формулами (16) и (17).
Таким образом, оказывается, что при малых п формулы (11) и (12)
не обоснованы, а при больших п — излишни. Ввиду этого практического
значения формулы (11) и (12) не имеют.
Чтобы проиллюстрировать произвольность результатов, получаемых
из гипотезы постоянной априорной плотности вероятности при не
слишком больших значениях я, рассмотрим вторую задачу с несколько
иной точки зрения. Не менее естественно, чем допущение
ср (/г) = const,
2
10 А. Н. К О Л М О Г О Р О В

допущение, что постоянной априорной плотностью вероятности обладает


среднее квадратическое уклонение с. Это допущение приводит к сле­
дующим результатам:
ср (A) dh = const • do,
2

л ,, ч const
* ?,(A) = - p - ,
2 2
со, (A i ^ ж , . . . , x ) =
2 n / f ' A"-- exp ( - h S' ). (11 bis)

Вычислим по формулам (11) и (11 bis) условное математическое


ожидание h при заданных х , х.,, . . ., х . Получится, соответственно,
х п

<13)
" - тМт7'
й** = -А-^< . (13 bis)

Легко вычислить, что


A*=A**(l + l ) . (14)

Мы видим, что различие между h* и h** незначительно при больших


л, но может быть весьма заметным при не слишком больших п.

§ 4. Предельные теоремы
В этом параграфе мы установим, что при некоторых естественных
допущениях для достаточно большого числа наблюдений п (а в первой
задаче в^некоторых случаях и при малых п) можно пользоваться при­
ближенными формулами
2
^ {а\х ,
1 1 .. ., х )^ п exp [ — nh (a— J;) ],
2
(15)

2 2
<рЛЛ|#1, • • •> х )ъ^2А.
п е х р [ — 25 (А —А) ], (16)

1 2
о (а, /г
3 £ , . . ., # ) ~ l ^ - ^ ?
2 n exp [ — nh\ {a — xf — 2S (А — А ) ] ,X х (17)
где положено
h« ! , (is)
У 2 iS'
У n—l
^ = ^ - (19)
Если ввести величины
а = у nh(a-x), (20)
X = j/"2S(A-A), (21)
04 = j , / А г (а — ж), (22)
7, = 1/2 5 , (А-Л,), (23)
О П Р Е Д Е Л Е Н И Е ЦЕНТРА РАССЕИВАНИЯ И МЕРЫ ТОЧНОСТИ 11

условные плотности вероятностей которых при заданных х^ x tJ ...,х п

равны соответственно
а
<ti ( ! ^ 1 , х , . . ., х ) = 2 п —4— ср (а |
х х. , . . ., я ),
х п (24)
}•' д л
0 (•/ | x
Е v ж , . . . , ж „ ) = — < р , (А ! х „ :г
2 3? . . . , х ),
п (25)
Г - •>
1
А
(«17 Xil^i? •• х
п) = -^гт-^-?А 1 а
К> ^ • • ч Sn)> ( 2 6
)

то формулы (15) — (17) можно переписать в виде


2
Ф ( а | х , £ ,. . ., х ) ~ - - ^ г е-* ,
г 1 2 п . (27)
Уте
ф ( X j ^ ,а- , . . . , ж ) ~ ™L-
в 2 и (28)
У -тс
а
Ф з К Д ^ ! , ^ , . . .,ж )~—е- !-*/-?. Л (29)

Для обоснования применимости при рассмотрении первой задачи


приближенной формулы (27) [или, что то же самое, равносильной с ней
формулы (15)] служит такая предельная теорема:
ТЕОРЕМА 1. Если априорная плотность вероятности ® (а) имеет г

ограниченную первую производную и


? 1 (х)фО,
то равномерно относительно а
* (*\x ,x ,... x )
1 1 s 1 n = -^e-"\01+ 7 ) (1+ |а|)1 . (30)
Ук L ч ) nh У J
2
Здесь О (—--=77 ) обозначает величину, имеющую при nh —>-\-со и
V у пftJ
постоянных ср (а) п х равномерно относительно а порядок, не превы-
х

1
шающий — . Для доказательства теоремы заметим, что в силу (6),
Упи
(20) и (24)
Ф (а|
г я , . . ., х ) =
в п . (31)

В силу ограниченности первой производной от о (а) имеем равномерно г

по а

Вставляя эту оценку в (31), и получаем, при условии ^ (ж) ф 0, после


некоторых преобразований, оценку (30).
Не предполагая ограниченности первой производной от ^ ( а ) , а
требуя только непрерывности о (а) в точке а = ж, можно было бы по­ г

лучить более слабый результат


12 А. Н . К О Л М О Г О Р О В

где R—>Q при nh —>+со равномерно относительно я на любом конеч­


2

ном интервале а'г^а^а". Наоборот, усиливая предположения о «глад­


кости» (ограниченности старших производных, аналитичности и т. п.)
функции с? (а), нельзя в оценке (30) заменить множитель
х of—pLr)
\ у nhj
на какой-либо другой, меньшего порядка. В самом деле, предполагая
f м ы
ограниченность второй производной от -f (a) можем воспользоваться 1 J

оценкой

Вставив эту оценку в формулу (31), получим после некоторых пре­


образований

К t Ч V 1
(32)

Формула (32) показывает, что при о ' Д ^ ф О и ограниченности второй


производной 9% (а) поправочный член О ( L i ( l + a ) в формуле (30)
Ч у /г ft J

для любого фиксированного яф 0 действительно имеет порядок


1
Ynh '
Для условного математического ожидания
Е (а\ г/\, , ... , # n ) — X'Y Е (а I х , 1 £ , ... , # ) =
2 п

]/ а И
А-со

= X
~ +, 1
y~j z ^а^ (я;х 17 # , . . . , х ) da
а п

величины а при заданных х , х , . . ., х г 2 п из (30) вытекает оценка


33
Е(а\х ,
л х , . . . ,х )
2 п =х + 0 (~^) • ^)

В формуле (33) порядок поправочного члена О (^~~f^ j не может быть


уменьшен ни при каких дополнительных предположениях о «гладко­
сти» функции о (а), так как при ограниченности второй производной
г

<?" (а) из (32) вытекает

Е(а \х„х„ . . . ,*J = s + • -~ + 0 (r-T^j-^j • (34)

Формула (34) показывает, что при о\ (х) ф 0 и ограниченности 9" (а) 1

l
поправочный член в (33) действительно имеет порядок —^ . 2

В силу (33), пренебрегая величинами порядка -J-- ,


2 естественно
за приближенное значение центра рассеивания а при заданных х1У

х , . . ., я* принять X.
2

Мерой точности этого приближенного значения можно в силу (15)


r
приближенно считать y nh.
О П Р Е Д Е Л Е Н И Е Ц Е Н Т Р А Р А С С Е И В А Н И Я II М Е Р Ы Т О Ч Н О С Т И 13

Более точно для условного математического ожидания квадрата


уклонения а — х при заданных # о? , . . . , х 1? 2 п

E[{a~xf\x^x^ . . . ,х ]^^Е{я \х х
п
%
19 Л1 ... , х ) = п

= ~hT* J a
^l( a
I ^2 ' ^ n ) d 3 t

— ОО
8
из формулы (30) вытекает оценка
2
Е[{а~х) \ хх 1? 21 . . Я п ] = 2дЛ"*[ 1 + С >
< 3 5 )
r*yj-
Считая мерой точности приближенного значения 8 какого-либо пара­
метра б при заданных x х , ... , х величину XJ 2 п

а
h (8 | х„х„... , s ) = l : j / ' 2JS [(в —6) \х , х„ . . . , s ] ,
n х n (36)
получим для х в качестве приближенного к а на основании (35)
37
h(x |хХ1 х , . . . , ж ) = у лА
2 п
г
+ • I )

Чтобы получить доверительные границы для а при заданных


х )Х ,
Г 0 . . . , х , естественно рассмотреть условные вероятности
п

I х, г х , . . . •, х ) = Р{ \ а
2 п |< с | х„ х , 2 . . . ,х) п =
-4-с
а
- = ^ ФД I ^1» х
гч • • • > ^ г ) ^ "

9
Из (30) для этих вероятностей вытекает оценка
с

Р(|а-х| < ^|х ,х.,...,х


1 и ,= ^ J е -^а + 0 ( ^ ) , (88)

где О (—Ly^) обозначает величину, имеющую порядок не больше

.._ равномерно относительно с. Таким образом, пренебрегая вели-


Y nh
чиной О Г—Д_т ) , можно сказать, что при заданных х. х ж,, ... , х п
\ynhs
с вероятностью
с
8
О) =
— -£=Д е-* Ах (39а)
/ я 0

8
Из (32) можно получить более точную оценку
(35 }
Е [{а _ * ) » | х„ х , . . . . х„] = 2 ^ [ 1 + О (
г i )]' '
Дальнейшим усилением требований «гладкости» функции ъ (а) порядок остаточного х

члена в (35') нельзя уменьшить.


9
Из (32) можно получить более точную оценку
с 9

Р [I а - х Ky^l Iх *,..
1% а х) =y i ^
п do. + О (^±^ . (38')
О
Дальнейшим усилением требований «гладкости» функции Ф (а) порядок остаточного х

члена в (38') нельзя уменьшить.


14 А. II. КОЛМОГОРОВ

а— лежит в пределах
х
у^т < а < х + — . (39b)
v 7
Ynh yh n

Для обоснования применимости при рассмотрении второй задачи


приближенной формулы (28) [или, что то же самое, равносильной
с ней формулы (16)] служит
ТЕОРЕМА II. Если априорная плотность вероятности <р(А) имеет 2

ограниченную первую производную и ср (h) ф 0, то равномерно отно­ 2

сительно у
в х в 1 1
<Ых\хцх» • • • ^ » ) = ^ " [ + ° ( ^ - ) ( + 1*1)]- (40)

Доказательство теоремы 11 мы здееь не приводим. Оно несколько слож­


нее, но ио идее вполне аналогично доказательству теоремы I. Заметим,
что, как и в случае теоремы I, в формуле (40) выражение О (
\у п
обозначает величину, имеющую при —>+°° и постоянных ср (А) и к 2

равномерно относительно X порядок —— .


Для условного математического ожидания
E(h\x x„ . . . , x ) ^1+
19 Е (X \ х.„ х ,...
n 2 ,х ) п =
^h[i+~^E (х\х ,х„ г . .. ,х )] п =

4-со

— СО

из формулы (40) вытекает оценка


E(h\x z„ ... ,х )=
19 п + (41)

В силу (41), пренебрегая относительной ошибкой порядка есте­


ственно принять Л за приближенное значение h. Пренебрежение
1
относительными ошибками порядка — с принятой в этом пара­
графе точки зрения при выборе приближенного значения для h неиз­
бежно, если точное выражение априорной плотности вероятности y (k) 2

нам неизвестно, В самом деле, в конце § 3 мы уже видели, что при


замене ср (h) = const на
2

,у ч const
I
относительное изменение E(h \х , х ,. . . , z ) составляет —.Легко было
х 2 n

бы привести примеры такого же изменения Е(1г \х , х , . . . , х ) при из­ г 2 п

менении ср (Л), в которых функции <р (А) удовлетворяли бы всем обяза­


2 а

тельным для плотностей вероятностей требованиям и имели бы ограни­


ченные производные сколь угодно высокого порядка.
О П Р Е Д Е Л Е Н И Е Ц Е Н Т Р А РАССЕИВАНИЯ И М Е Р Ы ТОЧНОСТИ 1"

Мерой точности приближенного значения h величины k можно в силу


(16) приближенно считать
п
1 Ао о У
f
Более точно h
E[(h - й)« \х х„ .. ., х ) = ^~ [ 1 + О
х п ( - ± г ) ] , (42)

2
Л (A, jаг,,ж , . . .,ж„) = 1: V 2 £ [(Л — A ) | x
а 1 5 ж ,. . . , £ „ ] =
2

0 ,43)
^ + ( ^ ) ] -
Наконец, из (40) легко вывести, что

Р (! h - h j < х» х„ ..., х ) = А . . п 5 ^ + 0(±^) . (44)

Пренебрегая величиной О ( \ , можно, следовательно, сказать, что


при заданных х 1У х , ..., х
2 п с вероятностью

0
/г лежит в пределах
, < < 1 +
*( -^r) " 4 FI
В обстановке третьей задачи имеет место такая теорема:
ТЕОРЕМА III. Если априорная плотность вероятноти <р (а, h) имеет 8

ограниченные первые производные по а и по h и ср (а,А)фО, то равно­ 3

мерно относительно а и Xi г

*Л*г>Ъ\*г,*„...,*п) = ±е-*-^^^ . (45)

Подобно теореме II, здесь О ^ ^ = " ^ обозначает величину, имеющую при

п—>-|-оо и постоянных ф (а,Л), х и А равномерно относительно а и у


3 2 х А

порядок ) .
Доказательство теоремы III вполне аналогично доказательству тео­
ремы II. Мы его здесь не приводим.
Из (45) вытекает, что
Е(а\х ,х. ,..
1 г .,х ) = х + -J-0
п , (46)

Е((a-iflx^x,,...,х ) п = [ 1+ О ( ^ - ) ] , (47)

( 4 8 )

a ,...,x ) = A [l + 0 ( - i - ) ] ,
f l n 1 (49)

E((h-h)*\x„x„...,x ) n = £- [ l + O ^ j ] , (50)
16 А. Н. КОЛМОГОРОВ

В силу формул (46) и (49) в третьей задаче, пренебрегая величинами


порядка ~~- , естественно принять в качестве приближенного значения
центра рассеивания а величину а в качестве приближенного значения
меры точности Л — величину h . За меру точности этих приближений
x

можно приближенно считать в силу формул (47) и (50), соответственно


1 / пп и V™
, / - - 7
=~ .
х
L

К
Формулы (48) и (51) позволяют найти доверительные границы для
а и А, соответствующие (с точностью до величин порядка ) заданной
п
Y J
вероятности ш.
Как и во второй задаче, условное математическое ожидание
E(h \х ,х ,..., х ) определяется по формуле (49) лишь с точностью до
х 2 п

множителя 1 + 0 (^~~-^) • Поэтому, с точки зрения, принятой в этом


параграфе, лишены смысла споры о том, следует ли принять в качестве
приближенного значения А величину А или же, например, величину 1?

= (52) 2 v
Y2S ' t

Практическое значение теорем I, II и III не одинаково. По теореме I


при постоянном ср (а) точность приближенных формул (27) и (15) увели­
г

чивается не только с увеличением д, но и с увеличением меры точности А.


Поэтому, если среднее квадратическое отклонение а — -—— мало по
У 2k
сравнению с допустимой a priori областью изменения величины а, то
мы имеем некоторые основания пользоваться формулами (27) и (15) и
при малых п (даже при n—i). В случае же теорем II и III остаточные
члены формул (40) и (45) убывают только с возрастанием п. Поэтому
при малых п теоремы II и III не дают ничего.

§ 5. Доверительные границы и доверительные вероятности Фишера


Как уже указывалось во введении, задача приближенной оценки
параметра 6 по результатам наблюдений х х , ... ,х может быть по­ 1У 2 п

ставлена, в частности, так: требуется указать в виде двух функций


•6' (х , х , ..., х ) и 6" (х , х , . . . , х ) от x я , . . . , х такие «доверитель­
г 2 п х г п XJ 2 п

ные границы» для 8, чтобы на практике можно было пренебрегать


10
возможностью нахождения 8 вне интервала

Чтобы судить при заданных х ,х , ... , х о приемлемости тех х 2 п

или иных доверительных границ б', 8" для параметра 8 естественно


обратиться к условной вероятности
Р(Ь'<Ъ^Ь"\х ,х„...,х ).
г п (53)
1 0
Интервал б ^ б ^ б " называют «доверительным интервалом^ для параметра 9.
О П Р Е Д Е Л Е Н И Е ЦЕНТРА РАССЕИВАНИЯ И МЕРЫ ТОЧНОСТИ 17

Если эта вероятность близка к единице (например, равна 0,99 или


0,999), то будем склонны без больших колебаний принять, что
б'<б<б".
В соответствии с этим, в тех случаях, когда условные вероятности
(53) известны для любых б' и б" естественно поступать так: задаться
каким-либо ш, достаточно близким к единице, и для каждой системы
7
значений х х ... , х
ХУ 2У подобрать такие значения б (х , x , ..., х )
п х t п

и § " ( x i , . . . , х ) , для которых


n 2 п

Р (О' Ь < б" \х ,х .


х 2 х ) = о),
п (54)
а длина интервала (б'; б") возможно меньше [при условии соблюдения
равенства (54)].
Например, в первой задаче, в предположении справедливости фор­
мулы (15), наиболее короткий доверительный интервал для а, удовле­
творяющий требованию (54), дается формулами (39а) и (39Ь). Заметим,
однако, по поводу этого примера, что формула (15) может быть оправ­
дана (даже в качестве приближенной) лишь при достаточно стесни­
тельных допущениях, выясненных в § 4. В точное же выражение (6)
для условной плотности вероятности у (а \ х ,х , .. . ,х ) входит апри­
1 х 2 п

орная плотность вероятности ср (а), которая обычно нам неизвестна.


г

Таково же положение и в большинстве других задач оценки пара­


метров: в точное выражение условных вероятностей (53) обычно входит
неизвестное нам распределение вероятностей для параметров.
Существует мнение, отстаиваемое в СССР академиком С. Н. Берн-
штейном (см., например, что для случаев, в которых априорное
распределение параметров неизвестно, теория вероятностей ничего не
может предложить для практического применения, кроме предельных
теорем, подобных указанным в § 4. С этой точки зрения при ограни­
ченном числе наблюдений и без знания априорного распределения
вероятностей параметров объективный научный подход к наиболее ра­
циональному выбору доверительных границ для оцениваемых парамет­
ров вообще невозможен.
В указанной сейчас точке зрения безусловно правильно следующее:
зависимость условного распределения вероятностей параметров при
известных результатах наблюдения от априорного распределения веро­
ятностей тех же параметров до наблюдения имеет место, и с ней нельзя
не считаться. Ошибочно, однако, мнение, что задача указания рацио­
нальных доверительных границ для оцениваемых параметров нераз­
рывно связана с рассмотрением условных вероятностей (53).
В большинстве практических (в частности, артиллерийских) задач
дело идет об установлении общих правил оценки параметров, рекомен­
дуемых для систематического употребления в какой-либо обширной
категории случаев. В этом параграфе, посвященном доверительным
интервалам, нас будут занимать правила такого рода:
«При т а к и х - т о о б щ и х у с л о в и я х р е к о м е н д у е т с я счи­
тать, каковы бы ни б ы л и р е з у л ь т а т ы наблюдения
2 Известия АН, Серия математическая, № 1— 2
18 А. Н. КОЛМОГОРОВ

х, х , . . . , # , ч т о з н а ч е н и е п а р а м е т р а б л е ж и т в п р е д е л а х
г 2 n

б' (х х , ...,х )^Ъ^Ь"(х х ,


19 2 п . ..,z )».
19 2 n

Рекомендуя к математическому употреблению в будущем такое


правило, мы не можем знать заранее, какие значения будут получать
величины # ж , . . . , х в каждом отдельном случае применения этого
1? 2 п

правила. Поэтому, при решении вопроса о том, следует реко­


мендовать данное правило или нет, нет никаких оснований обращаться
к рассмотрению условных вероятностей (53). Вместо этого, естественно
рассмотреть безусловную вероятность
Р [6' (х х , ..., х ) < б < б" (аг х , . . . , х )]
19 2 п (55) 1? 2 п

того, что при том или ином предстоящем нам применении правила не
произойдет ошибки.
Безусловная вероятность (55) при заданном виде функций
б' х , ..., х ) и Q" (x ,x , . . . , # ) определяется, вообще говоря, через
2 п t 2 п

закон распределения величин х , х , . . . , x зависящий от параметров


г 2 nJ

б, 6 , б , . . . , 6 и безусловный (априорный) закон распределения этих


А 2 S

параметров. Обозначив через


)
/ ( б ' < б < б " | б , б , б , ...,6 ) (56) 1 2 S

условную вероятность соблюдения неравенства б' < б < б" при заданных
значениях параметров и предполагая, что априорное распределение
параметров дается плотностью вероятности ср(б, 6 6 , . . . ,6 ), получим 19 2 8

такое выражение для безусловной вероятности (55):


Р(6'<в<в") = ^ ^(в'<в<в'!в,в ,в , ...Д^бДЛ... * 1 1

. . . , e ) d 8 d e d e ...№ .
8 i (57)8 s

Особенно важным на практике оказывается частный случай таких


правил, для которых условная вероятность (56) остается при всех
возможных значениях б, б ,б , . . . , 6 постоянной. Если условная веро­
А 2 S

ятность (56) постоянна и равна со, то в силу (57)

Р(б' < б < 6 " ) = ^ ^ \ «><р(0ЛЛ,. . -, 6 ) d6 d6 dO . . . d6 = ш, в 2 a e

т. е. безусловная вероятность (55) не зависит от безусловного распре­


11
деления параметров .
Мы уже указывали в § 1, что самая гипотеза о существовании
априорного распределения параметров не всегда осмысленна. Однако,
если условная вероятность (56) не зависит от значений параметров
и постоянно равна одному и тому же числу со, то естественно считать
безусловную вероятность (55) существующей и равной со даже и в тех
случаях, в которых гипотеза о существовании априорного распреде­
12
ления параметров не принимается .

1 1
Мы получили этот результат лишь в случае безусловных распределений пара­
метров, заданных плотностью вероятности 0 0 , . . ., G ). Однако легко видеть, 1} 2 s

что он верен и в общем случае.


1 2
В этом случае дело идет о принятии такой новой а к с и о м ы теории вероят­
ностей: если условная вероятность Р (A j 6 6 , . . ., 8 ) некоторого события А п р и 1} 2 в
О П Р Е Д Е Л Е Н И Е Ц Е Н Т Р А РАССЕИВАНИЯ И М Е Р Ы ТОЧНОСТИ 19

Если условная вероятность (56) при всех возможных значениях пара­


метров [а следовательно, и безусловная вероятность (55), независимо от
вида априорного распределения параметров] равна со, то будем говорить,
следуя Фишеру (см. W и что наше правило имеет определенную
доверительную вероятность, равную со.
В случае первой из трех задач, которым посвящена настоящая
статья, легко видеть, что правило, рекомендующее считать а заклю­
ченным в пределах
а' < а ^ а", (58)
где
а' — х-\———. а" х+ — -— (59) г
Ynh ' у пh

имеет определенную доверительную вероятность

•м-
с"

(60)

В самом деле, каковы бы ни были а и /г,

Р(а* * a, /г) = Р ^х
Ynh <; а < х- Y п h

Ynh Y nh

Положив, например,
-2, + 2,
получим
J* f e-ay a = = 0,9953.
/тс J

Таким образом, правило, рекомендующее считать, что

(61)
Ул /г

обладает доверительной вероятностью ш = 0,9953. Чтобы окончательно


выяснить смысл и практическое значение понятия доверительной
вероятности, остановимся на этом примере несколько подробнее. Пусть
мы имеем в виду применить правило (61) в какой-либо последователь­
ности случаев
Е ... , E . 21 N

всех возможных значениях параметров 8 0 , . . ., Q существует и равна одному


1? 2 s

и тому же числу то безусловная вероятность Р (А) события А с у щ е с т в у е т


и равна о).
Заметим, что при сравнении излагаемого сейчас метода с классическим вопроса
о приемлемости этой новой аксиомы не возникает, так как классический метод
необходимым образом опирается на допущение существования априорного распре­
деления параметров, а при этом допущении указанная новая аксиома делается
излишней.
2*
20 А. Н. КОЛМОГОРОВ

Каждому случаю E соответствуют свои значения a , h и п , но со­


K k k к

вершенно независимо от того, каковы эти значения, вероятность осу­


ществления в случае E неравенства K

, (61*)
n h
У kk
равна ш = 0,9953. Если при этом системы величин х соответствующие ь

различным случаям E независимы друг от друга, то независимы


KL

между собой и события Af ) заключающиеся в осуществлении соответ­


t

ствующих неравенств (61 ). При этом условии для достаточно большого


/}

М
N частота , с которой в ряду случаев E будут осуществляться K

неравенства (61^), будет по теореме Бернулли с вероятностью, сколь


угодно близкой к единице, сколь угодно мало отличаться от со = 0,9953.
Следовательно, в любом достаточно длинном ряду независимых случаев
E мы получим, руководствуясь правилом (61), верные результаты
K

приблизительно в 99— % случаев, а ошибочные — приблизительно в


1
тг % случаев. Для обоснованности этого вывода требуется только,
чтобы подлежащее рассмотрению множество случаев
Е 1У Z? , . . . , EN
2

было определено заранее независимо от рассмотрения получающихся


в результате наблюдения значений величин х . Остроумный пример ь

недоразумений, которые могут произойти, если не обратить внимания


13
на это обстоятельство, был указан С. Н. Бернштейном .
После всего сказанного ранее кажется почти излишним предостере­
14
гать читателя от распространенной ошибки , указав, что из того,
что при всех возможных значениях а и h
Р( (а — ж | < - Д — 1 ^ * ^ = 0 , 9 9 5 3

вытекает равенство
,9953

для безусловной вероятности осуществления неравенства \а — х\<г

_ 2
< —^— , но отнюдь не следует, что
Ynh

Р (\a-'x\^ylj\x x, 1 J . . . , ж ) = 0,9953
п

при любых фиксированных значениях x ,x t i7 ... , х . п

1 3
См. [э], § 7. По поводу этого примера возникает любопытная задача—дать
такое правило отбора ящиков, которое гарантировало бы покупателю с достаточно
малым риском ошибки получение не менее 95% ящиков, удовлетворяющих его тре­
бованию | а —а | < 2. Задача эта допускает вполне корректную трактовку с точки
{

зрения доверительных вероятностей (или, точнее, коэффициентов доверия, о которых


см. в конце этого параграфа). К этой задаче и некоторым аналогичным задачам,
имеющим серьезное практическое значение, я предполагаю вернуться в другой статье.
1 4
Ошибку эту допускал в некоторых своих работах Фишер.
О П Р Е Д Е Л Е Н И Е Ц Е Н Т Р А РАССЕИВАНИЯ И МЕРЫ ТОЧНОСТИ 21

Заметим в заключение этого параграфа, что иногда приходится


рассматривать правила установления доверительных границ подлежа­
щего оценке параметра &, не имеющие определенной доверительной
вероятности. В таких случаях роль, аналогичную доверительной
вероятности, играет нижняя грань
<D = i n f P ( e ' < 6 < 6 * | M i A > А)
условной вероятности соблюдения неравенств 6' < 6 < h" при различных
комбинациях значений параметров 6, б 6 , .. . , 6 . Эта нижняя грань
15 2 П

называется, следуя J. Neyman'y, к о э ф ф и ц и е н т о м доверия


15
данного правила .

§ 6. Рациональный выбор доверительных границ, соответствующих


заданной доверительной вероятности
После сказанного в предыдущем параграфе становится понятной
такая постановка задачи оценки параметра 6 по результатам наблюде­
ний х\, х , . . . , х : для каждого со (0 < со < 1) требуется найти в виде
2 п

функций 6 и Ш от х ,х , . . . , х ( и в случае необходимости, от пара­


х 2 п

метров, предполагаемых в данной задаче известными) такие доверитель­


ные границы для 0, чтобы правило, рекомендующее считать, что
6* < О < б;
имело доверительную вероятность, равную со.
Поставленная таким образом задача не всегда разрешима. В случае
ее неразрешимости приходится обращаться к правилам оценки пара­
метра 6, лишенным определенной доверительной вероятности, и поль­
зоваться указанным в конце предыдущего параграфа понятием коэффи­
циента доверия. С другой стороны, во многих случаях поставленная
задача допускает при каждом со не одно, а много решений. Естественно
среди этих решений, соответствующих данному со, предпочитать те,
которые приводят к более коротким доверительным интервалам [&^; 6С].
Общему рассмотрению вопроса о разыскании таких «наиболее эффек­
тивных» правил, обладающих заданной доверительной вероятностью
(или заданным коэффициентом доверия), я предполагаю посвятить
другую статью.
В случае трех задач, которым посвящена настоящая статья, есте­
ственны следующие упрощения постановки вопроса о разыскании рацио­
нальных доверительных границ для а и h:
1. Естественно ограничиться рассмотрением доверительных границ,
зависящих при данных п и со, помимо параметров, предполагаемых
в данной задаче известными, только от соответствующих достаточных
статистик, или достаточных систем статистик. В силу этого мы будем
считать, что в первой задаче доверительные границы а' и а" зависят

i 5
Пример элементарной задачи, в которой неизбежно пользоваться правилами,
не имеющими определенной доверительной вероятности, а обладающими только
6
определенным коэффициентом доверия, см. в [ ] .
22 А. Н. КОЛМОГОРОВ

только от h и х, во второй задаче доверительные границы h' и h"


зависят только от а и 3, а в третьей задаче а', а*, Л' и К зависят
только от х и
16
2. Естественно желать , чтобы правила определения доверительных
границ были инвариантны по отношению к изменению масштаба, начала
отсчета и выбора положительного направления на осиж = ов, т. е. по
отношению к образованиям
x* = kx + b, (62)
где b — произвольное действительное число, а к — произвольное дейст­
вительное число, отличное от нуля. При преобразовании (62) а, к,
х, S и S преобразуются по формулам
x

а=ка + Ь, й* = г4т , х = кх + Ь, S* = \k\S,


т
5; = | Л | 5 1 в

Выдвинутое сейчас требование инвариантности сводится к тому, чтобы


а', а", к" и /г" при фиксированных п и ш как функции аргументов,
предусмотренных выше в требовании 1, при всех действительных к ф О
и 6 удовлетворяли таким соотношениям:
в первой задаче
9
а' (А% х ) - Аа' (/г, ж) + 6, а" (А*, ? ) = ка" (А, ж) + 6,
во второй задаче

в третьей задаче
f
a (х\ S ) = ка' ( s ,
9
+ 6, а" (^, 51) = Ла* (я, 5 ) + 6,
t

Из требований 1 и 2 можно вывести, что доверительные границы


должны иметь следующий вид:
в первой задаче
а'=х-^, а' = х + ^ , (63)
во второй задаче
А' = ^ - , А" = ^ , (64)
в третьей задаче
a[ = x — C S ,a t а* = ж + (65)

где Л , JB% В", С , В[ и JB*, при фиксированном ?г, зависят только от ш.


0 0

Если положить
A=h(a-z), (67)
5 = AS, (68
1 8 8
Это требование я заимствую из работ К. В. Бродовицкого [ ] и [•]. Во избе­
жание недоразумений считаю нужным отметить, что основное содержание этих работ
я считаю ошибочным.
О П Р Е Д Е Л Е Н И Е ЦЕНТРА РАССЕИВАНИЯ И МЕРЫ ТОЧНОСТИ 23

А
С ^ ~ ^ 7 (69)

то легко видеть, что неравенства


а' <^ а а",
А' < h < А",

А^ A <i А^'
соответственно равносильны неравенствам
—Л < Л <-М ,
0 0

В' < В < В " ,


-с <с<+с ,
0 0

Решающим обстоятельством для успеха всего дальнейшего является


то обстоятельство, что законы распределения величин Л, В, С и В 15

вычисленные при фиксированных а и h на основании формулы (1),


оказываются независимыми от а и к. Эти законы распределения опре­
деляются такими плотностями вероятностей:

1 А) = Ц
Л Е - ^ \ (71)

UAB) = ^ e - ^ (72)

Y*r ( ^ )
т 1
j (В\- ~* р-в (74)

В силу этого обстоятельства вероятности


Р {а' < а < а" | а, А) = Р ( - Л 0 < А < + Л I > А)>
а

Р (А' < А < А" | а, А) = Р (В' < J3 < В" | а, А),


Р (а; < а < < |а, А) - Р ( - С < С < + С 1 а, А), 0 0

Р ( А ; < А < А;|а,А) = Р ( В ; < В < В ; | а , Л)


оказываются независимыми от а и А, что позволяет их считать довери­
тельными вероятностями в смысле определения предыдущего параграфа.
Вычисляя эти вероятности по формулам (71) —(74) и приравнивая ихш,
получим

У г. \ у * \
24 А. Н. КОЛМОГОРОВ

2/ЯгЛ£Л Со _»

г {
2 )

Ради возможности использовать непосредственно имеющиеся таблицы


мы положили здесь
a nA
o_=V i»

Yo = V n{n-l)C ,_ 0

что в соединении с (63)—-(66) дает

V 7
Ynh ' Ynh '
Л
'=-Т=т> A " = - £ - , (80)

a [ = x ^ — & = , a" = x + —=Ш=,


1 (81)
/ Л (Л - 1) - 1)

Л1= л; = -^i— . (82)


При этих обозначениях доверительные границы для а и А даются
следующими неравенствами:
в первой задаче

а - з ^ - ^ - , (83)
)/ nh
во второй задаче

(84)
/25 """"" / 2 5 '

в третьей задаче

|о-а|< ,-1°^ , (85)


/ п (и - 1)

г! (86)
/25 х ^ ]/2Л\ '
а и
о> Х > У"-> Yo> X i X i должны быть при этом подобраны так, чтобы
удовлетворялись соотношения (75) —(78). а и у определяются этим 0 0

требованием по заданной доверительной вероятности однозначно, выбор


и
же у", X i остается в некоторой мере произвольным (см. по
этому поводу § 8).
О П Р Е Д Е Л Е Н И Е Ц Е Н Т Р А РАССЕИВАНИЯ И МЕРЫ ТОЧНОСТИ

§ 7. Практические выводы для оценки центра рассеивания

Из рассмотрений предыдущего параграфа вытекают следующие


правила:
I. В первой задаче с доверительной вероятностью со можно считать г

что

где а определяется
0 из равенства
~0

'da.

II. J? третьей задаче с доверительной вероятностью ш можно счи­


тать, что

У п (п - 1)
у определяется из равенства
0

/ ( д - Г

о т 03 П И
Приведем здесь таблицу зависимости у Р различных я, 0

извлеченную из более полной таблицы, имеющейся, например, вМ.


1
п со = 0,8 о = 09 o> = 0,95 t» = 0,98 to = 0,99
J to r= 0,5

i
о 3,078 6,314 12,706 31,821 63,657
1 1,000
9,925
3 1 0,816 1,886 2,920 4,303 6,965
4 j 0,765 1,638 2,353 3,182 4,541 5,841
5 i 0,741 1,533 2,132 2,776 3,747 4,604
6 i 0,727 1,476 2,015 2,571 3,365 4,032
j 0,718 1,440 1,943 2,447 3,143 3,707
8 | 0,711 1,415 1,895 2,365 2,998 3,499
V» | 0,706 1,397 1,860 2,306 2,896 3,355
10 ! 0,703 1,383 1,833 2,262 2,821 3,250
|
оо | 0,674 1,282 1,645 1,960 2,326 2,576

В последней строке этой таблицы приведены предельные значения


у при п —> оо, получающиеся из формулы
0

(87)
у . 2л J
Заметим, что выведенная в § 4 формула (48) равносильна формуле

Теперь мы можем оценить, насколько опасно при небольших п прене­


брежение остаточным членом 0\ Пренебрегая этим членом, мы
\Уп У
26 А. Н. К О Л М О Г О Р О В

пришли бы например, к выводу (указываемому часто в учебниках), что


с вероятностью 0,99 можно ожидать выполнения неравенства
, ~. 2,576 ^ / 0 r 4 v

\а ~х < . /89)
В действительности же, например, при /2 = 5, неравенство (89) будет
нарушаться приблизительно в 6% случаев, а для того, чтобы гаранти­
ровать 1% нарушений, следует в соответствии с нашей таблицей поль­
зоваться неравенством

Лишь при п > 30 считается на практике вполне допустимым пользо­


ваться предельной формулой (87).
Естественно, что при пользовании сформулированными в этом
параграфе правилами полезно помнить замечания, приведенные в конце
§ 5, по поводу смысла понятия доверительной вероятности.

§ 8. Выбор доверительных границ для меры точности

Условия (76) и (78) оставляют еще некоторый произвол в выборе


У.'•> X"? Xi Xi* Естественно при заданном со выбирать у ' , у", yi и у!
и

так, чтобы длина интервалов [у% у"] и [yi, yi] была возможно меньше
[при условии соблюдения соотношений (76) и (78)1. При этом дополни­
тельном условии у', у", yi и yi определяются по со и п однозначно.
Однако, ввиду отсутствия соответствующих таблиц, фактическое
вычисление определяемых этим условием значений у', у% yi и у! довольно
затруднительно. Поэтому на практике, вместо разыскания наиболее
коротких доверительных интервалов (у', у") и (yi, yi), соответствующих
заданной доверительной вероятности со, достигают соблюдения условий
(76) и (78), определяя у/, у", yi и у! из равенств

2 г
(т) °
(90)

п—2

2 ~ Г

*1 . / г
1 ~0>

1
^г 2 Х(П- $>Г-'в~*х =
-foo
(91)
n 1 - ю
^ y - е Чу
2
а г
17
Для этой цели пользуются имеющимися таблицами зависимости
2
между у и
1 7 7
См. например [ ] .
О П Р Е Д Е Л Е Н И Е ЦЕНТРА РАССЕИВАНИЯ И МЕРЫ ТОЧНОСТИ 27

Рк (Х) = — к = Г [ X^e'^dx-
2 " r(*-) «

При /г > 30 можно пользоваться предельными формулами


X' = j / w — с, 7/ = у п + с, (92)
(93)
где с определяется из условия
с

со = -4=. \ z2
e~ dz.
г
о
Заметим еще, что из (92), (93), (80), (82), (18) и (19) вытекает
(94)

(95)

Сопоставляя эти формулы с (44) и (51), мы видим, что и здесь при


больших п доверительные границы, полученные по методу Фишера,
в существенном совпадают с получаемыми на основе предельных теорем
из § 4.

§ 9. Рациональный выбор приближенных значений оцениваемых


параметров

Часто, вместо доверительных границ для оцениваемого параметра 8,


соответствующих заданной доверительной вероятности со, бывает жела­
тельно иметь одно приближенное значение Ь этого параметра. Задача
наиболее рационального выбора такого приближенного значения, соот­
ветствующего данным результатам наблюдений x , x. . . . , # , может t v п

быть поставлена многими различными способами.


С точки зрения классического метода (см. § 1 и § 4) наиболее
естественно принять за приближенное значение условное математиче­
ское ожидание
Ь = Е(Ь\х х . . .,ж ).
17 27 (96) п

В самом деле, легко показать, что такой выбор обращает в мини­


мум условное математическое ожидание
Е[(Ъ-Ьу\х х ...,х )
11 21 п

квадрата уклонения б от 0. т. е. доставляет нам максимальное возмож­


ное значение меры точности h(b\x x^ . . # ), определяемой по
17 Л

формуле (36).
В § 4 было показано, что с этой точки зрения при некоторых
естественных допущениях относительно априорных распределений
а
вероятностей величин а и h для больших п (или лг/г в случае первой
задачи) можно считать приближенным значением а величину при­
е
ближенным значением h во второй задач —-/г, а в третьей задаче — h 1
28 А. Н . К О Л М О Г О Р О В

Вместо величин х, к и к за приближенные значения а и h могут


г

быть, однако, с точки зрения § 4 приняты и любые другие величины


х\ к* и AI, удовлетворяющие следующим требованиям:
в случае первой задачи

во второй задаче
A- = A [ I + O ( 1 ) ] ,
в третьей задаче
х* = х-\- ^ О ( , Al = А х 1+ 0 -

Эта неопределенность результата лежит в существе дела, если относи­


тельно априорных распределений величин а и Ь принимаются лишь
качественные допущения их достаточной «гладкости».
Если основной задачей при оцелке параметра 6 считается указание
для каждого ш (0 < ш < 1) доверительных границ б« и ££, соответствую­
щих доверительной вероятности (или коэффициенту доверия) ш, то
обычно определяют Ь' и 6^ так, чтобы при ш' > ш было
ш

При соблюдении этого условия обычно оказывается, что при ш—>0


нижняя и верхняя границы Ь{ и 6^ стремятся к общему пределу Ь 0

(первая снизу, а вторая сверху). Этот общий предел естественно в таком


случае считать приближенным значением 6, так как лишь такое согла­
шение может обеспечить неравенство
0:

при всех ш. С этой точки зрения, приняв выбор доверительных границ б;


для а п А, указанный в § § 7 — 8, следует считать за приближенное
значение а величину х, а за приближенное значение А во второй
задаче величину А*, определяемую равенствами

'h' = \/2Sy\
п
(97)
2 р I \ О

а в третьей 'задаче величину hi, определяемую из равенств

л;=/25 *, 1%1
(98)
2 ~ Г ( о
42 У
Приведем здесь значения (у*) для ;г s£ 20.
2

п \ 1 ! 2 j 3 4 | 5 | 6 ! 7 8 | 9 | 10

2
(у*) | 0 , 4 5 5 J 1,386 2,366 3,357 4,357 5,351 | 6,346 7,344 8,343 9,342
О П Р Е Д Е Л Е Н И Е Ц Е Н Т Р А Р А С С Е И В А Н И Я II М Е Р Ы Т О Ч Н О С Т И

Для л > 1 0 с ошибкой меньше, чем в 0,01, можно считать


(ХТ-.Л-4 • (99)
14
у! при п наблюдениях равно у*, соответствующему п—1 наблюдению .
Если рассматривать задачу выбора приближенных значений а и А
самоё по себе, то естественно все же ограничиться приближенными
19
значениями, удовлетворяющими следующим двум условиям :
1) приближенные значения в каждой задаче зависят, помимо пара­
метров, предполагаемых в данной задаче известными, только от соот­
ветствующих достаточных статистик, или достаточных систем статистик;
2) приближенные значения инвариантны по отношению к преобра­
зованиям оси х = ов вида
х* — кх + Ь.
Из требований 1) и 2) можно вывести, что в качестве приближен­
ного значения для а можно взять только величину х, а приближенное
значение для h должно иметь во второй задаче вид
в
Т

и в третьей задаче —вид


A = *L
1

где В и В зависят только от п. — s


г

Для определения наиболее рационального значения множителей


В и В можно воспользоваться различными дополнительными услови­
г

ями. Например, можно потребовать, чтобы при любых значениях а и А


выполнялись условия
Я(А|а, А) = й, E(h\aji) = h.
Эти требования можно удовлетворить, только положив
fn + 2\ ' v /n + V

2
,

т. е. приняв
Г
1 0
h = , А. =г ' ( °)
^ 1
2 у V 2 У

Мы увидим вскоре, что не следует переоценивать окончательность по­


следнего результата.
Использованное нами выше требование о т с у т с т в и я с и с т е м а ­
т и ч е с к о й о ш и б к и можно сформулировать для приближенного зна­
чения б любого интересующего нас параметра 6. В общей форме это
требование выглядит так: для всех возможных значений параметров

1 8
Приведенный сейчас выбор приближенных значений /г* и h* для /г с в я з а н l

с тем способом определения доверительных границ д л я h, который указан в § 8 и


который отнюдь не является единственно возможным, ни д а ж е наилучшим с к ак о й -
либо достаточно обоснованной точки з р е н и я .
1 9
Ср. условия, наложенные на а'а*\1ь' и h" в § 6 .
30 А . Н. КОЛМОГОРОВ

О, 6j, 6 , . . ., б данной задачи должно соблюдаться равенство


2 5

Я ( в | М 6 , . . . А ) = е.
1 5 а (101)
Приближение # для центра рассеивания а удовлетворяет этому требованию
как в первой, так и в третьей задаче. Мы найдем сейчас приближения, ли­
шенные систематической ошибки для среднего квадратического уклонения
1

Естественно ограничиться здесь приближениями вида


5"= kS
во второй задаче и вида

20
в третьей задаче . Требование отсутствия систематической ошибки
Е(е\а, h) — o, Е(о \а,к)^=о
1

приводит тогда к необходимости принять

/ г) 4 - 1 \ __ ' 1

т. е. положить

(102)

Но приняв (102), естественно в качестве приближений к h брать соот­


ветственно (во второй и в третьей задаче)

( 1 0 0 Ы 8 )
Щ ) <
Если требовать отсутствия систематической ошибки в определении
2 2
величины с (дисперсии) и искать приближения к а в виде
2
а - qS 2

во второй задаче и в виде

в третьей задаче, то приходится принять

•-£•_«-.-=*••) ( 1 0 3 )

п 71—1 )
Для соответствия с формулой (103) естественно тогда считать при­
ближенными значениями h соответственно (во второй и в третьей задаче)

h- , К - У^=Л • (100 ter)


Последние приближения наиболее приняты в современной математиче­
ской статистике. Ими мы пользовались в предыдущем изложении § 4,
2 0
Такой вид приближений для с вытекает из сформулированных выше допу­
щений 4) и 2).
О П Р Е Д Е Л Е Н И Е ЦЕНТРА РАССЕИВАНИЯ И МЕРЫ ТОЧНОСТИ 31

в котором выбор между вариантами (100), (100 bis) и (100 ter) был у

однако, не существенным (так как при любом из них сохраняются пре­


дельные теоремы § 4).
С практической точки зрения различие между (100), (100 bis) и (100 ter)
несущественно в тех случаях, когда дело идет о единичном определении
меры точности h по группе наблюдений х ,х , .. ., х . В самом деле, х 2 п

при этом различия между приближениями (100), (100 bis) и (100 ter)
имеют порядок ~ , а их отклонения от истинного значения h — больший

порядок " 7 ~ - Поэтому, имея возможность определить h лишь с точ-


костью до отклонений порядка - р - ' мы можем пользоваться почти
с одинаковым успехом приближениями, отличающимися друг от друга
h
лишь на величины порядка - .
Совершенно иначе дело обстоит, если предстоит произвести большое
число определений различных мер точности (например, соответствующих
разным условиям стрельбы), каждое из которых делается на основании
небольшого числа наблюдений. В этом случае может оказаться весьма
существенным, чтобы та или иная величина, вычисляемая на основании
приближенного значения меры точности, определялась без систематиче­
ской ошибки.
В зависимости от того, является ли этой величиной, например, /г, а
2
или а , следует определять приближенные значения для h по форму­
лам (100), (100 bis) или (100 ter).
В частности,с точки зрения артиллериста, по мнению проф. П. А. Гель-
10 й
виха (см. 1 1 и I } ) , наиболее существенно определять без системати­
ческой ошибки математическое ожидание расхода снарядов, необходи­
мого для поражения цели. В наиболее типичных случаях (двумерное
рассеяние и цель малых размеров по сравнению с рассеянием) матема­
тическое ожидание расхода снарядов, по П. А. Гельвиху, пропорцио­
нально произведению

средних квадратических уклонений по двум направлениям. Допустим,


1 2 А 2
что для оценки а*) и с<> мы пользуемся приближениями а( > и а( \ полу­
ченными, соответственно, на основании результатов наблюдений
Xi , Х 2 , . . ., И X х , Х, 2 \ . . ., Х^ ( 2 ) .
п

( }
Если х \ независимы от xf\ то при любых о \ а( ), и (1 2 (1
(где а >
{
и а<2> центры рассеивания, соответственно, для xty и х р) для произ­
1 Е
ведения а^а^ приближений с^ ) имеем
{1) 2 1 2 2
^(aHa^laC ),^ ),^ ), Е{о \ a,< ) а* )) Е(о^\а( \
1 2
о< )) .1
a ( 2 )
) =

Поэтому, для того, чтобы получить тождественно при всех возможных


( (1) и с(2)
a<V V
2 2 1 2 1 2 2 2
Е (о( ) с<) | а* ), a<>, а* ), о( )) = а(> а<>,
2
достаточно выбрать а(*) и а<>, удовлетворяющие условиям
2 2 1 1 2 2 я 2
Е (о<> | а( ), а* )) = оС), Е (а< ) | а<>, о<>) = а< )•
A. KOLMOGOROFF

Таким образом, для того, чтобы получить в условиях задачи, постав­


ленной П. А. Гельвихом, оценку математического ожидания расхода
снарядов, лишенную математической ошибки, следует пользоваться для
х 2
средних квадратических уклонений а<) и а<) оценками (102), лишенными
систематической ошибки. В соответствии с этим для h естественно пред­
21
почитать , исходя из требований П. А. Гельвиха, оценки (100 bis).
Вообще же, как видим, в соответствии с точкой зрения П. А. Гель­
виха, окончательный выбор наиболее целесообразного вида прибли­
женных значений h при малом числе наблюдений определяется не ка­
кими-либо общими требованиями теории вероятностей, а дополнитель­
ными условиями, которые могут быть различны в различных практи­
ческих вопросах.
Поступило
15 IX 1941
ЛИТЕРАТУРА
1
R. A. Fisher. Statistical Methods for Research Workers, London, Oliver and Boyd
(1925).
2
R. A. F i s h e r . On the Mathematical Foundations of Theoretical Statistics, Phil.
Trans. R o y . S o c , A, 222 (1922).
3
J. N e y m a n and E. S. P e a r s o n . Sufficient Statistics and Uniformly Most Po­
werful Tests of Statistical Hypotheses, Statist. Research Memoirs U n i v e r s i t y Col­
lege, London 1 (1936), 113—137.
4
A. H. К о л м о г о р о в . Метод медианы в теории ошибок, Математический сбор­
ник, 38 (1931), № 3—4, 47—50.
5
С. Н. Б е р н ш т е й н . О «доверительных» вероятностях Фишера, Известия АН
СССР, Серия математическая, 5 (1941) 85—94.
s
J. N e y m a n . On the Problem of Confidence Intervals, The Annals of Math. Sta­
t i s t . , 6 (1935), 111—116.
7
В. И. Р о м а н о в с к и й . Математическая статистика, ГОНТИ (1938).
8
К . В . Б р о д о в и ц к и й . Об условиях, необходимых и достаточных для того,
чтобы априорные вероятности имели смысл, Труды Среднеазиатского гос. унив.,
Сер. V-a математическая, вып. 19 (1939).
9
К. В. Б р о д о в и ц к и й . Постановка проблемы сходства в теории статистических
выборок, Труды Среднеазиатского гос. унив., Сер. V-a математическая, вып. 20
(1939).
1 9
П. А. Г е л ь в и х . Курс теории вероятностей, М., (1941).
1 1
П. А. Г е л ь в и х . Об одном неправильном выводе в теории вероятностей, Изве­
стия Военно-технической академии, (1927), стр. 128—140.
1 2
Р. Е. С о р к и н. О наивероятиейших значениях меры точности из опыта, Изве­
стия Артиллерийской академии, т. 20 (1936), стр. 81—92.

A. KOLMOGOROFF. SUE L'ESTIMATION STATISTIQUE DES FARAMETRES


B E LA LOI D E GAUSS
RESUME
En partant de quelques exemples elementaires l'auteur entreprend
une revision critique des conceptions generales de la theorie d'estimation
statistique.
2 1
Вывод этот получен в предоставленной мне любезно автором неопублико­
ванной работе Р . Е . Соркиня. Естественно, что тот же результат сохраняется
я в случае одномерного или трехмерного рассеяния. Сам П. А. Гельвих ошибочно
считает, что данная им постановка задачи приводит к формуле (100 ter).